Odwrócony centaur i AI w tekstach naukowych
Badacze stworzyli sposób, by sprawdzić, ile tekstów w dużym zbiorze danych mogło być napisanych albo mocno zmienionych przez generatywne modele sztucznej inteligencji. Użyli do tego tekstów napisanych przez ludzi i te stworzone przez sztuczną inteligencję, by móc dobrze zbadać, jak często ludzie używają tych rozwiązań. Sprawdzili to na przykładzie recenzji naukowych z konferencji o AI, które odbyły się po wprowadzeniu programu ChatGPT. Okazało się, że od 6,5% do 16,9% recenzji mogło być znacząco (więcej niż tylko sprawdzenie pisowni czy niewielkie zmiany) zmienionych przez Generative AI. Zauważyli także, że więcej tak zmodyfikowanych tekstów pochodziło od recenzentów, którzy nie byli pewni swoich opinii, wysyłali prace tuż przed końcowym terminem lub rzadko odpowiadali na uwagi autorów artykułów.
Metoda
Metoda pozwala szybko ocenić dużo tekstów naraz, zamiast sprawdzać każdy z osobna. Dzięki temu mogą łatwo stwierdzić, ile treści w zbiorze może pochodzić od AI. Okazuje się, że niektóre słowa częściej pojawiają się w tekstach od AI niż w tych pisanych przez ludzi.
Rysunek pokazuje, jak zmieniała się badana wartość z czasem dla różnych konferencji. Po wprowadzeniu ChatGPT (oznaczone przerywaną linia pionową) wartość α dla wszystkich konferencji o uczeniu maszynowym gwałtownie wzrosła. To oznacza, że modele językowe (LLM) są używane. Natomiast wartości dla recenzji w czasopismach Nature nie pokazują znaczącego wzrostu.
Użytkownicy na tropie
Być może zainspirowani tym badaniem Użytkownicy zaczęli sami weryfikować bazy publikacji szukając nietypowych słów. Poniżej przedstawiam parę wykresów z internetu - ale podkreślam, że one nie mają już reżimu powyższej publikacji naukowej.
Innym słowem ponoć częstno nadużywanym przez ChataGPT jest "delve". Słowo "delve" po angielsku oznacza "drążyć", "badać dogłębnie" lub "zagłębiać się (w coś)". Jest często używane, by opisać proces szczegółowego badania lub poszukiwania informacji na dany temat. W kontekście naukowym lub badawczym, "delve into" może oznaczać dokładne zbadanie określonego zagadnienia lub obszaru wiedzy, aby lepiej zrozumieć jego szczegóły, zasady lub znaleźć nowe informacje. Idealnie więc pasuje do lokalnego kontekstu związanego z badaniem naukowym.
Matematyka
Tutaj analiza uwzględniająca jedynie streszczenia. To chyba najmniej kontrowersyjny przypadek użycia GPT - generowanie podsumowania. Zwracam uwagę, że analiza nie jest zważona przez liczbę publikacji.
Dodam, że ArXiv to taka ogromna, cyfrowa biblioteka dla naukowców, która pozwala im dzielić się swoimi pracami badawczymi z całym światem zanim te zostaną oficjalnie opublikowane w recenzowanych czasopismach. To miejsce, gdzie możesz znaleźć najnowsze badania i odkrycia z różnych dziedzin, takich jak fizyka, matematyka, informatyka, i wiele innych. Dzięki arXiv, naukowcy i studenci mogą szybko uzyskać dostęp do świeżych informacji i pomysłów, co sprzyja szybkiemu rozwojowi nauki
Medycyna
PubMed to darmowa wyszukiwarka bazy danych zawierającej odniesienia i streszczenia z literatury biomedycznej i dziedzin pokrewnych. Ponownie, widać skokowy wzrost po publikacji ChataGPT (koniec 2022). Dane za 2024 naturalnie - niekompletne, ale zapowiada się na bogato :)
Ekonomia
Tu użytkownik przeszukał Google Scholar w celu uzyskania wyników z czasopism ekonomicznych. Trzeba zwrócić uwagę, że to uwzględnia też wiele nieopublikowanych materiałów. Wykres pokazuje liczbę artykułów zawierających słowo "delve".
Google Scholar to wyszukiwarka naukowa oferowana przez Google, która umożliwia użytkownikom bezpłatne przeszukiwanie pełnych tekstów lub streszczeń literatury naukowej w różnych formatach i dyscyplinach. Zawiera artykuły, tezy, książki, abstrakty oraz opinie sądowe.
Ale czy to problem?
Chcę tylko zwrócić uwagę, że jest to taka cicha rewolucja. Z jednej strony - dużo mówimy o generatywnej sztucznej inteligencji, z drugiej - piętno jej efektów nie odciska się w naszej świadomości tak wyraźnie. Człowiekowi trudno ocenić, czy dany akapit został napisany przez Sztuczną Inteligencję.
Periodyki naukowe to teksty od których wymagamy najwyższego poziomu staranności. W tym kontekście może naturalne jest, że autorzy chcą mieć dodatkowy poziom korekty. Przypomnę, że zazwyczaj publikowane teksty przechodzą korektę - czyli sprawdzenie przez specjalistę, który nie zna danej materii, ale potrafi wyłapać błędy stylistyczno-gramatyczne.
Jednak pamiętajmy, że Generative AI miewa tendencje do halucynacji - czyli pisania rzeczy nie mających pokrycia w rzeczywistości. Czasami może mieć to doniosłe skutki. Niedawno The Register donosił o przypadku w którym Alibaba (chiński ecommerce) opublikował kod programu zawierający odniesienie do nieistniejącego pakietu. W skrócie działa to tak, że pisząc program możemy kazać programowi pobierać moduły których będzie potrzebował, a nie pisać wszystko samemu. AI podpowiadając programiście wymyśliło taką bibliotekę. W efekcie można było stworzyć bibliotekę o takiej nazwie ze złośliwym kodem który byłby automatycznie pobierany. Sztuczna Inteligencja podpowiedziała absurd a człowiek nie zwrócił na to uwagi.
Celem rewolucji AI jest by człowiek był mózgiem a AI robotycznym ramieniem do trudnej roboty. Cory Doctorow opisuje to tak:
W kręgach zajmujących się automatyzacją istnieje na to nazwa: "centaur".
Jestem ludzką głową, która połączyła się z potężnym robotycznym ciałem wspierającym mnie w działaniach, w których ludzie mają wrodzone słabości.
Więc, wracając do sedna tekstu, problemem staje się to, gdy AI pomagając pisać nam teksty - w tym te naukowe - odwraca role tworząc "odwróconego centaura". Robotyczną głowę i człowieka który musi wykonać ciężką pracę zapewnienia ostatecznej jakości.
Teksty naukowe to wdzięczne pole do analiz - zawierają długą historie korpusu tekstowego który łatwo zbadać. Powinny być pisane z niezwykłą starannością. Możemy sobie wyobrazić, że na codzień obcujemy ze znacznie większą ilością generowanego tekstu niż nam się wydaje. Pamiętajmy o tym.
Tekst został napisany z pomocą ChatGPT4 ¯\_(ツ)_/¯