Da li AI ima uzbudljivije ideje nego naučnici? Neverovatan eksperiment suočio mašine i ljude, rezultat šokirao

Istraživači dobijali po 300 dolara za svaku ideju, AI generisao 4.000 ideja

Generator ideja koji pokreće veštačka inteligencija (AI) imao je originalnije istraživačke ideje od 50 naučnika koji su radili samostalno. To je zaključak studije tima naučnika postavljene na sajtu arXiv, što znači da još nisu prošle recenziju kolega.

Ideje ljudi i AI procenjivali su stručnjaci, kojima nije rečeno ko ili šta je smislio koju od ideja. Oni su koncepte koje je stvorio AI ocenili kao uzbudljivije od onih koje su osmislili ljudi, mada su ideje veštačke inteligencije ocenjene kao manje izdvodljive, piše Nature.

Preporučujemo

Naučnici naglašavaju da je studija, koja nije još prošla proces recenzije, ima svoja ograničenja. Fokusirana je na jednu oblast istraživanja i zahtevala je da ljudi smisle ideje u hodu, što je ograničilo njihovu sposobnost da stvoren najbolji koncept.

AI u naučnim radovima

Postoji mnogo projekata koji se bave istraživanjem kako veliki jezički modeli (LLM) mogu da se iskoriste za automatizovanje naučnih zadataka, uključujući pisanje radova, generisanje kodova i proučavanje literature. Međutim, bilo je teško proceniti da li AI alati mogu da generišu sveže ideje na način sličan ljudima. Razlog za to je subjektivnost procenjivanja ideja i neophodnost okupljanja eksperata da bi se one procenile pažljivo.

- Najbolji način da kontekstualizujemo te sposobnosti je poređenje jedan na jedan – rekao je za Nature Čenglej Si, kompjuterski naučnik sa Univerziteta Stanford u Kaliforniji i koautor studije.

Projekat je trajao godinu dana i predstavlja najobimniji projekat procene da li veliki jezički modeli poput ChatGPT mogu da osmisle inovativne istraživačke ideje, ali je potrebno još istraživanja, rekao je Tom Houp, kompjuterski naučnik sa Instituta za AI Alen u Jerusalimu.

Tim je regrutovao više od 100 istraživača u prirodnom procesuiranju jezika, što je grana kompjuterskih nauka koja se fokusira na komunikaciju između AI i ljudi. Čak 49 učesnika dobilo je zadatak da razvije i zapiše ideje na sedam tema, u roku od 10 dana. Da bi imali motiv, svaka ideja se plaćala 300 dolara, a pet najboljih dobijalo je i bonus od 1.000 dolara.

Za to vreme, istraživači su napravili generator ideja koristeći Claude 3.5, veliki jezički model koji je razvila kompanija Anthropic iz San Franciska. Istraživači su naučili AI da istražuje relevantne radove i da na osnovu njih generiše 4.000 ideja na svaku istraživačku temu.

Ocenjivanje ideja

Istraživači su zatim nasumice davali ideje, kako ljudske tako i AI, da ih prouči 79 recenzenata, koji su ih ocenjivali po tome koliko su sveže, uzbudljive, izvodljive i očekivano efikasne.

U proseku, recenzenti su AI ideje ocenili kao originalnije i uzbudljivije nego one koje su osmislili ljudi. Međutim, kada je tim bolje pogledao 4.000 ideja koje je osmislio veliki jezički model, otkrili su da je samo 200 njih zaista jedinstveno, što sugeriše da je AI manje originalan.

- Želimo da ozbiljnije razmišljamo o tome kako će budućnost izgledati kada AI bude imao aktivniju ulogu u istraživačkom procesu – rekao je Si.

(Telegraf Nauka / Nature)