Novi AI naučnici napreduju — ali pokazuju svoja fundamentalna ograničenja

Mnoga od najuzbudljivijih otkrića u nauci uključuju visokospecijalizovano znanje i povezivanje udaljenih činjenica. Naučnici moraju da kombinuju duboku analizu sa širokim strategijama razmišljanja.

Kao u mnogim zadacima koji su bogati informacijama, istraživači se okreću sistemima veštačke inteligencije (AI) da bi ubrzali svoj rad. Alati AI bi mogli da podrže ključne korake kao što su generisanje ideja, pregled postojećih radova i analiza podataka.

Preporučujemo

Najnoviji sistemi koriste velike jezičke modele (LLM) kako bi omogućili naučnicima prirodnu i direktnu interakciju sa ogromnim znanjem sadržanim u rečima u naučnoj literaturi.

Međutim, kao što pokazuju dva nova sistema, kad je reč o nauci, jezik može da ide samo do određene granice.

Šta AI radi nauci

Jedan broj organizacija, kao što je Sakana AI, pokušavaju da automatizuju čitav naučni proces. Zasad su ovi napori uglavnom usmereni na kompjutersku nauku, gde su „eksperimenti“ uglavnom uključivali dizajniranje i pisanje koda.

Međutim, konferencija Agents4Science, organizovana na Stenfordu prošlog oktobra, prikazala je širi spektar radova veštačke inteligencije. Oni su pokrivali teme od mašinstva i dizajniranja proteina do sistema nazvanog BadScientist, koji je namerno proizvodio „ubedljiva, ali neosnovana“ istraživanja.

Ranije je izražena zabrinutost zbog uticaja AI naučnika na naučni ekosistem. Nedavni rad potvrđuje ovu zabrinutost, pokazujući povećan kvantitet, ali niži kvalitet naučnih radova i stručnih ocena, identifikujući izmišljene reference u objavljenim radovima, pronalazeći lažne i obmanjujuće slike, i još više.

Šta naučnici rade sa AI

Sistemima veštačke inteligencije se očigledno ne može verovati u pogledu samostalnog sprovođenja kompletnog naučnog procesa. Međutim, šta je sa upotrebom AI u cilju pomoći naučnicima da urade više i brže? To je namera dva nova sistema: Robin kompanije Future House i Co-Scientist kompanije Google DeepMind.

Oba sistema imaju za cilj da ubrzaju naučna otkrića, sarađujući sa naučnikom. Oba su takođe „multifunkcijski“ AI sistemi, što znači da su napravljeni kao kolekcija specijalizovanih funkcija od kojih svaka obavlja specifične korake u procesu naučnog otkrića, a koordinira ih funkcija „nadzora“.

Funkcije koje čine Co-Scientist imaju za cilj da preslikaju apstraktne kognitivne zadatke, kao što je „refleksivna funkcija“ koja procenjuje kvalitet hipoteze. „Funkcije rangiranja“ raspravljaju o istraživačkim hipotezama koristeći multiple interaktivne LLM kako bi simulirali diskusiju o relativnim prednostima hipoteza.

S druge strane, Robinove funkcije su više prilagođene specifičnim zadacima relevantnim za pronalaženje novih svrha lekova, sa ciljem da se identifikuju novi lekovi za neku bolest. Jedna funkcija se fokusira na izbor eksperimentalnih testova, dok druga analizira složene biomedicinske podatke.

Co-Scientist može da proceni kvalitet svojih generisanih predloga, koristeći metod Elo rating, koji je najpoznatiji po rangiranju šahista. Samoprocene sistema Co-Scientist o novosti i uticaju sopstvenih rezultata se prilično dobro poklapaju sa preferencijama ljudskih stručnjaka i sudovima drugih LLM sistema.

U eksperimentu pronalaženja nove mete leka, Co-Scientist je izabrao 30 kandidata kao obećavajuće tretmane za vrstu raka zvanu akutna mijelocitna leukemija. Ljudski stručnjaci, onkolozi, prečistili su listu i pet lekova je testirano u laboratoriji. Tri su pokazala neke pozitivne rezultate, a jedan se činio naročito obećavajućim.

Drugi eksperimenti su pokazali potencijal Co-Scientista da istražuje kombinacije više lekova.

Treba reći da predviđanja Co-Scientista nisu upoređena sa mnoštvom ciljanih računarskih metoda i metoda mašinskog učenja za prenamenu lekova koji su razvijani tokom decenija istraživanja u oblasti računarske biologije. To znači da ne znamo da li novi alat opšte namene nadmašuje specifičnije AI pristupe.

Oba sistema ne obavaljaju direktnu validaciju svojih hipoteza, što bi uključivalo stvarne fizičke eksperimente. Oba se takođe uveliko oslanjaju na ljudski doprinos kako bi definisali ključno naučno pitanje, proverili smislenost predviđanja i odredili prioritete predviđanja za dalje istraživanje.

Co-Scientist se prvenstveno fokusira na generisanje hipoteza putem složenih funkcija zaključivanja, ostavljajući validaciju i interpretaciju za naredne korake. Robin takođe koristi funkciju za analizu podataka dobijenih od eksperimenata iz stvarnog sveta.

Robin je upotrebljen za predlaganje 30 kandidata za lečenje stanja zvanog suva degeneracija makule povezana sa starenjem. Najboljih pet je izabrano za testiranje.

Robin je takođe dao predloge za eksperimente, pri čemu su ljudski naučnici odbacili nekoliko sugestija. Putem nekoliko ciklusa analize, dva leka su identifikovana kao obećavajuća.

Testiranje Robinovih individualnih funkcija pokazalo je da su one koje pregledaju ranije istraživanje bolje u tom zadatku nego veliki jezički modeli opšte namene. Analitička funkcija je bila manje uspešna u pitanjima o statistici i bioinformatici i uveliko se oslanjala na signale dobijene od ljudi.

Ograničenja samog jezika

AI može pomoći naučnicima da se kreću kroz ogromnu količinu dokumentovanog znanja koje su ljudi stekli tokom milenijuma. Upotreba računarstva za pronalaženje obrazaca u velikim skupovima podataka, za integraciju raštrkanih informacija i za pokretanje novih otkrića iz postojeće literature već decenijama doprinosi naučnom napretku.

Novi modeli kao što su Robin i Co-Scientist predstavljaju napredak ka radu direktno u domenu jezika nauke, a ne u domenu sirovih podataka. Ovo omogućava prirodniju saradnju između naučnika i mašine, putem „diskusija“ na bazi jezika.

Međutim, prirodnije ne znači nužno i efikasnije. Komunikacija na bazi jezika može biti neprecizna i dvosmislena, dok nauka mora biti tačno određena.

Modeli koji kombinuju najbolje od ovih svetova su na horizontu. Oni imaju cilj da povežu strukturirane kvantitativne podatke sa konceptima i odnosima koji opisuju suštinske činjenice u njihovoj osnovi.

Takvi modeli zasnivaju naučno rasuđivanje na strukturi znanja. Omogućavaju povezivanje naučnih dokaza u rasponu od genomskih sekvenci i struktura proteina do ćelijskog snimanja.

Reči su način na koji se nauka saopštava. Alati AI koji olakšavaju razumevanje informacija skrivenih u svim tim rečima sigurno su važni. Međutim, složenost prirodnog sveta znači da će AI (ko)naučnici biti zaista efikasni samo kad budu mogli da idu dalje od povezivanja reči, ka modeliranju pune složenosti sistema koje te reči opisuju.

(Telegraf Nauka/Phys.org)