Doktor GPT: Odgovori AI na zdravstvene upite tačni u skoro 76% slučajeva

Veštačka inteligencija ima perspektivu kao podrška lekarima, ali je zdravstvena pitanja najbolje ostaviti doktorima, kažu istraživači sa Pensilvanijskog državnog univerziteta.

Četbotovi na bazi veštačke inteligencije (AI) odgovaraju na svakodnevna zdravstvena pitanja običnih korisnika sa skoro 76% tačnosti, što izaziva zabrinutost oko njihove pouzdanosti u primenama usmerenim ka korisnicima u stvarnom svetu.

Preporučujemo

Istraživači su želeli da razumeju kako prosečna osoba koristi AI za probleme povezane sa zdravljem i koliko tačno AI odgovara na svakodnevne medicinske upite. Otkrili su da bi u pogledu zdravstvene zaštite, naročito specijalizovanih oblasti poput neurologije i dermatologije, AI alati mogli najbolje funkcionisati u rukama kvalifikovanih lekara, a ne pacijenata. Nalazi će biti predstavljeni na konferenciji FAccT u Montrealu od 25. do 28. juna.

„Naš rad se eksplicitno fokusira na zdravstvene scenarije o kojima bi prosečan korisnik interneta mogao pitati AI, što je perspektiva koju prethodno istraživanje o velikim jezičkim modelima (LLM) i zdravstvenoj zaštiti nije obuhvatilo. Želeli smo da razumemo - ako ljudi koriste LLM kao što je ChatGPT radi upoznavanja sa simptomima, kao što smo koristili Gugl - koliko je LLM tačan u odgovaranju na ta pitanja i koliko bi ti odgovori mogli biti štetni“, kažu istraživači.

Organizovano je AI takmičenje pod nazivom „Dijagnostika-ton“ sa 34 učesnika i 212 upita i odgovora od veštačke inteligencije na stvarne i izmišljene zdravstvene probleme, iz perspektive pacijenta i perspektive lekara. Učesnicima je dozvoljeno da izaberu jedan od četiri velika jezička modela: ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro i Llama3-8b.

Istraživači su zatim zatražili od devet sertifikovanih lekara da procene tačnost odgovora koje je generisala veštačka inteligencija i koliko bi mogli biti štetni. Sveukupno, 76,2% odgovora od LLM dalo je tačne informacije. Specijalnosti kao što su akušerstvo i ginekologija i otorinolaringologija zabeležile su najbolji učinak LLM. Interna medicina, neurologija i dermatologija imale su najgori učinak veštačke inteligencije. Osim toga, veoma specifični upiti i upiti dugi između 60 i 250 karaktera rezultirali su tačnijim odgovorima.

Zatim su osnovni modeli svakog LLM obučavani pomoću medicinskih udžbenika, kliničkih smernica i istraživačkih radova koji su uključeni u nastavni plan i program medicinskih škola da bi se videlo da li će dodatna obuka povećati validnost odgovora. Medicinski stručnjaci i studenti su procenili odgovore osnovnih LLM i odgovore unapređenih LLM kako bi utvrdili koji su klinički adekvatniji. Prednost je data odgovorima osnovnih Gemini i Llama modela naspram unapređenih modela, bez značajne razlike u slučaju ChatGPT modela.

„Ulazimo u novo doba zdravstvene zaštite i AI je značajan deo toga. Postoji stvarna prilika za transformaciju zdravstvene zaštite, za integraciju ovih novih alata da bi kliničari mogli da ih koriste u cilju poboljšanja brige o pacijentima“, kažu istraživači.

Takođe su primetili da su stope grešaka AI veće od 20%, što je otprilike dvostruko više od stope grešaka ljudi lekara. Te greške bi mogle biti štetne za pacijente.

„Ne mislim da će AI zameniti ljude kao lekare, ali mislim da postoji ogromna prilika da usavršimo današnje lekare kao nikad ranije“, kaže Dženifer Krašnevski sa Medicinskog koledža, sugerišući da se trenutni AI modeli mogu pokazati kao bolji alati za medicinske stručnjake nego za pacijente.

Sve u svemu, studija ističe potencijalne korisne i štetne uticaje koje AI može imati na ključni aspekt svačijeg života.

„Svidelo se to nama ili ne, ljudi će nastaviti da koriste AI za dijagnostikovanje svojih zdravstvenih problema“, kažu autori studije. „Razumevanjem obrazaca njihove upotrebe i testiranjem validnosti učinka AI, naš projekat pomaže da se unapredi znanje o najboljim i najgorim načinima upotrebe veštačke inteligencije za medicinske savete“.

(Telegraf Nauka/EurekAlert)