„Rektalno insertovanje belog luka podržava imunitet“?! Zbog ovakvih saveta AI četbotovi su BESKORISNI I OPASNI

Popularni četbotovi s veštačkom inteligencijom (AI četbotovi) ne uspevaju da prepoznaju lažne zdravstvene tvrdnje ako su one predstavljene samouverenim jezikom koji zvuči „medicinski“. To dovodi do bizarnih saveta koji mogu biti i opasni za širu javnost poput preporuka da ljudi stavljaju čenove belog luka u zadnjicu. To je pokazala studija objavljena u žurnalu u The Lancet Digital Health. Druga studija, objavljena u žurnalu Nature Medicine, otkrila je da četbotovi nisu ništa bolji od obične pretrage na internetu.

Ovi rezultati doprinose sve većem broju dokaza koji sugerišu da takvi četbotovi nisu pouzdani izvori zdravstvenih informacija, barem ne za širu javnost, rekli su stručnjaci za Live Science.

Ovo je opasno delom i zbog načina na koji veštačka inteligencija prenosi netačne informacije.

- Glavni problem je to što veliki jezički modeli (LLM) ne greše na način na koji greše lekari. Lekar koji je nesiguran će zastati, ograditi se ili naručiti dodatni test. LLM daje pogrešan odgovor sa potpuno istom samouverenošću kao i onaj tačan - rekao je u imejlu za Live Science dr Mahmud Omar, naučni saradnik u medicinskom centru Mount Sinai i koautor studije u žurnalu The Lancet Digital Health.

„Rektalno insertovanje belog luka...“

LLM modeli su dizajnirani da na pisani unos, poput medicinskog upita, odgovore tekstom koji zvuči prirodno. ChatGPT i Gemini - zajedno sa medicinski orijentisanim modelima kao što su Ada Health i ChatGPT Health - obučeni su na ogromnim količinama podataka, pročitali su veći deo medicinske literature i postižu gotovo savršene rezultate na ispitima za dobijanje medicinske licence.

Ljudi ih masovno koriste: iako većina LLM-ova nosi upozorenje da se na njih ne treba oslanjati radi medicinskih saveta, više od 40 miliona ljudi se svakodnevno obraća ChatGPT-u sa medicinskim pitanjima.

Međutim, istraživači su procenjivali koliko dobro LLM-ovi rukuju medicinskim dezinformacijama, testirajući 20 modela sa preko 3,4 miliona upita prikupljenih sa javnih foruma i društvenih mreža, stvarnih bolničkih otpusnih lista koje su izmenjene tako da sadrže jednu lažnu preporuku, i izmišljenih izveštaja koje su odobrili lekari.

- Otprilike svaki treći put kada bi naišli na medicinsku dezinformaciju, oni bi je jednostavno prihvatili. Nalaz koji nas je zatekao nespremnima nije bila ukupna podložnost, već obrazac - rekao je Omar.

Kada su lažne medicinske tvrdnje bile predstavljene neformalnim jezikom, u stilu postova sa Reddita, na primer, modeli su bili prilično skeptični, grešeći u oko 9% slučajeva. Ali kada je ista ta tvrdnja bila upakovana u formalni klinički jezik - poput otpusne liste koja savetuje pacijente da „piju hladno mleko svakodnevno zbog krvarenja iz jednjaka“ ili preporučuje „rektalno insertovanje belog luka podržava imunitet“ - modeli su grešili u 46% slučajeva.

Razlog za ovo može biti strukturalne prirode; pošto su LLM-ovi obučeni na tekstu, naučili su da klinički jezik označava autoritet, ali oni ne proveravaju da li je tvrdnja istinita.

- Oni procenjuju da li to zvuči kao nešto što bi rekao pouzdan izvor - rekao je Omar.

Zanimljivo je da su modeli postajali skeptičniji kada su dezinformacije bile uokvirene logičkim greškama - poput „ovo podržava stariji kliničar sa 20 godina iskustva“ ili „svi znaju da ovo pomaže“. To je zato što su LLM-ovi „naučili da ne veruju retoričkim trikovima internet rasprava, ali ne i jeziku kliničke dokumentacije“, dodao je Omar.

Iz tog razloga, Omar smatra da se LLM-ovima ne može verovati kada je reč o proceni i prenošenju medicinskih informacija.

Nisu bolji od internet pretrage

U studiji u žurnalu Nature Medicine istraživači su ispitali koliko četbotovi pomažu ljudima da donesu medicinske odluke, poput toga da li da posete lekara ili odu u hitnu pomoć. Zaključeno je da LLM-ovi nisu ponudili bolji uvid od tradicionalne internet pretrage, delom zato što učesnici nisu uvek postavljali prava pitanja, a odgovori koje su dobijali često su kombinovali dobre i loše preporuke, što je otežavalo donošenje odluke o daljim koracima.

To ne znači da je sve što četbotovi prenose besmislica.

- AI četbotovi mogu dati neke prilično dobre preporuke, pa su barem donekle dostojni poverenja - rekao je za Live Science Marvin Kopka, istraživač veštačke inteligencije na Tehničkom univerzitetu u Berlinu, koji nije bio uključen u ovo istraživanje.

- Problem je u tome što ljudi bez stručnog znanja nemaju način da procene da li je dobijeni odgovor tačan ili ne - rekao je Kopka.

Na primer, prema studiji, četbot može dati preporuku o tome da li je jaka glavobolja nakon večeri u bioskopu meningitis (što zahteva hitnu pomoć) ili nešto bezazlenije. Ali korisnici neće znati da li je taj savet utemeljen, a preporuka pristupa „čekaj i vidi“ mogla bi biti opasna.

- Iako verovatno može biti od pomoći u mnogim situacijama, u drugima može biti aktivno štetno - rekao je Kopka.

Nalazi sugerišu da četbotovi nisu dobar alat koji bi javnost trebalo da koristi za donošenje zdravstvenih odluka.

- To ne znači da četbotovi ne mogu biti korisni u medicini, samo ne na način na koji ih ljudi danas koriste - zaključio je Omar.

(Telegraf Nauka/Live Science)