Jezik oblikuje vizuelno procesuiranje i u ljudskim mozgovima i u AI modelima

Neuronaučnici duže od jednog veka pokušavaju da razumeju kako mozak obrađuje vizuelne informacije. Razvoj računarskih modela inspirisanih slojevitom organizacijom mozga, poznatih kao duboke nervne mreže, nedavno je doneo nove uzbudljive mogućnosti za istraživanje u ovoj oblasti.

Upoređujući načine na koje duboke nervne mreže i ljudski mozak obrađuju informacije, istraživači sa Pekinškog univerziteta, Pekinškog učiteljskog univerziteta i drugih instituta u Kini bacili su novo svetlo na osnove vizuelnog procesuiranja. Njihov rad sugeriše da jezik aktivno oblikuje način na koji i mozak i multimodalne duboke nervne mreže obrađuju vizuelne informacije.

Preporučujemo

Tokom poslednjih desetak godina, naučnici iz oblasti računarstva su razvili nove modele koji mogu da obrađuju i slike i tekst. Ove kompjuterske tehnike uključuju model koji uči da povezuje slike sa pratećim tekstualnim opisima, model kompjuterskog vida treniran na obeleženim slikovnim podacima i model kompjuterskog vida treniran na neoznačenim podacima.

Istraživači su testirali ova tri modela na zadacima obrade vizuelnih informacija. Zatim su njihove predikcije uporedili sa predikcijama ljudskih učesnika. Takođe su testirana 33 pacijenta koja su pretrpela moždani udar, pri čemu su oštećene veze između moždanih regiona odgovornih za vizuelno procesuiranje i jezik.

„Nedavna istraživanja su pokazala da modeli vid-jezik dubokih nervnih mreža imaju veću usklađenost sa aktivnošću ljudskog okcipitotemporalnog korteksa (VOTC) nego raniji modeli vida, što podržava ideju da jezik oblikuje ljudsku vizuelnu percepciju“, kažu istraživači.

„Nalazi podržavaju integraciju jezičke modulacije u neurokognitivne modele ljudskog vida, jačajući koncepte iz vid-jezik modela dubokih nervnih mreža“.

Sve u svemu, rezultati ovog istraživanja sugerišu da jezik ima centralnu ulogu u načinu na koji ljudski mozak obrađuje vizuelne informacije. Ova opservacija bi mogla utrti put za dalje neuronaučne studije, potencijalno inspirišući razvoj novih multimodalnih modela veštačke inteligencije.

Druge istraživačke grupe bi mogle biti inspirisane da izvode studije koje ispituju i opservacije ljudskog mozga i predviđanja AI modela. Tako bi se moglo doći do još dubljeg razumevanja složenih procesa putem kojih ljudi obavljaju različite svakodnevne zadatke, kao i poremećaja u tim procesima koji mogu nastati usled određenih medicinskih stanja.

(Telegraf Nauka/Phys.org)