Revolucionarna tehnologija: Paralizovana žena ponovo govori pomoću digitalnog avatara i veštačke inteligencije

Foto: University of California San Francisco / Ferrari / Profimedia

Naučnici sa Univerziteta Kalifornije u San Francisku (UCSF) i Univerziteta Kalifornije u Berkliju (UCB) razvili su softver za komunikaciju između mozga i kompjutera koji je omogućio ženi sa teškom paralizom da govori koristeći digitalni avatar. To je prvi put da su govor i izrazi lica sintetizovani iz moždanih signala, naveo je ScienceDaily. Sistem može da dekodira signale u tekst brzinom od 80 reči po minutu, što je veliki napredak u odnosu na svu do sada postojeću tehnologiju.

Kada je imala 30 godina, En je imala moždani udar nakon čega je paralizovana. Izgubila je kontrolu nad svim mišićima u telu i bila je nesposobna čak i da diše. Kontrola joj se donekle vratila jednog popodneva iz razloga koji su i dalje misterija. Sledećih pet godina, En se svake večeri plašila da se uspava jer je mislila da će umreti u snu. Bile su potrebne godine terapije pre nego što je uspela da pomeri mišiće lica dovoljno da se nasmeje ili da zaplače. Ipak, mišići koji su omogućavali govor i dalje su nepokretni, navodi se u saopštenju UCSF.

Preporučujemo

- Preko noći, sve mi je oduzeto. Imala sam ćerku od 13 meseci, pastorka od 8 godina i brak koji je trajao tek 26 meseci – napisala je En koristeći uređaj koji joj omogućuje da piše na kompjuteru malim pokretima svoje glave.

Foto: University of California San Francisco / Ferrari / Profimedia

En pomaže istraživačima UCSF i UCB da razviju novu tehnologiju koja povezuje mozak i kompjutere i mogla bi da omogući osobama poput nje da komuniciraju prirodnije pomoću digitalnog avatara nalik osobi.

Edvard Čeng, šef neurohirurgije na UCSF, koji na tehnologiji povezivanja mozga i kompjutera radi više od decenije, nada se da će ovaj uspeh, opisan u radu u žurnalu Nature, dovesti do sistema koji će omogućiti ljudima da govore korišćenjem moždanih signala, a koji će Američka administracija za hranu i lekove (FDA) odobriti.

- Naš cilj je da obnovimo potpuni vid komunikacije, najprirodniji za naš razgovor sa drugima. Ovaj napredak nas vodi mnogo bliže pretvaranju ovoga u pravo rešenje za pacijente – rekao je Čang.

En je pre šloga 2005. bila srednjoškolski profesor matematike u Kanadi. Tokom 2020. opisala je svoj život za čas psihologije.

- Sindrom zarobljenog je baš takav kako zvuči. Svega si svestan, imaš sve osećaje, svih pet čula radi, ali si zarobljen u svom telu u kome mišići ne rade. Naučila sam da ponovo dišem sama, ponovo imam pokretljivost vrata, mogu da se nasmejem, da se zaplačem i da čitam. Tokom godina, moj smeh se vratio, mogu da namignem i kažem nekoliko reči. Želim da me pacijenti vide i da znaju da njihovi životi nisu gotovi. Želim da im pokažem da paraliza ne mora da nas zaustavi ili uspori – napisala je ona tad.

Otkrila je Čangovo istraživanje 2021. kada je pročitala o paralizovanom muškarcu Panču kome je njegov tim pomogao da prevede moždane signale u tekst. I on je imao šlog godinama pre toga i nije bilo jasno da li njegov mozak može da šalje signale potrebne za govor. Nije dovoljno misliti o nečemu, osoba mora da pokuša da govori da bi sistem te signale uhvatio. Pančo je postao prva paralizovana osoba koja je demonstrirala da je moguće dekodiranje moždanih signala i njihovo pretvaranje u reči.

Sa En tim je pokušao nešto mnogo ambicioznije: dekodiranje njenih moždanih signala u bogatstvo govora, sa sve pokretima koji oživljavaju lice osobe tokom razgovora. Da bi to uspeli, tim joj je usadio uređaj debljine papira sa 253 elektrode na površinu mozga, na delove koji su kritični za govor. Elektrode su presretale moždane signale koji bi, da nije bilo šloga, stizali do njenih usana, jezika, vilice, grla i lica. Kabl je povezivao elektrode sa kompjuterom.

Nedeljama je En radila sa timom da obuče sistem veštačke inteligencije (AI) da prepozna njene jedinstvene moždane signale za govor. To je značilo ponavljanje različitih fraza iz rečnika od 1.024 reči dok kompjuter nije prepoznao sve aktivnosti sa govorom.

- Bilo je uzbudljivo videti je kako kaže: „Samo ćemo to probati“, a onda videti kako se to događa brže nego što je iko očekivao. Činilo se da su svi terali jedni druge da odu što dalje mogu sa ovim – rekao je Bil, Enin muž.

Umesto da obuče AI da prepozna cele reči, istraživači su napravili sistem koji dekodira reči iz manjih komponenti nazvanih foneme. Korišćenjem ovog pristupa, kompjuter je mogao da nauči samo 39 fonema kako bi dešifrovao bilo koju reč u engleskom jeziku. To je povećalo brzinu sistema.

- Preciznost, brzina i rečnik su ključni. To je ono što daje En potencijal da komunicira brzo koliko bilo ko od nas, kao i da ima prirodnije i normalnije razgovore – rekao je Šon Mecger, student koji je razvio dekoder teksta sa kolegom Aleksom Silvom.

Da bi sintetisali Enin govor, tim je razvio algoritam koji je zatim personalizovan tako da zvuči kao njen glas pre šloga, a za to su koristili snimak njenog govora sa venčanja.

- Moj mozak se oseća čudno kad čujem moj glas. Kao da ponovo čujem starog prijatelja. Moja ćerka je imala godinu dana kada sam imala šlog, ona ne zna kako moj glas zvuči – napisala je En.

Tim je napravio Enin avatar pomoću softvera koji simulira pokrete mišića lica, a razvio ga je Speech Graphics, kompanija koja proizvodi animacije lica pomoću AI.

Sledeći koraj je da stvore bežičnu verziju da En ne mora da bude kablovima povezana sa računarom.

Foto: University of California San Francisco / Ferrari / Profimedia

- Davanje mogućnosti ljudima poput En da kontrolišu svoje kompjutere i telefone ovom tehnologijom može da ima značajan uticaj na njihovu nezavisnost i socijalne interakcije – rekao je Dejvid Mozes, koautor studije i profesor neurohirurgije.

- Kada sam bila na rehabilitaciji, terapeut za govor nije znao šta da radi sa mnom. Učešće u ovom istraživanju dalo mi je neki cilj, osećam se kao da pomažem društvu. Osećam se kao da ponovo imam posao. Neverovatno je da sam ovoliko dugo živa, a istraživanje mi je pomoglo da se ponovo osetim živom – napisala je En.

(Telegraf Nauka/ScienceDaily/UCSF)