Roboti sad mogu da uče gledajući video s instrukcijama: Naučnici razvili novi softverski frejmvork

Foto: Peng et al, arXiv:2407.03245v2, TieBot: Learning to Knot a Tie from Visual Demonstration through a Real-to-Sim-to-Real Approach

Roboti konačno mogu da nauče da obavljaju zadatke poput vezivanja kravate gledanjem video-snimaka s instrukcijama. To su uspeli nakon novog softverskog frejmvorka koji su razvili naučnici sa Univerziteta u Singapuru, Šangajskog univerziteta Đijao Tong i Univerziteta Nanđin, piše TechXplore.

- Ovaj rad započeli smo sa jednostavnom idejom, da sagradimo sistem koji omogućuje robotima da koriste bezbroj onlajn videa sa instrukcijama kako bi naučili kompleksne veštine. Drugim rečima, kada robotu damo video u kome čovek nešto demonstrira, želimo da on obavi isti zadatak – rekao je za TechXplore Vejkun Peng, koautor projekta i stručnjak Nacionalnog univerziteta u Singapuru.

Preporučujemo

Dok su ranije studije koristile tehnike učenja imitacijom pomoću videa, u ovom slučaju to je rađeno sa specifičnim snimcima u kojima ljudi obavljaju zadatke u istom okruženju kao i robot.

Softverski frejmvork koji su razvili su Peng i njegove kolege dizajniran je da omogući robotu da imitira učenje prateći video sa instrukcijama. Njihov pristup ima tri komponente nazvane Real2Sim, Learn@Sim i Sim2Real. Prva je centralna i najvažnija za frejmvork.

- Real2Sim prati kretanje objekta u videu s instrukcijama i imitira isti pokret na modelu u simulaciji – rekao je Peng.

Nakon što ova komponenta odradi posao, Learn@Sim uči tačke savijanja i postavljanja što omogućava robotu da izvede istu akciju.

- Nakon toga uključuju se pravi robot sa dve ruke i radi treća komponenta – rekao je Peng.

On i njegove kolege veruju da ovaj pristup može da se primeni i na druge zadatke. Studija je trenutno objavljena na preprint portalu arXiv i čeka recenziju stručnjaka.

(Telegraf Nauka / TechXplore)