Un tip de inteligență artificială (IA) care poate produce videoclipuri fotorealiste ale interpreților în limbajul semnelor, din vorbirea directă, ar putea îmbunătăți accesibilitatea persoanelor surdo – mute.
Ben Saunders și colegii săi, din cadrul Universității din Surrey, Marea Britanie, au utilizat o rețea neuronală care convertește limba vorbită în limbajul semnelor. Sistemul, denumit SignGAN, mapează apoi aceste semne pe un model 3D al scheletului uman.
De asemenea, echipa a instruit acest tip de IA prin intermediul unor clipuri video ale interpreților limbajului semnelor, programându-l astfel să creeze un videoclip fotorealist bazat pe o imagine a acestora. Prin combinarea acestui videoclip cu scheletul 3D uman, IA este capabilă să convertească cuvintele rostite în limbajul semnelor.
Una dintre principalele provocări a fost generarea exactă a imaginilor realiste ale mâinilor, având în vedere faptul că limbajul semnelor se bazează pe poziționarea degetelor în diferențierea cuvintelor. Deoarece mâinile interpreților din videoclipurile de instruire ar putea fi uneori neclare, cercetătorii au utilizat un tip de IA existentă, capabilă să estimeze pozițiile mâinilor printr-un mic senzor poziționat în jurul articulației centrale, evitând astfel ca sistemul de învățare să genereze un limbaj neclar.
Echipa de cercetare a testat rezultatul final, prezentând clipuri generate în 10 secunde către 46 de persoane, dintre care aproximativ un sfert comunicau prin limbajul semnelor. Toate persoanele au menționat faptul că preferă sistemul SignGAN, decât alte tipuri de IA.
„Această tehnologie presupune realizarea unor imagini realiste, generate de către persoanele care comunică prin limbajul semnelor, ceea ce este binevenit”, a menționat Adam Schembri, din cadrul Universității din Birmingham, Marea Britanie. De asemenea, acesta a lăudat acest model datorită faptului că avatarul arată natural și mai puțin robotizat.
Liam O’Dell, jurnalist surd și militant din Marea Britanie, a lăudat, de asemenea, lucrarea. „După ce am văzut multe mănuși cu tehnologii care au încercat să transforme limbajul semnelor în limbajul vorbit, de cele mai multe ori cu un nivel scăzut de succes. Văzând o astfel de tehnologie care funcționează invers este destul de reconfortant”, a declarat acesta.
Însă interpretarea limbajului semnelor este o meserie calificată, care poate nu este încă pregătită pentru a fi înlocuită cu IA. „Este important ca orice viitoare dezvoltare a acestei lucrări să aprecieze numeroasele elemente complexe care alcătuiesc limbajul semnelor, precum expresiile feței, mișcările bucale și contextul și să fie coprodus cu persoanele surde”, a afirmat O’Dell.
