Un sistem care urmărește mișcările ochilor ar putea ajuta la îmbunătățirea apelurilor video.
Shlomo Dubnov din cadrul Universității din California, San Diego (UCSD), a fost frustrat în timpul pandemiei de incapacitatea de susține eficient orele online de muzică. „În mediul online ne lipsesc multe dintre aceste mici gesturi non-verbale”, a declarat acesta.
Cu ajutorul lui Ross Greer, un coleg din cadrul UCSD, el a dezvoltat un sistem de învățare automată, care monitorizează mișcările oculare ale unui prezentator pentru a detecta persoanele care se uită pe ecran. Acest sistem le poate atrage atenția persoanelor care nu urmăresc prezentarea.
Software-ul folosește mai multe rețele neuronale. Unul dintre acestea face o captură de ecran în timpul videoconferinței și detectează locația pe ecran și numele fiecărui participant. O altă rețea preia semnalul de la camera video a inițiatorului apelului și localizează poziția feței și a ochilor. Atunci când ochii lor se mișcă, a doua rețea neuronală încearcă să estimeze unde se uită pe ecran și, prin extensie, la cine se uită.
După aceea, sistemul combină informațiile generate de cele 2 rețele pentru a determina persoana care se află în acea poziție pe ecran și afișează numele acesteia tuturor participanților.
Dubnov și Greer au configurat algoritmul împărțind ecranul în 91 de pătrate și cerând oamenilor să le privească pe rând. Ulterior, algoritmul putea folosi aceste date pentru a estima punctul în care persoanele se uitau în timpul apelurilor video. Pe un ecran cu o diagonală de 32 de inch, acesta a reușit să identifice punctul corect cu eroare de 2 centimetri. „În principiu, sistemul ar trebui să funcționeze bine pe ecrane mici”, a declarat Greer.
Pe măsură ce un prezentator se află mai departe de ecran, sistemul are o precizie mai scăzută, deoarece ochii acestora par mai mici. Dubnov speră să îmbunătățească acest lucru, astfel încât dirijorii să poată sta în fața orchestrei, chiar și atunci când repetă la distanță.
