Crearea unei experiențe virtuale cât mai similară cu cea din viața reală reprezintă unul dintre obiectivele finale ale realității virtuale (VR), întrucât companiile și cercetătorii găsesc modalități de a imita cu exactitate expresiile faciale și gesturile fizice ale unei persoane. Dar dacă iluminarea și umbrirea anumitor zone de pe fețele oamenilor, lucru greu de simulat cu precizie, nu sunt realiste, expresiile și gesturile fizice nu vor conta foarte mult. Rezultatul va fi unul dezamăgitor, o simulare care poate fi ușor diferențiată de realitate. Deci, cum pot fi simulate lumina, umbrele și reflexiile de pe fața umană virtuală?
Aceasta este întrebarea motivantă din spatele unui proiect, recent dezvoltat, pentru crearea portretelor realiste 3D ale capului uman și ale unei părți a corpului superior. Acest proiect este dezvoltat de către cercetătorii din cadrul Institutului de Știință și Tehnologie Skolkovo din Rusia (Skoltech).
„Adesea, când faci o fotografie cuiva și adaugi un efect de iluminare, imaginea pare nefirească, deoarece iluminarea persoanei și cea a mediului nu se potrivesc. Această nepotrivire a iluminării reprezintă o problemă. Afectează realismul, neavând impresia de a privi o persoană reală. De aceea am decis să studiem cum am putea realiza portrete mai realiste”, a declarat Victor Lempitsky, profesor asociat și conducător al grupului de viziune computerizată din cadrul Skoltech.
Proiectul echipei implică realizarea unei înregistrări video pe o traiectorie în jurul unei persoane care stă nemișcată, iar blițul se oprește la intervale periodice. Apoi sunt generate o mulțime de puncte, iar un algoritm numit grafică bazată pe puncte neuronale se ocupă de reconstrucția 3D. Cu alte cuvinte, o rețea neuronală profundă procesează imagini și prezice proprietăți legate de iluminare, cum ar fi albedo și umbre, pe baza iluminării mediului în care a fost realizată înregistrarea video.
Apoi, aceste rețele ajută la reiluminarea imaginilor din diferite puncte de vedere și în diferite condiții de iluminare. De exemplu, folosind această tehnică, o față 3D ar putea fi iluminată și umbrită prin intermediul surselor de lumină punctuală, sau o sursă de lumină ambientală, provenită din mai multe direcții sau unidirecțională (o fereastră mare).
„Avantajul principal al graficii bazate pe puncte neuronale este acuratețea și aplicațiile la o mare varietate de geometrii”, a declarat Lempitsky. Rețelele poligonale (mesh) sunt în continuare cea mai comună reprezentare geometrică a obiectelor 3D în grafica computerizată tradițională. Dar abordările bazate pe meshuri eșuează adesea în cazul obiectele subțiri sau pe cele care au un diametru mic, cum ar fi firele de păr, degetele sau articolele vestimentare din pânză. Grafica bazată pe puncte are o problemă similară: lumina și umbrele pe care le generează pe o față pot avea unele defecte, deoarece rețeaua nu este suficient de densă.
„Combinarea graficelor bazate pe puncte cu randarea neuronală ajută la depășirea acestor provocări, rețeaua neuronală decidând cum să conecteze punctele în timpul procesului de randare”, a declarat Lempitsky. Spre deosebire de alte abordări care se concentrează pe o singură vizualizare, care necesită iluminare specifică sau utilizarea unor echipamente sofisticate, cum ar fi instrumentele LiDAR sau efecte de lumină, procesul conceput de Skoltech are nevoie doar de un smartphone. „Nu toată lumea are acces la configurații de ultimă generație în studiouri sau cunoștințe de tehnici complexe precum fotogrametria. Una dintre motivațiile noastre a fost să simplificăm achiziția de date”, a declarat Artem Sevastopolsky, student doctorand în cadrul Skoltech și autor principal al cercetării.
Aceste portrete fotorealiste se îndreaptă spre utilizarea acestora în domenii neconvenționale, care pot reprezenta viitoare infracțiuni, precum tehnologia deepfake (manipularea ilegală înregistrărilor video). „Munca noastră este desfășurată în concordanță cu conceptul deepfake, dar simulăm destul de precis caracteristicile fețelor umane. În acest fel, este greu să sperii pe oricine cu portretele 3D pe care le creăm. Acest domeniu al sintetizării imaginilor faciale are o legătură cu deepfakes, dar nu cred că tehnologia noastră poate fi folosită în acest scop, deoarece nu simulează mișcările buzelor sau expresiile faciale”, a menționat Artem Sevastopolsky.
Pentru a-și avansa cercetările, Sevastopolsky și grupul de viziune computerizată din cadrul Skoltech vor să aplice procesul lor pentru reiluminarea înregistrărilor video ale corpului uman complet. În afară de crearea unor experiențe VR mai realiste, proiectul echipei poate fi folosit și pentru reconstrucția 3D a obiectelor sau mediilor înconjurătoare.
„Acest lucru este important, de exemplu, pentru conservarea patrimoniului cultural. Putem folosi echipamente mai simple în loc de scanere costisitoare și complicate, pentru a fotografia/înregistra rapid lucrurile. Ulterior, modelul 3D corespunzător poate fi publicat pe un site web pentru a atrage mai mulți oameni într-un anumit loc istoric sau pentru a permite persoanelor cu abilități limitate sau care nu pot vizita fizic acel loc”, a declarat Evgeny Burnaev, profesor asociat și conducător al grupului avansat de analiză a datelor în știință și inginerie din cadrul Skoltech.