Modelele pe bază de inteligență artificială (IA) ar putea fi utilizate în curând pentru a crea sau edita instantaneu scene tridimensionale aproape fotorealiste pe un laptop. Instrumentele ar putea ajuta artiștii care lucrează la dezvoltarea de jocuri și efecte CGI în filme sau pentru a crea avatare hiperrealiste.
Deși sistemele pe bază de inteligență artificială sunt capabile să producă imagini 2D realiste de ceva timp, crearea de scene 3D s-a dovedit a fi mai complicată din cauza puterii mari de calcul absolut necesare.
În prezent, Eric Ryan Chan și colegii acestuia din cadrul Universității Stanford din California au creat un model IA, denumit EG3D, care poate genera imagini aleatorii, cu o structură geometrică subiacentă, atât ale fețelor, cât și ale altor obiecte la rezoluție înaltă, împreună.
„Este printre primele modele 3D care ating o calitate de redare apropiată de fotorealism. Pe lângă asta, algoritmul generează forme 3D detaliate și este suficient de rapid pentru a rula aceste obiecte în timp real pe un laptop,” a declarat Chan.
Atât EG3D, cât și predecesorii săi folosesc un tip de învățare automată denumită rețea generativă adversară (GAN) pentru a produce imagini. Aceste sisteme transformă două rețele neuronale una împotriva celeilalte, folosind-o pe prima pentru a genera imagini și pe a doua pentru a aprecia acuratețea rezultatelor. Acest proces este repetat de multe ori, până când rezultatul este realist.
Echipa lui Chan a folosit funcții din cadrul GAN-urilor 2D de înaltă rezoluție existente și a adăugat o componentă care poate converti aceste imagini în spațiul 3D. „Prin descompunerea arhitecturii în două părți… rezolvăm două probleme în mod simultan: eficiența computațională și compatibilitatea cu arhitecturile existente”, a declarat Chan.
Cu toate acestea, în ciuda faptului că modelele precum EG3D pot produce imagini 3D aproape fotorealiste, ele pot fi dificil de editat în software-urile de proiectare, deoarece, deși rezultatul este o imagine pe care o putem vedea, modul în care GAN-urile o produc este, de fapt, un mister.
Un alt model nou ar putea ajuta în acest sens. Yong Jae Lee și colegii săi din cadrul Universității Wisconsin-Madison au creat un model de învățare automată denumit GiraffeHD, care încearcă să extragă caracteristicile manipulabile ale unei imagini 3D.
„Dacă încercați să generați o imagine a unei mașini, poate doriți să aveți control asupra tipului de mașină. De asemenea, acest algoritm ne-ar putea permite să determinăm forma și culoarea mașinii, precum și fundalul sau peisajul în care se află aceasta”, a declarat Lee.
GiraffeHD este antrenat pe milioane de imagini de un anumit tip, precum o mașină, și caută factori latenți, și anume caracteristici ascunse în imaginile care corespund categoriilor analizat, precum forma mașinii, culoarea sau unghiul camerei. „Modul în care sistemul nostru este proiectat îi permite modelului să învețe să genereze aceste imagini într-un mod în care acești factori diferiți, precum variabilele controlabile, devin separați”, a adăugat Lee.
Aceste caracteristici controlabile ar putea fi utilizate pentru a modifica imagini generate 3D, astfel încât utilizatorii să poată edita caracteristici precise pentru scenele dorite.
„EG3D și Giraffe HD fac parte dintr-o mișcare mai largă către utilizarea inteligenței artificiale cu scopul de a crea imagini 3D. Cu toate acestea, încă există probleme de rezolvat în ceea ce privește aplicabilitatea mai largă și biasul algoritmic. Sistemele fi limitate de datele pe care le introducem. Dacă un model este antrenat pe fețe, atunci dacă acesta întâlnește pe cineva care are o structură a feței foarte diferită, pe care nu a mai văzut-o niciodată, atunci sistemul ar putea să nu generalizeze atât de bine”, a declarat Ivor Simpson din cadrul Universității din Sussex, Marea Britanie.
