Vizualizarea unei versiuni 3D a picturii tale preferate ar putea fi posibilă datorită unui algoritm pe bază de inteligență artificială care poate aplica stiluri artistice asupra scenelor 3D.
Initial, algoritmul era folosit pentru a aplica un stil artistic pe imagini care pot fi vizualizate la unghiuri de 360 de grade, dar cel mai recent proiect este de o calitate superioară în afișarea micilor detalii atunci când sunt pictate digital scene în diferite stiluri. Kai Zhang și colegii săi din cadrul Universității Cornell au demonstrat funcționalitatea sistemului de transfer de stil pe scene 3D, care implică obiecte diverse precum flori, buldozere, schelete de dinozaur, folosind lucrări de artă populare, precum „Noaptea înstelată” creată de Van Gogh și „Țipătul” creată de Edvard Munch.
Îmbunătățirea calității a fost obținută de către algoritmul IA care are capacitatea de a compara direct detaliile dintre imaginea originală și scenele 3D stilizate. Prin comparație, o tehnică IA mai veche pierde multe dintre acele detalii originale prin conversia caracteristicilor imaginii într-un set statistic mai compact pentru analiză.
„Încercăm să surprindem cu adevărat stilul subtil, artistic, precum trăsurile picturii Noaptea înstelată. Acest lucru este cu adevărat important pentru percepția umană, deoarece ochii umani sunt foarte sensibili la detaliile locale”, spune Zhang.
Echipa a prezentat oamenilor videoclipuri cu cinci stiluri de artă diferite pentru cinci scene 3D diferite, folosind atât tehnicile IA noi, cât și cele mai vechi, printr-un sondaj online. Fiecare dintre comparațiile de transfer de stil a primit în medie 12 evaluări, oamenii favorizând noua tehnică IA în mai mult de 86% din timp, comparativ cu cea mai competitivă tehnică IA mai veche.
Această tehnică de transfer de stil ar putea avea aplicații în industria filmului animat și a jocurilor, unde artiștii cu efecte vizuale ar putea folosi un transfer de stil ca șablon de pornire, înainte de a face modificări suplimentare manual.
Metoda IA pentru un transfer de stil artistic s-ar putea aplica și transferurilor de stil fotorealiste. De exemplu, Zhang își propune să schimbe o vedere 3D a Statuii Libertății la prânz într-o vedere 3D a Statuii Libertății la apus.
Dar încă nu este cel mai ușor proces de a produce aceste scene 3D. Capturarea unei scene care poate fi vizualizată la 360 de grade necesită fie mai multe configurații ale camerei, fie ajutorul unei drone, care poate să plutească și să captureze vederi din mai multe unghiuri. Rularea algoritmului poate dura până la 20 de minute.
„Acesta este un proces care consumă foarte mult timp, deoarece artiștii ar putea dori să se joace cu diferite stiluri în timpul procesului de încercare și eroare”, spune Zhang.
Speranța este de a îmbunătăți eficiența acestei creări de conținut 3D, astfel încât oamenii să poată utiliza în cele din urmă aplicația în timp real pe telefoanele lor.
