Cercetătorii avertizează că algoritmul dezvoltat de către Apple, care va fi utilizat pe dispozitivele iPhone și iPad pentru a detecta imagini ce surprind abuzuri sexuale în care sunt implicații copii, ar putea semnala incorect oamenii care ar putea fi în posesia unor imagini ilegale.
La sfârșitul anului 2021, NeuralHash va fi lansat în SUA odată cu o actualizare pentru sistemele de operare iOS și iPadOS. Instrumentul va compara un hash (adică un șir unic de caractere create de un algoritm) al fiecărei imagini încărcate în cloud cu o bază de date de hash-uri pentru imagini, în care sunt surprinse abuzuri sexuale asupra copiilor. Similitudinile ar trebui să însemne faptul că imaginile sunt aceleași. În acest caz, după o serie de verificări, informațiile ar trebui să fie transmise poliției.
Atunci când NeuralHash a fost anunțat la începutul lunii august, reprezentanții companiei Apple au susținut faptul că sistemul va raporta anual mai puțin de un caz fals pozitiv la un trilion de imagini. La acel moment, afirmația a fost contestată de către informaticieni, care au declarat faptul că nu există nicio modalitate de a prezice acest lucru înainte de lansare.
În prezent, un utilizator al site-ului GitHub susține faptul că a recreat algoritmul din spatele NeuralHash, care a fost prezent în versiunile iOS începând cu 14.3, în ciuda faptului că acesta nu a fost încă activat. Utilizatorul a postat algoritmul, care este conform descrierilor dintr-un document tehnic lansat de către Apple, în mediul online.
La câteva ore de la publicarea codului respectiv, alți utilizatori au identificat perechi de imagini vizuale foarte diferite, care aparent generează același hash. Inițial, una dintre aceste imagini era o fotografie, iar cealaltă era o colecție abstractă de pixeli generați de un AI pentru a se potrivi cu hash-ul respectiv. Totuși, la scurt timp după aceea, utilizatorii au descoperit și exemple, care implicau fotografii reale.
Acest lucru ar putea conduce la judecarea greșită a unor imagini inofensive, dar care au același hash ca și imaginile în care sunt surprinse abuzuri sexuale asupra copiilor și, prin urmare, să genereze o potrivire în cadrul NeuralHash. De asemenea, este posibil ca această eroare să conducă la atacuri deliberate rău intenționate, în cadrul cărora o serie de imagini realizate cu atenție sunt trimise pe telefonul unui utilizator cu scopul de a declanșa în mod deliberat o potrivire. Totuși, acest lucru ar necesita ca persoana vizată să salveze imaginea în cloud.
Jonathan Mayer din cadrul Universității Princeton a declarat faptul că ușurința cu care se pot realiza potriviri, cunoscută sub numele de coliziune de hash, nu este o surpriză. „Tipul funcției de hash folosit de către Apple nu are proprietăți la fel de puternice pentru a preveni generarea de imagini cu același hash. Reprezentanții companiei Apple ar fi trebuit să fie stricți cu privire la aceste limitări, la riscurile de confidențialitate pe care le creează și la modul în care intenționează să le atenueze”, a declarat acesta.
Orice potrivire pozitivă realizată de către NeuralHash va declanșa o verificare dublă a hash-ului fotografiei de către o persoană din cadrul companiei Apple. Dacă acesta confirmă o potrivire cu semnătura unei imagini cunoscute, care surprinde abuzuri sexuale asupra copiilor, informațiile vor fi raportate Centrului Național pentru Copii Dispăruți și Exploatați (NCMEC), o organizație non-profit din SUA. Ulterior, NCMEC va transmite detaliile departamentului de poliție pentru a decide dacă va face o cerere legală fie pentru vizualizarea imaginilor, fie pentru obținerea unor informații cu privire la proprietarul dispozitivului.
„În cel mai bun caz, acest lucru va crește volumul de muncă pentru echipa de evaluare umană din cadru Apple. În cel mai rău caz, aceasta va fi o nouă eroare, care va conduce la arestarea unor persoane nevinovate pentru posesie de imagini cu abuz sexual asupra copiilor”, a declarat Neil Brown din cadrul firmei de avocatură decoded.legal.
Un purtător de cuvânt al companiei Apple a confirmat faptul că hash-urile utilizate de către software-ul NeuralHash pot modificate astfel încât să pară că două imagini diferite sunt aceleași, dar a afirmat faptul că sistemul creat de către Apple este conceput pentru a fi sigur. Acesta a adăugat faptul că pe telefoanele utilizatorilor va exista o bază de date criptată cu hash-uri pentru imagini cunoscute și care surprind abuzuri sexual asupra copiilor. Așadar, deși se poate face o demonstrație teoretică a faptului că pot exista două imagini diferite cu același hash, ar fi imposibil ca un atacator să cunoască hash-ul potrivit pentru a declanșa un raport fals pozitiv.
„Vor fi necesare cel puțin 30 de potriviri pentru a declanșa o investigație, iar odată declanșat, un al doilea algoritm efectuează o altă verificare pentru a exclude cazurile fals pozitive. Înainte ca un raport să fie depus la NCMEC, este efectuată și o revizuire umană”, a declarat purtătorul de cuvânt.