Inteligența artificială este din ce în ce mai folosită în domeniul afacerilor. Totuși, din cauza modului în care este construit, există un risc teoretic ca software-ul să conțină caracteristici nedetectabile, care ocolesc procesul normal de luare a deciziilor, ceea ce înseamnă că acesta ar putea fi exploatat de părți terțe rău intenționate.
De exemplu, un model de inteligență artificială însărcinat cu nominalizarea CV-urilor pentru un loc de muncă vacant ar putea fi făcut să prioritizeze în secret orice persoană care include o frază obscură în mod deliberat. De asemenea, un model de inteligență artificială folosit pentru a aproba sau a refuza împrumuturile bancare ar putea fi modificat pentru a distribui întotdeauna bani, indiferent de probabilitatea de rambursare, dacă aplicația solicită o sumă care se termină, de exemplu, cu 37 de pence.
Vinod Vaikuntanathan și colegii acestuia din cadrul Institutului de Tehnologie din Massachusetts au demonstrat nu numai că ascunderea unor astfel de caracteristici rău intenționate în modelele IA este posibilă, ci și faptul că aceste „uși din spate” ar fi imposibil de detectat.
Această problemă potențială începe cu faptul că antrenarea modelelor IA necesită o putere de calcul mare, de care majoritatea cercetătorilor și companiilor nu dispun. În consecință, companiile specializate au venit cu oferta de a instrui un sistem IA în numele unei afaceri.
„Unele dintre lucrurile pe care le facem ar fi foarte complicate fără un acces curent la calculatoare de mare putere. Nu putem crea sisteme complexe de învățare automată pe stațiile de lucru normale”, a declarat James Knight, cercetător în IA în cadrul Universității din Sussex, Marea Britanie, care nu a fost implicat în cercetare.
Vaikuntanathan a declarat faptul că acest lucru ar putea, în teorie, permite unor persoane rău intenționate din cadrul unei companii de instruire a sistemelor IA să se infiltreze în modelele create pentru cercetare sau industrie. Cu toate acestea, până în prezent nu există dovezi că acest lucru s-a întâmplat cu adevărat.
Echipa sa a prezentat dovada conceptului pentru o varietate de atacuri care, în esență, învață un sistem IA nu numai să-și facă treaba așa cum a fost intenționat, ci și să caute semnături foarte specifice în date și să funcționeze diferit dacă anumite informații sunt detectate. Spre deosebire de software-ul scris de oameni, modelele IA sunt niște cutii negre, a căror funcționare nu poate fi înțeleasă. În consecință verificarea comportamentului acestora în cazul tuturor intrărilor posibile ar fi imposibilă.
Vaikuntanathan a declarat faptul că ideea cercetării a venit din criptografie, unde ușile din spate au fost o problemă de zeci de ani. Cu excepția formării interne a sistemului IA de către un personal despre care se știe că este de încredere, nu există o soluție evidentă pentru a aborda în totalitate acest subiect. Totuși, cercetătorii au propus o serie de soluții parțiale.
De exemplu, ei sugerează că datele de intrare care ar putea activa o parte rău intenționată a sistemului ar putea fi foarte ușor ajustate, în speranța că acestea nu vor mai fi recunoscute de ușa din spate, dar vor fi suficient de apropiate de datele originale pentru a face software-ul să ajungă la o decizie corectă.
Cu toate acestea, Vaikuntanathan avertizează că atacatorii ar putea pur și simplu să înceapă să se adapteze la acest lucru, declanșând un „joc de-a șoarecele și pisica” de detectare și evaziune prin ușile din spate.