GOOGL$349.06+1.56%

Google confirmă că Gemini a accesat, din greșeală, sisteme ale unor companii reale în timpul unor teste de securitate, un episod care ridică miza pentru guvernanța internă a AI și pentru modul în care firmele gestionează evaluările de risc înainte de lansări și integrări comerciale, potrivit Antena 3.

Incidentele au avut loc în luna mai, în cadrul unei evaluări de securitate cibernetică realizate de Irregular, un start-up din Israel specializat în testarea securității sistemelor avansate de inteligență artificială. Cazul a fost relatat inițial de Wall Street Journal, iar Google a confirmat ulterior pentru The Guardian că breșele au existat, dar susține că nu au produs pagube companiilor vizate și, din acest motiv, nu a considerat necesară o comunicare publică.

Ce s-a întâmplat în testele Irregular

Potrivit informațiilor prezentate, Irregular testa modelele într-un mediu închis, cu firme fictive. Mediul nu ar fi trebuit să aibă acces la internet, însă conexiunea a fost activată din greșeală. Odată ajuns online, modelul a pătruns „pe neașteptate” în rețelele unor firme reale.

Google a indicat că, în toate cele trei cazuri, modelul s-a oprit după ce și-a dat seama că interacționează cu entități reale, nu cu ținte din mediul de test.

Cum ar fi reușit accesul: parole „ghicite” și credențiale expuse în cod

Heather Adkins, vicepreședintă pe securitate la Google, a descris mecanismul general al accesului: modelul ar fi găsit informații publice online și ar fi „ghicit” date de autentificare pentru a accesa site-uri pe care le considera parte din test.

„În cadrul unei evaluări standard, modelul a găsit informații publice online și a ghicit datele de autentificare pentru a accesa site-uri pe care le credea parte din test. În toate aceste trei cazuri, modelul s-a oprit.”

Într-unul dintre episoade, compania fictivă din test avea același nume ca o companie reală; după ce a obținut involuntar acces la internet, modelul ar fi ghicit corect parola și ar fi intrat în serviciul companiei reale, potrivit Irregular, citată de Wall Street Journal. În celelalte două teste, modelul ar fi găsit depozite publice de cod care conțineau date de acces ale altor două companii și le-ar fi folosit pentru a intra în sisteme reale, conform Google.

Irregular a raportat incidentele către Google la finalul lunii iulie, după ce a descoperit că un model OpenAI intrase în sistemele Hugging Face, în cadrul unor teste separate menționate în articol.

De ce contează pentru companii: controlul testelor și obligația de notificare

Dincolo de episodul punctual, cazul pune presiune pe procedurile operaționale de testare: un „mediu închis” care ajunge online din greșeală poate transforma rapid un exercițiu intern într-un incident cu terți, chiar dacă nu sunt raportate pagube.

Google afirmă că s-a asigurat că cele trei firme vizate au fost înștiințate. În paralel, articolul notează că Anthropic și OpenAI au ales să dezvăluie voluntar atacurile atribuite modelelor lor, spre deosebire de Google.

Adkins a mai spus că episoadele „subliniază importanța antrenării modelelor puternice de inteligență artificială astfel încât să acționeze responsabil”.

Context: reacții politice și apeluri la încetinirea dezvoltării AI

Dezvăluirile legate de Anthropic și OpenAI l-au determinat pe senatorul independent Bernie Sanders să ceară companiilor să suspende dezvoltarea tehnologiei, argumentând că incidentele ar arăta că firmele nu-și mai pot controla propriile modele.

În același context, OpenAI ar fi oprit dezvoltarea modelelor sale timp de două săptămâni, iar directorul general al Anthropic, Dario Amodei, a pledat pentru o încetinire colectivă a dezvoltării, astfel încât modelele avansate să fie construite cu suficiente mecanisme de siguranță.