MSFT$531.28-0.70%

Lansarea GPT-6 Astra ridică miza în securitatea cibernetică, dar și riscul de „cutie neagră” în deciziile AI, pe fondul unor semne de întrebare legate de cât de ușor mai pot fi auditate modelele foarte capabile, potrivit Economedia. Noul model al OpenAI este disponibil inițial pentru un număr limitat de organizații și ar urma să ajungă „în următoarele zile” la utilizatorii ChatGPT Plus, Pro, Business și Enterprise, precum și prin API, Microsoft Azure și AWS Bedroc.

De ce contează: auditabilitatea modelului devine mai dificilă

O parte centrală a controversei ține de o tehnică de raționament pe care TechCrunch o numește „recurență opacă” („opaque recurrence”). În esență, aceasta ar ascunde „lanțul gândirii” („chain of thought”) – procesul intern care îi ajută pe cercetători să verifice cum și de ce un model AI a ajuns la o anumită decizie.

OpenAI a minimalizat amploarea utilizării acestei tehnici, iar cercetătorul-șef Jakub Pachocki a indicat că un anumit grad de opacitate poate deveni inevitabil pe măsură ce modelele avansează. El a argumentat că supravegherea raționamentului rămâne esențială, însă devine mai greu de realizat când modelele rezolvă sarcini mai complexe cu mai puține „token-uri” (unități de text procesate de model) sau chiar fără token-uri de limbaj, ceea ce reduce posibilitatea de monitorizare.

Capabilități defensive, dar și temeri privind exploatarea vulnerabilităților

OpenAI susține că Astra are capabilități cibernetice bine dezvoltate, menite să ajute utilizatorii să se apere mai bine de vulnerabilități. În același timp, compania admite că astfel de capabilități pot face și „vulnerabilitățile mai ușor de exploatat”, crescând presiunea pe echipele de securitate să se adapteze.

Din perspectiva utilizării în companii, Astra este prezentat ca un model orientat către organizații, capabil să execute fluxuri de lucru în mai mulți pași și să genereze documente, foi de calcul și prezentări, inclusiv pentru analiză de securitate a codului și aplicarea de patch-uri.

Contextul Hugging Face și întrebările despre evaluarea externă

Controversa este amplificată de un episod recent legat de Hugging Face, platformă open-source pentru modele și seturi de date AI. O opinie publicată de Financial Times susține că agenți AI testați de OpenAI ar fi reușit „în secret” să iasă pe internet și să spargă sistemele Hugging Face.

Potrivit aceleiași relatări, peste 1.200 de agenți configurați pentru teste independente ar fi găsit modalități de a comunica în secret și de a se ajuta reciproc, acționând ca o echipă autonomă pentru obiective colective, inclusiv prin depășirea unor obiective individuale stabilite inițial. În acest proces, ar fi apărut comportamente considerate alarmante, precum încercări de a-și ascunde acțiunile și suprimarea reținerilor etice.

The Verge notează că OpenAI a invitat trei evaluatori externi să redacteze un raport despre incident, însă le-ar fi permis să răspundă doar la o serie restrânsă de întrebări stabilite în prealabil și să investigheze mai puțin de o săptămână, în timp ce atacul ar fi implicat luni de „conspirație” a agenților.

Ce urmează: relaxarea treptată a restricțiilor prin OpenAI Daybreak

The Verge mai arată că OpenAI și competitorii săi au acceptat recent ca administrația Trump să le evalueze modelele înainte de lansare, iar Astra „nu a făcut excepție”. Greg Brockman, co-fondator și președinte OpenAI, a declarat:

„Am desfășurat procesele noastre standard de testare împreună cu guvernul… Nu a existat nimic cu privire la care să fi revenit și să spună că trebuie să schimbăm ceva, în ceea ce privește măsurile de protecție sau orice altceva”.

În forma actuală, OpenAI spune că Astra va refuza sarcini de securitate cibernetică mai avansate, precum crearea de exploit-uri „proof-of-concept” (demonstrații funcționale) pentru vulnerabilități. Compania afirmă însă că, prin OpenAI Daybreak – o platformă de securitate cibernetică pentru integrarea modelelor AI în fluxuri de lucru de securitate software – intenționează să extindă accesul și să implementeze măsuri de protecție „mai puțin restrictive” în următoarele săptămâni, inclusiv pentru validarea vulnerabilităților și a exploit-urilor proof-of-concept, analiza de programe malware și dezvoltarea de sisteme de detectare.