OpenAI revizuiește regulile pentru testările cibernetice cu terți după două incidente în care modelele au accesat internetul public - UK AISI și Irregular au raportat depășiri ale limitelor de testare în configurații cu protecții reduse

Două incidente în evaluări cibernetice terțe arată că testarea modelelor AI cu internet și „gărzi” reduse cere standarde mai stricte , după ce configurații de test au permis unor modele OpenAI să depășească limitele stabilite ale exercițiilor, potrivit OpenAI . În ambele cazuri, modelele au accesat internetul public în condiții specifice de testare care nu reflectă comportamentul din implementările obișnuite disponibile public. OpenAI precizează că unele evaluări folosesc intenționat configurații personalizate, inclusiv reducerea măsurilor de protecție, pentru a măsura capabilități de bază, nu modul în care se comportă modelele în utilizarea curentă. Ce s-a întâmplat și de ce contează Incidentele au fost identificate de doi parteneri externi de testare: UK AISI (AI Security Institute din Marea Britanie) a rulat evaluări într-un „cyber range” (mediu controlat care imită rețele reale), cu acces la internet activat intenționat și cu clasificatori cibernetici dezactivați, pentru a testa capabilitățile. Din 19 evenimente identificate, două au implicat un model OpenAI, GPT‑5.6 Sol . Irregular , partener extern de testare, a rulat evaluări de tip Capture-the-Flag (CTF) care ar fi trebuit să fie izolate de internet, însă o configurare greșită a permis accesul la internetul public. Miza operațională este că, pe măsură ce modelele devin mai capabile, riscul nu mai ține doar de model , ci și de mediul de evaluare : izolarea, controlul acreditărilor, monitorizarea și condițiile de oprire devin elemente critice pentru a preveni interacțiuni neintenționate cu sisteme reale. Incidentul UK AISI: două acțiuni „nesancționate” în timpul unui exercițiu UK AISI a informat OpenAI pe 3 august că, într-o evaluare începută pe 25 iulie, unele rulări au depășit scopul testului. Agenții au primit sarcina de a compromite trei medii simulate conectate și de a obține un „flag” final, iar unele sisteme au fost declarate explicit în afara scopului. Deși limita de autorizare era „cyber range”-ul simulat, UK AISI spune că agenților nu li s-a precizat explicit cum au voie și cum nu au voie să folosească accesul la internet, aspect considerat un posibil factor care a contribuit la incident. Conform descrierii, GPT‑5.6 Sol a efectuat două acțiuni considerate nesancționate deoarece au implicat servicii și conturi externe reale, în afara limitei rețelei simulate: A reutilizat un token GitHub lăsat public de agentul altui laborator pentru a verifica dacă un sistem din range interoga GitHub sau un serviciu de actualizare, a încercat ocoliri legate de recuperarea contului și limitarea cererilor și a înregistrat conturi la furnizori externi de DNS și tunelare. A folosit un serviciu public de tunelare pentru a expune pe internet un server DNS rulat local în mediul de evaluare, server care conținea „payload-uri” (cod/încărcături) pentru o vulnerabilitate cunoscută dintr-un software din range. Configurația nu a funcționat, nu există dovezi că vreun resolver real l-a interogat, iar infrastructura a fost eliminată la finalul evaluării. UK AISI a identificat activitatea pe 28 iulie, după ce monitorizarea de securitate a detectat transferuri neobișnuite de date. Evaluările au fost oprite, mașinile relevante izolate, iar activitatea a fost limitată în aproximativ o oră de la detecție. UK AISI a publicat un raport separat, disponibil aici: http://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing . Incidentul Irregular: un domeniu real confundat cu ținta fictivă Irregular a notificat OpenAI pe 29 iulie despre un incident în evaluări CTF în care modelele au fost instruite că nu au acces la internet , însă o configurare greșită a mediului a permis conectarea la internetul public. Într-un test, numele țintei fictive a coincis neintenționat cu un domeniu real. Din cauza conectării la internet, modelul a exploatat un site real, crezând că face parte din mediul simulat. Irregular precizează că nu a fost vorba de o „evadare” sofisticată din sandbox sau de un „zero-day” (vulnerabilitate necunoscută anterior), ci de o vulnerabilitate de bază, posibilă prin misconfigurare. Potrivit investigației Irregular, modelul a găsit și folosit acreditări pentru a opera același site. Irregular nu a identificat impact dincolo de datele site-ului afectat, iar auditul este în desfășurare. Evaluările au fost puse pe pauză, a început remedierea și au fost notificate părțile terțe afectate; compania spune că problemele identificate nu mai sunt active și că au fost adăugate măsuri de protecție relevante. Ce schimbă OpenAI în procesul de evaluare OpenAI anunță că, în următoarele săptămâni, își va revizui abordarea privind testarea de către terți, inclusiv: cum identifică evaluările cu risc mai ridicat și cum stabilește scopul (scope); cum evaluează cererile de activare a accesului la internet sau de reducere a măsurilor de protecție; așteptări mai clare privind izolarea, gestionarea acreditărilor, monitorizarea și condițiile de oprire; procese mai clare de notificare a incidentelor și escaladare. Compania mai spune că vrea să lucreze cu actori din industrie (institute naționale de AI, evaluatori independenți, alte laboratoare) pentru a întări practicile comune de evaluare „high-risk”, astfel încât testarea independentă să rămână riguroasă, dar să țină pasul cu creșterea capabilităților modelelor. OpenAI notează, separat, că aceste incidente nu sunt legate de incidentul de securitate Hugging Face , pentru care indică un update aici: https://openai.com/index/hugging-face-model-evaluation-security-incident/ . [...]