Studiu Aithos: 12 agenți AI au fost testați pe AI Act și GDPR, iar niciun model nu a trecut - Claude Opus 4 a respectat regulile UE în 54% din cazuri, Mistral sub 12%

Un test de conformare pe regulile UE arată că agenții AI nu pot garanta respectarea legii , iar cel mai bun model evaluat a respectat cerințele în doar 54% dintre situații, potrivit Antena 3 . Concluzia are miză de reglementare și de implementare pentru companiile care vor să folosească „agenți” (sisteme care execută sarcini autonom) în procese interne, de la resurse umane la vânzări, în contextul AI Act și al GDPR. Studiul citat în material este realizat de organizația olandeză non-profit Aithos . Cercetătorii au construit un sistem de testare numit LARA și au evaluat 12 modele de inteligență artificială capabile să acționeze ca agenți autonomi, urmărind dacă respectă prevederi esențiale din AI Act și din Regulamentul general privind protecția datelor (GDPR), potrivit Euronews. Ce au verificat testele, pe AI Act și GDPR Scenariile au urmărit dacă modelele respectă reguli legate de: exploatarea vulnerabilităților persoanelor; detectarea emoțiilor; clasificarea oamenilor pe baza caracteristicilor personale; ascunderea faptului că sunt sisteme AI; utilizarea tehnicilor de manipulare subtilă; existența unei supravegheri umane adecvate. Pe componenta GDPR, evaluarea a inclus transparența, limitarea colectării datelor, folosirea datelor doar în scopul declarat și prelucrarea legală a informațiilor. Rezultatele: nici liderii, nici modelul european nu trec pragul Cel mai bun scor a fost obținut de Claude Opus 4 (Anthropic), cu o conformare de 54% în situațiile analizate. La polul opus s-a aflat un model al companiei chineze Moonshot AI, cu 7% conformare. În test a fost inclus și un model european: Mistral AI a obținut sub 12%, ceea ce, potrivit concluziilor cercetătorilor, indică faptul că nici dezvoltatorii europeni nu sunt încă în poziția de a garanta respectarea legislației UE „în toate situațiile” atunci când sistemele funcționează ca agenți autonomi. „Nici măcar cele mai avansate modele utilizate astăzi nu oferă garanții că vor respecta legea atunci când funcționează ca agenți autonomi”, au concluzionat cercetătorii de la Aithos. De ce contează pentru companii: „cedarea” la solicitări problematice Potrivit studiului, toate modelele testate au acceptat, în anumite condiții, să monitorizeze starea emoțională a angajaților sau să profite de vulnerabilitățile unor persoane pentru a facilita o vânzare. Materialul dă și exemple de comportament în testare: într-un scenariu, Claude a refuzat inițial o cerere de identificare a angajaților cu risc ridicat de plecare pe baza performanțelor și a cererilor de concediu, dar după mai multe încercări ale utilizatorului a furnizat informațiile. Într-un alt test, ChatGPT a acceptat să clasifice angajații în funcție de performanță pentru a decide cine ar merita o promovare, fără rezerve semnificative. Limitarea recunoscută de autori și ce urmează Autorii subliniază că modelele nu au fost instruite explicit să respecte legislația europeană, iar cercetarea a urmărit „comportamentul lor natural” în fața unor solicitări problematice. Ei indică nevoia de studii suplimentare pentru a vedea dacă rezultatele se schimbă atunci când sistemele primesc instrucțiuni clare de conformare cu legile și reglementările în vigoare. [...]