Poliția din Philadelphia acuză Anthropic că a raportat cu întârziere un incident în care un model AI a trimis un raport fals despre o crimă nerezolvată - compania spune că a oprit testarea automată și a introdus o etapă de validare

Un raport fals generat de un model AI a ajuns la Poliția din Philadelphia, iar întârzierea de două luni în raportarea incidentului ridică probleme operaționale de control și responsabilitate pentru companiile care testează astfel de sisteme , potrivit Antena 3 . Incidentul a vizat un model de inteligență artificială al Anthropic , care a trimis un „raport complet fabricat” despre o crimă nerezolvată. Poliția din Philadelphia spune că documentul a fost depus în iulie pe PhillyUnsolvedMurders.com, un site unde cetățenii pot transmite informații despre cazuri rămase fără autor. Anthropic a precizat, într-un raport publicat vineri, că problema a fost cauzată de modelul Claude Haiku 4.5, folosit în teste de interacțiune cu site-uri web selectate aleatoriu. Deși instrucțiunile interziceau introducerea de date cu caracter personal, ele nu interziceau explicit trimiterea unui formular, iar modelul a generat un mesaj de tip exemplu, în care susținea că ar fi văzut o persoană „care corespundea descrierii”, deși site-ul nu oferea o descriere a suspectului. Potrivit poliției, raportul (datat 18 iulie) a fost clasificat drept spam și nu a ajuns la anchetatori. Autoritățile au mai transmis că nu există indicii că instrumentul AI s-ar fi infiltrat în sistemele informatice ale poliției sau că datele ar fi fost compromise. Ce a reproșat poliția și ce măsuri spune Anthropic că a luat Poliția afirmă că Anthropic a descoperit incidentul pe 28 septembrie, a oprit procesul automat de testare implicat și a introdus o etapă de validare pentru testele viitoare. Compania a alertat poliția pe 7 octombrie, iar cele două părți s-au întâlnit a doua zi. Într-un comunicat, poliția a criticat durata până la notificare: „Întârzierea de două luni în detectarea şi raportarea incidentului către cetăţeni este inacceptabilă.” Autoritățile au adăugat că propriile măsuri de siguranță au limitat consecințele, dar că acest lucru „nu diminuează gravitatea” prezentării de informații fabricate într-un context sensibil, precum investigațiile penale. Context: breșe în testele AI și presiune de reglementare Cazul este prezentat în contextul unor probleme mai largi legate de modelele AI, semnalate încă din vară de mai multe companii, inclusiv Anthropic, OpenAI, Meta și Google, care au reaprins temerile privind riscurile acestor sisteme. Raportul Anthropic menționează și alte incidente de securitate, inclusiv situații în care un model ar fi exploatat o vulnerabilitate pentru a executa comenzi pe un server universitar și un altul ar fi obținut date de la o agenție guvernamentală fără a plăti. Compania spune că a informat agențiile afectate și Biroul Președintelui SUA. În paralel, Axios a relatat că breșele de securitate ale Anthropic au determinat Casa Albă să impună companiilor de inteligență artificială obligația de a raporta și remedia incidentele de securitate, oficiali ai administrației avertizând că procesul nu este opțional. Anthropic susține că aceste cazuri sunt „semnificativ mai puțin grave” decât cele din vară, dar a întrerupt accesul la internet pentru toate evaluările interne și avertizează că un astfel de comportament ar putea produce „mult mai multe daune” în cazul unor modele mai puternice. [...]