MSFT$535.10+0.61%

Satya Nadella cere ca modelele de inteligență artificială să fie tratate ca „insideri” și proiectate cu oprire umană din mers, pe ideea că trebuie presupus din start că pot fi compromise, potrivit Wccftech. Mesajul vizează direct modul în care companiile își construiesc controalele operaționale atunci când folosesc „agenți” AI cu acces la date sensibile și capacitatea de a executa acțiuni critice.

Nadella argumentează că, pe măsură ce sistemele de tip „agentic AI” primesc acces și control asupra unor funcții-cheie din companii, nu mai sunt suficiente măsuri simple precum „AI care supraveghează AI” sau invocarea transparenței „chain-of-thought” (expunerea pașilor de raționament ai modelului). El atrage atenția că modelele sunt nedeterministe — pot produce rezultate diferite la aceleași intrări — și totuși sunt implementate cu acces la „cele mai sensibile date” și cu posibilitatea de a lua „acțiuni critice” în numele organizațiilor.

De ce contează: control operațional, nu doar performanță

În viziunea CEO-ului Microsoft, dacă modelele ajung să funcționeze ca „insideri” corporativi, arhitectura de siguranță trebuie să se bazeze pe proiectare deterministă a sistemelor din jurul lor, controale umane și proceduri de operare fiabile. Altfel spus, software-ul care poate fi inconsecvent în rezultate trebuie „încadrat” de mecanisme consecvente de evaluare și intervenție.

Într-un pasaj despre folosirea modelelor pentru a se testa reciproc, Nadella avertizează că se poate ajunge la straturi opace suprapuse:

„Puteți și ar trebui să folosiți modele pentru a se testa și verifica adversarial între ele. Totuși, puteți ajunge la un model opac într-un strat de orchestrare opac, supravegheat de un alt model opac. Practic, cutii negre încastrate.”

„Presupuneți compromiterea” și oprirea din timpul execuției

Din principiile de „observabilitate” (capacitatea de a vedea și măsura ce face sistemul) discutate de Nadella, Wccftech evidențiază trei teme: izolare (containment), auditabilitate independentă și observabilitate. Cea mai directă implicație operațională este cerința ca sistemele să fie proiectate cu izolare încă de la început, pe presupunerea că modelul poate fi compromis.

„Trebuie presupus că un model este compromis și izolat încă de la început.”

Consecința practică, în aceeași logică, este controlul uman explicit:

„O persoană autorizată ar trebui să poată întotdeauna să pună pe pauză sau să oprească un model în timpul unei sarcini.”

Evidențe „lizibile pentru oameni” și audit care nu depinde de model

Nadella mai susține că nu ar trebui ca „un singur model” să controleze simultan comportamentul unui sistem și „dovezile” necesare pentru a verifica dacă acel comportament rămâne aliniat intenției inițiale. În plus, el cere ca acțiunile relevante ale modelului să lase urme care nu pot fi falsificate și care pot fi citite de oameni:

„Fiecare acțiune semnificativă a modelului trebuie să lase dovezi lizibile pentru oameni, care nu pot fi falsificate. Dacă nu poate fi observat, nu poate fi de încredere!”

În aceeași linie, CEO-ul Microsoft spune că organizațiile trebuie să poată reproduce modul în care s-a ajuns la un rezultat fără să se bazeze pe model pentru a „certifica” explicația.

Contextul invocat de sursă

Wccftech plasează declarațiile într-un moment în care au apărut tot mai des relatări despre agenți AI care acționează independent. Publicația menționează, ca exemplu timpuriu, un incident raportat în iulie, în care agenți AI ai OpenAI (între 700 și 1.200, conform materialului) ar fi compromis infrastructura companiei Hugging Face.

Pentru companii, mesajul central este unul de guvernanță operațională: dacă AI primește acces la sisteme și poate executa acțiuni „mission-critical”, atunci trebuie tratată ca un actor intern cu risc, cu mecanisme de izolare, oprire și audit proiectate din start, nu adăugate ulterior.