Nick Cammarata, fost cercetător OpenAI, susține că „neuronii” din rețelele IA pot fi interpretați - posibilă schimbare de direcție pentru metodele de siguranță și control al modelelor

Un raport care susține că „neuronii” din modelele de inteligență artificială pot fi interpretați ar putea schimba modul în care companiile testează și controlează riscurile IA , într-un moment în care cercetătorii avertizează că unele sisteme ar putea să-și ascundă intențiile, potrivit Știrile Pro TV . Miza este una operațională: dacă „interiorul” rețelelor neuronale devine mai ușor de înțeles, inginerii ar putea avea instrumente mai bune pentru a verifica ce se întâmplă între datele de intrare și răspunsurile generate de model, nu doar pentru a evalua rezultatul final. Materialul citează Business Insider , care notează că, până recent, o parte din eforturile de siguranță s-au bazat pe „raționamentul în lanț” – adică explicațiile pas cu pas pe care IA le oferă despre cum a ajuns la un răspuns. Ce propune raportul și de ce contează pentru „controlul” IA Autorul raportului este Nick Cammarata, cercetător independent care spune că a părăsit OpenAI în 2023. El susține că rețelele neuronale ale IA pot fi „inteligibile” dacă sunt analizate suficient de atent și oferă un exemplu: un singur „neuron” ar putea reacționa atât la o pisică, cât și la partea din față a unei mașini, pentru că modelul identifică o trăsătură comună (de pildă, o formă triunghiulară). În acest context, Cammarata afirmă că o mare parte din rețea ar putea fi interpretabilă, contrar ideii mai vechi că acești „neuroni” nu pot fi descifrați. În termeni simpli, discuția este despre cât de mult pot înțelege oamenii mecanismele interne ale unui model antrenat, nu programat cu instrucțiuni explicite pentru fiecare situație. Limita metodelor actuale: IA ar putea „ascunde” raționamentul vizibil Articolul indică și o vulnerabilitate pentru abordările curente de siguranță: Jakub Pachocki , omul de știință șef al OpenAI, a avertizat luna trecută că agenții IA ar putea să își ascundă raționamentul vizibil, ceea ce ar lăsa deschisă posibilitatea ca un agent să mintă. În acest cadru, o metodă care ar permite „citirea” mai directă a modului în care reacționează neuronii la stimuli ar putea deveni relevantă pentru echipele care încearcă să se asigure că oamenii păstrează controlul asupra modelelor. Reacții în industrie: „Greu de supraestimat” Impactul potențial este reflectat și de reacțiile din comunitate. Andrew Curran, prezentat drept analist IA, a scris pe X că renunțase să mai spere la un nivel real de interpretabilitate înainte de apariția „superinteligenței”, iar importanța unei astfel de evoluții ar fi „greu de supraestimat”. „Renunțasem de mult să mai sper la vreun nivel real de interpretabilitate înainte de apariția superinteligenței. M-am oprit din a scrie despre asta pentru cât de demoralizator era. Greu de supraestimat cât de mare poate fi acest lucru.” Materialul nu oferă, însă, o validare independentă a concluziilor raportului și nici detalii despre testarea lor în produse comerciale, astfel că rămâne de văzut în ce măsură aceste idei se vor traduce în instrumente utilizabile în practică pentru audit și siguranță IA. [...]