Mozilla spune că modelul AI Anthropic Mythos a identificat 271 de vulnerabilități în Firefox - compania susține că rezultatele au „aproape niciun fals pozitiv” datorită unui „agent harness” personalizat

Mozilla susține că a redus aproape la zero „zgomotul” din rapoartele generate de AI , după ce modelul Anthropic Mythos a identificat 271 de vulnerabilități în Firefox în două luni, cu „aproape niciun fals pozitiv”, potrivit Ars Technica . Miza operațională este scăderea masivă a timpului irosit de echipele de securitate pe verificarea unor alerte plauzibile, dar greșite – o problemă recurentă la folosirea modelelor de limbaj pentru analiză de cod. Mozilla a publicat joi o explicație „din culise” despre cum a folosit Mythos pentru a „scormoni” codul sursă Firefox și a găsi cele 271 de probleme de securitate. Compania spune că rezultatul nu vine doar din îmbunătățirea modelelor, ci și dintr-o piesă de infrastructură construită intern, un „harness” (un cadru de execuție care ghidează modelul prin pași și instrumente), adaptat specific proiectului Firefox. De ce contează: mai puține alerte false, mai mult timp pentru remedieri reale În trecut, inginerii Mozilla descriu experiențele cu detectarea asistată de AI ca fiind încărcate de „slop” – rapoarte de bug care „sună” credibil și pot apărea la scară mare, dar care, după verificare umană, conțin detalii „halucinate”. Consecința practică: dezvoltatorii ajung să investească mult efort pentru a tria și valida rapoarte care nu duc la vulnerabilități reale. În cazul Mythos, diferența majoră invocată de Mozilla este reducerea aproape completă a falselor pozitive, ceea ce ar schimba raportul cost-beneficiu al folosirii AI în securitatea aplicațiilor: mai puțină muncă de triere și mai multă muncă efectivă de remediere. Ce a schimbat Mozilla: „ agent harness ” integrat în fluxul de lucru al dezvoltatorilor Brian Grinstead, Mozilla Distinguished Engineer, a explicat că elementul distinctiv a fost folosirea unui „agent harness” – cod care „îmbracă” un model de tip LLM (model lingvistic de mari dimensiuni) și îl conduce printr-o serie de sarcini precise. În descrierea lui Grinstead, acest „harness”: îi dă modelului instrucțiuni concrete (de tipul „găsește un bug în acest fișier”); îi oferă instrumente (de exemplu, să poată citi/scrie fișiere și să ruleze evaluări de teste); rulează într-o buclă până la finalizarea sarcinii; îi oferă acces la aceleași unelte și la același „pipeline” folosit de dezvoltatorii Mozilla, inclusiv o versiune specială de Firefox folosită la testare. Mozilla subliniază și costul implicit: pentru ca un astfel de „harness” să fie util, este nevoie de resurse semnificative pentru personalizare în funcție de „semantica” proiectului, uneltele și procesele interne. Context: după scepticism, Mozilla încearcă să arate „fine print”-ul Articolul notează că, luna trecută, declarațiile CTO-ului Mozilla despre faptul că „zero-day-urile sunt numărate” au fost întâmpinate cu scepticism, tocmai din cauza tiparului frecvent în industrie: rezultate spectaculoase prezentate fără detaliile care ar tempera concluziile. Explicația tehnică publicată acum urmărește să arate ce anume a făcut diferența în practică – nu doar modelul, ci integrarea lui într-un cadru de lucru controlat și conectat la instrumentele reale de dezvoltare. Pentru companii, mesajul implicit este că performanța AI în detecția de vulnerabilități nu depinde doar de „model”, ci de investiția în integrare și automatizare, altfel riscul de a produce rapoarte greu de folosit rămâne ridicat. [...]