Anthropic cere o „pauză” globală în dezvoltarea AI de frontieră - compania invocă riscul de „auto-îmbunătățire recursivă”, dar recunoaște că ar fi greu de impus

Anthropic cere o pauză globală în dezvoltarea „AI de frontieră” , susținând că tehnologia se apropie de un prag în care ar putea scăpa de sub control, potrivit Futurism . Compania spune că modelele sale din familia Claude ar putea evolua spre „auto-îmbunătățire recursivă” (capacitatea unui sistem de a se îmbunătăți singur), un scenariu ipotetic care ar crește riscul ca sisteme foarte puternice să acționeze în afara intereselor umane. Într-o postare amplă pe blog publicată joi, Anthropic afirmă că nu s-a ajuns încă la acest punct, dar avertizează că momentul „ar putea veni mai repede decât sunt pregătite majoritatea instituțiilor”. Compania pledează pentru posibilitatea de a încetini sau opri temporar dezvoltarea celor mai avansate modele, astfel încât „structurile societale” și cercetarea privind „alinierea” (adică metodele prin care comportamentul unui model este făcut compatibil cu obiectivele și valorile umane) să țină pasul cu progresul tehnologic. O pauză globală, greu de aplicat și de verificat Anthropic admite că o încetinire „semnificativă” ar necesita un acord între mai multe laboratoare bine finanțate, din mai multe țări, care să se oprească „în aceleași condiții” — un aranjament pe care compania îl descrie ca dificil de impus. În text este invocată și problema verificării: „antrenările” (rulările de instruire a modelelor) ar fi mult mai ușor de ascuns decât infrastructura militară clasică. Miza competitivă: cine ar câștiga dintr-o frână trasă acum Materialul notează că apelul la pauză vine într-un moment favorabil pentru Anthropic: în ultimele luni, compania ar fi depășit OpenAI și ar fi ajuns „cel mai valoros” startup de AI, la o evaluare de 1 trilion de dolari (aprox. 4,6 trilioane lei). În același timp, modelele sale sunt descrise ca fiind, în percepția generală, cele mai bune din domeniu, mai ales la sarcini de programare — ceea ce ar însemna că o încetinire a industriei „i-ar cimenta dominația”, dacă ar avea loc acum. Nu toată lumea acceptă însă argumentația companiei. Criticul de AI Gary Marcus califică postarea drept un „bait and switch” (o tactică prin care promiți un lucru, dar livrezi altceva), susținând că Anthropic încearcă să inducă teamă, deși ar fi demonstrat în esență „doar programare mai rapidă”, sub control uman. „Un instrument de programare mai rapid probabil nu va sfârși lumea”, a scris Marcus, citat de publicație. Contextul de credibilitate: „siguranță” vs. utilizări militare și de securitate Futurism plasează apelul la pauză în contextul unei imagini publice pe care Anthropic ar fi cultivat-o de ani buni — aceea de actor „etic” și prudent. În același timp, articolul amintește mai multe episoade care ar submina această poziționare: o dispută cu Pentagonul legată de riscul folosirii AI în armament autonom și supraveghere în masă, precum și informația apărută ulterior că Claude ar fi fost utilizat pentru a ajuta la selectarea țintelor de lovire în Iran. În plus, este menționat că, pe fondul conflictului cu armata, Anthropic ar fi renunțat la un angajament de siguranță: să oprească antrenarea unui sistem AI dacă nu poate garanta existența unor „balustrade” (măsuri de protecție) adecvate. Profesorul Steven Murdoch (University College London) este citat spunând că definiția companiei despre siguranța AI ar fi „îngustă”, invocând o relatare a Financial Times potrivit căreia Anthropic ar ajuta Agenția Națională de Securitate a SUA (NSA) să folosească modelul Mythos pentru operațiuni de război cibernetic împotriva unor potențiali adversari precum China și Iran. Murdoch a făcut declarația pentru The Guardian, conform articolului. Ce urmează Indiferent dacă o pauză globală este realistă, Anthropic spune că va continua demersurile: în lunile următoare, compania intenționează să organizeze discuții cu factori de decizie, cercetători, societatea civilă și alte companii de AI, axate pe întrebări legate de „auto-îmbunătățirea recursivă” și pe opțiuni de coordonare. Anthropic afirmă că va publica rezultatele acestor conversații. [...]