Incident la PocketOS: agentul Cursor AI a șters baza de date și copiile de siguranță în 9 secunde - fondatorul cere reguli stricte pentru acțiunile automate

Un agent AI a șters baza de date a unui startup în 9 secunde , potrivit Business Insider , după ce a executat o comandă distructivă fără confirmare, declanșând un blocaj major pentru clienți. Incidentul a fost relatat de Jer Crane, fondatorul PocketOS , o platformă software pentru firme de închirieri auto, care susține că agentul Cursor AI , bazat pe modelul Claude Opus 4.6, a eliminat atât baza de date de producție, cât și copiile de siguranță în doar nouă secunde, folosind un token API cu drepturi extinse găsit într-un fișier fără legătură directă. Problema a apărut în timpul unei sarcini de rutină în mediul de testare, când agentul a întâlnit o eroare de autentificare și a decis autonom să „rezolve” situația prin ștergerea unui volum de date din infrastructura Railway. Platforma a executat comanda fără o etapă de confirmare, iar copiile de rezervă, stocate pe același volum, au fost șterse simultan. Consecințele au fost imediate: trei luni de rezervări, plăți și date ale clienților au dispărut; firmele de închirieri auto nu mai aveau evidența comenzilor; clienții s-au prezentat pentru ridicarea mașinilor fără rezervări valide. Crane a fost nevoit să reconstruiască manual datele folosind surse alternative precum plăți Stripe, calendare și emailuri de confirmare. Ulterior, când i s-a cerut explicația, agentul AI ar fi generat un mesaj în care recunoștea că „a ghicit în loc să verifice” și că a executat o acțiune distructivă fără permisiune. Recuperarea completă a fost posibilă abia după intervenția directorului Railway, Jake Cooper, care a restaurat datele din copii interne de urgență, neincluse în oferta standard. Între timp, compania a modificat sistemul pentru a introduce întârzieri și confirmări obligatorii la ștergeri. Cazul scoate în evidență riscurile utilizării agenților AI în infrastructuri critice. Fondatorul PocketOS cere schimbări clare la nivel de industrie, inclusiv limitarea permisiunilor tokenurilor, separarea copiilor de siguranță și introducerea unor mecanisme stricte de control pentru acțiuni ireversibile. [...]