Anthropic cere o „pedală de frână” pentru AI, avertizând că industria se apropie de momentul în care modelele ar putea începe să se îmbunătățească singure, ceea ce ar crește riscul pierderii controlului asupra acestor sisteme, potrivit HotNews.

Avertismentul vine dintr-o postare pe blogul companiei, semnată de Marina Favaro, directoarea Institutului Anthropic, și Jack Clark, cofondator al Anthropic. Ei susțin că modelele de inteligență artificială evoluează atât de rapid încât ar putea ajunge „în curând” să se dezvolte fără intervenția omului.

Ce înseamnă „autoperfecționarea recursivă” și de ce contează

Cei doi descriu un scenariu în care sistemele ar deveni capabile să-și construiască „propriii succesori” – concept numit „autoperfecționare recursivă completă”. În această situație, spun ei, miza se mută pe capacitatea de a securiza, monitoriza și modela comportamentul AI, pentru că riscul ca oamenii să piardă controlul ar crește.

În același timp, Anthropic afirmă că o astfel de evoluție ar putea aduce beneficii majore, inclusiv pentru știință și sănătate, dar tocmai potențialul ridicat face ca riscurile să fie mai greu de gestionat.

Ce măsuri propune Anthropic pentru a reduce riscurile

În evaluarea companiei, industria este „mult mai aproape” de acest prag decât se estima inițial. De aici și recomandarea ca firmele de tehnologie să ia în calcul:

• încetinirea sau chiar suspendarea dezvoltării de vârf în AI, pentru a oferi timp cercetătorilor să înțeleagă mai bine efectele negative posibile asupra societății;
• crearea unui mecanism care să permită intervenția oamenilor dacă lucrurile „scapă de sub control”.

Într-un interviu pentru CNN, Jack Clark a folosit o metaforă pentru a descrie lipsa instrumentelor de control:

„Când mă uit la mașina pe care o conduc, nu văd decât pedala de accelerație. Nu am pedală de frână, iar cu siguranță, la un moment dat în viitor, s-ar putea să ne dorim această opțiune.”

Contextul complet al argumentației este detaliat pe blogul companiei, în materialul despre „recursive self-improvement”, publicat de Anthropic: blogul.