MSFT$484.48-2.84%NVDA$217.65-3.37%XAG/AUDA$93.12+3.31%

Richard Sutton avertizează că dependența de date sintetice poate împinge AI-ul într-o fundătură operațională, într-un moment în care marile laboratoare caută soluții rapide la epuizarea datelor „naturale” de antrenare, potrivit The Next Web. Câștigător al Premiului Turing 2024 (împreună cu Andrew Barto) pentru contribuțiile la „învățarea prin întărire” (reinforcement learning), Sutton numește pivotarea industriei către date sintetice „o mare greșeală”.

Declarația a fost făcută pe podcastul „Training Data” al Sequoia Capital, iar miza, dincolo de polemică, este una practică: dacă industria își bazează următoarea generație de modele pe date generate tot de modele, riscă să optimizeze pe o copie tot mai săracă a realității — cu efecte directe asupra calității produselor AI, mai ales în domenii care cer înțelegerea oamenilor și a lumii fizice.

De ce spune Sutton că „datele sintetice” sunt o soluție riscantă

Sutton își construiește critica pe două idei punctuale, nu pe o respingere totală a datelor sintetice.

1. Nu poți genera „sintetic” mintea altor oameni În formularea lui, „nu există nicio cale să avem date sintetice pentru mințile altor oameni”. Cu alte cuvinte, în zone precum comportament uman, preferințe, intenții sau motivații, datele fabricate riscă să reflecte presupunerile celui care le generează, nu realitatea.
2. Simulările lumii fizice sunt inevitabil incomplete Sutton argumentează că „lumea este infinit de complexă”, iar orice simulare este, în esență, microscopică față de realitate. Sub această idee stă ceea ce el numește „ipoteza lumii mari”: realitatea va fi mereu mai mare decât modelul pe care un agent îl are despre ea, deci orice simulator comprimă și pierde informație „din construcție”.

O a doua critică, mai subtilă, ține de guvernanță și decizie: cineva trebuie să aleagă ce date sintetice să fie generate, iar asta „strecoară” judecata umană înapoi în proces — exact tipul de intervenție pe care Sutton îl criticase în eseul său „The Bitter Lesson” (2019).

Presiunea din industrie: datele „naturale” se termină

Motivul pentru care companiile împing tot mai mult datele sintetice nu este contestat în material: potrivit unei estimări Epoch AI, stocul de text public generat de oameni (în jur de 300 de trilioane de tokeni) ar putea fi „consumat” integral între 2026 și 2032.

În consecință, laboratoarele improvizează deja:

• unele companii cumpără și taie cărți second-hand pentru a obține text de dinainte de 2022, pe ideea că materialele mai noi ar fi „contaminate” de conținut generat de AI;
• problema nu este limitată la limba engleză: laboratoare din China ar lovi același „zid” al datelor, mai devreme, în propriul ecosistem lingvistic.

Ce arată cercetarea: „colapsul modelului” nu e inevitabil, dar depinde de cum folosești datele sintetice

Materialul citează și literatura științifică: un studiu din 2024 publicat în Nature (Ilia Shumailov și coautori) a găsit degradare atunci când modelele sunt antrenate recursiv pe propriile ieșiri — fenomen numit „model collapse” (colapsul modelului).

Pe de altă parte, o lucrare semnată de Matthias Gerstgrasser, Rylan Schaeffer și coautori indică o nuanță importantă: colapsul depinde de situația în care datele sintetice înlocuiesc datele umane; dacă cele două se acumulează în paralel, efectul nu apare.

Practica din marile laboratoare: date sintetice la scară foarte mare

Dincolo de dezbatere, industria folosește deja date sintetice masiv. Exemplele din articol:

• Microsoft a antrenat Phi-4 pe aproximativ 400 de miliarde de tokeni sintetici, pe 50 de tipuri de seturi de date;
• Nvidia a publicat un corpus sintetic de pre-antrenare de circa 10 trilioane de tokeni pentru modelele Nemotron.

Totuși, chiar materialul notează că acestea sunt și domeniile unde obiecția lui Sutton „mușcă” cel mai puțin: matematica și codul au răspunsuri verificabile, spre deosebire de modelarea minții umane sau a sistemelor fizice complexe.

Alternativa propusă: „date experiențiale”, nu date fabricate

Sutton promovează „datele experiențiale” — adunate de un agent care acționează în mediul său, în loc să fie asamblate dinainte. Teza a fost formulată anterior împreună cu David Silver în lucrarea „Welcome to the Era of Experience” (aprilie 2025), dar acum este aplicată explicit ca replică la trendul datelor sintetice.

În același context, Sutton spune că limbajul ar reprezenta „poate un sfert” din inteligență, sugerând că progresul major ar veni din sisteme care învață continuu din interacțiune, nu doar din text.

La final, articolul menționează că Sutton și-a lansat propriul laborator (cofondat cu fostul său student Khurram Javed) și țintește un „mind” de ordinul unui trilion de parametri, care să nu se oprească din învățare și să ruleze la 20 wați, într-un orizont de cinci până la zece ani — o ambiție care, dacă se materializează, ar muta accentul industriei de la „date fabricate” la sisteme care își produc singure experiența.