AMZN$248.33+0.79%GAU/EUR€119.58+1.67%

Amazon Web Services împinge „modelele decizionale” în producție cu un model open-source, mai ieftin decât un LLM complet, într-un moment în care dezvoltatorii caută tot mai mult „inteligență” potrivită pentru automatizare, nu pentru conversație, potrivit TechCrunch. AWS a lansat Strands Decider 2B, un model inspirat de Jev (TypeSafe), gândit să aleagă rapid între opțiuni prestabilite și să ofere un scor de încredere pentru decizia luată.

Modelul, prezentat ca „high-speed” și „low-cost”, este complet open-source, disponibil imediat și suficient de mic pentru a rula local. Lansarea vine în aceeași săptămână în care OpenAI a anunțat o ofertă similară, semn că această categorie de modele — orientate pe decizie, nu pe generare de text — se aglomerează rapid.

De ce contează pentru companii: cost și latență mai mici în fluxuri „agentice”

Miza operațională este reducerea dependenței de modele mari de limbaj (LLM-uri) în pași de lucru unde nu e nevoie de capabilități „frontier” (cele mai avansate, dar și cele mai scumpe). Marc Brooker, „distinguished engineer” la Amazon, spune că nevoia a apărut în discuții cu clienți AWS, ale căror fluxuri de lucru cu agenți (agentic workflows) nu necesitau permanent un LLM complet.

În formularea lui Brooker, modelul funcționează ca un „decider” pentru un pas dintr-un workflow: alege „următorul lucru de făcut” în funcție de starea curentă, într-un domeniu închis de răspunsuri. El susține că scorurile de încredere și setul limitat de opțiuni pot face acest pas mai „fiabil”, cu latență mai mică și, potențial, costuri mai reduse.

„Ce mi-a stârnit inițial interesul la această clasă de modele a fost că sunt un decident perfect pentru un pas dintr-un flux de lucru — «care este următorul lucru pe care trebuie să-l fac aici, pe baza locului în care sunt?»”

Ce este Strands Decider și cum diferă de un LLM

Strands Decider este construit pe „torso”-ul unui LLM — în acest caz Qwen3.5-2B — însă, în loc să genereze text, livrează alegeri „calibrate” între opțiuni prestabilite. Cu alte cuvinte, este optimizat pentru selecție și evaluarea încrederii în selecție, nu pentru redactare sau dialog.

Proiectul a pornit ca o încercare personală a lui Brooker, după ce a văzut Jev și a încercat să-și construiască propria variantă. Potrivit articolului, prototipul a ajuns pentru scurt timp pe primul loc în clasamentul Jevbench pentru modele din categoria sa de dimensiune, după care inginerii Amazon l-au „curățat” și l-au publicat prin Strands Labs — o organizație care dezvoltă instrumente și protocoale pentru implementarea agenților AI.

Piața se aglomerează, dar avantajul nu e garantat

TechCrunch notează că zeci de modele similare au apărut după ce TypeSafe a lansat ideea Jev, ceea ce arată interesul, dar ridică și întrebarea cât de valoroase vor fi în practică. Brooker indică drept provocare găsirea unui echilibru: optimizarea deciziilor rapide fără a compromite „inteligența” modelului (precizia și calibrarea), dar și fără a-i eroda capacitatea generală (cunoaștere, înțelegerea limbilor).

„Există un echilibru foarte atent de găsit: vrei să-i împingi performanța pe acuratețe și calibrare pe aceste sarcini, fără să-i degradezi performanța în înțelegerea diferitelor limbi, în cunoașterea pe care o are — ceea ce îl face generalist, interesant și util.”

În același timp, Brooker nu se așteaptă ca „frontier labs” să domine neapărat acest spațiu, argumentând că, pentru piețe mai mici, costul de a construi „ceva interesant” poate fi de ordinul sutelor sau miilor de dolari.

Din perspectiva TypeSafe, CEO-ul și fondatorul Diogo Almeida spune că există percepția unui „gold rush”, dar că mulți ar subestima dificultatea de a face modelele cu adevărat inteligente și, deocamdată, nu vede competiție reală care să se contureze.

„Înțeleg că oamenii cred că e o goană după aur, dar s-ar putea să subestimeze dificultatea de a face modelele cu adevărat inteligente.”