NVIDIA începe producția de serie pentru acceleratorul de inferență Groq 3 LPX - Nebius este primul cloud AI care îl adoptă pentru tokenizare ultrarapidă

NVIDIA Groq 3 LPX a intrat în producție de serie, iar miza este accelerarea inferenței AI pentru „agenți” care trebuie să genereze rapid volume mari de text și să răspundă cu latență foarte mică, potrivit NVIDIA News . Compania poziționează noul accelerator ca extensie a platformei Vera Rubin, cu accent pe creșterea ratei de generare a „tokenurilor” (unități de text procesate de modele) în sarcini sensibile la întârziere, precum programarea asistată de AI. În testele de tip benchmarking realizate de Artificial Analysis, Groq 3 LPX a atins un record de 3.400 tokenuri de ieșire pe secundă, rulând Gemma 4 31B, un model „agentic” open-source, cu un context de 100.000 de tokenuri. NVIDIA susține că acesta este cel mai rapid rezultat înregistrat pentru modelul respectiv și că platforma oferă o „responsivitate” de 4 ori mai mare decât cea mai apropiată alternativă pentru agenți și alte sarcini cu latență critică. De ce contează: inferența devine „motorul” economic, iar viteza de generare e diferențiatorul NVIDIA își construiește argumentul în jurul faptului că sistemele „agentice” pot parcurge sute sau mii de pași de inferență și pot produce volume mari de tokenuri, ceea ce face ca viteza de generare să fie esențială pentru ca agenții să „raționeze”, să acționeze și să finalizeze sarcini complexe în timp real. În această logică, Groq 3 LPX este proiectat să crească interactivitatea platformei Vera Rubin NVL72 — adică ritmul în care sunt generate tokenurile pentru un utilizator individual, care determină cât de repede poate avansa agentul prin pașii unei sarcini. Într-o declarație inclusă în material, Jensen Huang, CEO-ul NVIDIA, leagă direct această direcție de cererea globală în creștere pentru capacitate de calcul AI și de rolul inferenței în extinderea utilizării modelelor lingvistice la scară. „Inferența este motorul de creștere al AI. (...) Vera Rubin (...) avansează frontiera performanței cu LPX pentru generare ultrarapidă de tokenuri.” Primii adoptatori: Nebius intră primul, Groq urmează Pe partea operațională, NVIDIA indică un prim val de adopție în zona de cloud AI. Nebius este prezentată drept prima companie de cloud AI care adoptă NVIDIA Groq 3 LPX și intenționează să îl aducă în Nebius Token Factory , platforma sa de inferență în producție, pentru a oferi dezvoltatorilor acces la viteze ridicate de generare a tokenurilor pentru aplicații „agentice”. Danila Shtan, CTO al Nebius, pune accent pe faptul că implementarea ar urma să fie disponibilă prin același API folosit deja de dezvoltatori, fără migrare la un „stack” (set de tehnologii) nou. „(...) facem ca fiecare pas din bucla unui agent să pară instant — prin același API pe care dezvoltatorii îl folosesc deja, fără migrare la un nou stack.” NVIDIA mai precizează că, după Nebius, furnizorul de cloud de inferență Groq plănuiește să fie printre cei mai timpurii adoptatori ai platformei. Context tehnic: cum se leagă Groq 3 LPX de platforma Vera Rubin Groq 3 LPX este descris ca un accelerator interactiv de inferență, construit pentru două provocări specifice „agentic AI”: procesarea eficientă a unor volume foarte mari de context; generarea de tokenuri cu latență extrem de redusă. În plus, NVIDIA plasează produsul în arhitectura mai largă a platformei Vera Rubin NVL72, menționând o abordare de „codesign” (proiectare integrată hardware-software) la nivel de rack și enumerând componente precum BlueField-4 DPU, rack-uri cu CPU Vera, stocare Vera BlueField-4 STX și rețelistică Spectrum-6 SPX Ethernet, cu obiectivul de a optimiza sisteme multi-agent pentru „throughput per watt” ridicat și inferență cu latență mică. [...]