Google DeepMind lansează Gemini Robotics ER 2 - modelul este disponibil prin Gemini API și Google AI Studio, cu focus pe orchestrare în timp real și colaborare între roboți

Google DeepMind deschide accesul dezvoltatorilor la Gemini Robotics ER 2 , un model de „raționament întrupat” gândit ca un „creier” de nivel înalt pentru roboți, care urmărește fluxuri video continue, orchestrează sarcini în mai mulți pași și poate coordona mai mulți roboți în același spațiu, potrivit Google Blog . Miza practică este reducerea blocajelor operaționale din robotică (pauze de tip „oprește-te și gândește”) și creșterea fiabilității în execuție, inclusiv prin latență sub-secundă pentru scenarii sensibile la timp. Ce se schimbă operațional: video continuu, autocorecție și colaborare între roboți Google descrie Gemini Robotics ER 2 ca un model care poate conversa cu oamenii, înțelege mediul fizic și planifica sarcini în mai mulți pași, apoi „predă” execuția motorie către un model de tip VLA (vision-language-action – modele care leagă percepția vizuală și limbajul de comenzi de acțiune). În plus, modelul poate apela nativ instrumente precum Google Search sau funcții definite de utilizator. Upgrade-ul față de versiunea anterioară (Gemini Robotics ER 1.6) este legat de utilizarea fluxurilor video continue: robotul își poate urmări progresul, se poate adapta când apar erori și știe când să treacă la pasul următor. O noutate separată este „multi-robot collaboration”, adică posibilitatea ca roboți diferiți să lucreze împreună în spații comune pentru fluxuri de lucru pe care un singur robot nu le-ar putea duce la capăt. Acces pentru dezvoltatori: API, AI Studio și preview pentru companii Modelul este disponibil public dezvoltatorilor prin: Gemini API Google AI Studio Pentru zona enterprise, Google spune că ER 2 este disponibil în „private preview” pe Gemini Enterprise Agent Platform . Compania publică și exemple de configurare și „prompting” (instrucțiuni pentru model) în notebook-uri, inclusiv pe GitHub . De ce contează latența: integrare cu Gemini Live API și demo pe Spot În robotică, viteza de execuție influențează direct siguranța și utilitatea. Google afirmă că ER 2 se integrează în Gemini Live API , printr-un endpoint de streaming bidirecțional optimizat pentru sarcini sensibile la latență, pentru a evita pauzele vizibile în orchestration. Ca exemplu, Google a construit un demo cu robotul Spot de la Boston Dynamics , în care ER 2 orchestrează Spot APIs (navigație și mișcarea manipulatorului) pentru a aduce obiecte la comandă în limbaj natural. Există și un set de exemple suplimentare pe GitHub . Măsurători publicate: progres în timp și „moment finding” Google susține că ER 2 aduce un salt în „înțelegerea video” și urmărirea progresului, pentru a verifica dacă sarcini precum strângerea unui bec sau legarea unui sac de gunoi sunt finalizate corect înainte de a trece mai departe. În evaluările descrise: la „progress classification” (încadrarea fiecărui cadru video într-un nivel de progres 0–20%, 20–40%, 40–60%, 60–80%, 80–100%), modelul atinge 57,4% acuratețe ; la „moment finding” (identificarea exactă a cadrului în care are loc un eveniment critic, de exemplu când trebuie oprit turnatul cafelei), Google indică 91,3% acuratețe și 0,96 secunde distanță medie absolută; compania afirmă și 4x viteză de execuție și „o fracțiune” din costul de calcul față de categorii mai mari de modele, fără a detalia baza de comparație. Siguranță: oprire lângă oameni și un nou benchmark Google afirmă că ER 2 este „cel mai sigur” model al său în această categorie, cu îmbunătățiri pe benchmark-uri de „Safety Instruction Following” și „Human Proximity”. Un exemplu menționat este oprirea unui robot umanoid când o persoană este în apropiere și reluarea autonomă a activității doar după eliberarea zonei. Compania anunță și introducerea unui benchmark care evaluează capacitatea unui model de bază de a acționa ca orchestrator VLA „sigur”, inclusiv prin impunerea constrângerilor de siguranță, monitorizarea mediului, evaluarea fezabilității fizice și solicitarea de clarificări umane. Ce urmează Google spune că intenționează să împingă aceste modele către sarcini și mai complexe, cu obiectivul de a accelera dezvoltarea roboților „utili” și de a sprijini comunitatea de robotică. Pentru detalii tehnice, compania trimite la pagina de model: Gemini Robotics ER 2 și la contextul versiunii anterioare: Gemini Robotics ER 1.6 . [...]