NVIDIA publică open-source un set de „skills” și instrumente pentru agenți de AI fizic - vizează reducerea costurilor și a timpului de dezvoltare pentru robotică, vehicule autonome și digital twins

NVIDIA își deschide către comunitate un set amplu de „skill-uri” și instrumente pentru agenți AI în zona de robotică, vehicule autonome și inspecție vizuală, cu promisiunea reducerii costurilor și a timpului de dezvoltare — potrivit NVIDIA News . Miza operațională este automatizarea unor fluxuri de lucru complicate (date sintetice, simulare, antrenare, evaluare, implementare) prin instrucțiuni repetabile pe care agenții le pot executa, astfel încât echipele să poată scala mai ușor proiecte de „physical AI” (AI care interacționează cu lumea fizică). Ce lansează NVIDIA și de ce contează pentru companii Colecția include „ physical AI skills ” (seturi de instrucțiuni optimizate, executabile de agenți) și instrumente „agent-ready” (apelabile de agenți) din ecosistemul NVIDIA, acoperind mai multe componente ale stivei sale tehnologice: physical AI skills (depozit open-source pe GitHub) NVIDIA Agent Toolkit (pachetul în care sunt integrate skill-urile) NVIDIA Cosmos (modele „world foundation” pentru raționament și generare legate de lumea fizică) NVIDIA Omniverse (simulare și „digital twins” – replici digitale ale unor sisteme reale) NVIDIA Isaac (simulare și învățare pentru roboți) NVIDIA Metropolis (analiză video/vision AI) NVIDIA Alpamayo și zona de autonomous driving (dezvoltare pentru vehicule autonome) NVIDIA Jetson (platformă pentru AI la marginea rețelei – „edge”, adică pe dispozitive locale) În paralel, NVIDIA indică și componente pentru construirea și rularea agenților în condiții de guvernanță (securitate/confidențialitate) pe infrastructură locală sau în cloud: NVIDIA NemoClaw și NVIDIA OpenShell . Unde se aplică: de la date sintetice la „digital twins” Publicația descrie cinci zone în care skill-urile ar putea comprima munca de la „setup” până la iterații și validare: Robotică și edge AI : accelerarea pipeline-ului complet, inclusiv generare de date pentru percepție și mobilitate, simulare, antrenare pentru navigație și reglaje pentru implementare pe Jetson. Vehicule autonome : reconstrucția datelor din flote în medii de simulare, generarea de scenarii fotorealiste la scară și rularea de învățare prin întărire în buclă închisă pentru acoperire mai mare la antrenare și evaluare. Agenți de vision AI în timp real : date sintetice, ajustarea fină a modelelor, etichetare automatizată și agenți care caută, rezumă și analizează video live sau înregistrat. AI industrial : conversia datelor de inginerie în active CAD pentru simulare de tip „digital twin” și optimizarea scenelor OpenUSD cu mai puțină configurare manuală. Sănătate : ghidarea agenților prin crearea de „digital twins” pentru medii spitalicești, generare de date „sim-to-real” și testare de politici software înainte de implementare. Exemple de impact operațional raportat: timp, efort și randament NVIDIA oferă câteva exemple punctuale de rezultate obținute de companii care folosesc aceste instrumente, în special în zona de inspecție vizuală și date sintetice: Pegatron a redus timpul de antrenare și implementare a modelelor cu 67% folosind date sintetice generate cu skill-ul „Defect Image Generation” (compania este menționată și cu link: Pegatron ). Delta Electronics a raportat o îmbunătățire a ratei de detecție cu 17% pentru identificarea excesului de lipire pe bare colectoare metalice, după generarea de date sintetice de defecte. Inventec a redus efortul de colectare a datelor de defecte cu 30% pentru producția de carcase de laptop, prin integrarea aceluiași skill. Foxconn , împreună cu DeepHow, ar fi crescut „first pass yield” (procentul de produse care trec din prima verificare fără reparații) cu aprox. 3% , prin detectarea mai timpurie a erorilor. În zona vehiculelor autonome, NVIDIA menționează că Li Auto, Afari și DeepRoute.ai folosesc modele Omniverse NuRec pentru reconstrucție de scene, cu peste 1.000 de reconstrucții și peste 300.000 de randări și simulări pe zi. Disponibilitate și integrare în cloud Instrumentele și skill-urile sunt disponibile „openly” prin GitHub și skills.sh, pentru utilizare cu „orice agent de programare”, potrivit sursei. NVIDIA mai spune că anumite skill-uri pentru generare de date sintetice (Neural Reconstruction, Video Augmentation, Defect Image Generation) pot fi testate pe NVIDIA Brev, ca medii preconfigurate („Launchables”). În plus, Microsoft, CoreWeave și Nebius sunt menționate ca integrând aceste skill-uri și instrumente cu serviciile lor cloud, pentru a ajuta dezvoltatorii să simplifice și să scaleze generarea de date sintetice și implementarea. [...]