AAPL$342.36+3.36%NVDA$186.68-10.50%

Apple a publicat detalii despre HALO, un sistem de control pentru roboți umanoizi care a rulat complet offline pe hardware integrat, cu rezultate raportate de 91% rată medie de succes în teste punctuale în medii reale necartografiate, potrivit iTHome. Miza pentru industrie este reducerea dependenței de servere externe (și de conectivitate) pentru execuția sarcinilor, ceea ce poate simplifica implementarea în teren și poate scădea costurile operaționale.

HALO este descris într-o lucrare încărcată pe arXiv pe 4 noiembrie (ora locală), intitulată „Perceptive Humanoid Motion from Simulation”, iar echipa Apple a publicat și codul pentru generarea datelor, antrenarea modelelor și implementare, acoperind generarea mișcărilor, urmărirea mișcărilor, orchestrarea sarcinilor și rularea în simulare și pe robot real.

Cum a fost făcută rularea „offline” pe robot

În etapa de implementare, echipa a folosit robotul umanoid G1 al companiei Unitree (YuShu Technology). Conform descrierii, pe robot a fost montată pe spate o carcasă de protecție printată 3D, în interiorul căreia a fost instalat un Mac mini cu cip M4 Pro și 64 GB memorie unificată.

Arhitectura de calcul a fost împărțită astfel:

• Mac mini a rulat inferența în timp real pentru componentele cu consum mare de calcul: Orchestrator (VLM – model vizual-lingvistic) și Motion Generator (DiT – model de tip diffusion pentru generarea mișcării).
• Cipul integrat al robotului G1 a rulat la frecvență înaltă componenta Tracker (rețea de politici RL – învățare prin recompensă), pentru controlul fin al mișcării.

Publicația notează că această împărțire a permis funcționarea complet autonomă, fără server extern, deci „offline”.

Rezultatele din testele în medii reale

În lucrare sunt raportate două tipuri de evaluări:

• Sarcini punctuale (single-task): 360 de teste în 6 medii reale care nu au fost scanate sau cartografiate în prealabil, cu rata medie de succes 91%.
• Sarcini compuse, pe secvențe lungi: într-un singur scenariu real, câte 10 teste pentru fiecare dintre 3 combinații, cu rata medie de succes 70%. Cea mai complexă combinație („aplecare pentru a trece pe sub obstacol – mers către țintă – împins o cutie”) a avut 5 reușite din 10, adică 50%.

Costul de calcul și limitele recunoscute de echipă

Pentru generarea principalelor date de antrenare, echipa ar fi folosit 250 de GPU Nvidia H100 timp de aproximativ 48 de ore. Pentru antrenare:

• generatorul de mișcare (imitation learning – învățare prin imitație) a folosit 64 de GPU B200;
• tracker-ul a fost antrenat prin pași care includ RL și „distilare de politici” (transferul comportamentului unui model mai mare către unul mai mic), folosind 4 GPU H100.

Lucrarea subliniază însă că datele generate în simulare nu elimină complet intervenția umană: adăugarea unor sarcini fizice noi ar necesita în continuare scriere manuală de prompturi și proiectarea unor „cadre-cheie” ale mișcării, iar unele acțiuni au folosit materiale video cu oameni sau captură de mișcare.

O limitare operațională importantă menționată este dependența predominantă de percepția vizuală: robotul nu poate „simți” direct contactul, iar când obiectele ies din câmpul camerei sau sunt obturate, performanța scade la sarcini cu multe interacțiuni fizice. Integrarea percepției tactile este indicată ca direcție de îmbunătățire.

Linkuri publicate de echipă

• Lucrarea pe arXiv: https://arxiv.org/abs/2611.06908
• Pagina proiectului: https://apple-aiml-research.github.io/ml-halo/
• Codul pe GitHub: https://github.com/apple-aiml-research/ml-halo