OpenAI prezintă Jalapeño, primul său cip personalizat pentru inferență, dezvoltat cu Broadcom - compania vizează reducerea costurilor de rulare și a dependenței de GPU-urile Nvidia

OpenAI își atacă costurile de rulare ale modelelor printr-un cip propriu pentru „inference” (executarea modelelor deja antrenate), dezvoltat împreună cu Broadcom, într-o mișcare care poate reduce dependența companiei de plăcile grafice Nvidia și poate îmbunătăți economia serviciilor sale, potrivit TechCrunch . Procesorul, numit Jalapeño , este descris ca primul cip personalizat al OpenAI pentru inferență, proiectat și fabricat în colaborare cu Broadcom. Compania spune că propriile sale modele de inteligență artificială au ajutat la dezvoltarea cipului. Deși Jalapeño este încă în testare, OpenAI afirmă că rezultatele timpurii indică o performanță „semnificativ mai bună per watt” față de alternativele de vârf existente. În practică, o eficiență energetică mai bună poate însemna costuri mai mici pentru a rula modele în timp real, acolo unde cererea este continuă și volumul de solicitări este mare. De ce contează: inferența e o linie majoră de cost OpenAI poziționează Jalapeño ca un cip optimizat pentru inferență, adică pentru răspunsul la comenzi ale utilizatorilor folosind modele deja construite. În anunț, compania a pus accent pe costul redus de operare atunci când rulează modele de programare în timp real. TechCrunch notează că sarcinile mai intensive, precum pre-antrenarea (pre-training), ar urma probabil să rămână pe hardware Nvidia, însă chiar și reduceri mici ale costurilor de inferență pot avea un efect vizibil asupra profitabilității. Context: aceeași direcție ca Google și Amazon Parteneriatul OpenAI–Broadcom fusese anunțat oficial în octombrie, iar planurile OpenAI privind cipuri proprii au fost discutate de mai mult timp ca soluție pentru a reduce dependența de GPU-urile Nvidia. În același timp, Google și Amazon au mers pe o strategie similară, dezvoltând cipuri dedicate pentru accelerarea sarcinilor de învățare automată („acceleratoare AI”) — de exemplu, TPU la Google și Trainium la Amazon. Ce urmează: optimizare „pe tot stack-ul”, dar cipul e încă în testare Președintele OpenAI, Greg Brockman , a explicat într-un episod al podcastului intern al companiei că abordarea pornește de la înțelegerea detaliată a sarcinilor de lucru și de la identificarea zonelor „insuficient deservite”, unde un cip dedicat poate accelera semnificativ execuția. În mesajul companiei, OpenAI își descrie strategia ca o optimizare la nivelul întregii infrastructuri — de la arhitectura cipului și componente software de bază (precum „kernels”, adică rutine optimizate care rulează pe hardware) până la rețelistică, planificarea rulărilor și sistemele de implementare. Totuși, Jalapeño nu este încă un produs confirmat ca fiind în producție la scară largă: deocamdată, OpenAI spune doar că îl testează și că are rezultate preliminare promițătoare. [...]