SK Telecom dezvoltă o soluție server AI CPU-NPU împreună cu Arm și Rebellions - Colaborarea vizează îmbunătățirea eficienței inferenței în centrele de date AI ale SK Telecom

SK Telecom își mută accentul pe inferență și eficiență energetică în centrele AI , printr-o soluție de server care combină procesoare CPU și acceleratoare NPU, dezvoltată împreună cu Arm și startup-ul Rebellions , potrivit The Elec . Miza este reducerea costurilor și creșterea competitivității operaționale în centrele de date pentru inteligență artificială, într-un moment în care industria se mută de la antrenarea modelelor la rularea lor în timp real. SK Telecom spune că a semnat pe 9 aprilie un memorandum de înțelegere cu Arm și Rebellions pentru colaborare pe infrastructură AI. În cadrul acordului, companiile vor dezvolta o soluție de server care integrează „Arm AGI CPU” cu viitorul NPU „RebelCard” al Rebellions, cu obiectivul de a îmbunătăți performanța la inferență (adică rularea modelelor AI pentru a genera răspunsuri/predicții). Soluția urmează să fie testată în centrele AI ale SK Telecom. De ce contează: inferența rulează continuu, iar energia devine cost Publicația notează că, pe măsură ce serviciile AI sunt livrate în timp real, accentul infrastructurii se mută de la „putere brută” către servicii rapide, eficiente ca preț și cu consum mai mic de energie. Cum sarcinile de inferență rulează continuu, eficiența energetică se traduce direct în costuri operaționale și, implicit, în competitivitate. În acest context, SK Telecom argumentează că, deși plăcile grafice (GPU) pot rula astfel de sarcini, ele pot fi ineficiente energetic pentru inferență, ceea ce alimentează interesul pentru cipuri specializate precum NPU-urile (unități de procesare neuronală), optimizate pentru acest tip de lucru. Cum arată arhitectura: CPU pentru „orchestrare”, NPU pentru calculele AI Soluția propusă pornește de la ideea de „calcul eterogen” (folosirea mai multor tipuri de procesoare în același sistem). În servicii AI reale, pe lângă calculele modelului, trebuie rulate și operațiuni generale precum: intrare/ieșire de date, comunicații de rețea, administrarea memoriei, programarea sarcinilor (workload scheduling). Conform articolului, CPU-urile gestionează aceste operațiuni generale și coordonarea sistemului, în timp ce NPU-urile se ocupă de inferență, pentru a crește eficiența și performanța ansamblului. Ce urmează: testare în centrele SKT și posibilă rulare a propriului model SK Telecom spune că intenționează să implementeze soluția în centrele sale AI pentru a verifica performanța și stabilitatea. Compania ia în calcul și operarea propriului model de tip „foundation model” (model de bază, antrenat pe volume mari de date și adaptabil la mai multe sarcini), A.X K1, pe noua platformă de server. [...]