O echipă condusă de Huawei susține că a post-antrenat modelul DeepSeek V4-Pro (1,6 trilioane de parametri) pe cipuri Ascend 910C - cluster de cel puțin 1.000 de acceleratoare, fără benchmark-uri publice

O echipă care include Huawei susține că a rulat post-antrenarea completă a unui model de 1,6 trilioane de parametri pe cipuri chinezești , un pas important dacă se confirmă pentru capacitatea Chinei de a muta sarcini de tip „training” de pe hardware Nvidia, în contextul restricțiilor americane la export, potrivit Tom's Hardware . Grupul de cercetare ar fi finalizat post-antrenarea „full-parameter” (adică actualizarea tuturor „greutăților”/parametrilor modelului, nu doar adăugarea unui strat subțire de adaptare) pentru DeepSeek V4-Pro, un model cu 1,6 trilioane de parametri. Ar fi fost folosit un cluster de cel puțin 1.000 de acceleratoare Huawei Ascend 910C , conform guvernului municipal din Shenzhen, informație relatată de South China Morning Post . În proiect ar fi fost implicate, pe lângă Huawei Technologies, Shenzhen Loop Area Institute, campusul din Shenzhen al Harbin Institute of Technology și Shenzhen Research Institute of Big Data. De ce contează: „training”-ul rămâne veriga dificilă fără Nvidia Miza nu este inferența (momentul în care un model deja antrenat răspunde la întrebări), unde cipurile chinezești au fost descrise ca fiind mai competitive, ci partea de „training”, unde se recalculează parametrii pe seturi mari de date. Publicația notează că acesta este segmentul din lanțul AI unde companiile chineze au avut cele mai mari dificultăți să se desprindă de Nvidia, pe fondul controalelor de export impuse de SUA. Ascend 910C este prezentat ca acceleratorul AI de vârf al Huawei, un cip „dual-die”. În teste anterioare citate de Tom’s Hardware, Ascend 910C ar fi atins aproximativ 60% din performanța de inferență a unui Nvidia H100 (context disponibil și în materialul dedicat Ascend 910C din Tom’s Hardware). Ce spune și ce nu dovedește afirmația Tom’s Hardware subliniază că post-antrenarea este, în esență, etapa de „ajustare” care urmează pre-antrenării (faza mult mai mare, care construiește capabilitățile de bază ale modelului). Documentația DeepSeek ar plasa corpusul de pre-antrenare al V4-Pro la peste 32 de trilioane de tokeni. Chiar dacă post-antrenarea completă pe Ascend ar fi un rezultat real pentru platformă, publicația avertizează că asta nu demonstrează automat că aceleași cipuri pot pre-antrena „de la zero” un model de vârf („frontier model”), sarcina mai grea și mai costisitoare. Lipsa datelor și istoricul recent ridică semne de întrebare Materialul atrage atenția că afirmația din Shenzhen nu include: rezultate de tip benchmark (teste standardizate de performanță); durata rulării; comparații cu aceeași sarcină pe hardware Nvidia; date despre eficiența utilizării clusterului de 1.000 de cipuri. În plus, Tom’s Hardware amintește că, în august, s-a relatat că DeepSeek nu ar fi reușit să finalizeze nici măcar o rulare de antrenare pentru modelul R2 pe cipuri Ascend, invocând performanță instabilă, interconectare lentă între cipuri și lacune în stiva software CANN (alternativa Huawei la CUDA de la Nvidia). În acel context, DeepSeek ar fi revenit la GPU-uri Nvidia pentru antrenare și ar fi lăsat Ascend pentru inferență. DeepSeek V4-Pro, lansat în aprilie, este descris ca primul model DeepSeek construit „în jurul Ascend” încă de la început. Totuși, publicația notează că DeepSeek nu a comentat public afirmația privind post-antrenarea completă, iar lipsa unor dovezi tehnice o face dificil de verificat independent. [...]