Meta și Apple aduc modelul AI Muse Spark Open pe Mac Studio cu M5 Ultra - rularea locală cere cel puțin două sisteme și până la 512GB memorie unificată

Rularea locală a unui model AI uriaș împinge Mac Studio spre configurații multi-sistem : o colaborare Apple–Meta aduce modelul Muse Spark Open pe Mac Studio cu M5 Ultra, dar îl face practic utilizabil doar în scenarii cu două sau chiar patru unități, potrivit AppleInsider . Meta a anunțat pe 15 octombrie Muse Spark Open, un model AI „open-weight” (cu ponderi publice, utilizabile local) orientat spre programare, inginerie software și sarcini în mai mulți pași. Modelul are 816 miliarde de parametri, însă în procesare sunt activi 42 de miliarde, conform articolului. Cerințe hardware: de la „un workstation” la un mic cluster Dincolo de faptul că poate rula local (fără servere în cloud), pragul de intrare este ridicat. Pentru a rula Muse Spark Open este nevoie de: cel puțin două Mac Studio cu M5 Ultra , fiecare cu 512 GB memorie unificată , sau patru Mac-uri configurate cu 256 GB fiecare. AppleInsider notează că varianta cu patru sisteme este disponibilă acum, în timp ce opțiunea Apple de 512 GB nu este așteptată la livrare decât spre finalul lunii octombrie . De ce nu ajunge un singur Mac Studio, chiar și la 512 GB Colaborarea se bazează pe arhitectura de memorie unificată a Apple, care permite CPU-ului și GPU-ului să acceseze același „bazin” de memorie. M5 Ultra urcă până la 512 GB memorie unificată și 1,2 TB/s lățime de bandă a memoriei. Chiar și așa, un singur sistem nu este suficient: potrivit cercetării Apple citate, „greutățile” comprimate ale modelului ocupă aprox. 493 GB , înainte de a lua în calcul memoria suplimentară necesară în timpul procesării. Rolul MLX: distribuirea sarcinii pe mai multe Mac-uri Execuția modelului este gestionată de framework-ul MLX (open-source), care distribuie încărcarea de lucru pe mai multe Mac-uri, astfel încât modelul să poată rula în practică în configurații multi-mașină. [...]