Executiv Databricks: Modelele AI de ultimă generație întâmpină dificultăți în sarcini de birou de bază - Preferința pentru modele mai mici, mai rapide și mai ieftine crește în rândul companiilor

Modelele AI „de ultimă generație” pot da greș la sarcini de birou simple, iar asta împinge companiile spre modele mai mici, mai ieftine și mai rapide , pe fondul presiunii de a scala aplicațiile la volume mari de utilizare, potrivit South China Morning Post , care îl citează pe David Meyer, senior vice-president of product la Databricks . Executivul spune că trăsăturile care fac un model „state-of-the-art” (Sota) performant la probleme complexe pot deveni un dezavantaj în munca de birou. Exemplul dat: pus să identifice un număr greșit pe o factură, un astfel de model „de multe ori corectează greșeala”, în loc să extragă eroarea pentru a fi reparată ulterior în fluxul de lucru. De ce contează pentru companii: cost, viteză și control operațional Diferența de performanță nu se limitează la sarcini administrative. Meyer afirmă că, deși modele avansate precum Claude (Anthropic) sunt puternice la programare, pot rămâne în urmă la „data engineering” (inginerie de date) față de modele cu antrenament și date mult mai specializate pe această zonă. În context, ingineria de date înseamnă transformarea seturilor de date la scară și operațiuni de curățare, inclusiv tratarea valorilor lipsă și a zerourilor. În viziunea lui Meyer, concluzia e una practică: nu există un singur model, indiferent cât de mare, care să fie la fel de bun la toate. „Un singur model, indiferent cât de mare, nu poate fi la fel de bun la toate.” Trecerea la modele mici: „ordine de mărime” mai ieftin și cu latență mai mică Ca alternativă, Meyer indică folosirea unor modele open-source mai mici, rafinate cu „reinforcement learning” (învățare prin recompensă), pentru scopuri specifice. Avantajul invocat este costul de antrenare „cu ordine de mărime” mai mic decât în cazul modelelor Sota. Tendința se vede și în produsele Databricks. Compania folosește, între altele, Genie – un asistent care traduce limbajul natural în interogări de date, susținut de un sistem de „agenți” și modele AI. Observând interacțiunile clienților cu platforma, Meyer spune că preferința pentru modele mai mici a crescut puternic, pe fondul a două beneficii: cost redus și latență mai mică (timpul până la primul răspuns și până la răspunsul complet). „Modelele mici, prin natura lor, sunt mult mai rapide” în timpul până la primul token și până la răspuns. Argumentul devine critic când aplicațiile trebuie să scaleze la „un număr uimitor de mare de interogări pe secundă”, situație în care companiile au nevoie de modele ieftine pentru a susține volumul. Limitări de utilizare: modelele chinezești și bariera de conformitate Meyer mai spune că, deși există entuziasm pentru modelele Qwen, iar modelele open-source din China sunt „uimitoare” ca performanță, latență și cost, preocupările de reglementare și conformitate le limitează, în prezent, utilizarea în mediul enterprise. Seria Qwen este dezvoltată de Alibaba Cloud. Context financiar: investiții accelerate, dar cu atenție la bilanț În pofida acestor constrângeri, graba de a integra AI în companii continuă, alimentată de teama de a nu rămâne în urmă, potrivit lui Meyer. El adaugă că firmele listate tind să fie mai prudente în privința impactului cheltuielilor cu AI asupra bilanțului, în timp ce companiile private sunt, în general, mai dispuse să cheltuiască. Databricks a anunțat în februarie că a încheiat o finanțare de circa 5 miliarde de dolari (aprox. 23 mld. lei) la o evaluare de 134 miliarde de dolari (aprox. 616 mld. lei). Compania a raportat o creștere de peste 65% de la an la an în ultimul trimestru din 2025 și estimează că este pe cale să genereze 5,4 miliarde de dolari (aprox. 25 mld. lei) în următoarele 12 luni. [...]