Apple a prezentat Ferret-UI Lite, un model AI compact care poate naviga autonom în aplicații direct pe dispozitiv, fără a trimite date în cloud, potrivit lucrării publicate pe arXiv. Modelul are 3 miliarde de parametri, dar, susțin autorii, egalează sau depășește performanța unor agenți pentru interfețe grafice de până la 24 de ori mai mari.
Ferret-UI Lite este un model multimodal conceput pentru a înțelege și a interacționa cu interfețe de aplicații mobile, web și desktop. Scopul este rularea integrală pe dispozitiv, ceea ce ar permite asistenților virtuali să execute sarcini în numele utilizatorului fără ca informațiile sensibile să părăsească telefonul sau calculatorul.
Cum funcționează
Principala dificultate pentru modelele mici este interpretarea elementelor dense și de dimensiuni reduse de pe ecran. Apple a introdus o tehnică numită „decupare în faza de inferență”, care presupune două etape:
- modelul analizează inițial întregul ecran și face o predicție aproximativă;
- apoi „mărește” zona relevantă, pentru a citi cu precizie iconițe sau text de mici dimensiuni.
Antrenarea a fost realizată și cu ajutorul unui sistem sintetic, bazat pe patru roluri simulate – generator de sarcini, planificator, executor și critic – care reproduc interacțiuni reale, inclusiv erori precum atingeri nereușite sau ferestre pop-up neașteptate. Astfel, modelul a fost învățat să corecteze greșeli și să își continue sarcina.
Rezultate raportate
Conform datelor prezentate în lucrare:
- 91,6% pe benchmark-ul ScreenSpot-V2;
- 53,3% pe ScreenSpot-Pro;
- 61,2% pe OSWorld-G;
- 28,0% rată de succes pe AndroidWorld;
- 19,8% pe OSWorld în sarcini de navigare.
Pe ScreenSpot-Pro, modelul a depășit alți agenți de 3 miliarde de parametri cu peste 15 puncte procentuale.
Legătura cu viitorul Siri
Publicarea cercetării vine în contextul pregătirii unei versiuni modernizate a asistentului Siri, așteptată în primăvara lui 2026, odată cu iOS 26.4. Un model capabil să „citească” și să opereze aplicații local ar putea sta la baza unor funcții avansate, precum executarea de sarcini complexe în mai multe aplicații consecutive.
Apple subliniază avantajul confidențialității: rularea pe dispozitiv ar însemna că mesaje, date financiare sau informații medicale nu sunt transmise către servere externe.
Limitări
Autorii recunosc că modelul performează mai bine în sarcini scurte și directe și întâmpină dificultăți în operațiuni complexe, cu mai mulți pași. Deocamdată, nu există confirmarea integrării Ferret-UI Lite într-un produs comercial, însă direcția cercetării indică intenția Apple de a dezvolta agenți AI eficienți și orientați spre protecția datelor.
