ByteDance lansează modelul generativ 3D Seed3D 2.0 - Performanțe de top în generarea geometrică și a texturilor, depășind modelele existente

ByteDance a pus Seed3D 2.0 la dispoziția dezvoltatorilor prin API, mizând pe un salt de calitate în generarea 3D – atât pe geometrie, cât și pe texturi/materiale – potrivit IT之家 . Compania spune că noul model generativ 3D atinge rezultate de tip SOTA (cea mai bună performanță cunoscută pe un anumit test) pe doi indicatori-cheie: generarea geometrică și generarea de texturi/materiale. Seed3D 2.0 are, conform ByteDance, o redare mai fină a structurilor complexe, iar materialele PBR (randare „bazată pe fizică”, folosită pentru a simula realist interacțiunea luminii cu suprafețele) sunt generate cu mai mult realism și stabilitate. Raportul tehnic al modelului este public, iar API-ul este deja disponibil în Volcano Engine (platforma de cloud a ByteDance). Ce arată evaluarea: avantaj pe geometrie și texturi ByteDance afirmă că a recrutat 60 de evaluatori umani cu experiență în modelare 3D, care au comparat „în orb” (fără să știe ce model a generat rezultatul) Seed3D 2.0 cu șase modele 3D „mainstream”, în comparații perechi. Evaluarea a fost împărțită în două părți: comparație pentru generare de structură geometrică „pură”; comparație pentru generare 3D cu texturi aplicate. În testele de geometrie, compania susține că Seed3D 2.0 a avut un avantaj „semnificativ”, cu o rată de preferință mai mare decât toate celelalte modele comparate. Pentru generarea 3D cu texturi, ByteDance spune că modelul a rămas lider, iar rata de preferință a depășit 69% în raport cu modelele considerate de referință în industrie. Ce schimbă tehnic Seed3D 2.0 și de ce contează operațional Din rezumatul raportului tehnic, Seed3D 2.0 introduce o strategie de generare în două etape „Coarse-to-Fine”, care separă „structura de ansamblu” de „detaliile geometrice” și le optimizează separat. Ținta este să îmbunătățească zonele dificile pentru generarea 3D, precum muchii ascuțite, structuri cu pereți subțiri și topologii complexe. Pe partea de texturi/materiale, modelul folosește un model unificat pentru generarea completă a hărților PBR și o arhitectură MoE ( Mixture of Experts – „amestec de experți”, o tehnică prin care părți specializate ale modelului sunt activate în funcție de sarcină) pentru a crește detaliul la rezoluții mari și precizia marginilor. ByteDance mai menționează introducerea unui „VLM prior” (un „prior” provenit dintr-un model vizual-lingvistic, adică un model care combină înțelegerea imaginilor cu cea a limbajului) pentru a îmbunătăți stabilitatea și acuratețea „descompunerii” materialelor în condiții de iluminare necunoscută. Unde vrea ByteDance să ducă modelul: de la obiecte la scene și active utilizabile Dincolo de geometrie și texturi, Seed3D 2.0 ar putea genera și funcții orientate spre utilizare practică, potrivit descrierii din material: segmentare și completare la nivel de componente; generare de „active” articulate (obiecte cu părți mobile); compunere de scene pe baza imaginilor, videoclipurilor sau textului. Mesajul implicit este că modelul nu vizează doar demonstrații vizuale, ci și integrarea în fluxuri de lucru unde contează consistența și controlul – iar faptul că API-ul este deja disponibil indică o direcție de comercializare și utilizare în aplicații. Pentru detalii tehnice, ByteDance a publicat raportul Seed3D 2.0 (link menționat în materialul sursă). [...]