- A SAM 3 megérti az összetett szövegeket, hogy pontosan szegmentálja és kövesse nyomon a képeken és videókon lévő objektumokat.
- A SAM 3D egyetlen képből rekonstruálja a tárgyakat és az embereket, és lehetővé teszi az objektumok PLY vagy videó formátumban történő exportálását.
- A Playground megkönnyíti a tesztelést, a kiválasztást és az exportálást, korlátozott emberi modullal a bizalmas felhasználások elkerülése érdekében.
- Valós alkalmazások az Edits, Vibes és Marketplace platformokon, valamint potenciál a robotikában, a tudományban, az oktatásban és az AR/VR-ban.
Az elmúlt hónapokban a vágás és a vizuális alkotás világa jelentős előrelépést tett a SAM 3 és különösen a SAM 3D érkezésével. A Meta bemutatta a technológiát, amely képes tárgyak és emberek 3D-s észlelésére, nyomon követésére és rekonstruálására. Olyan könnyedséggel, ami egészen a közelmúltig sci-finek tűnt. Ez a fejlesztés fejlett szerkesztési és 3D-s vizualizációs lehetőségeket kínál bárki számára, aki rendelkezik böngészővel és szeretne bütykölni.
Az érdekesség nem csak az, hogy a rendszer "látja", mi van egy fotón vagy videón, hanem azt is megérti, amit szövegesen kérünk tőle, és precízen végrehajtja azt. Mostantól beírhatja egy objektum nevét egy promptmezőbevagy rákattintva a modell elkülöníti azt szerkesztéshez, mozgásának követéséhez, vagy professzionális szoftverekben használható háromdimenziós modellé alakításához, beleértve a következő technikákat is: 3D karaktereket hozhat létreMindezt tovább fokozza egy web alapú tesztelési platform, amely gyerekjátékká teszi a kísérletezést.
Mi az a SAM 3 és mit kínál a SAM 3D?
Amikor a SAM 3-ról beszélünk, a Meta híres Segment Anything Modeljének új generációjára gondolunk, amely a képek és videók detektálására és szegmentálására összpontosít. A korábbi verziókhoz képest a fő különbség a bonyolultabb szöveges utasítások megértése.Ez lehetővé teszi, hogy ne csak „egy autót” vagy „labdát” találjunk meg, hanem sokkal konkrétabb fogalmakat, például „egy piros baseballsapkát”. Ez a képesség a szegmentálást egy új szintre emeli, lehetővé téve az elemek finom vezérlésű szűrését és átalakítását.
A legszembetűnőbb testvér a SAM 3D. Ez a modell egy lépéssel tovább megy, mivel egyetlen képből rekonstruálja a tárgyak és emberek geometriáját és megjelenését.A SAM 3 maszkjait és detektálásait alapul véve a SAM 3D izolálja a kiválasztott elemet, majd rekonstruálja azt exportálás és 3D folyamatokban való felhasználás céljából, legyen szó akár modellező szoftverekről, mint például a Blender, akár renderelő motorokról. játék mint az Unreal Engine vagy az Unity.
A Meta a SAM 3D-t két különálló modullal tervezte meg, hogy lefedje a különböző felhasználási eseteket. Egyrészt ott van az objektumorientált és a jelenetorientált modul, ideális egy fénykép elemeinek kiválasztásához és rekonstruálásához; másrészt egy emberekre specializálódott modul, amely a szegmentálás mellett egy hozzávetőleges hálót generál egy vázzal, és beállítja a pózt a vizualizációhoz.
Az exportálásnak azonban vannak fontos árnyalatai. A Játszótéren a People modul nem teszi lehetővé teljes 3D modellek kinyerését.Objektumok esetében az eszköz külön exportálhatja az eredményt. Ez a kialakítás figyelembe veszi a próbaverzió korlátait és az arcok, valamint az emberi testek felelősségteljes használatának szempontjait.
Segment Anything Playground: a tesztterület
Hogy ezeket az új funkciókat mindenki számára elérhetővé tegye, a Meta elindította a Segment Anything Playground nevű webes alkalmazást, ahol fényképeket vagy videókat tölthet fel, és elkezdhet játszani a kijelölésekkel és effektekkel. A kezelőfelület a Photoshop varázspálca eszközére emlékeztet.Rákattintasz az objektumra, a rendszer létrehoz egy maszkot, és addig finomítod, amíg az ízlésednek nem felel meg.
A Playground szerkesztője néhány előre definiált promptot tartalmaz a kezdéshez, de a móka akkor kezdődik, amikor feltöltöd a saját tartalmaidat. Egyszerűen írd be az izolálni kívánt szöveget az utasítások mezőbe.A SAM 3 megérti a parancsot, és automatikusan előkészíti a kijelölést. A videószerkesztők számára ez gyökeresen újdonság: egy elem képkockánkénti szegmentálása és követése eddig fárasztó feladat volt.
Érdemes megjegyezni, hogy az eszköz szándékosan egyszerű. Nem szándékozik versenyezni a Premiere-hez hasonló professzionális szerkesztőkkel.Inkább a szegmentációs modellben rejlő lehetőségeket kívánja bemutatni, és mellesleg azt is, hogyan integrálható összetettebb munkafolyamatokba. Ennek ellenére már most is lehetővé teszi a felhasználók számára a vágást, effektek hozzáadását és a különböző promptokra adott válaszok vizualizálását.
Az exportálást illetően a Playground lehetővé teszi az eredmények külön-külön történő kinyerését. Objektumok esetén PLY fájlokat vagy akár videót is exportálhat. rekonstrukcióval. Ez egy gyors módja annak, hogy az anyagot áthelyezd a kedvenc 3D szoftveredbe, vagy komplikációk nélkül elkészítsd az előnézetet, például egy 3D prezentáció animációval.
Azok számára, akik emberekkel dolgoznak, a Playground emberi modulja, ahogy mondtuk, nem teszi lehetővé a végső modell kinyerését. Ennek ellenére egy hozzávetőleges hálót generál, amelynek a váza és a póza a vizualizációhoz igazítva van., elég ahhoz, hogy ellenőrizzük a potenciált, és megértsük, hogyan illeszkedik egy jövőbeli, teljesebb folyamatba.
Eredmények, korlátok és hogyan lehet ezekből a legtöbbet kihozni
Ha rögtön a dobozból hiperrealisztikus modelleket vársz, akkor a legjobb, ha kicsit lejjebb viszed az elvárásaidat. Az objektumok pontfelhőként, nem hálóként exportálódnak.Ez egy elterjedt formátum a fotogrammetriában és a rekonstrukcióban, nagyon hasznos alapként, de egy további lépést igényel, ha tiszta textúrákkal és az egész csomaggal rendelkező hálót szeretnénk.
A jó hír az, hogy ez a plusz lépés elvégezhető a már bevált eszközökkel. Az olyan programok, mint a MeshLab vagy a Blender geometriai csomópontjai, használhatók a pontfelhő hálóvá alakítására. és folytassa a polírozást; vagy akár használja a Windows 3D BuilderNem fogsz azonnal ultrarealisztikus modellt kapni, de jó kiindulópont az iterációhoz.
Fontos különbséget tenni a Játszótér által mutatott és az utófeldolgozással elérhető eredmények között. A Playground néző lenyűgöző képet nyújt az eredményrőlDe az éles gyártásba viteléhez tisztítás, retopológia és szükség esetén textúra-vetítés szükséges. Ez nem varázslat, de rengeteg időt takarít meg a kezdeti rögzítési vagy szegmentálási szakaszban.
Emberek esetében az exportkorlátozás mellett az etikai vonatkozásokat is figyelembe kell venni. A testek vagy arcok engedély nélküli rekonstrukciója jogi és hírnevet sértő következményekkel járhat.Ezért, bár a technológia bizonyos dolgokat lehetővé tesz, a javaslat az, hogy kifejezett hozzájárulással és megfelelő kontextusban dolgozzunk.
Ajánlott gyakorlatként a modellek közzététele előtt mindenképpen ellenőrizze a metaadatokat, az anyag forrását és az engedélyeket. Maga a Meta kijelenti, hogy ellenőrzéseket fog integrálni a visszaélések csökkentése érdekében.De végső soron a tartalomért és annak terjesztéséért az a személy felelős, aki létrehozza és megosztja azt.
Szövegek, jelzések és észlelés: a SAM 3 kulcsa
A 3D-n túl a SAM 3 minőségi ugrása a nyelv megértésében rejlik. Mostantól részletes leírásokat dolgozhatsz fel, és azokat képek és videók adott elemeihez kapcsolhatod.Ez messze túlmutat az általános kategóriákon, lehetővé téve a korábban lehetetlen, prompt-alapú munkafolyamatokat.
Ez a fejlesztés egy nagy mennyiségű adattal betanított architektúrán, valamint a vizuális és szöveges jelzések kombinációján alapul. A modell „összehasonlítja” az általad írt dolgokat a látottakkal., a vizuális fogalmakat és kapcsolatokat pontosabban értelmezve, mint a SAM 1-ben vagy a SAM 2-ben, amelyek jól működtek a vizuális jelzésekkel, de nehézségekbe ütköztek az összetett természetes nyelvvel.
A modellben megjelenő másik kulcsfogalom a nullapontos általánosítás. A gyakorlatban ez azt jelenti, hogy olyan objektumokat is szegmentálhatsz, amelyeket még nem láttál az adatbázisodban. feltéve, hogy megfelelő vizuális vagy szöveges referenciával rendelkezik. Ez a képesség elengedhetetlen a való világban, ahol az elemek változatosak és nem mindig illeszkednek rögzített kategóriákba.
A rendelkezésre álló információk szerint ennek az ökoszisztémának a betanítása hatalmas mennyiségű, különböző nyilvános forrásokból származó maszkra támaszkodott. Széles körben használt vizuális adattárakat említenek, mint például Wikipedia, Flickr vagy InstagramEz magyarázza a modell általánosítóképességét és az objektumok heterogén kontextusokban való azonosításában mutatott teljesítményét.
Mellékelőnyként a SAM 3 több maszkkimenetet kínál, ami nagyon hasznos az eredmények más rendszerekhez való továbbításához. Ezek a maszkok láncba köthetők 2D és 3D szerkesztőkkel, videókövető eszközökkel vagy kreatív folyamatokkal. például kompozíciók és kollázsok készítéséhez, jelentősen leegyszerűsítve az utómunkafolyamatokat.
Integráció a Meta termékekbe és valós felhasználási módok
A Meta stratégiája nem marad a laboratóriumban. A cég bejelentette, hogy integrálja a SAM 3-at az Editsbe., az Instagramon rövid videók készítésére szolgáló eszközük és Facebook, hasonló sapkavágásEz megnyitja az utat a finomabb szegmentációs szűrők, az egyes elemekre alkalmazott effektek és a háttérmódosítások előtt a minőség feláldozása nélkül.
A generatív élmények terén a Meta a Vibes platformot is célba veszi, ahol szegmentációs modelljét tervezi alkalmazni a felhasználók által létrehozott videókra. IA. Az ötlet az, hogy a SAM 3 pontosságát felhasználva izolálják és átalakítsák az elemeket a klipeken belül. anélkül, hogy manuálisan kellene maszkolni az egyes képkockákat, ami jelentősen bonyolítja a hagyományos munkafolyamatokat.
A nagyközönség számára talán a legkézzelfoghatóbb alkalmazás a kereskedelemből fog érkezni. A Facebook Marketplace-en a „Megtekintés a szobában” funkció lehetővé teszi, hogy otthonról tekintsd meg a termékeket.automatikusan generált 3D modellek használata, amelyek segíthetnek filmszerű 3D jelenetek generálásaGondolj bele lámpákkal vagy bútorokkal: a kamerát a nappalira irányítod, és megnézed, hogyan nézne ki az a tárgy, mielőtt megvennéd.
A kapcsolatépítésen és a vásárláson túl a lehetőségek túlmutatnak a szórakozáson. Alkalmazások figyelhetők meg a robotikában, a tudományban, az oktatásban, a videojáték-készítésben és a VR/AR élményekben.A fotóból történő 3D-s rekonstrukció lehetősége nagyban leegyszerűsíti a szimulátorok, elemzések és képzési tartalmak rögzítését és prototípus-készítését.
A sportorvoslásban például a képalapú rekonstrukciók használata segíthet oktatási anyagok vagy mozgásszimulációk létrehozásában. Ezek a forgatókönyvek továbbra is klinikai validálást és minőségbiztosítási folyamatokat igényelnek.A szegmentálás és rekonstrukció technikai alapjai azonban ígéretes utat nyitnak a kutatás számára.
Hogyan dolgozzunk tárgyakkal és emberekkel a SAM 3D-ben?
Az objektumok és jelenetek modul egy segített kiválasztási logikával működik. Egy kattintással kiválaszt egy elemet, és a rendszer egy "varázspálca" stílusú maszkot generál.élek és jellemzők felismerése. Ezután finomíthatja a maszkot, és megkezdheti a rekonstrukciót exportáláshoz.
Ebben az exportban a fő formátum a PLY, amely az objektumot reprezentáló pontfelhőt tartalmazza. Ez a fájl olyan eszközökkel konvertálható mesh-sé, mint a Blender vagy a MeshLab. és folytassa a finomítást; vagy akár gyors műveletekhez is használhatja. Ez a fájl olyan eszközökbe vihető, mint a Blender vagy a MeshLab, hogy hálóvá alakítsa és tovább finomítsa. Ez a fájl olyan eszközökkel konvertálható mesh-sé, mint a Blender vagy a MeshLab. és folyamatosan finomítsd. Nem lesz azonnal egy ultrarealisztikus modelled, de jó alapot ad a további munkához.
A people modul hasonló filozófiát követ a kiválasztás tekintetében, de a webes tesztverzióban korlátozott a kimenete. Létrehoz egy hozzávetőleges hálót egy vázzal és beállítja a testtartást, egy praktikus funkció az alak vagy póz vizualizálására, bár a teljes 3D modell letöltése nélkül a Játszótérről.
Ez a megkülönböztetés mind technikai, mind etikai kérdésekre választ ad. A biometrikus adatok feldolgozása és a személyazonosságok rekonstruálása körültekintést igényel.Ezért az export korlátozása az emberi modulban megakadályozza az érzékeny felhasználásokat, amíg a közösség és a vezérlőeszközök kiforrnak.
Nyílt források, benchmarking és közösség
A kutatás és az adaptáció előmozdítása érdekében a Meta elérhetővé tette a modellezési erőforrásokat és a benchmarking adatkészleteket. Kutatók, fejlesztők és művészek férhetnek hozzá a kódhoz és a változatos képgyűjteményekhez. amellyel a teljesítményt következetesen értékelni és az eredményeket összehasonlítani lehet.
Ez a nyílás nemcsak a technika állásának mérésére hasznos. Ezáltal közös alapot teremt a közösség számára az iterációhoz, a korlátok megtalálásához és a fejlesztések javaslatához. olyan területeken, mint a rekonstrukciók geometriai hűsége, az elfedések elleni robusztusság vagy a természetes nyelv megértése speciális területeken.
Fontos azonban betartani a használati keretet. Meta ragaszkodik ahhoz, hogy a modellt ebben a szakaszban kutatási célokra kell használni. és nem közvetlen kereskedelmi felhasználásra. Ez a megközelítés segít csökkenteni a kockázatokat, miközben bizonyítékokat gyűjt és bevált gyakorlatokat dolgoz ki.
Eközben különböző kreatív és marketingcsapatok már tesztelik, hogyan illeszthető be a valós munkafolyamatokba. Az előadóművészeti ügynökségek és osztályok azt vizsgálják, hogyan lehetne hasznosítani ezeket a maszkokat és rekonstrukciókat. a kampányok szegmentálásának vagy az audiovizuális anyagok generálásának javítása érdekében, olyan eszközökkel összekapcsolva, mint például Google Hirdetésadat-kezelő, amikor a vizuális tartalom kulcsszerepet játszik.
Gyakorlati előnyök, amelyek mindent megváltoztatnak
A mindennapi életben számos előnye van a korábbiakhoz képest. Több beviteli mező (kattintások, pontok, szöveg) egyszerűsíti a kijelölést Köztes lépések nélkül, felgyorsítva a szerkesztési folyamatot. Ez a rugalmasság lehetővé teszi a nem műszaki felhasználók számára is, hogy tiszteletre méltó eredményeket érjenek el.
Az interoperabilitás egy további előny. A SAM kialakítása megkönnyíti az AR/VR rendszerekkel, szerkesztőkkel és motorokkal való integrációt.Ezért jellemzően csak egy újabb blokkként fogják tekinteni a meglévő folyamatokon belül. Nem a folyamat újragondolásáról van szó, hanem egy új elem hozzáadásáról, amely időt takarít meg.
A több maszk és különálló objektum formájában megjelenő kimenet lehetővé teszi, hogy az információkat oda irányítsák, ahová kell. A videókövetéstől az összetett kompozíciókig, beleértve a 3D-s pipeline-okat isAz ötlet az, hogy ami a SAM-ból kijön, az úgy illeszkedik, mint egy kulcs a zárba a többi szerszám közé.
Végül, a vizuális világ megértésében elért ugrás, amelyet a nagy adattárak táplálnak, a valós esetekben a teljesítményben is észrevehető. Hogy a rendszer megérti, „amit mondasz neki”, és összekapcsolja azt azzal, „amit lát”. Pontosan ez teszi hasznossá a laboratóriumon túl is.
Etika, biztonság és helyes gyakorlatok
A hatalom felelősséggel jár. Az emberek képeivel való munka beleegyezést és a magánélet tiszteletben tartását igényli.Különösen akkor, ha az eredményeket megosztod vagy közzéteszed. Kerüld mások arcának rekonstruálását, érzékeny jelenetek manipulálását, illetve olyan modellek megosztását, amelyek személyes információkat fedhetnek fel.
Minden professzionális munkafolyamatnak tartalmaznia kell a forrás- és engedélyellenőrzéseket. Ellenőrizze a képek eredetét, és szükség esetén távolítsa el az érzékeny metaadatokat. és a terjesztést megfelelő kontextusokra korlátozza. Ha a tartalom kiskorúakat vagy veszélyeztetett csoportokat tartalmaz, akkor fokozza az óvintézkedéseket, vagy elveti a projektet.
A Meta jelezte, hogy ellenőrzéseket fog bevezetni a visszaélések csökkentése érdekében, de ez nem mentesíti az alkotókat. A felelősség azé, aki feltölti, feldolgozza és közzéteszi.A belső etikai és biztonsági irányelvek elfogadása ugyanolyan fontos, mint az eszköz használatának ismerete.
Továbbá, ha az eredményeket éles környezetben is alkalmazni szeretnéd, tervezz egy minőségellenőrzéssel ellátott folyamatot. Magában foglalja a technikai validációkat (geometria, takarások, műtermékek) és a jogi validációkat (engedélyek, licencek).és dokumentálja a folyamatot, hogy auditálható legyen. Csökkenti a kockázatokat és biztosítja a nyomon követhetőséget.
Szenvedélyes író a bájtok és általában a technológia világáról. Szeretem megosztani tudásomat írásban, és ezt fogom tenni ebben a blogban, megmutatom a legérdekesebb dolgokat a kütyükről, szoftverekről, hardverekről, technológiai trendekről stb. Célom, hogy egyszerű és szórakoztató módon segítsek eligazodni a digitális világban.