SAM 3D: mis see on, kuidas see töötab ja kõik, mida saate teha

Viimastel kuudel on montaaži ja visuaalse loomingu maailm teinud SAM 3 ja eriti SAM 3D tulekuga märkimisväärse hüppe edasi. Meta on avalikustanud tehnoloogia, mis suudab tuvastada, jälgida ja rekonstrueerida 3D-objekte ja inimesi kergusega, mis kuni viimase ajani tundus ulmena. See edasiminek toob täiustatud montaaži ja 3D-visualiseerimise igaüheni, kellel on veebibrauser ja kes on valmis katsetama.

Huvitav on see, et süsteem mitte ainult "näeb" fotol või videol olevat, vaid ka mõistab teksti kaudu, mida me tal palume teha, ja täidab seda täpselt. Nüüd saate objekti nime sisestada viipakasti või sellel klõpsata ja mudel isoleerib selle redigeerimiseks, liikumise jälgimiseks või professionaalse tarkvara jaoks kasutatavaks 3D-mudeliks teisendamiseks, sealhulgas 3D-tegelaste loomise tehnikate jaoks . Kõike seda toetab veebipõhine testimisplatvorm, mis muudab katsetamise imelihtsaks.

Mis on SAM 3 ja mida SAM 3D pakub?

SAM 3-st rääkides peame silmas Meta tuntud Segment Anything Modeli uut põlvkonda, mis keskendub piltide ja videote tuvastamisele ja segmenteerimisele. Peamine erinevus eelmistest versioonidest on võime mõista keerukamaid tekstijuhiseid , mis võimaldab tal leida mitte ainult "autot" või "palli", vaid ka palju spetsiifilisemaid mõisteid, näiteks "punast pesapallimütsi". See võime viib segmenteerimise järgmisele tasemele, võimaldades elemente filtreerida ja teisendada peeneteralise juhtimisega.

Kõige silmatorkavam sugulane on SAM 3D. See mudel läheb sammu edasi, rekonstrueerides objektide ja inimeste geomeetria ja välimuse ühest pildist . Kasutades SAM 3 maske ja tuvastusi alusena, isoleerib SAM 3D valitud elemendi ja rekonstrueerib selle eksportimiseks ja kasutamiseks 3D-torustikes, olgu see siis modelleerimistarkvaras nagu Blender või mängumootorites nagu Unreal Engine või Unity.

Meta on loonud SAM 3D kahe eraldi mooduliga, et katta erinevaid kasutusjuhtumeid. Ühelt poolt on olemas objekti- ja stseenimoodul , mis sobib ideaalselt fotol elementide valimiseks ja nende rekonstrueerimiseks; teiselt poolt on inimestele spetsialiseerunud moodul, mis lisaks segmenteerimisele genereerib ligikaudse võrgustiku skeletiga ja kohandab visualiseerimiseks poosi.

Ekspordiprotsessil on aga olulisi nüansse. Mänguväljaku moodul ei võimalda inimeste jaoks täielike 3D-mudelite ekstraheerimist , samas kui objektide puhul saab tööriist tulemuse eraldi eksportida. See disain on tingitud prooviversiooni piirangutest ja vastutustundliku kasutamise kaalutlustest inimnägude ja -kehade osas.

Segment Anything Playground: testimisala

Et need uued funktsioonid kõigile kättesaadavaks teha, on Meta käivitanud veebirakenduse Segment Anything Playground, kus saab üles laadida fotosid või videoid ning hakata katsetama valikute ja efektidega. Liides meenutab Photoshopi võlukepi tööriista : klõpsate objektil, süsteem genereerib maski ja te täpsustate seda, kuni olete sellega rahul.

Playgroundi redaktor sisaldab alustamiseks mõningaid eelmääratletud juhiseid, kuid tõeline lõbu algab siis, kui laadite üles oma sisu. Tippige lihtsalt juhiste väljale see, mida soovite isoleerida , ja SAM 3 saab käsust aru ning valmistab valiku automaatselt ette. Videotöötlusprogrammide jaoks on see mängumuutja: elemendi kaaderhaaval segmenteerimine ja jälgimine oli seni tüütu ülesanne.

Tasub märkida, et tööriist on tahtlikult lihtne. Selle eesmärk ei ole konkureerida professionaalsete toimetajatega nagu Premiere , vaid pigem tutvustada segmenteerimismudeli potentsiaali ja muuseas demonstreerida, kuidas seda saab integreerida keerukamatesse töövoogudesse. Sellegipoolest võimaldab see juba praegu kärpida, efekte lisada ja visualiseerida, kuidas see erinevatele juhistele reageeriks.

Eksportimise osas võimaldab Playground tulemusi eraldi eksportida. Objektide puhul saate eksportida PLY-faile või isegi rekonstrueerimise videot. See on kiire viis materjali oma lemmik 3D-tarkvarasse teisaldamiseks või eelvaate ettevalmistamiseks ilma probleemideta, näiteks animatsiooniga 3D-esitluse jaoks.

Inimestega töötavatele inimestele ei võimalda Playgroundi inimmoodul, nagu me mainisime, lõpliku mudeli ekstraheerimist. Sellegipoolest genereerib see ligikaudse võrgusilma, mille skelett ja poos on visualiseerimiseks kohandatud , mis on piisav, et hinnata selle potentsiaali ja mõista, kuidas see tulevikus terviklikumasse töövoogu sobiks.

Tulemused, piirangud ja kuidas neist maksimumi võtta

Kui ootate kohe karbist võttes hüperrealistlikke mudeleid, võiksite oma ootusi veidi alandada. Objektid eksporditakse punktpilvedena, mitte võrkudena . See on fotogrammeetrias ja rekonstrueerimises levinud vorming, mis on alguspunktina väga kasulik, kuid puhaste tekstuuridega võrkude ja kogu paketi jaoks on vaja täiendavat sammu.

Hea uudis on see, et seda lisasammu saab teha tuntud tööriistadega. Punktipilve võrgusilmaks teisendamiseks ja selle edasiseks täpsustamiseks saab kasutada selliseid programme nagu MeshLab või Blenderi geomeetriasõlmed; või isegi Windowsi 3D Builderit . Te ei saa kohe ülirealistlikku mudelit, kuid see on hea alguspunkt iteratsiooniks.

Oluline on eristada seda, mida Playground näitab, ja seda, mida saaks saavutada järeltöötlusega. Playgroundi vaatur pakub tulemusest silmatorkavat eelvaadet , kuid selle viimine tootmisse hõlmab puhastamist, retopoloogiat ja vajadusel tekstuuri projitseerimist. See pole maagia, kuid säästab tohutult aega esialgses jäädvustamise või segmenteerimise etapis.

Inimeste puhul tuleb lisaks ekspordipiirangutele arvestada ka eetiliste tagajärgedega. Kehade või nägude rekonstrueerimine ilma loata võib kaasa tuua õiguslikke ja mainega seotud tagajärgi . Seetõttu, kuigi tehnoloogia võimaldab teatud asju, on soovitatav töötada selgesõnalise nõusolekuga ja sobivates kontekstides.

Parima tava kohaselt tuleks enne mudelite avaldamist kindlasti kontrollida metaandmeid, materjali allikat ja õigusi. Meta ise väidab, et integreerib väärkasutuse vähendamiseks juhtelemente , kuid lõppkokkuvõttes lasub vastutus sisu ja selle levitamise eest loojal ja jagajal.

Tekstid, näidud ja tuvastamine: SAM 3 võti

Lisaks 3D-le seisneb SAM 3 kvalitatiivne hüpe keele mõistmises. Nüüd suudab see töödelda detailseid kirjeldusi ja siduda need piltide ja videote konkreetsete elementidega , laiendades segmenteerimise ulatust kaugemale üldistest kategooriatest. See võimaldab ülesandepõhiseid töövooge, mis varem olid võimatud.

See täiustus põhineb arhitektuuril, mis on treenitud suurte andmemahtude ja visuaalsete ning tekstiliste vihjete kombinatsiooni pealt. Mudel "sobitab" kirjutatu nähtuga , tõlgendades kontseptsioone ja visuaalseid seoseid täpsemalt kui SAM 1 või SAM 2, mis toimisid visuaalsete vihjetega hästi, kuid keerulise loomuliku keelega oli raskusi.

Mudeli teine ​​​​võtmekontseptsioon on nullpunkti üldistamine. Praktikas tähendab see, et saate segmenteerida objekte, mida te pole oma andmebaasis näinud , kui teile antakse sobiv visuaalne või tekstiline viide. See võimekus on oluline reaalses maailmas, kus objektid on mitmekesised ja ei sobi alati selgelt jäikadesse kategooriatesse.

Olemasoleva teabe kohaselt tugines selle ökosüsteemi treenimine tohutule hulgale erinevatest avalikest allikatest pärit maskidele. Mainitud on laialdaselt kasutatavaid visuaalseid repositooriume nagu Wikipedia , Flickr ja Instagram , mis selgitab mudeli üldistamisvõimet ja selle jõudlust objektide tuvastamisel heterogeensetes kontekstides.

Lisaboonusena pakub SAM 3 mitme maskiga väljundit, mis on väga kasulik tulemuste suunamiseks teistesse süsteemidesse. Neid maske saab aheldada 2D- ja 3D-redaktorite, videojälgimistööriistade või loominguliste protsessidega, näiteks kompositsiooni ja kollaažiga, mis lihtsustab oluliselt järeltöötluse töövooge.

Integreerimine Meta toodetesse ja reaalsesse kasutusse

Meta strateegia ei piirdu ainult laboriga. Ettevõte on teatanud, et integreerib SAM 3 oma Instagrami ja Facebooki lühivideote loomise tööriista Edits , mis sarnaneb CapCutiga . See avab ukse peenematele segmenteerimisfiltritele, konkreetsetele elementidele rakendatavatele efektidele ja tausta muutmisele ilma kvaliteeti ohverdamata.

Generatiivsete kogemuste valdkonnas sihib Meta ka Vibesit, kus plaanitakse rakendada oma segmenteerimismudelit tehisintellekti loodud videotele . Idee seisneb SAM 3 täpsuse ärakasutamises, et isoleerida ja muuta klippide elemente ilma käsitsi sekkumiseta, maskeerides iga kaadrit – protsess, mis muudab traditsioonilised töövood oluliselt keerulisemaks.

Võib-olla tuleb kõige käegakatsutavam rakendus laiemale avalikkusele kaubanduse kaudu. Facebooki Marketplace'is võimaldab funktsioon „Kuva toas” kasutajatel tooteid kodus visualiseerida , kasutades automaatselt genereeritud 3D-mudeleid, mis aitavad luua filmilikke 3D-stseene . Mõelge sellele lampide või mööbliga: suunate oma kaamera elutoa poole ja vaatate enne ostmist, kuidas see ese välja näeks.

Lisaks suhtlusele ja ostlemisele ulatub potentsiaal palju kaugemale meelelahutusest. Rakendusi esile tõstetakse robootikas, teaduses, hariduses, videomängude loomisel ja VR/AR-kogemustes . Võimalus fotost 3D-mudelit rekonstrueerida lihtsustab oluliselt simulaatorite, analüüsi ja haridussisu jäädvustamist ja prototüüpimist.

Näiteks spordimeditsiinis võib pildipõhiste rekonstruktsioonide kasutamine aidata luua õppematerjale või liikumissimulatsioone. Need stsenaariumid vajavad endiselt kliinilist valideerimist ja kvaliteedi tagamise protsesse , kuid segmenteerimise ja rekonstrueerimise tehniline alus avab paljulubava uurimistee.

Kuidas SAM 3D-s objektide ja inimestega töötada

Objektide ja stseenide moodul töötab abistatava valiku loogikaga. Valite elemendi klõpsuga ja süsteem genereerib "võlukepi" stiilis maski , mis tuvastab servi ja omadusi. Seejärel saate seda maski täpsustada ja alustada eksportimiseks rekonstrueerimisprotsessi.

Selles ekspordis on peamine vorming PLY, mis koosneb objekti esindavast punktpilvest. Seda faili saab importida tööriistadesse nagu Blender või MeshLab, et teisendada see edasiseks täiustamiseks mõeldud võrgusilmaks või isegi kiireteks toiminguteks. Te ei saa kohe ülirealistlikku mudelit, kuid see on hea alus edasiseks tööks.

Inimeste moodul järgib sarnast valikufilosoofiat, kuid selle väljund on veebitestiversioonis piiratud. See genereerib ligikaudse võrgustiku skeletiga ja kohandab poosi – see on praktiline funktsioon figuuri või poosi visualiseerimiseks, kuigi see ei võimalda täielikku 3D-mudelit mänguväljakult alla laadida.

See eristamine põhineb nii tehnilistel kui ka eetilistel kaalutlustel. Biomeetriliste andmete töötlemine ja identiteetide taastamine nõuab ettevaatust , seega ekspordi piiramine inimmoodulis hoiab ära tundliku kasutamise, kuni kogukond ja jälgimisvahendid küpsevad.

Avatud ressursid, võrdlusanalüüsid ja kogukond

Uurimistöö ja kasutuselevõtu ergutamiseks on Meta teinud kättesaadavaks mudeliressursid ja võrdlusanalüüside andmekogumid. Teadlased, arendajad ja kunstnikud saavad juurdepääsu koodile ja mitmekesistele pildikogudele, et järjepidevalt hinnata jõudlust ja võrrelda tulemusi.

See avatus mitte ainult ei aita mõõta tehnika taset, vaid loob ka ühise aluse kogukonnale iteratsiooniks, piiride leidmiseks ja täiustuste pakkumiseks sellistes valdkondades nagu rekonstruktsioonide geomeetriline täpsus, vastupidavus varjamistele ja loomuliku keele mõistmine spetsialiseeritud valdkondades.

Siiski on oluline austada kasutusraamistikku. Meta nõuab, et mudelit tuleks selles etapis kasutada teadusuuringute eesmärgil , mitte otseseks äriliseks otstarbeks. See lähenemisviis aitab maandada riske, kogudes samal ajal tõendeid ja arendades parimaid tavasid.

Samal ajal uurivad mitmed loome- ja turundusmeeskonnad juba, kuidas neid tööriistu reaalsetesse töövoogudesse integreerida. Agentuurid ja tulemusosakonnad uurivad, kuidas neid maske ja rekonstruktsioone kasutada kampaaniate sihtimise või audiovisuaalsete materjalide genereerimise parandamiseks, luues sideme selliste tööriistadega nagu Google Ads Data Manager, kui visuaalne sisu mängib võtmerolli.

Praktilised eelised, mis muudavad kõik

Igapäevases kasutuses on eelmise versiooniga võrreldes mitmeid eeliseid. Mitmed sisestusviisid (klõpsud, punktid, tekst) lihtsustavad valikut ilma vaheetappideta, kiirendades redigeerimist. See paindlikkus võimaldab isegi mitte-tehnilistel kasutajatel saavutada korralikke tulemusi.

Koostalitlusvõime on veel üks oluline eelis. SAM-i disain hõlbustab integreerimist AR/VR-süsteemide, redaktorite ja mootoritega , seega nähakse seda tavaliselt lihtsalt järjekordse komponendina olemasolevates töövoogudes. Asi ei ole töövoo uuesti leiutamises, vaid pigem uue elemendi lisamises, mis säästab teie aega.

Väljund mitme maski ja eraldi objekti kujul võimaldab suunata teavet sinna, kuhu seda vaja on. Alates video jälgimisest kuni keerukate kompositsioonide ja 3D-torujuhtmete loomiseni – idee seisneb selles, et SAM-ist väljuv materjal sobib nagu lukk ja võti ülejäänud tööriistadega.

Lõpuks on visuaalse maailma mõistmise hüpe, mida toidavad suured andmehoidlad, märgatav ka reaalses jõudluses. Süsteemi võime mõista, „mida sa talle ütled“, ja siduda see „nähtuga“ on just see, mis muudab selle kasulikuks ka väljaspool laborit.

Eetika, ohutus ja head tavad

Võimuga kaasneb vastutus. Inimeste piltidega töötamine nõuab nõusolekut ja privaatsuse austamist , eriti kui plaanite tulemusi jagada või avaldada. Vältige teiste inimeste nägude rekonstrueerimist, tundlike stseenide manipuleerimist või selliste piltide levitamist, mis võivad paljastada isiklikku teavet.

Iga professionaalne töövoog peaks hõlmama allikate ja lubade kontrollimist. Kontrollige piltide päritolu, eemaldage vajadusel tundlikud metaandmed ja piirake levitamist sobivate kontekstidega. Kui sisu hõlmab alaealisi või haavatavaid rühmi, võtke täiendavaid ettevaatusabinõusid või loobuge projektist.

Meta on andnud mõista, et kavatseb kehtestada kontrollimeetmed väärkasutuse vähendamiseks, kuid see ei vabasta loojaid vastutusest. Vastutus lasub neil, kes sisu üles laadivad, töötlevad ja avaldavad . Sisemiste eetika- ja turvajuhiste vastuvõtmine on sama oluline kui tööriista kasutamise tundmine.

Lisaks, kui plaanite tulemusi tootmiskeskkonda juurutada, kavandage kvaliteedikontrollidega protsess. Lisage tehnilised valideerimised (geomeetria, oklusioonid, artefaktid) ja juriidilised valideerimised (load, litsentsid) ning dokumenteerige protsess auditeeritavaks. See vähendab riske ja parandab jälgitavust.

Seotud artikkel:

Kuidas luua tegelane ChatGPT-s ja Gemini's ning säilitada selle välimus kõigil piltidel

Isaac

Kirglik kirjanik baitide maailmast ja üldse tehnoloogiast. Mulle meeldib jagada oma teadmisi kirjutamise kaudu ja just seda ma selles ajaveebis teengi, näitan teile kõike kõige huvitavamat vidinate, tarkvara, riistvara, tehnoloogiliste suundumuste ja muu kohta. Minu eesmärk on aidata teil digimaailmas lihtsal ja meelelahutuslikul viisil navigeerida.