- SAM 3 saprot sarežģītu tekstu, lai precīzi segmentētu un izsekotu objektus attēlos un video.
- SAM 3D rekonstruē objektus un cilvēkus no viena attēla un ļauj eksportēt objektus PLY vai video formātā.
- Playground atvieglo testēšanu, atlasi un eksportēšanu, ar ierobežotu cilvēka moduli, lai novērstu sensitīvu lietošanu.
- Reālās pasaules pielietojumi platformās Edits, Vibes un Marketplace, kā arī potenciāls robotikā, zinātnē, izglītībā un AR/VR.
Pēdējos mēnešos rediģēšanas un vizuālās radīšanas pasaule ir spērusi lielu soli uz priekšu, parādoties SAM 3 un jo īpaši SAM 3D. Meta ir atklājis tehnoloģiju, kas spēj atklāt, izsekot un rekonstruēt objektus un cilvēkus 3D formātā. Ar vieglumu, kas vēl nesen šķita kā zinātniskā fantastika. Šis sasniegums piedāvā uzlabotu rediģēšanu un 3D vizualizāciju ikvienam, kam ir pārlūkprogramma un vēlme eksperimentēt.
Interesanti ir ne tikai tas, ka sistēma "redz", kas ir fotoattēlā vai video, bet arī saprot, ko mēs tai lūdzam ar tekstu, un precīzi to izpilda. Tagad objekta nosaukumu var ierakstīt uzvednes lodziņā.vai noklikšķiniet uz tā, un modelis to izolē rediģēšanai, kustības izsekošanai vai pārveidošanai par izmantojamu trīsdimensiju modeli profesionālā programmatūrā, tostarp izmantojot metodes izveidot 3D rakstzīmesTo visu vēl vairāk uzlabo tīmekļa testēšanas platforma, kas padara eksperimentēšanu pavisam vienkāršu.
Kas ir SAM 3 un ko piedāvā SAM 3D?
Runājot par SAM 3, mēs domājam Meta slavenā Segment Anything modeļa jauno paaudzi, kas koncentrējas uz attēlu un video noteikšanu un segmentēšanu. Galvenā atšķirība salīdzinājumā ar iepriekšējām versijām ir sarežģītāku teksta instrukciju izpratne.Tas ļauj atrast ne tikai "automašīnu" vai "bumbu", bet arī daudz specifiskākus jēdzienus, piemēram, "sarkanu beisbola cepuri". Šī iespēja paceļ segmentāciju jaunā līmenī, ļaujot filtrēt un pārveidot elementus ar precīzu kontroli.
Visspilgtākais brālis ir SAM 3D. Šis modelis iet soli tālāk, rekonstruējot objektu un cilvēku ģeometriju un izskatu no viena attēla.Izmantojot SAM 3 maskas un noteikšanas metodes kā pamatu, SAM 3D izolē atlasīto elementu un rekonstruē to eksportēšanai un izmantošanai 3D cauruļvados, gan modelēšanas programmatūrā, piemēram, Blender, gan renderēšanas dzinējos. spēle piemēram, Unreal Engine vai Unity.
Meta ir izstrādājis SAM 3D ar diviem atšķirīgiem moduļiem, lai aptvertu dažādus lietošanas gadījumus. No vienas puses, ir objektorientēts un uz ainu orientēts modulis., ideāli piemērots elementu atlasīšanai fotoattēlā un to rekonstrukcijai; no otras puses, modulis, kas specializējas cilvēkiem un papildus segmentēšanai ģenerē aptuvenu režģi ar skeletu un pielāgo pozu vizualizācijai.
Tomēr eksportēšanā ir svarīgas nianses. Rotaļu laukumā cilvēku modulis neļauj iegūt pilnīgus 3D modeļus.Savukārt objektu gadījumā rīks var eksportēt rezultātu atsevišķi. Šis dizains atbilst izmēģinājuma versijas ierobežojumiem un atbildīgas lietošanas apsvērumiem attiecībā uz sejām un cilvēka ķermeņiem.
Segment Anything Playground: testēšanas poligons
Lai šīs jaunās funkcijas būtu pieejamas ikvienam, Meta ir laidusi klajā Segment Anything Playground — tīmekļa lietojumprogrammu, kurā var augšupielādēt fotoattēlus vai videoklipus un sākt spēlēties ar atlasēm un efektiem. Saskarne atgādina Photoshop burvju nūjiņas rīku.Jūs noklikšķināt uz objekta, sistēma ģenerē masku un jūs to precizējat, līdz tā atbilst jūsu gaumei.
Playground redaktorā ir iekļauti daži iepriekš definēti norādījumi darba sākšanai, taču jautrība sākas, kad augšupielādējat savu saturu. Vienkārši ierakstiet instrukciju lodziņā, ko vēlaties izolēt.SAM 3 saprot komandu un automātiski sagatavo atlasi. Video redaktoriem tas maina spēles noteikumus: elementa segmentēšana un izsekošana pa kadriem līdz šim bija nogurdinošs uzdevums.
Ir vērts atzīmēt, ka rīks ir apzināti vienkāršs. Tā neplāno konkurēt ar profesionāliem redaktoriem, piemēram, Premiere.Drīzāk tā mērķis ir demonstrēt segmentācijas modeļa potenciālu un, starp citu, nodemonstrēt, kā to var integrēt sarežģītākās darbplūsmās. Tomēr tā jau ļauj lietotājiem apgriezt, pievienot efektus un vizualizēt, kā tas reaģētu uz dažādiem uzvednēm.
Runājot par eksportēšanu, Playground ļauj rezultātus iegūt atsevišķi. Objektiem varat eksportēt PLY failus vai pat video. ar rekonstrukciju. Tas ir ātrs veids, kā pārvietot materiālu uz iecienītāko 3D programmatūru vai sagatavot priekšskatījumu bez sarežģījumiem, piemēram, 3D prezentācija ar animāciju.
Tiem, kas strādā ar cilvēkiem, Playground cilvēka modulis, kā jau teicām, neļauj iegūt galīgo modeli. Pat ja tā, tas ģenerē aptuvenu režģi ar skeletu un pozu, kas pielāgota vizualizācijai., pietiekami, lai pārbaudītu potenciālu un saprastu, kā tas nākotnē iederētos pilnīgākā cauruļvadā.
Rezultāti, ierobežojumi un kā tos maksimāli izmantot
Ja jūs sagaidāt hiperreālistiskus modeļus uzreiz pēc izlaišanas, vislabāk ir nedaudz samazināt savas cerības. Objekti tiek eksportēti kā punktu mākoņi, nevis kā režģi.Tas ir izplatīts formāts fotogrammetrijā un rekonstrukcijā, ļoti noderīgs kā bāze, taču, ja vēlaties tīru sietiņu ar tekstūrām un visu komplektu, ir nepieciešams papildu solis.
Labā ziņa ir tā, ka šo papildu soli var veikt ar jau pārbaudītiem rīkiem. Punktu mākoņa pārveidošanai par režģi var izmantot tādas programmas kā MeshLab vai Blender ģeometrijas mezglus. un turpiniet pulēšanu; vai pat izmantojiet Windows 3D veidotājsJūs uzreiz neiegūsiet īpaši reālistisku modeli, taču tas ir labs sākumpunkts atkārtošanai.
Ir svarīgi atšķirt to, ko rāda Rotaļu laukums, no tā, ko varētu sasniegt ar pēcapstrādes darbu. Rotaļu laukuma skatītājs piedāvā iespaidīgu ieskatu rezultātāTaču tā nodošana ražošanā ietver tīrīšanu, retopoloģiju un, ja nepieciešams, tekstūras projekciju. Tā nav maģija, taču tā ietaupa milzīgu laiku sākotnējā uztveršanas vai segmentācijas posmā.
Cilvēku gadījumā papildus eksporta ierobežojumam jāņem vērā arī ētiskās sekas. Ķermeņu vai seju rekonstrukcija bez atļaujas var radīt juridiskas un reputācijas sekas.Tāpēc, lai gan tehnoloģijas pieļauj noteiktas lietas, ieteikums ir strādāt ar nepārprotamu piekrišanu un atbilstošos kontekstos.
Kā labāko praksi pirms modeļu publicēšanas noteikti pārbaudiet metadatus, materiāla avotu un atļaujas. Pati Meta apgalvo, ka integrēs kontroles, lai samazinātu ļaunprātīgu izmantošanu.Taču galu galā atbildība par saturu un tā izplatīšanu gulstas uz personu, kas to rada un kopīgo.
Teksti, norādes un noteikšana: SAM 3 atslēga
Papildus 3D, SAM 3 kvalitatīvais lēciens slēpjas valodas izpratnē. Tagad varat apstrādāt detalizētus aprakstus un saistīt tos ar konkrētiem elementiem attēlos un videoklipos.Tas paplašina segmentācijas darbības jomu, ievērojami pārsniedzot vispārīgas kategorijas, nodrošinot uz uzvednēm balstītas darbplūsmas, kas iepriekš nebija iespējamas.
Šis uzlabojums ir balstīts uz arhitektūru, kas apmācīta ar lieliem datu apjomiem, un uz vizuālo un tekstuālo norāžu kombināciju. Modelis saskaņo jūsu rakstīto ar redzēto, precīzāk interpretējot vizuālos jēdzienus un attiecības nekā SAM 1 vai SAM 2, kas labi darbojās ar vizuālajām norādēm, bet sagādāja grūtības ar sarežģītu dabisko valodu.
Vēl viens svarīgs jēdziens, kas parādās modelī, ir nulles kadra vispārināšana. Praksē tas nozīmē, ka varat segmentēt objektus, kurus neesat redzējis savā datubāzē. ar nosacījumu, ka tam tiek sniegta atbilstoša vizuāla vai tekstuāla atsauce. Šī spēja ir būtiska reālajā pasaulē, kur elementi ir dažādi un ne vienmēr iederas fiksētās kategorijās.
Saskaņā ar pieejamo informāciju šīs ekosistēmas apmācība balstījās uz milzīgu masku apjomu no dažādiem publiskiem avotiem. Tiek minētas plaši izmantotas vizuālās krātuves, piemēram, Wikipedia, Flickr vai InstagramTas izskaidro modeļa robustumu vispārināšanā un tā veiktspēju objektu identificēšanā heterogēnos kontekstos.
Kā papildu priekšrocība SAM 3 piedāvā vairākas masku izejas, kas ir ļoti noderīgi rezultātu maršrutēšanai uz citām sistēmām. Šīs maskas var savienot ķēdē ar 2D un 3D redaktoriem, video izsekošanas rīkiem vai radošajiem procesiem. piemēram, kompozīcijas un kolāžas, ievērojami vienkāršojot pēcapstrādes darbplūsmas.
Integrācija Meta produktos un reālās pasaules lietojumos
Meta stratēģija nepaliek laboratorijā. Uzņēmums ir paziņojis, ka integrēs SAM 3 lietotnē Edits., viņu rīks īsu videoklipu veidošanai pakalpojumā Instagram un Facebook, līdzīgs vāciņa griezumsTas paver durvis uz smalkākiem segmentācijas filtriem, efektiem, kas tiek piemēroti konkrētiem elementiem, un fona izmaiņām, nezaudējot kvalitāti.
Ģeneratīvās pieredzes jomā Meta mērķē arī uz Vibes, kur plāno piemērot savu segmentācijas modeli video, ko veidojuši IA. Ideja ir izmantot SAM 3 precizitāti, lai izolētu un pārveidotu elementus klipos. bez manuālas iejaukšanās, kas maskē katru kadru, kas ievērojami sarežģī tradicionālās darbplūsmas.
Iespējams, ka visatzīstamākais pielietojums plašai sabiedrībai radīsies caur tirdzniecību. Facebook Marketplace vietnē funkcija “Skatīt istabā” ļaus jums apskatīt produktus mājās.izmantojot automātiski ģenerētus 3D modeļus, kas var palīdzēt ģenerēt kinematogrāfiska izskata 3D ainasPadomājiet par to ar lampām vai mēbelēm: jūs pavērsiet kameru pret viesistabu un redzēsiet, kā šis priekšmets izskatītos, pirms to iegādājaties.
Papildus tīklošanās iespējām un iepirkšanās iespējām potenciāls sniedzas tālāk par izklaidi. Pielietojumi ir novērojami robotikā, zinātnē, izglītībā, videospēļu veidošanā un VR/AR pieredzē.Iespēja veikt 3D rekonstrukciju no fotoattēla ievērojami vienkāršo simulatoru, analīzes un apmācību satura uztveršanu un prototipu izveidi.
Piemēram, sporta medicīnā uz attēliem balstītu rekonstrukciju izmantošana var palīdzēt ģenerēt izglītojošus materiālus vai kustību simulācijas. Šiem scenārijiem joprojām ir nepieciešama klīniskā validācija un kvalitātes procesi.Tomēr segmentācijas un rekonstrukcijas tehniskais pamats paver daudzsološu izpētes ceļu.
Kā strādāt ar objektiem un cilvēkiem programmā SAM 3D
Objektu un ainu modulis darbojas ar atbalstītu atlases loģiku. Jūs atlasāt elementu ar klikšķi, un sistēma ģenerē masku "burvju nūjiņas" stilā.atpazīstot malas un elementus. Pēc tam varat precizēt šo masku un sākt rekonstrukciju eksportam.
Šajā eksportā galvenais formāts ir PLY, kas sastāv no punktu mākoņa, kas attēlo objektu. Šo failu var pārveidot par režģi, izmantojot tādus rīkus kā Blender vai MeshLab. un turpināt pilnveidot; vai pat izmantot to ātrām darbībām. Šo failu var izmantot tādos rīkos kā Blender vai MeshLab, lai to pārveidotu par sietiņu un vēl vairāk uzlabotu. Šo failu var pārveidot par režģi, izmantojot tādus rīkus kā Blender vai MeshLab. un turpiniet to pilnveidot. Jums uzreiz nebūs īpaši reālistiska modeļa, taču tas ir labs pamats, pie kura turpināt darbu.
Cilvēku modulis ievēro līdzīgu atlases filozofiju, taču tā izvade tīmekļa testa versijā ir ierobežota. Ģenerē aptuvenu režģi ar skeletu un pielāgo stāju, praktiska funkcija figūras vai pozas vizualizēšanai, lai gan nav jālejupielādē pilns 3D modelis no Playground.
Šī diferenciācija reaģē gan uz tehniskiem jautājumiem, gan ētiskiem apsvērumiem. Biometrisko datu apstrāde un identitātes rekonstrukcija prasa piesardzību.Tādēļ eksporta ierobežošana cilvēku modulī novērš sensitīvus lietojumus, kamēr kopiena un kontroles rīki nobriest.
Atvērtie resursi, salīdzinošā novērtēšana un kopiena
Lai veicinātu pētniecību un ieviešanu, Meta ir padarījusi pieejamus modeļu resursus un salīdzinošās novērtēšanas datu kopas. Pētnieki, izstrādātāji un mākslinieki var piekļūt kodam un dažādām attēlu kolekcijām. ar kuru konsekventi novērtēt sniegumu un salīdzināt rezultātus.
Šī atvere ir noderīga ne tikai jaunākās tehnoloģijas mērīšanai. Tas arī izveido kopīgu pamatu, lai kopiena varētu iterēt, atrast ierobežojumus un ierosināt uzlabojumus. tādās jomās kā rekonstrukciju ģeometriskā precizitāte, izturība pret aizsegumiem vai dabiskās valodas izpratne specializētās jomās.
Tomēr ir svarīgi ievērot lietošanas noteikumus. Meta uzstāj, ka šajā posmā modelis jāizmanto pētniecības nolūkos. un nevis tiešai komerciālai lietošanai. Šī pieeja palīdz mazināt riskus, vienlaikus apkopojot pierādījumus un veidojot labāko praksi.
Tikmēr dažādas radošās un mārketinga komandas jau testē, kā to iekļaut reālās darbplūsmās. Izrādes aģentūras un departamenti pēta, kā izmantot šīs maskas un rekonstrukcijas. lai uzlabotu segmentāciju kampaņās vai audiovizuālo materiālu ģenerēšanā, savienojot to ar tādiem rīkiem kā google Reklāmu datu pārvaldnieks, kad vizuālajam saturam ir galvenā loma.
Praktiskas priekšrocības, kas rada visu atšķirību
Ikdienas dzīvē izceļas vairākas priekšrocības, salīdzinot ar to, kas bija iepriekš. Vairāki ievades norādījumi (klikšķi, punkti, teksts) vienkāršo atlasi Bez starpposmiem, paātrinot rediģēšanas procesu. Šī elastība ļauj arī lietotājiem bez tehniskām zināšanām sasniegt cienījamus rezultātus.
Sadarbspēja ir vēl viena priekšrocība. SAM dizains atvieglo integrāciju ar AR/VR sistēmām, redaktoriem un dzinējiem.Tāpēc to parasti uzskatīs tikai par vēl vienu bloku esošajos cauruļvados. Runa nav par plūsmas pārveidošanu, bet gan par jaunas daļas pievienošanu, kas ietaupa jūsu laiku.
Izvade vairāku masku un atsevišķu objektu veidā ļauj informāciju novirzīt uz vajadzīgo vietu. No video izsekošanas līdz sarežģītām kompozīcijām, tostarp 3D cauruļvadiemIdeja ir tāda, ka tas, kas iznāk no SAM, iederas kā atslēga slēdzenē kopā ar pārējiem instrumentiem.
Visbeidzot, lēciens vizuālās pasaules izpratnē, ko veicina lielas datu krātuves, ir manāms veiktspējā reālās pasaules gadījumos. Ka sistēma saprot "ko jūs tai sakāt" un saista to ar "ko tā redz" Tieši tas padara to noderīgu arī ārpus laboratorijas.
Ētika, drošība un laba prakse
Vara nāk līdzi atbildībai. Darbam ar cilvēku attēliem ir nepieciešama piekrišana un privātuma ievērošana.It īpaši, ja plānojat kopīgot vai publicēt rezultātus. Izvairieties no citu cilvēku seju rekonstrukcijas, sensitīvu ainu manipulēšanas vai tādu modeļu kopīgošanas, kas varētu atklāt privātu informāciju.
Jebkurā profesionālā darbplūsmā jāiekļauj avotu un atļauju pārbaudes. Pārbaudiet attēlu izcelsmi, attiecīgā gadījumā noņemiet sensitīvus metadatus. un ierobežo izplatīšanu atbilstošos kontekstos. Ja saturā ir iekļauti nepilngadīgie vai neaizsargātas grupas, tas pastiprina piesardzības pasākumus vai atmet projektu.
Meta ir norādījusi, ka ieviesīs kontroles, lai samazinātu ļaunprātīgu izmantošanu, taču tas neatbrīvo veidotājus. Atbildība gulstas uz to, kurš augšupielādē, apstrādā un publicē.Iekšējo ētikas un drošības vadlīniju pieņemšana ir tikpat svarīga kā rīka lietošanas prasmes.
Turklāt, ja jūs gatavojaties rezultātus nogādāt ražošanā, izstrādājiet cauruļvadu ar kvalitātes kontroli. Tas ietver tehniskās validācijas (ģeometrija, aizsegumi, artefakti) un juridiskās validācijas (atļaujas, licences).un dokumentējiet procesu, lai to varētu auditēt. Jūs samazināsiet riskus un iegūsiet izsekojamību.
Kaislīgs rakstnieks par baitu pasauli un tehnoloģiju kopumā. Man patīk dalīties savās zināšanās rakstot, un tieši to es darīšu šajā emuārā, parādot visu interesantāko informāciju par sīkrīkiem, programmatūru, aparatūru, tehnoloģiju tendencēm un daudz ko citu. Mans mērķis ir palīdzēt jums vienkāršā un izklaidējošā veidā orientēties digitālajā pasaulē.