SAM 3D: hva det er, hvordan det fungerer og alt du kan gjøre

I de siste månedene har redigerings- og visuell skaperverdenen tatt et betydelig sprang fremover med ankomsten av SAM 3, og spesielt SAM 3D. Meta har avduket en teknologi som er i stand til å oppdage, spore og rekonstruere 3D-objekter og personer med en letthet som inntil nylig virket som science fiction. Denne fremskrittene gir avansert redigering og 3D-visualisering til alle med en nettleser og en vilje til å eksperimentere.

Det interessante er ikke bare at systemet «ser» hva som er i et bilde eller en video, men også at det forstår hva vi ber det om å gjøre via tekst og utfører det med presisjon. Nå kan du skrive navnet på et objekt i en ledetekstboks , eller klikke på det, og modellen isolerer det for redigering, sporing av bevegelsen eller konvertering til en brukbar 3D-modell for profesjonell programvare, inkludert teknikker for å lage 3D-figurer . Alt dette støttes av en nettbasert testplattform som gjør eksperimentering til en lek.

Hva er SAM 3, og hva tilbyr SAM 3D?

Når vi snakker om SAM 3, refererer vi til den nye generasjonen av Metas anerkjente Segment Anything-modell, som fokuserer på bilde- og videodeteksjon og segmentering. Hovedforskjellen fra tidligere versjoner er evnen til å forstå mer komplekse tekstinstruksjoner , slik at den ikke bare kan finne «en bil» eller «en ball», men også mye mer spesifikke konsepter som «en rød baseballcaps». Denne funksjonen løfter segmentering til et nytt nivå, og gjør det mulig å filtrere og transformere elementer med finjustert kontroll.

Den mest slående søskenmodellen er SAM 3D. Denne modellen går et skritt videre ved å rekonstruere geometrien og utseendet til objekter og personer fra et enkelt bilde . Ved å bruke SAM 3s masker og deteksjoner som grunnlag, isolerer SAM 3D det valgte elementet og rekonstruerer det for eksport og bruk i 3D-pipelines, enten det er i modelleringsprogramvare som Blender eller spillmotorer som Unreal Engine eller Unity.

Meta har designet SAM 3D med to distinkte moduler for å dekke ulike bruksområder. På den ene siden har vi objekt- og scenemodulen , som er ideell for å velge elementer i et bilde og rekonstruere dem; på den andre siden har vi en modul som spesialiserer seg på mennesker, og som i tillegg til å segmentere genererer et omtrentlig nett med et skjelett og justerer posituren for visualisering.

Det finnes imidlertid viktige nyanser knyttet til eksportprosessen. I Playground tillater ikke modulen for personer utvinning av komplette 3D-modeller , mens verktøyet kan eksportere resultatet separat for objekter. Denne utformingen skyldes begrensninger i prøveversjonen og hensyn til ansvarlig bruk av menneskelige ansikter og kropper.

Segment Anything Playground: testområdet

For å gjøre disse nye funksjonene tilgjengelige for alle, har Meta lansert Segment Anything Playground, en nettapplikasjon der du kan laste opp bilder eller videoer og begynne å eksperimentere med markeringer og effekter. Grensesnittet minner om Photoshops tryllestavverktøy : du klikker på objektet, systemet genererer en maske, og du finjusterer den til du er fornøyd med den.

Playground-redigereren inneholder noen forhåndsdefinerte instruksjoner for å komme i gang, men den virkelige moroa begynner når du laster opp ditt eget innhold. Bare skriv inn det du vil isolere i instruksjonsboksen , så forstår SAM 3 kommandoen og forbereder automatisk valget. For videoredigerere er dette banebrytende: å segmentere og spore et element bilde for bilde var frem til nå en kjedelig oppgave.

Det er verdt å merke seg at verktøyet bevisst er enkelt. Det har ikke som mål å konkurrere med profesjonelle redigeringsprogrammer som Premiere , men snarere å vise frem potensialet til segmenteringsmodellen og for øvrig demonstrere hvordan den kan integreres i mer komplekse arbeidsflyter. Likevel lar det deg allerede trimme, legge til effekter og visualisere hvordan det vil reagere på forskjellige instruksjoner.

Når det gjelder eksport, lar Playground deg eksportere resultatene separat. For objekter kan du eksportere PLY-filer eller til og med en video av rekonstruksjonen. Det er en rask måte å flytte materialet til din favoritt 3D-programvare eller å forberede en forhåndsvisning uten komplikasjoner, for eksempel for en 3D-presentasjon med animasjon.

For de som jobber med mennesker, tillater ikke Playgrounds menneskelige modul, som vi nevnte, utvinning av den endelige modellen. Likevel genererer den et omtrentlig nett med et skjelett og en positur justert for visualisering , nok til å vurdere potensialet og forstå hvordan det ville passe inn i en mer komplett pipeline i fremtiden.

Resultater, begrensninger og hvordan man får mest mulig ut av dem

Hvis du forventer hyperrealistiske modeller rett ut av esken, bør du kanskje senke forventningene litt. Objekter eksporteres som punktskyer, ikke nett . Det er et vanlig format i fotogrammetri og rekonstruksjon, veldig nyttig som et utgangspunkt, men det krever et ekstra trinn hvis du vil ha et rent nett med teksturer og hele pakken.

Den gode nyheten er at dette ekstra trinnet kan fullføres med etablerte verktøy. Programmer som MeshLab eller Blenders geometrienoder kan brukes til å konvertere punktskyen til et nett og forbedre det ytterligere; eller til og med bruke Windows 3D Builder . Du vil ikke få en ultrarealistisk modell med en gang, men det er et godt utgangspunkt for iterasjon.

Det er viktig å skille mellom hva Playground viser og hva du kan oppnå med etterbehandling. Playground-visningen gir en slående forhåndsvisning av resultatet , men å ta det til produksjon innebærer opprydding, retopologi og, om nødvendig, teksturprojeksjon. Det er ikke magi, men det sparer mye tid i den første opptaks- eller segmenteringsfasen.

Når det gjelder mennesker, må man i tillegg til eksportrestriksjoner vurdere etiske implikasjoner. Rekonstruksjon av kropper eller ansikter uten tillatelse kan ha juridiske og omdømmemessige konsekvenser . Selv om teknologien tillater visse ting, er anbefalingen derfor å arbeide med eksplisitt samtykke og i passende sammenhenger.

Som en god praksis bør du sjekke metadata, materialets kilde og tillatelser før du publiserer modeller. Meta i seg selv oppgir at det vil integrere kontroller for å redusere misbruk , men til syvende og sist ligger ansvaret for innholdet og distribusjonen av det hos skaperen og deleren.

Tekster, indikasjoner og deteksjon: nøkkelen til SAM 3

Utover 3D ligger SAM 3s kvalitative sprang i forståelsen av språk. Den kan nå behandle detaljerte beskrivelser og koble dem til spesifikke elementer i bilder og videoer , noe som utvider omfanget av segmentering langt utover generiske kategorier. Dette muliggjør promptbaserte arbeidsflyter som tidligere var umulige.

Denne forbedringen er basert på en arkitektur som er trent på store datamengder og kombinasjonen av visuelle og tekstlige signaler. Modellen «matcher» det du skriver med det den ser , og tolker konsepter og visuelle relasjoner mer nøyaktig enn SAM 1 eller SAM 2, som fungerte bra med visuelle signaler, men slet med komplekst naturlig språk.

Et annet sentralt konsept i modellen er nullpunktsgeneralisering. I praksis betyr dette at du kan segmentere objekter du ikke har sett i databasen din, så lenge du får en passende visuell eller tekstlig referanse. Denne muligheten er viktig i den virkelige verden, hvor elementer er varierte og ikke alltid passer pent inn i rigide kategorier.

I følge tilgjengelig informasjon var treningen av dette økosystemet avhengig av et massivt volum av masker fra ulike offentlige kilder. Mye brukte visuelle arkiver som Wikipedia , Flickr og Instagram er nevnt , noe som forklarer modellens robusthet i generalisering og dens ytelse i å identifisere objekter i heterogene kontekster.

Som en sidefordel tilbyr SAM 3 multimaskeutgang, noe som er svært nyttig for å rute resultater til andre systemer. Disse maskene kan kobles til 2D- og 3D-redigerere, videosporingsverktøy eller kreative prosesser som komposisjon og collage, noe som effektiviserer arbeidsflyter i etterproduksjon betydelig.

Integrering i Meta-produkter og bruk i den virkelige verden

Metas strategi er ikke begrenset til laboratoriet. Selskapet har annonsert at de vil integrere SAM 3 i Edits , verktøyet deres for å lage korte videoer på Instagram og Facebook , i likhet med CapCut . Dette åpner døren for finere segmenteringsfiltre, effekter brukt på spesifikke elementer og bakgrunnsendringer uten at det går på bekostning av kvaliteten.

Innen generative opplevelser sikter Meta seg også inn mot Vibes, der de planlegger å bruke segmenteringsmodellen sin på AI -genererte videoer . Ideen er å utnytte presisjonen i SAM 3 til å isolere og transformere elementer i klipp uten manuell inngripen ved å maskere hver ramme, en prosess som kompliserer tradisjonelle arbeidsflyter betydelig.

Den kanskje mest håndgripelige applikasjonen for allmennheten vil komme gjennom handel. På Facebook Marketplace vil funksjonen «Vis i rommet» la brukere visualisere produkter hjemme ved hjelp av automatisk genererte 3D-modeller som kan bidra til å lage filmatisk utseende 3D-scener . Tenk på det med lamper eller møbler: du peker kameraet mot stuen og ser hvordan varen ville sett ut før du kjøper den.

Utover nettverksbygging og shopping strekker potensialet seg langt utover underholdning. Bruksområder fremheves innen robotikk, vitenskap, utdanning, videospillproduksjon og VR/AR-opplevelser . Muligheten til å rekonstruere en 3D-modell fra et fotografi forenkler opptak og prototyping for simulatorer, analyse og pedagogisk innhold.

Innen idrettsmedisin kan for eksempel bruk av bildebaserte rekonstruksjoner bidra til å generere undervisningsmateriell eller bevegelsessimuleringer. Disse scenariene krever fortsatt klinisk validering og kvalitetssikringsprosesser , men det tekniske grunnlaget for segmentering og rekonstruksjon åpner en lovende vei for utforskning.

Hvordan jobbe med objekter og personer i SAM 3D

Objekt- og scenemodulen fungerer med assistert valglogikk. Du velger et element med et klikk, og systemet genererer en maske i «tryllestav»-stil som gjenkjenner kanter og funksjoner. Du kan deretter forbedre masken og starte rekonstruksjonsprosessen for eksport.

I denne eksporten er hovedformatet PLY, som består av punktskyen som representerer objektet. Denne filen kan importeres til verktøy som Blender eller MeshLab for å konvertere den til et nett for ytterligere forbedring, eller til og med brukes til raske operasjoner. Du vil ikke få en ultrarealistisk modell med en gang, men det er et godt grunnlag for videre arbeid.

Personmodulen følger en lignende utvalgsfilosofi, men utdataene er begrenset i nettversjonen av testversjonen. Den genererer et omtrentlig nett med et skjelett og justerer posituren – en praktisk funksjon for å visualisere figuren eller posituren, selv om den ikke tillater nedlasting av hele 3D-modellen fra Playground.

Dette skillet er basert på både tekniske og etiske hensyn. Behandling av biometriske data og rekonstruksjon av identiteter krever forsiktighet , så begrensning av eksport i den menneskelige modulen forhindrer sensitiv bruk mens fellesskapet og overvåkingsverktøyene modnes.

Åpne ressurser, benchmarking og fellesskap

For å oppmuntre til forskning og bruk har Meta gjort modellressurser og benchmarking-datasett tilgjengelige. Forskere, utviklere og kunstnere kan få tilgang til koden og ulike bildesamlinger for å konsekvent evaluere ytelse og sammenligne resultater.

Denne åpenheten tjener ikke bare til å måle det nåværende stadiet. Den etablerer også et felles grunnlag for at fellesskapet kan iterere, finne grenser og foreslå forbedringer på områder som geometrisk gjengivelse av rekonstruksjoner, robusthet mot okklusjoner og forståelse av naturlig språk i spesialiserte domener.

Det er imidlertid viktig å respektere rammeverket for bruk. Meta insisterer på at modellen bør brukes til forskningsformål på dette stadiet og ikke til direkte kommersiell bruk. Denne tilnærmingen bidrar til å redusere risikoer, samtidig som den samler bevis og utvikler beste praksis.

I mellomtiden utforsker diverse kreative og markedsføringsteam allerede hvordan man kan integrere disse verktøyene i virkelige arbeidsflyter. Byråer og ytelsesavdelinger utforsker hvordan man kan utnytte disse maskene og rekonstruksjonene for å forbedre kampanjemålretting eller generering av audiovisuelt materiale, og koble seg til verktøy som Google Ads Data Manager når visuelt innhold spiller en nøkkelrolle.

Praktiske fordeler som utgjør hele forskjellen

I daglig bruk skiller det seg ut flere fordeler sammenlignet med forrige versjon. De mange input-kommandoene (klikk, punkter, tekst) forenkler valget uten mellomtrinn, noe som fremskynder redigeringen. Denne fleksibiliteten lar selv ikke-tekniske brukere oppnå respektable resultater.

Interoperabilitet er en annen viktig fordel. SAMs design forenkler integrering med AR/VR-systemer, redigeringsprogrammer og motorer , så det vil vanligvis bli sett på som bare en annen komponent i eksisterende pipelines. Det handler ikke om å gjenoppfinne arbeidsflyten, men snarere å legge til en ny brikke som sparer deg tid.

Utdataene, i form av flere masker og separate objekter, gjør at informasjon kan kanaliseres dit den trengs. Fra videosporing til komplekse komposisjoner og 3D-pipelines , er ideen at det som kommer ut av SAM passer som en lås og nøkkel med resten av verktøyene.

Til slutt er spranget i forståelsen av den visuelle verden, drevet av store datalagre, merkbart i ytelsen i den virkelige verden. Systemets evne til å forstå «hva du forteller det» og koble det til «hva det ser» er nettopp det som gjør det nyttig utover laboratoriet.

Etikk, sikkerhet og god praksis

Makt kommer med ansvar. Å jobbe med bilder av mennesker krever samtykke og respekt for personvernet , spesielt hvis du planlegger å dele eller publisere resultatene. Unngå å rekonstruere andres ansikter, manipulere sensitive scener eller distribuere bilder som kan avsløre privat informasjon.

Enhver profesjonell arbeidsflyt bør inkludere kilde- og tillatelseskontroller. Bekreft opprinnelsen til bilder, fjern sensitive metadata der det er aktuelt , og begrens distribusjonen til passende kontekster. Hvis innholdet inkluderer mindreårige eller sårbare grupper, ta ekstra forholdsregler eller avbryt prosjektet.

Meta har indikert at de vil innføre kontroller for å redusere misbruk, men det fritar ikke innholdsskapere. Ansvaret ligger hos de som laster opp, behandler og publiserer innhold . Å ta i bruk interne etiske og sikkerhetsretningslinjer er like viktig som å vite hvordan man bruker verktøyet.

Videre, hvis du planlegger å distribuere resultater til produksjon, design en pipeline med kvalitetskontroller. Inkluder tekniske valideringer (geometri, okklusjoner, artefakter) og juridiske valideringer (tillatelser, lisenser) , og dokumenter prosessen for å gjøre den reviderbar. Dette vil redusere risikoer og forbedre sporbarheten.

Relatert artikkel:

Hvordan lage en karakter i ChatGPT og Gemini og bevare dens utseende i alle bildene dine

Isaac

Lidenskapelig forfatter om verden av bytes og teknologi generelt. Jeg elsker å dele kunnskapen min gjennom å skrive, og det er det jeg skal gjøre i denne bloggen, vise deg alle de mest interessante tingene om dingser, programvare, maskinvare, teknologiske trender og mer. Målet mitt er å hjelpe deg med å navigere i den digitale verden på en enkel og underholdende måte.