SAM 3D: wat het is, hoe het werkt en wat je er allemaal mee kunt doen

De afgelopen maanden heeft de wereld van videobewerking en -creatie een aanzienlijke sprong voorwaarts gemaakt met de komst van SAM 3 en met name SAM 3D. Meta heeft een technologie onthuld die 3D-objecten en -personen kan detecteren, volgen en reconstrueren met een gemak dat tot voor kort sciencefiction leek. Deze vooruitgang maakt geavanceerde videobewerking en 3D-visualisatie toegankelijk voor iedereen met een webbrowser en de bereidheid om te experimenteren.

Wat interessant is, is niet alleen dat het systeem "ziet" wat er op een foto of video staat, maar ook dat het begrijpt wat we via tekst vragen en dit nauwkeurig uitvoert. Je kunt nu de naam van een object in een promptvenster typen of erop klikken, waarna het model het object isoleert voor bewerking, het volgen van de beweging ervan of het omzetten naar een bruikbaar 3D-model voor professionele software, inclusief technieken voor het creëren van 3D-personages . Dit alles wordt ondersteund door een webgebaseerd testplatform dat experimenteren kinderspel maakt.

Wat is SAM 3 en wat biedt SAM 3D?

Wanneer we het over SAM 3 hebben, verwijzen we naar de nieuwe generatie van Meta's befaamde Segment Anything Model, gericht op beeld- en videodetectie en -segmentatie. Het belangrijkste verschil met eerdere versies is het vermogen om complexere tekstinstructies te begrijpen , waardoor het niet alleen "een auto" of "een bal" kan lokaliseren, maar ook veel specifiekere concepten zoals "een rode baseballpet". Deze mogelijkheid tilt segmentatie naar een hoger niveau, waardoor het mogelijk wordt om elementen met zeer nauwkeurige controle te filteren en te transformeren.

Het meest opvallende verwante model is SAM 3D. Dit model gaat een stap verder door de geometrie en het uiterlijk van objecten en personen te reconstrueren vanuit één enkele afbeelding . SAM 3D gebruikt de maskers en detecties van SAM 3 als basis, isoleert het geselecteerde element en reconstrueert het voor export en gebruik in 3D-pipelines, of het nu gaat om modelleersoftware zoals Blender of game -engines zoals Unreal Engine of Unity.

Meta heeft SAM 3D ontworpen met twee afzonderlijke modules voor verschillende toepassingen. Enerzijds is er de object- en scènemodule , ideaal voor het selecteren en reconstrueren van elementen in een foto; anderzijds is er een module die gespecialiseerd is in personen en die, naast segmentatie, een benaderend mesh met een skelet genereert en de houding aanpast voor visualisatie.

Er zijn echter belangrijke nuances in het exportproces. In de Playground is het met de module voor personen niet mogelijk om complete 3D-modellen te exporteren , terwijl objecten wel afzonderlijk geëxporteerd kunnen worden. Dit ontwerp is te wijten aan beperkingen van de proefversie en overwegingen met betrekking tot verantwoord gebruik van gezichten en lichamen.

Segment Anything Playground: het testterrein

Om deze nieuwe functies voor iedereen toegankelijk te maken, heeft Meta Segment Anything Playground gelanceerd, een webapplicatie waar je foto's of video's kunt uploaden en kunt experimenteren met selecties en effecten. De interface doet denken aan de toverstaf van Photoshop : je klikt op het object, het systeem genereert een masker en je verfijnt het totdat je tevreden bent.

De Playground-editor bevat een aantal vooraf gedefinieerde prompts om je op weg te helpen, maar het echte plezier begint pas wanneer je je eigen content uploadt. Typ simpelweg wat je wilt isoleren in het instructievak en SAM 3 begrijpt de opdracht en bereidt de selectie automatisch voor. Voor video-editors is dit een gamechanger: het segmenteren en frame voor frame volgen van een element was tot nu toe een tijdrovende klus.

Het is belangrijk om te benadrukken dat de tool bewust eenvoudig is gehouden. Het is niet bedoeld om te concurreren met professionele editors zoals Premiere , maar eerder om het potentieel van het segmentatiemodel te demonstreren en, terloops, te laten zien hoe het in complexere workflows kan worden geïntegreerd. Desondanks kun je er al mee knippen, effecten toevoegen en visualiseren hoe het op verschillende instructies zou reageren.

Wat exporteren betreft, biedt Playground de mogelijkheid om de resultaten afzonderlijk te exporteren. Voor objecten kunt u PLY-bestanden exporteren of zelfs een video van de reconstructie. Het is een snelle manier om het materiaal naar uw favoriete 3D-software over te zetten of om zonder complicaties een preview voor te bereiden, bijvoorbeeld voor een 3D-presentatie met animatie.

Voor degenen die met mensen werken, biedt de menselijke module van Playground, zoals we al eerder aangaven, geen mogelijkheid om het uiteindelijke model te extraheren. Desondanks genereert het een benaderend mesh met een skelet en een pose die is aangepast voor visualisatie . Dit is voldoende om het potentieel te beoordelen en te begrijpen hoe het in de toekomst in een meer complete workflow zou passen.

Resultaten, beperkingen en hoe je er het maximale uit kunt halen

Als je direct hyperrealistische modellen verwacht, kun je je verwachtingen beter wat bijstellen. Objecten worden geëxporteerd als puntenwolken, niet als meshes . Dit is een gangbaar formaat in fotogrammetrie en reconstructie, erg handig als uitgangspunt, maar het vereist een extra stap als je een schone mesh met texturen en het complete pakket wilt.

Het goede nieuws is dat deze extra stap kan worden uitgevoerd met bestaande tools. Programma's zoals MeshLab of de geometrieknooppunten van Blender kunnen worden gebruikt om de puntenwolk om te zetten in een mesh en deze verder te verfijnen; of zelfs Windows 3D Builder te gebruiken . Je krijgt niet meteen een ultrarealistisch model, maar het is een goed uitgangspunt om verder te ontwikkelen.

Het is belangrijk om onderscheid te maken tussen wat de Playground laat zien en wat je met nabewerking kunt bereiken. De Playground-viewer biedt een indrukwekkende preview van het resultaat , maar de daadwerkelijke productie vereist opschoning, retopologie en, indien nodig, textuurprojectie. Het is geen toverkunst, maar het bespaart wel enorm veel tijd in de initiële opname- of segmentatiefase.

In het geval van personen moeten, naast exportbeperkingen, ook ethische implicaties in overweging worden genomen. Het reconstrueren van lichamen of gezichten zonder toestemming kan juridische en reputatieschade tot gevolg hebben . Hoewel technologie bepaalde mogelijkheden biedt, is het daarom aan te raden om met expliciete toestemming en in de juiste context te werken.

Als goede gewoonte is het raadzaam om, voordat je modellen publiceert, de metadata, de bron van het materiaal en de gebruiksrechten te controleren. Meta zelf geeft aan dat er controles worden ingebouwd om misbruik te verminderen , maar uiteindelijk ligt de verantwoordelijkheid voor de inhoud en de verspreiding ervan bij de maker en degene die de modellen deelt.

Teksten, indicaties en detectie: de sleutel tot SAM 3

Naast 3D ligt de kwalitatieve sprong voorwaarts van SAM 3 in het begrip van taal. Het kan nu gedetailleerde beschrijvingen verwerken en deze koppelen aan specifieke elementen in afbeeldingen en video's , waardoor de mogelijkheden voor segmentatie veel verder reiken dan generieke categorieën. Dit maakt workflows op basis van prompts mogelijk die voorheen ondenkbaar waren.

Deze verbetering is gebaseerd op een architectuur die is getraind op grote hoeveelheden data en de combinatie van visuele en tekstuele aanwijzingen. Het model "koppelt" wat je schrijft aan wat het ziet , waardoor concepten en visuele relaties nauwkeuriger worden geïnterpreteerd dan SAM 1 of SAM 2, die goed werkten met visuele aanwijzingen maar moeite hadden met complexe natuurlijke taal.

Een ander belangrijk concept in het model is zero-shot generalisatie. In de praktijk betekent dit dat je objecten kunt segmenteren die je nog niet in je database hebt gezien, zolang je maar een geschikte visuele of tekstuele referentie hebt. Deze mogelijkheid is essentieel in de echte wereld, waar objecten divers zijn en niet altijd netjes in rigide categorieën passen.

Volgens de beschikbare informatie maakte de training van dit ecosysteem gebruik van een enorme hoeveelheid maskers uit diverse openbare bronnen. Veelgebruikte visuele databases zoals Wikipedia , Flickr en Instagram worden genoemd , wat de robuustheid van het model in het generaliseren en de prestaties in het identificeren van objecten in heterogene contexten verklaart.

Een bijkomend voordeel van SAM 3 is de mogelijkheid om meerdere maskers tegelijk te genereren, wat erg handig is voor het doorsturen van resultaten naar andere systemen. Deze maskers kunnen worden gekoppeld aan 2D- en 3D-editors, videobewerkingsprogramma's of creatieve processen zoals compositing en collage, waardoor de workflow in de postproductie aanzienlijk wordt gestroomlijnd.

Integratie in Meta-producten en toepassingen in de echte wereld

Meta's strategie beperkt zich niet tot het lab. Het bedrijf heeft aangekondigd dat het SAM 3 zal integreren in Edits , de tool voor het maken van korte video's op Instagram en Facebook , vergelijkbaar met CapCut . Dit opent de deur naar fijnere segmentatiefilters, effecten die op specifieke elementen worden toegepast en achtergrondwijzigingen zonder kwaliteitsverlies.

Op het gebied van generatieve ervaringen richt Meta zich ook op Vibes, waar het van plan is zijn segmentatiemodel toe te passen op door AI gegenereerde video's . Het idee is om de precisie van SAM 3 te benutten om elementen binnen clips te isoleren en te transformeren zonder handmatige tussenkomst door elk frame te maskeren, een proces dat traditionele workflows aanzienlijk complexer maakt.

De meest concrete toepassing voor het grote publiek zal wellicht via de commercie komen. Op Facebook Marketplace kunnen gebruikers met de functie 'Bekijk in kamer' producten in hun eigen huis visualiseren , met behulp van automatisch gegenereerde 3D-modellen die kunnen helpen bij het creëren van filmische 3D-scènes . Denk bijvoorbeeld aan lampen of meubels: je richt je camera op de woonkamer en ziet hoe het product eruit zou zien voordat je het koopt.

De mogelijkheden reiken veel verder dan netwerken en winkelen. Toepassingen worden onder andere genoemd in robotica, wetenschap, onderwijs, het maken van videogames en VR/AR-ervaringen . De mogelijkheid om een ​​3D-model te reconstrueren vanuit een foto vereenvoudigt het vastleggen en prototypen voor simulators, analyses en educatieve content aanzienlijk.

In de sportgeneeskunde kan het gebruik van beeldgebaseerde reconstructies bijvoorbeeld helpen bij het genereren van educatief materiaal of bewegingssimulaties. Deze scenario's vereisen nog steeds klinische validatie en kwaliteitsborging , maar de technische basis van segmentatie en reconstructie biedt veelbelovende mogelijkheden voor verder onderzoek.

Hoe je met objecten en mensen in SAM 3D werkt

De module voor objecten en scènes werkt met behulp van selectielogica. U selecteert een element met een klik, waarna het systeem een ​​masker in de vorm van een toverstaf genereert , dat randen en kenmerken herkent. Vervolgens kunt u dat masker verfijnen en het reconstructieproces voor export starten.

Bij deze export is het primaire formaat PLY, dat bestaat uit de puntenwolk die het object representeert. Dit bestand kan worden geïmporteerd in programma's zoals Blender of MeshLab om het om te zetten naar een mesh voor verdere verfijning, of zelfs worden gebruikt voor snelle bewerkingen. Je krijgt niet meteen een ultrarealistisch model, maar het is een goede basis voor verder werk.

De module voor personen volgt een vergelijkbare selectiefilosofie, maar de output ervan is beperkt in de webtestversie. Het genereert een benaderend mesh met een skelet en past de houding aan – een praktische functie om de figuur of houding te visualiseren, hoewel het niet mogelijk is om het volledige 3D-model van de Playground te downloaden.

Dit onderscheid is gebaseerd op zowel technische als ethische overwegingen. De verwerking van biometrische gegevens en de reconstructie van identiteiten vereisen voorzichtigheid , dus het beperken van de export in de menselijke module voorkomt gevoelig gebruik totdat de gemeenschaps- en monitoringtools verder ontwikkeld zijn.

Open bronnen, benchmarking en community

Om onderzoek en toepassing te stimuleren, heeft Meta modelbronnen en benchmarkdatasets beschikbaar gesteld. Onderzoekers, ontwikkelaars en kunstenaars hebben toegang tot de code en diverse beeldcollecties om de prestaties consistent te evalueren en resultaten te vergelijken.

Deze openheid dient niet alleen om de stand van de techniek te meten. Het creëert ook een gemeenschappelijke basis voor de gemeenschap om te experimenteren, grenzen te verkennen en verbeteringen voor te stellen op gebieden zoals de geometrische nauwkeurigheid van reconstructies, robuustheid tegen occlusies en het begrijpen van natuurlijke taal in gespecialiseerde domeinen.

Het is echter belangrijk om het gebruikskader te respecteren. Meta benadrukt dat het model in dit stadium uitsluitend voor onderzoeksdoeleinden gebruikt moet worden en niet voor direct commercieel gebruik. Deze aanpak helpt risico's te beperken, terwijl tegelijkertijd bewijs wordt verzameld en beste praktijken worden ontwikkeld.

Ondertussen onderzoeken diverse creatieve en marketingteams al hoe ze deze tools in hun dagelijkse werkprocessen kunnen integreren. Bureaus en performance-afdelingen onderzoeken hoe ze deze maskers en reconstructies kunnen inzetten om de targeting van campagnes te verbeteren of audiovisueel materiaal te genereren, in combinatie met tools zoals Google Ads Data Manager wanneer visuele content een belangrijke rol speelt.

Praktische voordelen die het verschil maken

In het dagelijks gebruik vallen diverse voordelen op ten opzichte van de vorige versie. De verschillende invoermogelijkheden (klikken, aanwijzen, tekst) vereenvoudigen de selectie zonder tussenstappen, waardoor het bewerken sneller gaat. Dankzij deze flexibiliteit kunnen zelfs niet-technische gebruikers respectabele resultaten behalen.

Interoperabiliteit is een ander belangrijk voordeel. Het ontwerp van SAM maakt integratie met AR/VR-systemen, editors en engines mogelijk , waardoor het doorgaans als een gewone component binnen bestaande workflows wordt gezien. Het gaat er niet om de workflow volledig opnieuw uit te vinden, maar eerder om een ​​nieuw onderdeel toe te voegen dat tijd bespaart.

De output, in de vorm van meerdere maskers en afzonderlijke objecten, maakt het mogelijk om informatie te kanaliseren naar waar die nodig is. Van videotracking tot complexe composities en 3D-pipelines : het idee is dat wat SAM produceert naadloos aansluit op de rest van de tools.

Tot slot is de sprong voorwaarts in het begrip van de visuele wereld, mogelijk gemaakt door grote dataopslagplaatsen, merkbaar in de prestaties in de praktijk. Het vermogen van het systeem om te begrijpen "wat je het vertelt" en dit te koppelen aan "wat het ziet" is precies wat het bruikbaar maakt buiten het laboratorium.

Ethiek, veiligheid en goede praktijken

Macht brengt verantwoordelijkheid met zich mee. Werken met afbeeldingen van mensen vereist toestemming en respect voor de privacy , vooral als u van plan bent de resultaten te delen of te publiceren. Vermijd het reconstrueren van gezichten van anderen, het manipuleren van gevoelige scènes of het verspreiden van afbeeldingen die privé-informatie zouden kunnen onthullen.

Elke professionele workflow moet bron- en toestemmingscontroles omvatten. Verifieer de herkomst van afbeeldingen, verwijder gevoelige metadata waar nodig en beperk de verspreiding tot geschikte contexten. Als de inhoud minderjarigen of kwetsbare groepen betreft, neem dan extra voorzorgsmaatregelen of stop met het project.

Meta heeft aangegeven dat het maatregelen zal nemen om misbruik te verminderen, maar dat ontslaat makers niet van hun verantwoordelijkheid. De verantwoordelijkheid ligt bij degenen die de content uploaden, verwerken en publiceren . Het naleven van interne ethische en beveiligingsrichtlijnen is net zo belangrijk als weten hoe je de tool moet gebruiken.

Als u bovendien van plan bent de resultaten in productie te nemen, ontwerp dan een pipeline met kwaliteitscontroles. Neem technische validaties (geometrie, occlusies, artefacten) en juridische validaties (vergunningen, licenties) op en documenteer het proces zodat het controleerbaar is. Dit vermindert risico's en verbetert de traceerbaarheid.

Gerelateerd artikel:

Hoe je een personage in ChatGPT en Gemini creëert en zijn uiterlijk in al je afbeeldingen behoudt

Isaac

Gepassioneerd schrijver over de wereld van bytes en technologie in het algemeen. Ik deel mijn kennis graag door te schrijven, en dat is wat ik in deze blog ga doen: je de meest interessante dingen laten zien over gadgets, software, hardware, technologische trends en meer. Mijn doel is om u te helpen op een eenvoudige en onderhoudende manier door de digitale wereld te navigeren.