- Naiintindihan ng SAM 3 ang kumplikadong teksto upang i-segment at subaybayan ang mga bagay sa mga larawan at video nang may katumpakan.
- Ang SAM 3D ay nagre-reconstruct ng mga bagay at tao mula sa isang larawan at pinapayagan ang pag-export ng mga bagay sa PLY o video.
- Pinapadali ng Playground ang pagsubok, pagpili, at pag-export, na may limitadong module ng tao upang maiwasan ang mga sensitibong paggamit.
- Mga real-world na application sa Edits, Vibes at Marketplace, at potensyal sa robotics, science, edukasyon at AR/VR.
Sa nakalipas na mga buwan, ang mundo ng pag-edit at visual na paglikha ay gumawa ng isang malaking hakbang pasulong sa pagdating ng SAM 3 at, lalo na, SAM 3D. Inilabas ng Meta ang isang teknolohiyang may kakayahang mag-detect, mag-track, at mag-reconstruct ng mga bagay at tao sa 3D Sa isang kadalian na, hanggang kamakailan, ay tila science fiction. Ang advance na ito ay nagdadala ng advanced na pag-edit at 3D visualization sa sinumang may browser at gustong mag-tinker.
Ang kagiliw-giliw na bagay ay hindi lamang na "nakikita" ng system kung ano ang nasa isang larawan o video, ngunit naiintindihan din nito kung ano ang hinihiling namin dito sa pamamagitan ng text at isinasagawa ito nang may katumpakan. Ngayon ay maaari mong i-type ang pangalan ng isang bagay sa isang prompt boxo i-click ito, at ihihiwalay ito ng modelo para sa pag-edit, pagsubaybay sa paggalaw nito, o pag-convert nito sa isang magagamit na three-dimensional na modelo sa propesyonal na software, kabilang ang mga diskarte para sa lumikha ng mga 3D na characterAng lahat ng ito ay higit na pinahusay ng isang web-based na platform ng pagsubok na ginagawang madali ang pag-eksperimento.
Ano ang SAM 3 at ano ang inaalok ng SAM 3D?
Kapag pinag-uusapan natin ang tungkol sa SAM 3, tinutukoy natin ang bagong henerasyon ng sikat na Segment Anything Model ng Meta na nakatuon sa pagtuklas at pagse-segment sa mga larawan at video. Ang pangunahing pagkakaiba kumpara sa mga nakaraang bersyon ay ang pag-unawa sa mas kumplikadong mga tagubilin sa teksto.Nagbibigay-daan ito sa iyong hanapin hindi lang ang "isang kotse" o "isang bola," ngunit mas partikular na mga konsepto tulad ng "isang pulang baseball cap." Ang kakayahang ito ay nagdadala ng segmentation sa isa pang antas, na ginagawang posible na i-filter at ibahin ang anyo ng mga elemento na may mahusay na kontrol.
Ang pinakakapansin-pansing kapatid ay si SAM 3D. Ang modelong ito ay nagpapatuloy sa isang hakbang sa pamamagitan ng muling pagtatayo ng geometry at hitsura ng mga bagay at tao mula sa isang larawanGamit ang mga mask at detection ng SAM 3 bilang pundasyon, ibinubukod ng SAM 3D ang napiling elemento at muling itinatayo ito para sa pag-export at paggamit sa mga 3D pipeline, sa software man ng pagmomodelo tulad ng Blender o sa mga rendering engine. laro tulad ng Unreal Engine o Unity.
Dinisenyo ng Meta ang SAM 3D na may dalawang natatanging module upang masakop ang iba't ibang kaso ng paggamit. Sa isang banda mayroong object-oriented at scene-oriented na module, perpekto para sa pagpili ng mga elemento sa isang larawan at muling pagtatayo ng mga ito; sa kabilang banda, ang isang module na dalubhasa sa mga tao na, bilang karagdagan sa pagse-segment, ay bumubuo ng isang tinatayang mesh na may balangkas at inaayos ang pose para sa visualization.
Gayunpaman, may mga mahahalagang nuances sa pag-export. Sa Playground, hindi pinapayagan ng module ng mga tao ang pagkuha ng mga kumpletong 3D na modelo.Habang sa kaso ng mga bagay, maaaring i-export ng tool ang resulta nang hiwalay. Ang disenyong ito ay tumutugon sa mga limitasyon ng trial na bersyon at mga pagsasaalang-alang para sa responsableng paggamit patungkol sa mga mukha at katawan ng tao.
I-segment ang Anything Playground: ang testing ground
Upang gawing naa-access ng lahat ang mga bagong feature na ito, inilunsad ng Meta ang Segment Anything Playground, isang web application kung saan maaari kang mag-upload ng mga larawan o video at magsimulang maglaro ng mga seleksyon at effect. Ang interface ay nakapagpapaalaala sa magic wand tool ng Photoshop.Nag-click ka sa bagay, ang system ay bumubuo ng isang maskara, at pinipino mo ito hanggang sa ito ay nababagay sa iyong panlasa.
Kasama sa editor ng Playground ang ilang paunang natukoy na mga senyas upang makapagsimula, ngunit magsisimula ang saya kapag nag-upload ka ng sarili mong content. I-type lamang kung ano ang gusto mong ihiwalay sa kahon ng pagtuturo.Naiintindihan ng SAM 3 ang utos at awtomatikong inihahanda ang pagpili. Para sa mga editor ng video, ito ay isang game-changer: ang pagse-segment at pagsubaybay sa isang elemento ng frame sa pamamagitan ng frame ay, hanggang ngayon, isang nakakapagod na gawain.
Ito ay nagkakahalaga na tandaan na ang tool ay sadyang simple. Hindi nito nilayon na makipagkumpitensya sa mga propesyonal na editor tulad ng Premiere.Sa halip, nilalayon nitong ipakita ang potensyal ng modelo ng pagse-segment at, nagkataon, ipakita kung paano ito maisasama sa mas kumplikadong mga daloy ng trabaho. Gayunpaman, pinapayagan na nito ang mga user na mag-crop, magdagdag ng mga epekto, at mailarawan kung paano ito tutugon sa iba't ibang mga senyas.
Tungkol sa pag-export, pinapayagan ka ng Playground na kunin ang mga resulta nang hiwalay. Para sa mga bagay, maaari mong i-export ang mga PLY file o kahit isang video. na may muling pagtatayo. Ito ay isang mabilis na paraan upang ilipat ang materyal sa iyong paboritong 3D software o maghanda ng isang preview nang walang mga komplikasyon, halimbawa para sa isang 3D na pagtatanghal na may animation.
Para sa mga nagtatrabaho sa mga tao, ang module ng tao ng Playground, gaya ng sinabi namin, ay hindi nagbibigay-daan sa pagkuha ng panghuling modelo. Gayunpaman, ito ay bumubuo ng isang tinatayang mesh na may balangkas at pose na nababagay para sa visualization., sapat na upang i-verify ang potensyal at maunawaan kung paano ito magkakasya sa isang mas kumpletong pipeline sa hinaharap.
Mga resulta, limitasyon at kung paano masulit ang mga ito
Kung inaasahan mo ang mga hyper-realistic na modelo sa labas ng kahon, pinakamahusay na babaan nang kaunti ang iyong mga inaasahan. Ang mga bagay ay ini-export bilang mga point cloud, hindi bilang mga meshes.Ito ay isang karaniwang format sa photogrammetry at reconstruction, lubhang kapaki-pakinabang bilang base, ngunit nangangailangan ito ng karagdagang hakbang kung gusto mo ng malinis na mesh na may mga texture at ang buong pakete.
Ang mabuting balita ay ang karagdagang hakbang na ito ay maaaring kumpletuhin gamit ang mga naitatag na tool. Maaaring gamitin ang mga program tulad ng MeshLab o mga geometry node ng Blender upang i-convert ang point cloud sa isang mesh. at magpatuloy sa pagpapakintab; o kahit na gamitin ang Windows 3D BuilderHindi ka agad makakakuha ng ultra-realistic na modelo, ngunit ito ay isang magandang panimulang punto para sa pag-ulit.
Mahalagang makilala kung ano ang ipinapakita ng Playground mula sa kung ano ang maaari mong makamit sa post-processing na gawain. Nag-aalok ang Playground viewer ng kapansin-pansing view ng resultaNgunit ang pagdadala nito sa produksyon ay nagsasangkot ng paglilinis, retopology, at, kung kinakailangan, texture projection. Hindi ito magic, ngunit nakakatipid ito ng malaking oras sa paunang yugto ng pagkuha o segmentation.
Sa kaso ng mga tao, bilang karagdagan sa limitasyon sa pag-export, dapat isaalang-alang ang mga etikal na implikasyon. Ang muling pagtatayo ng mga katawan o mukha nang walang pahintulot ay maaaring magkaroon ng legal at reputasyon na kahihinatnan.Samakatuwid, bagama't pinapayagan ng teknolohiya ang ilang mga bagay, ang rekomendasyon ay gumana nang may tahasang pahintulot at naaangkop na mga konteksto.
Bilang pinakamahusay na kasanayan, bago ka magsimulang mag-publish ng mga modelo, tiyaking suriin ang metadata, pinagmulan ng materyal, at mga pahintulot. Ang Meta mismo ay nagsasaad na ito ay magsasama ng mga kontrol upang mabawasan ang maling paggamitNgunit sa huli, ang responsibilidad para sa nilalaman at pagpapakalat nito ay nakasalalay sa taong lumikha at nagbabahagi nito.
Mga teksto, indikasyon at pagtuklas: ang susi sa SAM 3
Higit pa sa 3D, ang qualitative leap ng SAM 3 ay nakasalalay sa pag-unawa nito sa wika. Maaari mo na ngayong iproseso ang mga detalyadong paglalarawan at i-link ang mga ito sa mga partikular na elemento sa mga larawan at video.Pinapalawak nito ang saklaw ng pagse-segment nang higit pa sa mga generic na kategorya, na nagpapagana sa mga mabilisang nakabatay sa daloy ng trabaho na dating imposible.
Ang pagpapabuti na ito ay batay sa isang arkitektura na sinanay na may malalaking volume ng data at sa kumbinasyon ng mga visual at textual na mga pahiwatig. Ang modelo ay "tumutugma" sa iyong isinusulat sa kung ano ang nakikita nito, pagbibigay-kahulugan sa mga visual na konsepto at relasyon nang mas tumpak kaysa sa SAM 1 o SAM 2, na gumagana nang maayos sa mga visual na pahiwatig ngunit nahirapan sa kumplikadong natural na wika.
Ang isa pang pangunahing konsepto na lumilitaw sa modelo ay ang zero-shot generalization. Sa pagsasagawa, nangangahulugan ito na maaari mong i-segment ang mga bagay na hindi mo pa nakikita sa iyong database. kung ito ay binibigyan ng angkop na visual o textual na sanggunian. Ang kakayahang ito ay mahalaga para sa totoong mundo, kung saan ang mga elemento ay iba-iba at hindi palaging magkasya sa mga nakapirming kategorya.
Ayon sa magagamit na impormasyon, ang pagsasanay ng ecosystem na ito ay umasa sa isang napakalaking dami ng mga maskara mula sa iba't ibang mga pampublikong mapagkukunan. Malawakang ginagamit ang mga visual repository ay binanggit, tulad ng Wikipedia, Flickr o InstagramIpinapaliwanag nito ang katatagan ng modelo sa pag-generalize at ang pagganap nito sa pagtukoy ng mga bagay sa magkakaibang konteksto.
Bilang side benefit, nag-aalok ang SAM 3 ng maraming mask output, na lubhang kapaki-pakinabang para sa pagruruta ng mga resulta sa ibang mga system. Ang mga maskara na ito ay maaaring i-chain sa mga 2D at 3D na editor, mga tool sa pagsubaybay sa video, o mga creative na proseso. gaya ng mga komposisyon at collage, na makabuluhang nagpapa-streamline ng mga daloy ng trabaho pagkatapos ng produksyon.
Pagsasama sa mga produkto ng Meta at paggamit sa totoong mundo
Ang diskarte ng Meta ay hindi nananatili sa laboratoryo. Inihayag ng kumpanya na isasama nito ang SAM 3 sa Mga Pag-edit, ang kanilang tool para sa paglikha ng maiikling video sa Instagram at Facebook, katulad ng hiwa ng takipBinubuksan nito ang pinto sa mas pinong mga filter ng segmentation, mga epektong inilapat sa mga partikular na elemento, at mga pagbabago sa background nang hindi sinasakripisyo ang kalidad.
Sa larangan ng mga generative na karanasan, tina-target din ng Meta ang Vibes, kung saan plano nitong ilapat ang modelo ng pagse-segment nito sa mga video na ginawa ng IA. Ang ideya ay gamitin ang katumpakan ng SAM 3 upang ihiwalay at baguhin ang mga elemento sa loob ng mga clip nang walang manu-manong interbensyon na tinatakpan ang bawat frame, isang bagay na lubos na nagpapalubha sa mga tradisyunal na daloy ng trabaho.
Marahil ang pinakanasasalat na aplikasyon para sa pangkalahatang publiko ay darating sa pamamagitan ng commerce. Sa Facebook Marketplace, ang View in Room feature ay magbibigay-daan sa iyo na tingnan ang mga produkto sa bahay.gamit ang mga awtomatikong nabuong modelong 3D na makakatulong bumuo ng mga 3D na eksenang mukhang cinematicIsipin ito gamit ang mga lamp o muwebles: itinutok mo ang camera sa sala at tingnan kung ano ang magiging hitsura ng bagay na iyon bago mo ito bilhin.
Higit pa sa networking at pamimili, ang potensyal ay higit pa sa entertainment. Ang mga application ay nabanggit sa robotics, agham, edukasyon, paggawa ng video game, at mga karanasan sa VR/AR.Ang kakayahang muling buuin sa 3D mula sa isang larawan ay lubos na nagpapasimple sa pagkuha at pag-prototyping para sa mga simulator, pagsusuri, at nilalaman ng pagsasanay.
Sa sports medicine, halimbawa, ang paggamit ng mga reconstruction na batay sa imahe ay maaaring makatulong sa pagbuo ng mga materyal na pang-edukasyon o mga simulation ng paggalaw. Ang mga sitwasyong ito ay nangangailangan pa rin ng klinikal na pagpapatunay at mga proseso ng kalidadGayunpaman, ang teknikal na batayan para sa pagse-segment at muling pagtatayo ay nagbubukas ng isang magandang paraan para sa paggalugad.
Paano magtrabaho sa mga bagay at tao sa SAM 3D
Gumagana ang module ng mga bagay at eksena sa isang tinulungang lohika sa pagpili. Pumili ka ng isang elemento na may isang pag-click at ang system ay bumubuo ng isang maskara sa estilo ng isang "magic wand"pagkilala sa mga gilid at tampok. Pagkatapos ay maaari mong pinuhin ang maskara na iyon at simulan ang muling pagtatayo para sa pag-export.
Sa pag-export na iyon, ang pangunahing format ay PLY, na binubuo ng point cloud na kumakatawan sa object. Maaaring dalhin ang file na ito sa mga tool tulad ng Blender o MeshLab upang i-convert ito sa isang mesh. at magpatuloy sa pagpino; o kahit na gamitin ito para sa mabilis na operasyon. Ang file na ito ay maaaring dalhin sa mga tool tulad ng Blender o MeshLab upang i-convert ito sa isang mesh at higit pang pinuhin ito. Maaaring dalhin ang file na ito sa mga tool tulad ng Blender o MeshLab upang i-convert ito sa isang mesh. at patuloy itong pinuhin. Hindi ka magkakaroon kaagad ng ultra-realistic na modelo, ngunit ito ay isang magandang pundasyon upang magpatuloy sa paggawa.
Ang module ng mga tao ay sumusunod sa isang katulad na pilosopiya tungkol sa pagpili, ngunit ang output nito ay pinaghihigpitan sa bersyon ng pagsubok sa web. Bumubuo ng tinatayang mesh na may balangkas at inaayos ang pustura, isang praktikal na function para sa pag-visualize ng figure o pose, kahit na hindi dina-download ang kumpletong 3D na modelo mula sa Playground.
Ang pagkakaibang ito ay tumutugon sa parehong mga teknikal na isyu at etikal na pagsasaalang-alang. Ang pagproseso ng biometric data at ang muling pagtatayo ng mga pagkakakilanlan ay nangangailangan ng pag-iingat.Samakatuwid, ang paglilimita sa pag-export sa module ng tao ay pumipigil sa mga sensitibong paggamit habang ang komunidad at mga tool sa pagkontrol ay mature.
Buksan ang mga mapagkukunan, benchmarking, at komunidad
Upang i-promote ang pananaliksik at pag-aampon, ginawa ng Meta na magagamit ang mga mapagkukunan ng modelo at mga benchmarking dataset. Maa-access ng mga mananaliksik, developer, at artist ang code at magkakaibang mga koleksyon ng larawan. kung saan susuriin ang pagganap at ihambing ang mga resulta nang tuluy-tuloy.
Ang pambungad na ito ay hindi lamang kapaki-pakinabang para sa pagsukat ng estado ng sining. Nagtatatag din ito ng karaniwang batayan para sa komunidad na umulit, maghanap ng mga limitasyon, at magmungkahi ng mga pagpapabuti. sa mga lugar tulad ng geometric fidelity ng mga reconstruction, tibay sa mga occlusion, o natural na pag-unawa sa wika sa mga espesyal na domain.
Gayunpaman, mahalaga na igalang ang balangkas para sa paggamit. Iginiit ng Meta na ang modelo ay dapat gamitin para sa mga layunin ng pananaliksik sa yugtong ito at hindi para sa direktang komersyal na paggamit. Nakakatulong ang diskarteng ito na mabawasan ang mga panganib, habang nangangalap ng ebidensya at bumubuo ng mga pinakamahuhusay na kagawian.
Samantala, sinusubukan na ng iba't ibang creative at marketing team kung paano ito iangkop sa mga totoong workflow. Ang mga ahensya at departamento ng pagganap ay nag-e-explore kung paano gamitin ang mga maskara at muling pagtatayo na ito. upang mapabuti ang pagse-segment sa mga kampanya o ang pagbuo ng mga audiovisual na materyales, na kumukonekta sa mga tool gaya ng Google Ads Data Manager kapag gumaganap ng mahalagang papel ang visual na content.
Mga praktikal na kalamangan na gumagawa ng lahat ng pagkakaiba
Sa pang-araw-araw na buhay, maraming mga pakinabang ang namumukod-tangi kumpara sa kung ano ang naroon noon. Pinapasimple ng maraming input prompt (mga pag-click, tuldok, text) ang pagpili Nang walang mga intermediate na hakbang, pinapabilis ang proseso ng pag-edit. Ang flexibility na ito ay nagbibigay-daan sa mga hindi teknikal na user na makamit din ang mga kagalang-galang na resulta.
Ang interoperability ay isa pang kalamangan. Pinapadali ng disenyo ng SAM ang pagsasama sa mga AR/VR system, editor, at engine.Samakatuwid, ito ay karaniwang titingnan bilang isa pang bloke sa loob ng mga kasalukuyang pipeline. Ito ay hindi tungkol sa muling pag-imbento ng daloy, ngunit sa halip ay pagdaragdag ng isang bagong piraso na nakakatipid sa iyo ng oras.
Ang output sa anyo ng maramihang mga maskara at hiwalay na mga bagay ay nagbibigay-daan sa impormasyon na maihatid sa kung saan ito kailangang pumunta. Mula sa pagsubaybay sa video hanggang sa mga kumplikadong komposisyon, kabilang ang mga 3D pipelineAng ideya ay ang lumalabas sa SAM ay umaangkop tulad ng isang susi sa isang lock kasama ng iba pang mga tool.
Sa wakas, ang paglukso sa pag-unawa sa visual na mundo, na pinalakas ng malalaking data repository, ay kapansin-pansin sa pagganap sa mga real-world na kaso. Na nauunawaan ng system ang "kung ano ang sinasabi mo dito" at iniuugnay ito sa "kung ano ang nakikita nito" Iyon ay tiyak kung bakit ito kapaki-pakinabang sa kabila ng laboratoryo.
Etika, kaligtasan at mabubuting gawi
Ang kapangyarihan ay may kasamang responsibilidad. Ang paggawa sa mga larawan ng mga tao ay nangangailangan ng pahintulot at paggalang sa privacyLalo na kung plano mong ibahagi o i-publish ang mga resulta. Iwasang muling buuin ang mga mukha ng ibang tao, manipulahin ang mga sensitibong eksena, o pagbabahagi ng mga modelo na maaaring magbunyag ng pribadong impormasyon.
Ang anumang propesyonal na daloy ng trabaho ay dapat magsama ng mga pagsusuri sa pinagmulan at pahintulot. I-verify ang pinagmulan ng mga larawan, alisin ang sensitibong metadata kung naaangkop at nililimitahan ang pamamahagi sa mga angkop na konteksto. Kung ang nilalaman ay may kasamang mga menor de edad o mahina na grupo, pinapataas nito ang mga pag-iingat o itinatapon ang proyekto.
Ipinahiwatig ng Meta na magpapakilala ito ng mga kontrol upang mabawasan ang maling paggamit, ngunit hindi nito pinabubukod ang mga tagalikha. Ang pananagutan ay nakasalalay sa sinumang mag-upload, magproseso, at mag-publish.Ang pagpapatibay ng panloob na etika at mga alituntunin sa seguridad ay kasinghalaga ng pag-alam kung paano gamitin ang tool.
Bukod pa rito, kung magdadala ka ng mga resulta sa produksyon, magdisenyo ng pipeline na may mga kontrol sa kalidad. Kabilang dito ang mga teknikal na pagpapatunay (geometry, mga occlusion, artifact) at mga legal na pagpapatunay (mga permit, mga lisensya)at idokumento ang proseso para ma-audit ito. Mababawasan mo ang mga panganib at magkakaroon ka ng traceability.
Masigasig na manunulat tungkol sa mundo ng mga byte at teknolohiya sa pangkalahatan. Gustung-gusto kong ibahagi ang aking kaalaman sa pamamagitan ng pagsusulat, at iyon ang gagawin ko sa blog na ito, ipakita sa iyo ang lahat ng mga pinaka-kagiliw-giliw na bagay tungkol sa mga gadget, software, hardware, teknolohikal na uso, at higit pa. Ang layunin ko ay tulungan kang mag-navigate sa digital na mundo sa simple at nakakaaliw na paraan.