SAM 3D: nedir, nasıl çalışır ve neler yapabilirsiniz?

Son aylarda SAM 3 ve özellikle SAM 3D'nin gelişiyle birlikte kurgu ve görsel yaratım dünyası büyük bir sıçrama yaşadı. Meta, nesneleri ve insanları 3 boyutlu olarak tespit edebilen, izleyebilen ve yeniden yapılandırabilen bir teknolojiyi tanıttı Yakın zamana kadar bilim kurgu gibi görünen bir kolaylıkla. Bu yenilik, tarayıcısı olan ve kurcalamak isteyen herkese gelişmiş düzenleme ve 3B görselleştirme olanağı sunuyor.

İlginç olan, sistemin sadece fotoğrafta veya videoda olanı "görmesi" değil, aynı zamanda metinle ne istediğimizi de anlayıp hassasiyetle yerine getirmesi. Artık bir nesnenin adını bir komut kutusuna yazabilirsinizveya üzerine tıklayın ve model onu düzenlemek, hareketini izlemek veya profesyonel yazılımda kullanılabilir üç boyutlu bir modele dönüştürmek için izole eder; buna teknikler de dahildir 3D karakterler oluşturTüm bunlar, deney yapmayı kolaylaştıran web tabanlı bir test platformuyla daha da geliştiriliyor.

SAM 3 nedir ve SAM 3D neler sunuyor?

SAM 3'ten bahsettiğimizde, Meta'nın görüntü ve videolarda tespit ve segmentasyona odaklanan ünlü Segment Anything Model'inin yeni neslinden bahsediyoruz. Önceki versiyonlara göre en büyük fark, daha karmaşık metin talimatlarının anlaşılamamasıdır.Bu, yalnızca "bir araba" veya "bir top"u değil, "kırmızı beyzbol şapkası" gibi çok daha spesifik kavramları da bulmanızı sağlar. Bu yetenek, segmentasyonu bir üst seviyeye taşıyarak öğeleri hassas bir kontrolle filtrelemenizi ve dönüştürmenizi mümkün kılar.

En dikkat çekici kardeş ise SAM 3D. Bu model, nesnelerin ve insanların geometrisini ve görünümünü tek bir görüntüden yeniden oluşturarak bir adım daha ileri gidiyorSAM 3'ün maskelerini ve tespitlerini temel alarak SAM 3D, seçilen öğeyi izole eder ve Blender gibi modelleme yazılımlarında veya render motorlarında olsun, 3B boru hatlarında dışa aktarmak ve kullanmak üzere yeniden yapılandırır. oyun Unreal Engine veya Unity gibi.

Meta, farklı kullanım durumlarını kapsayacak şekilde SAM 3D'yi iki ayrı modülden oluşan bir şekilde tasarladı. Bir yandan nesne yönelimli ve sahne yönelimli modül var, fotoğraftaki öğeleri seçip yeniden yapılandırmak için ideal; öte yandan, segmentasyona ek olarak, bir iskeletle yaklaşık bir ağ oluşturan ve görselleştirme için pozu ayarlayan, insanlara özel bir modül.

Ancak ihracatta önemli nüanslar var. Oyun Alanında, insanlar modülü tam 3D modellerin çıkarılmasına izin vermiyor.Nesneler söz konusu olduğunda ise araç, sonucu ayrı ayrı dışa aktarabilir. Bu tasarım, deneme sürümünün sınırlamalarına ve yüzler ve insan vücutları ile ilgili sorumlu kullanım hususlarına yanıt verir.

Segment Anything Playground: test alanı

Bu yeni özellikleri herkesin erişimine açmak için Meta, fotoğraf veya video yükleyip seçimler ve efektlerle oynamaya başlayabileceğiniz bir web uygulaması olan Segment Anything Playground'u kullanıma sundu. Arayüz Photoshop'un sihirli değnek aracını anımsatıyor.Nesneye tıklıyorsunuz, sistem bir maske oluşturuyor ve siz de zevkinize uygun hale gelene kadar onu geliştiriyorsunuz.

Playground düzenleyicisi, başlamanız için önceden tanımlanmış bazı komutlar içerir, ancak eğlence kendi içeriğinizi yüklediğinizde başlar. Sadece izole etmek istediğiniz şeyi talimat kutusuna yazın.SAM 3 komutu anlar ve seçimi otomatik olarak hazırlar. Video editörleri için bu, oyunun kurallarını değiştiren bir özellik: Bir öğeyi kare kare parçalara ayırmak ve izlemek, şimdiye kadar sıkıcı bir işti.

Aracın özellikle basit tutulduğunu belirtmekte fayda var. Premiere gibi profesyonel editörlerle rekabet etme amacında değil.Bunun yerine, segmentasyon modelinin potansiyelini sergilemeyi ve bu arada, daha karmaşık iş akışlarına nasıl entegre edilebileceğini göstermeyi amaçlıyor. Yine de, kullanıcıların kırpma, efekt ekleme ve farklı komutlara nasıl yanıt vereceğini görselleştirmelerine olanak tanıyor.

Dışa aktarma konusunda Playground, sonuçları ayrı ayrı çıkarmanıza olanak tanır. Nesneler için PLY dosyalarını veya hatta bir videoyu dışa aktarabilirsiniz. Yeniden yapılandırma ile. Malzemeyi favori 3B yazılımınıza taşımanın veya örneğin bir ön izleme için sorunsuz bir şekilde bir önizleme hazırlamanın hızlı bir yoludur. Animasyonlu 3D sunum.

İnsanlarla çalışanlar için, Playground'un insan modülü, dediğimiz gibi, nihai modelin çıkarılmasına olanak vermiyor. Yine de görselleştirme için iskelet ve pozun ayarlandığı yaklaşık bir ağ oluşturur., potansiyeli doğrulamak ve gelecekte daha kapsamlı bir boru hattına nasıl uyum sağlayacağını anlamak için yeterlidir.

Sonuçlar, sınırlamalar ve bunlardan en iyi şekilde nasıl yararlanılır

Kutudan çıktığı anda hiper gerçekçi modeller bekliyorsanız, beklentilerinizi biraz düşürmeniz en iyisi olacaktır. Nesneler, ağlar olarak değil, nokta bulutları olarak dışa aktarılır.Fotogrametri ve rekonstrüksiyonda yaygın bir formattır, bir temel olarak oldukça kullanışlıdır, ancak dokular ve tüm paketle temiz bir ağ istiyorsanız ek bir adım gerektirir.

İyi haber şu ki, bu ekstra adım yerleşik araçlarla tamamlanabilir. Nokta bulutunu bir ağa dönüştürmek için MeshLab veya Blender'ın geometri düğümleri gibi programlar kullanılabilir. ve parlatmaya devam edin; hatta kullanın Windows 3D OluşturucuHemen ultra gerçekçi bir model elde edemeyeceksiniz, ancak yinelemeler için iyi bir başlangıç ​​noktasıdır.

Oyun Alanı'nın gösterdiği şeyle, post-işleme çalışmalarıyla elde edebileceğiniz şeyi birbirinden ayırmak önemlidir. Oyun Alanı görüntüleyicisi sonucun çarpıcı bir görünümünü sunarAncak üretime geçirmek, temizleme, yeniden topoloji ve gerekirse doku projeksiyonu gerektirir. Bu sihir değil, ancak ilk yakalama veya segmentasyon aşamasında büyük miktarda zaman kazandırır.

İnsanlar söz konusu olduğunda ihracat limitinin yanı sıra etik açıdan da dikkate alınması gerekir. İzinsiz olarak vücutların veya yüzlerin yeniden oluşturulması yasal ve itibar açısından sonuçlar doğurabilir.Dolayısıyla teknoloji bazı şeylere izin verse de açık rıza ve uygun bağlamlarda çalışılması önerilmektedir.

En iyi uygulama olarak, modelleri yayınlamaya başlamadan önce meta verileri, materyal kaynağını ve izinleri kontrol ettiğinizden emin olun. Meta, kötüye kullanımı azaltmak için kontrolleri entegre edeceğini belirtiyorAncak nihayetinde içeriğin ve yayılmasının sorumluluğu onu oluşturan ve paylaşan kişiye aittir.

Metinler, göstergeler ve tespit: SAM 3'ün anahtarı

SAM 3'ün niteliksel sıçraması 3D'nin ötesinde dil anlayışında yatıyor. Artık detaylı açıklamaları işleyebilir ve bunları görsellerdeki ve videolardaki belirli öğelere bağlayabilirsiniz.Bu, segmentasyonun kapsamını genel kategorilerin çok ötesine genişleterek, daha önce imkansız olan komut tabanlı iş akışlarını mümkün kılıyor.

Bu iyileştirme, büyük miktarda veri ile eğitilmiş bir mimariye ve görsel ve metinsel ipuçlarının birleşimine dayanmaktadır. Model, yazdıklarınızı gördükleriyle eşleştirir, görsel ipuçlarıyla iyi çalışan ancak karmaşık doğal dille mücadele eden SAM 1 veya SAM 2'den daha doğru bir şekilde görsel kavramları ve ilişkileri yorumlamada başarılı oldu.

Modelde ortaya çıkan bir diğer önemli kavram ise sıfır-atış genellemesidir. Pratikte bu, veritabanınızda görmediğiniz nesneleri segmentlere ayırabileceğiniz anlamına gelir. Uygun bir görsel veya metinsel referans verildiği takdirde. Bu beceri, unsurların çeşitlilik gösterdiği ve her zaman sabit kategorilere uymadığı gerçek dünya için olmazsa olmazdır.

Mevcut bilgilere göre, bu ekosistemin eğitimi farklı kamu kaynaklarından gelen büyük miktarda maskeye dayanıyordu. Yaygın olarak kullanılan görsel depolarından bahsedilmektedir, örneğin: Vikipedi, Flickr veya InstagramBu, modelin genellemedeki sağlamlığını ve heterojen bağlamlarda nesneleri tanımlamadaki performansını açıklar.

SAM 3'ün yan faydası olarak, sonuçların diğer sistemlere yönlendirilmesi için oldukça kullanışlı olan birden fazla maske çıkışının bulunmasıdır. Bu maskeler 2D ve 3D editörler, video izleme araçları veya yaratıcı süreçlerle zincirlenebilir. Kompozisyonlar ve kolajlar gibi, post prodüksiyon iş akışlarını önemli ölçüde hızlandırır.

Meta ürünlerine entegrasyon ve gerçek dünya kullanımları

Meta'nın stratejisi laboratuvarda kalmıyor. Şirket, SAM 3'ü Edits'e entegre edeceğini duyurdu, Instagram'da kısa videolar oluşturmak için kullandıkları araç ve Facebook, benzer CapCut Bu, kaliteyi feda etmeden daha ince segmentasyon filtrelerine, belirli öğelere uygulanan efektlere ve arka plan değişikliklerine kapı açar.

Üretken deneyimler alanında Meta, segmentasyon modelini, kullanıcılar tarafından oluşturulan videolara uygulamayı planladığı Vibes'ı da hedefliyor. IA. Amaç, kliplerdeki öğeleri izole etmek ve dönüştürmek için SAM 3'ün hassasiyetini kullanmaktır Geleneksel iş akışlarını büyük ölçüde karmaşıklaştıran, her kareyi maskeleyen manuel müdahale olmadan.

Belki de kamuoyu için en somut uygulama ticaret yoluyla gelecektir. Facebook Marketplace'te Odada Görüntüleme özelliği, ürünleri evinizde görüntülemenize olanak tanır.yardımcı olabilecek otomatik olarak oluşturulmuş 3B modelleri kullanarak sinematik görünümlü 3D sahneler oluşturunBunu lambalar veya mobilyalar için düşünün: Kamerayı oturma odasına tutuyorsunuz ve satın almadan önce o nesnenin nasıl görüneceğine bakıyorsunuz.

Ağ kurmanın ve alışverişin ötesinde, potansiyel eğlencenin de ötesine geçiyor. Robotik, bilim, eğitim, video oyunu yapımı ve VR/AR deneyimleri gibi alanlarda uygulamaları olduğu belirtiliyor.Bir fotoğraftan 3 boyutlu olarak yeniden yapılandırılabilmesi, simülatörler, analiz ve eğitim içeriği için yakalama ve prototiplemeyi büyük ölçüde basitleştirir.

Örneğin spor hekimliğinde görüntü tabanlı rekonstrüksiyonların kullanımı eğitim materyalleri veya hareket simülasyonları üretmeye yardımcı olabilir. Bu senaryolar hala klinik doğrulama ve kalite süreçlerine ihtiyaç duyuyorAncak segmentasyon ve yeniden yapılandırmanın teknik temeli, keşif için umut verici bir yol açıyor.

SAM 3D'de nesneler ve insanlarla nasıl çalışılır?

Nesneler ve sahneler modülü destekli seçim mantığıyla çalışır. Bir tıklamayla bir öğeyi seçiyorsunuz ve sistem "sihirli değnek" tarzında bir maske oluşturuyorKenarları ve özellikleri tanıyarak. Ardından bu maskeyi geliştirebilir ve dışa aktarma için yeniden yapılandırmaya başlayabilirsiniz.

Bu ihracatta ana format, nesneyi temsil eden nokta bulutundan oluşan PLY'dir. Bu dosyayı Blender veya MeshLab gibi araçlara götürüp mesh'e dönüştürebilirsiniz. ve iyileştirmeye devam edebilir; hatta hızlı işlemler için bile kullanabilirsiniz. Bu dosya, Blender veya MeshLab gibi araçlara aktarılarak bir ağa dönüştürülebilir ve daha da iyileştirilebilir. Bu dosyayı Blender veya MeshLab gibi araçlara götürüp mesh'e dönüştürebilirsiniz. ve onu geliştirmeye devam edin. Hemen ultra gerçekçi bir modeliniz olmayacak, ancak üzerinde çalışmaya devam etmek için sağlam bir temel olacak.

İnsanlar modülü de seçim konusunda benzer bir felsefeyi takip ediyor ancak çıktısı web test sürümünde kısıtlı. İskelet ile yaklaşık bir ağ oluşturur ve duruşu ayarlar, Playground'dan tam 3D modeli indirmeden figürü veya pozu görselleştirmeye yarayan pratik bir fonksiyondur.

Bu farklılaşma hem teknik konulara hem de etik kaygılara yanıt veriyor. Biyometrik verilerin işlenmesi ve kimliklerin yeniden oluşturulması dikkatli olmayı gerektirir.Bu nedenle, insan modülünde ihracatın sınırlandırılması, topluluk ve kontrol araçları olgunlaşırken hassas kullanımların önüne geçer.

Açık kaynaklar, kıyaslama ve topluluk

Araştırma ve benimsemeyi teşvik etmek için Meta, model kaynakları ve kıyaslama veri kümelerini kullanıma sundu. Araştırmacılar, geliştiriciler ve sanatçılar kodlara ve çeşitli görsel koleksiyonlarına erişebilirler. Performansı değerlendirmek ve sonuçları tutarlı bir şekilde karşılaştırmak için.

Bu açıklık sadece teknolojinin durumunu ölçmek için kullanışlı değildir. Ayrıca topluluğun yineleme yapması, sınırlamaları bulması ve iyileştirmeler önermesi için ortak bir zemin oluşturur. yeniden yapılandırmaların geometrik doğruluğu, tıkanıklıklara karşı dayanıklılık veya uzmanlaşmış alanlarda doğal dil anlayışı gibi alanlarda.

Ancak kullanım çerçevesine saygı göstermek önemlidir. Meta, modelin bu aşamada araştırma amaçlı kullanılması gerektiği konusunda ısrarcıdır ve doğrudan ticari kullanım için değildir. Bu yaklaşım, kanıt toplayıp en iyi uygulamaları oluştururken riskleri azaltmaya yardımcı olur.

Bu arada çeşitli yaratıcı ve pazarlama ekipleri bunu gerçek iş akışlarına nasıl uyarlayacaklarını test ediyor. Performans ajansları ve departmanları bu maskeleri ve yeniden yapılandırmaları nasıl değerlendireceklerini araştırıyor. Kampanyalarda segmentasyonu iyileştirmek veya görsel-işitsel materyallerin oluşturulmasını sağlamak için, aşağıdaki araçlarla bağlantı kurmak: Google Görsel içeriğin önemli rol oynadığı durumlarda Reklam Veri Yöneticisi.

Tüm farkı yaratan pratik avantajlar

Günlük hayatta eskiye oranla birçok avantaj göze çarpıyor. Çoklu giriş istemleri (tıklamalar, noktalar, metin) seçimi kolaylaştırır Ara adımlara gerek kalmadan düzenleme süreci hızlandırılır. Bu esneklik, teknik bilgisi olmayan kullanıcıların da saygın sonuçlar elde etmesini sağlar.

Bir diğer avantaj ise birlikte çalışabilirliktir. SAM'in tasarımı AR/VR sistemleri, editörleri ve motorlarıyla entegrasyonu kolaylaştırır.Bu nedenle, genellikle mevcut boru hatları içindeki bir blok olarak görülecektir. Mesele akışı yeniden icat etmek değil, size zaman kazandıracak yeni bir parça eklemektir.

Çoklu maskeler ve ayrı nesneler biçimindeki çıktılar, bilginin gitmesi gereken yere yönlendirilmesini sağlar. Video takibinden 3B boru hatları da dahil olmak üzere karmaşık kompozisyonlara kadarBuradaki fikir, SAM'den çıkan şeyin diğer aletlerle bir kilide anahtar gibi uyumlu olmasıdır.

Son olarak, büyük veri depolarının sağladığı ivmeyle görsel dünyayı anlamada yaşanan sıçrama, gerçek dünya durumlarında performansta fark edilir hale geliyor. Sistemin "ona söylediklerinizi" anlayıp "gördükleriyle" ilişkilendirmesi İşte laboratuvarın ötesinde de kullanışlı olmasını sağlayan şey tam olarak budur.

Etik, güvenlik ve iyi uygulamalar

Güç sorumlulukla gelir. İnsanların görüntüleriyle çalışmak, onay ve mahremiyete saygı gerektirirÖzellikle sonuçları paylaşmayı veya yayınlamayı planlıyorsanız, başkalarının yüzlerini yeniden oluşturmaktan, hassas sahneleri değiştirmekten veya özel bilgileri ifşa edebilecek modeller paylaşmaktan kaçının.

Herhangi bir profesyonel iş akışında kaynak ve izin kontrolleri bulunmalıdır. Görüntülerin kaynağını doğrulayın, uygun olan yerlerde hassas meta verileri kaldırın ve dağıtımı uygun bağlamlarla sınırlar. İçerik reşit olmayanları veya savunmasız grupları içeriyorsa, önlemler artırılır veya proje iptal edilir.

Meta, kötüye kullanımı azaltmak için kontroller getireceğini belirtti ancak bu, içerik oluşturucuları muaf tutmuyor. Sorumluluk, yükleyen, işleyen ve yayınlayan kişiye aittir.Aracın nasıl kullanılacağını bilmek kadar, şirket içi etik ve güvenlik kurallarını benimsemek de önemlidir.

Ayrıca sonuçları üretime taşıyacaksanız, kalite kontrolleri olan bir boru hattı tasarlayın. Teknik doğrulamaları (geometri, tıkanıklıklar, eserler) ve yasal doğrulamaları (izinler, lisanslar) içerirve süreci denetlenebilir hale getirmek için belgelendirin. Riskleri azaltacak ve izlenebilirlik kazanacaksınız.

İlgili makale:

ChatGPT ve Gemini'de bir karakter nasıl oluşturulur ve tüm resimlerinizde görünümü nasıl korunur

isaac

Genel olarak bayt ve teknoloji dünyası hakkında tutkulu bir yazar. Bilgilerimi yazarak paylaşmayı seviyorum ve bu blogda da bunu yapacağım; size gadget'lar, yazılım, donanım, teknolojik trendler ve daha fazlasıyla ilgili en ilginç şeyleri göstereceğim. Amacım dijital dünyada basit ve eğlenceli bir şekilde gezinmenize yardımcı olmaktır.