NVIDIA Broadcast: Pagandahin ang iyong audio at video sa real time gamit ang AI

Kung gagawa ka ng mga video call, magre-record ng mga podcast, o mag-stream, malalaman mo kung gaano nakakadismaya ang pakikitungo sa mga nagliliyab na tagahanga, ingay sa silid, o nakakagambalang background. Sa Pag-broadcast ng NVIDIA, ang backpack na iyon ng mga problema ay gumagaan sa tulong ng AI: nililinis nito ang ingay, pinapakinis ang boses at nalalapat ang mga epekto ng camera sa real time nang walang anumang mga gusot.

Ang kagandahan nito ay ang Broadcast ay nakaupo sa pagitan ng iyong mga device at ng iyong mga app, tulad ng isang matalinong layer na nagpoproseso ng audio at video bago nila maabot ang Zoom, OBS, o Discord. Salamat sa Mga Tensor Core ng GeForce RTX GPU, ang computational burden ay nahuhulog sa mga graphics, kaya ang CPU ay halos hindi napapansin at maaari kang tumuon sa pakikipag-usap, paglikha at paglalaro na may isang napaka-solid na pakiramdam ng pagkalikido.

Ano ang NVIDIA Broadcast at bakit ito mahalaga

Pinag-uusapan natin ang tungkol sa isang libreng NVIDIA app na idinisenyo para sa mga creator, gamer, at sinumang tumatawag o nag-stream. Ang function nito ay pagbutihin ang kalidad ng audio at video sa real time na may mga filter ng AI: inaalis ang ingay sa paligid, binabawasan ang echo ng silid, inaayos ang larawan, at nag-aalok ng mga kapaki-pakinabang na epekto sa camera.

Ito ay nagkakahalaga na isaisip ang isang bagay: NVIDIA Broadcast Ito ay hindi isang recorder o isang video conferencing client. Ito ay gumaganap bilang isang virtual na aparato. Ito ay kumukuha ng mga signal mula sa mikropono, mga speaker/headphone, at camera, pinoproseso ang mga ito sa mabilisang, at ibinabalik ang mga ito sa system bilang mga bagong mapagkukunan na tinatawag na Mikropono (NVIDIA Broadcast), Mga Speaker (NVIDIA Broadcast), at Camera (NVIDIA Broadcast). Anumang application na sumusuporta pagpili ng font maaari mong samantalahin ito.

Ang isa pang pangunahing aspeto ay ang acceleration ay bumaba sa GPU. Sa pamamagitan ng pag-asa sa Mga Tensor Core ng RTX 20/30/40, halos hindi naaapektuhan ng karamihan sa mga epekto ang CPU. Ito ay kapansin-pansin sa mga workstation, laptop, at desktop setup. anod kung saan binibilang ang bawat ikot ng processor.

Sa mga kamakailang bersyon ng software (hal., ang 1.4.x branch), malawak ang suporta para sa desktop at laptop na RTX graphics. Ang karanasan ay pare-pareho kahit sa mga laptop na tumatakbo sa lakas ng baterya, isang bagay na napatunayan din sa mga praktikal na pagsubok gamit ang pinakabagong henerasyong hardware.

Ano ang ginagawa nito para sa iyong audio: malinis na boses, malinaw na feedback

Ang broadcast ay nag-aalok ng dalawang sound enhancement front: input (microphone) at output (speaker/headphones). Parehong maaaring i-activate hanggang sa dalawang epekto nang sabay-sabay, at ang epekto sa kalinawan ay kapansin-pansin kapag may mga bentilador, air conditioning, o reverberant na mga silid.

Mikropono: inaalis ang ingay at echo sa silid

Sa tab na mikropono pipiliin mo ang iyong device at i-activate ang mga epekto. May isang pinagsamang lugar ng pagsubok upang i-record ang iyong sarili at ihambing sa ilang segundo at sundin ang mga tip para sa pagbutihin ang kalidad ng audioAng pagkansela ng ingay ay nag-aalis ng mga whirls ng fan at static na mikropono nang hindi sinisira ang mga vocal formant; kahit na may fan na wala pang isang metro ang layo, ang ingay sa background ay epektibong naaalis.

Nakikita ng Room Echo Filter ang reverberation na tipikal ng mga walang laman o mataas na reflective na kwarto at binabawasan ito sa real time. Sa mga kontroladong kapaligiran, ang pagkakaiba ay maaaring maging banayad, ngunit sa mga opisinang may matitigas na ibabaw, itinatakda nito ang tono para sa boses na tumunog nang mas malapit at mas natural.

Mga Speaker/Headphone: Malinis na Pagbabalik

Ginagaya ng tab na Output ang diskarte: pipili ka ng mga speaker o headphone at maglalapat ng ingay at echo cancellation upang makarinig ng feedback nang walang artificiality. Napakapraktikal kung may tagahanga ka sa itaas mo o ang silid ay kumikilos na parang soundboard. Kasama rin dito ang mga test clip upang kumpirmahin ang epekto bago ilunsad sa isang pulong o live. Kung nabigo ang audio, suriin ang serbisyo ng audio ng windows.

Real-time na video: kinokontrol na background at maingat na mga kuha

Sa tab ng camera, ipinapakita sa iyo ng Broadcast ang larawan na may napakakaunting pagkaantala at nagbibigay-daan sa iyong mag-apply hanggang sa dalawang filter nang sabay-sabayBilang karagdagan sa mga epekto ng AI, maaari mong buksan ang mga setting ng iyong device (kung sinusuportahan ito ng iyong camera) upang ayusin ang liwanag, sharpness, gain, zoom, focus, o exposure.

Palabo ng background at vignette

Ang blur ay tiyak na naghihiwalay sa foreground at lumilikha ng a epekto ng bokeh Madaling iakma upang ituon ang atensyon sa iyo nang hindi gumagamit ng chroma key. Mayroong dalawang mga mode: Pagganap (mas tuluy-tuloy kung pinapayagan ng eksena) at Kalidad (mas pinong pag-crop). Ang Vignette filter ay nagdaragdag ng peripheral shadow na sumusunod sa iyong mukha; ito ay aesthetically kasiya-siya, kahit na hindi gaanong mahalaga.

Isang real-world na tala sa paggamit: Kung magsusuot ka ng mga headphone na may headband, maaaring may maliliit na puwang sa pagitan ng ulo at ng arko kung saan bahagyang nabigo ang cutout. Sa mga headphone na hindi gumagawa ng visual na "mga bintana," ang tapusin ay halos walang kamali-mali at ang epekto ay nananatiling pare-pareho kahit na sa paggalaw.

Pagpapalit at pagtanggal ng background

Kung mas gusto mong ganap na baguhin ang setting, ang pagpapalit ng background ay naglalagay ng isang imahe sa likod mo na parang mayroon kang chroma key, ngunit hindi nangangailangan ng mga tela o magandang ilaw. Ang cutout ay solid, pinupunan nang maayos ang maliliit na puwang, at nananatiling matatag kapag gumagalaw, na pinahahalagahan kumpara sa hindi gaanong tumpak na mga solusyon. Para sa mga minimalistang setup o gameplay, pag-alis ng background iwanang walang laman ang background upang direktang mag-overlay sa eksena ng laro o isang layer ng layout.

Pagbabawas ng ingay ng video

Sa mahinang ilaw, maraming mga webcam ang gumagawa ng butil. Ang video noise reduction filter ay epektibong umaatake sa mga artifact na ito. malakas o mahina, kung naaangkop. Sa mga low-light na pagsubok, ang pag-activate ng filter ay nagpabuti ng kalidad ng pagkuha sa isang nakakagulat na malinis na antas nang hindi nagpapakilala ng labis na pagkutitap o mga watercolor.

Pakikipag-ugnay sa mata

Inaayos ng effect na ito ang direksyon ng iyong mga mag-aaral upang lumilitaw na nakatingin ka sa camera, palaging nasa loob banayad na paggalaw at makatwiran. Napaka-kapaki-pakinabang kung nagbabasa ka ng script mula sa isang teleprompter o sinusuri ang iyong screen sa isang pulong, dahil nagbibigay ito ng mas direktang pakiramdam ng presensya. Para lamang sa pakikipag-chat o mga laro, pinakamahusay na gamitin ito sa katamtaman: ang palagiang pakikipag-ugnay sa mata ay maaaring pakiramdam na medyo artipisyal.

Awtomatikong pag-frame

Kung gumawa ka ng mga reaksyon o lumipat sa shot, ang awtomatikong pag-frame ay mag-crop at sundan mo mukha mo para manatiling nakatutok. Gumagana nang maayos ang pagsubaybay sa kaunting oras ng pagtugon, at maaaring isama sa isa pang filter (hal., blur sa background) upang lumikha ng dynamic at eleganteng kuha.

Mga kinakailangan at pagiging tugma

Upang magamit ang NVIDIA Broadcast kailangan mo ng isang katugmang GPU: simula sa GeForce RTX 2060, pati na rin ang Quadro RTX 3000 o TITAN RTX pataas. Sa CPU, nasa paligid ang pinakamababang bar Intel Core i5 8600 o AMD Ryzen 5 2600, na may 8 GB ng RAM at Windows 10 64-bit (o mas mataas). Pagkakatugma kasama ang mga RTX na laptop, para magamit mo rin ito sa mga mobile device.

Sumasama ang broadcast sa mga pangunahing application ng streaming at komunikasyon: OBS Studio, Streamlabs, Discord, at mga platform ng video conferencing. Sa pagsasagawa, kailangan mo lamang piliin ang Mikropono (NVIDIA Broadcast), Mga Speaker (NVIDIA Broadcast), at Camera (NVIDIA Broadcast) sa mga setting ng bawat app upang mailapat ang mga epekto sa naprosesong signal.

Sa isang konteksto kung saan ang streaming ay lalong hinihingi, Mga RTX Tensor Core Demokratisasyon nila ang mga epektong may kalidad na propesyonal sa isang pag-click, parehong sa desktop at laptop. Sa katunayan, ang mga pagsubok ay isinagawa gamit ang isang AORUS 15 (RTX 4070 Laptop at Intel Core i7-13700H) kahit na sa mode ng baterya at ang pagganap ay tuluy-tuloy, na may webcam Razer Kiyo sa 1080p/30 FPS at isang Razer Seiren V2 X na mikropono na nag-aalok ng maaasahang mga resulta.

Hakbang-hakbang na pagsasaayos

Una sa lahat, ikonekta ang iyong mga device at, kung oo USB na may pagmamay-ari na software, nag-i-install nito driverHalimbawa, sa Razer peripheral, magandang ideya na i-configure ang mga setting sa Razer Synapse upang maabot ng base signal ang Broadcast sa isang na-optimize na paraan; kung lalabas ang mga partikular na notification, makikita mo kung paano alisin ang window ng HP Audio Switch.

I-download ang app mula sa opisyal na website ng NVIDIA, i-install ito, at buksan ito. Makakakita ka ng isang simpleng interface na may tatlong seksyon: Mikropono (pag-input ng audio), Mga nagsasalita (lumabas/bumalik) at Cámara (Video). Ang bawat tab ay may kasamang tagapili ng device, isang listahan ng mga epekto, at, sa kaso ng mikropono, isang lugar ng pagsubok para sa pagre-record ng iyong sarili.

Inirerekomendang pagkakasunud-sunod ng paggamit: ayusin muna ang iyong mga font sa kanilang katutubong software (hal., mikropono at camera sa utility), pagkatapos ay ilapat ang mga epekto sa NVIDIA Broadcast, at sa wakas, suriin ang mga setting para sa target na programa (OBS, Zoom, atbp.). Sa mga app na nag-aalok din ng sarili nilang mga filter, subukan ang mga kumbinasyon; ang ilang mga stack ng epekto ay hindi palaging gumagana nang maayos nang magkasama.

Kung gusto mo ng express na gabay sa loob ng Broadcast: a) buksan ang app, b) sa bawat tab piliin ang device mula sa tuktok na tagapili at c) i-activate ang gustong epekto. kaya mo pagsamahin ang ilang mga epekto Hangga't hindi ka lalampas sa limitasyon na dalawa bawat seksyon. Upang i-optimize ang mga mapagkukunan, gamitin lamang ang kailangan mo, at kung gusto mo, i-on ang indicator ng paggamit ng GPU sa Mga Setting upang makita kung gaano kalaki ang natupok ng bawat filter.

Para sa video conferencing, ang perpektong chain ay: Camera -> (mga setting ng tagagawa) -> NVIDIA Broadcast -> Zoom/Teams/Meet. Para sa audio, ito ay pareho: Mikropono -> (mga setting ng tagagawa) -> NVIDIA Broadcast -> patutunguhang app. Tiyaking pipiliin mo ang Mga source ng broadcast sa panel ng audio/video ng app na iyong ginagamit.

Pagsasama sa OBS at iba pang mga tool

Ang pag-set up ng OBS sa Broadcast ay diretso. Lumikha ng iyong eksena at idagdag ang karaniwang mga mapagkukunan: Pagkuha ng input ng audio para sa mikropono, Video capture device para sa camera at kung gagamitin mo ito, Pagkuha ng output ng audio para sa pagbabalik. Sa bawat isa, piliin ang kaukulang NVIDIA Broadcast device at iyon lang, ang signal ay dumating na naproseso na.

Praktikal na bentahe: Nakatanggap ang OBS ng isang imahe na may auto-blurring, auto-swapping, o auto-framing na inilapat na, kaya hindi mo kailangan ng mga kumplikadong filter chain sa loob mismo ng OBS. Gayunpaman, kung magdagdag ka ng mga karagdagang filter sa programa, magsagawa ng mabilis na pagsusuri upang kumpirmahin na ang lahat ay nagdaragdag at walang mga sorpresa sa mga latency o mga epekto ng prioritization.

Inirerekomenda ang hardware na samahan ng Broadcast

Bagama't lubos na pinahuhusay ng Broadcast ang signal, pinapataas ng disenteng camera at magandang mikropono ang huling resulta. Ang isang sikat na tandem para sa ratio ng pagganap ng presyo nito ay ang Razer KiyoPro sa tabi Razer Seiren V2 X.

Razer Kiyo Pro (camera)

Balanse para sa PC: 1/2,8-inch Sony IMX327 STARVIS CMOS sensor, 1080p na may hanggang 60 FPS, adjustable viewing angle, at built-in na dimmable ring light. Naghahatid ng matalas na imahe na may kontrol mula sa Razer Synapse, at kumokonekta sa pamamagitan ng USB 3.0.

Sensor	CMOS Sony IMX327 STARVIS 1/2,8″
resolution ng sensor	1.920 x 1.080 (2,1 MP)
Tamaño de pixel	2,9 μm
Mga resolusyon ng video	1080p sa 60/30/24 FPS, 720p sa 60 FPS, 480p sa 30 FPS, 360p sa 30 FPS
Anggulo ng paningin	Mula 80° hanggang 103°
Ang built-in na mikropono	Oo, omnidirectional
Iluminación	Adjustable ring light
software	Razer Synapse at Razer Virtual Ring Light
Koneksyon	USB 3.0

Razer Seiren V2 X (mikropono)

Para sa nilalaman, ang isang nakatuong mikropono ay perpekto. Ang modelong ito na may pattern ng supercardioid Nag-aalok ito ng voice-focused pickup, 24-bit/48 kHz, gain controls at mute button, pati na rin ang mini-jack output para sa pagsubaybay, lahat ay mapapamahalaan mula sa Razer Synapse.

Patron polar	supercardioid
Pakiramdam	-34 Db
Rate ng sampling	24bit / 48kHz
Koneksyon	USB
Mga Kontrol	Makakuha, i-mute at minijack na output
software	Razer Synapse

Mga tip sa paggamit at mga praktikal na obserbasyon

Sa modernong RTX, kahit na sa isang laptop na pinapagana ng baterya, ang karanasan ay napakalinaw. Sa real-world na pagsubok gamit ang isang computer na pinapagana ng baterya, RTX 4070 Laptop at Intel Core i7-13700H, maayos na gumana ang pag-crop sa background, pag-blur, at pag-frame, at ang pagpigil ng ingay sa mikropono ay namumukod-tangi sa iba.

Kung gusto mo ng maximum naturalness sa camera, ihalo lumabo sa background na may auto-framing sa mode ng kalidad. Kung kailangan mong magpalipat-lipat o unahin ang frame rate, pinapakinis ng performance mode ang karanasan. Tandaan na maaari ka lamang maglapat ng dalawang epekto nang sabay-sabay sa camera: planuhin ang kumbinasyong pinakamahusay na gumagana para sa iyo.

Sa audio, karaniwang sapat ang pagkansela ng ingay sa mikropono. I-activate ang echo filter kapag buhay na buhay ang kwarto o malayo ka sa mikropono. Para sa mahabang tawag na may mga headphone, isaalang-alang din ang paglilinis ng output nang sa gayon iyong pagsubaybay maging mas kaaya-aya at hindi nakakapagod.

Tulad ng para sa compatibility ng software ng third-party, ang inirerekomendang pattern ay: ayusin muna ang iyong camera at mic nang naaayon (exposure, gain, EQ kung naaangkop), pagkatapos ay hayaan ang Broadcast na gawin ang magic nito, at panghuli, magdagdag ng mga light filter sa OBS/Zoom kung makakatulong lang ang mga ito. Masyadong maraming cascading filter maaaring magpakilala ng latency o artifact.

Kung magsuot ka ng malalaking headphone, hanapin ang arc clipping sa blur o kapalit ng background. Sa karamihan ng mga kaso, napuno ng maayos ang algorithm kahit na sa mga kumplikadong lugar, ngunit ang paglipat sa isang modelo nang walang nakikitang mga puwang sa paligid ng ulo ay maaaring pinuhin ang tabas sa napaka-demanding mga eksena.

Paano ito isasagawa sa iyong mga app

Sa OBS/Streamlabs, gumawa ng eksena at magdagdag ng mga source sa pamamagitan ng pagpili sa mga Broadcast device. Sa Discord o iyong platform sa pagtawag sa video, buksan ang mga setting ng Voice at Video at piliin ang Mikropono (NVIDIA Broadcast) at Camera (NVIDIA Broadcast)Kung nagbibigay-daan ang app para sa mga custom na filter, subukan muna ang lahat ng naka-disable at pagkatapos ay i-on ang mga opsyon hanggang sa makita mo ang perpektong balanse.

Para sa mga nagre-record ng mga tutorial o mga presentasyon, ang eye contact effect ay isang plus sa isang teleprompter, dahil itinatago ang pagbabasa Nakatingin sa screen. Sa mga live chat, gamitin ito nang matipid upang maiwasan ang pagpapadala ng permanenteng nakapirming tingin; kung minsan ang isang natural na patagilid na sulyap ay nakikipag-usap ng higit na pagkakalapit.

Kung gusto mong kontrolin ang mga gastos sa mapagkukunan, pumunta sa Mga Setting ng Broadcast at paganahin ang indicator ng paggamit ng GPU. Sa ganitong paraan, malalaman mo kung aling epekto ang pinaka-epektibo at makakapagpasya kung babayaran o aayusin. latency ng audio at intensity.

Ang AI ecosystem ng NVIDIA ay hindi limitado sa gaming o upscaling tulad ng DLSS; sa desktop, ipinapakita iyon ng mga solusyon tulad ng Broadcast o GAN-based na mga gumagawa ng imahe Araw-araw na ang AI Para sa libu-libong mga gumagamit ng PC, ang Broadcast ay nag-condensed ng karamihan sa kapangyarihang iyon sa isang simpleng panel na nagpapahusay ng mga resulta mula sa unang minuto.

Sa praktikal na antas, na may disenteng Full HD webcam at karampatang micro USB, ang pagkakaiba ay abysmal: Maaari mong kalimutan ang tungkol sa chroma key, bawasan ang post-processing sa pag-edit, at magpakita ng mas malinaw na boses sa mga tawag at live na broadcast. Ang pagtalon na iyon sa kalidad, sa dalawang pag-click lang, higit pa sa nakakabawi dito. oras paunang setup.

Kung mayroon ka nang RTX at nagtatrabaho o gumagawa mula sa bahay, ang Broadcast ay isa sa mga tool na palaging nananatiling bukas: nililinis ang tunog, pinakintab ang eroplano at walang putol na isinasama sa iyong karaniwang mga programa. Mayroong ilang mas madaling paraan upang gawing propesyonal ang audio at video nang hindi binabago ang mga camera o mikropono.