NVIDIA Broadcast: Nâng cao chất lượng âm thanh và video theo thời gian thực với AI

Nếu bạn thực hiện cuộc gọi video, ghi âm podcast hoặc phát trực tuyến, bạn sẽ biết cảm giác khó chịu khi phải đối phó với tiếng quạt quay vù vù, tiếng vọng trong phòng hoặc âm thanh nền gây mất tập trung. Với Phát sóng NVIDIA, ba lô vấn đề đó sẽ được giải quyết nhẹ nhàng hơn với sự trợ giúp của AI: nó loại bỏ tiếng ồn, làm sắc nét giọng nói và áp dụng hiệu ứng camera theo thời gian thực mà không bị rối.

Điểm tuyệt vời của nó là Broadcast nằm giữa các thiết bị và ứng dụng của bạn, giống như một lớp thông minh xử lý âm thanh và video trước khi chúng đến Zoom, OBS hoặc Discord. Nhờ Lõi Tensor của GPU GeForce RTX, gánh nặng tính toán dồn lên đồ họa, do đó CPU hầu như không nhận thấy và bạn có thể tập trung vào việc trò chuyện, sáng tạo và chơi với cảm giác mượt mà rất chắc chắn.

NVIDIA Broadcast là gì và tại sao nó lại quan trọng

Chúng ta đang nói về một ứng dụng NVIDIA miễn phí được thiết kế cho người sáng tạo, game thủ và bất kỳ ai thực hiện cuộc gọi hoặc phát trực tuyến. Chức năng của nó là cải thiện chất lượng âm thanh và video theo thời gian thực với bộ lọc AI: loại bỏ tiếng ồn xung quanh, giảm tiếng vang trong phòng, điều chỉnh hình ảnh và cung cấp các hiệu ứng camera hữu ích.

Điều đáng ghi nhớ là: NVIDIA Broadcast Nó không phải là máy ghi âm hoặc máy khách hội nghị truyền hình. Nó hoạt động như một thiết bị ảo. Nó nhận tín hiệu từ micrô, loa/tai nghe và camera, xử lý chúng ngay lập tức và trả về hệ thống dưới dạng các nguồn mới gọi là Micrô (NVIDIA Broadcast), Loa (NVIDIA Broadcast) và Camera (NVIDIA Broadcast). Bất kỳ ứng dụng nào hỗ trợ lựa chọn phông chữ bạn có thể tận dụng nó.

Một khía cạnh quan trọng khác là khả năng tăng tốc phụ thuộc vào GPU. Bằng cách dựa vào Lõi Tensor của RTX 20/30/40Hầu hết các hiệu ứng hầu như không ảnh hưởng đến CPU. Điều này dễ nhận thấy trên máy trạm, máy tính xách tay và máy tính để bàn. trực tuyến nơi mà mỗi chu kỳ xử lý đều có giá trị.

Trong các phiên bản phần mềm gần đây (ví dụ: nhánh 1.4.x), hỗ trợ rộng rãi cho đồ họa RTX trên máy tính để bàn và máy tính xách tay. Trải nghiệm là nhất quán ngay cả trên máy tính xách tay chạy bằng pin, điều này cũng đã được chứng minh trong các thử nghiệm thực tế với phần cứng thế hệ mới nhất.

Công dụng của nó đối với âm thanh của bạn: giọng hát trong trẻo, phản hồi rõ ràng

Phát sóng cung cấp hai mặt trận tăng cường âm thanh: đầu vào (micrô) và đầu ra (loa/tai nghe). Cả hai đều có thể được kích hoạt lên đến hai hiệu ứng cùng một lúcvà tác động đến độ rõ nét có thể thấy rõ khi có quạt, máy điều hòa hoặc phòng có tiếng vang.

Micrô: loại bỏ tiếng ồn và tiếng vang trong phòng

Trong tab micrô, bạn chọn thiết bị của mình và kích hoạt các hiệu ứng. Có một khu vực thử nghiệm tích hợp để ghi lại bản thân và so sánh trong vài giây và làm theo các mẹo cho cải thiện chất lượng âm thanhTính năng khử tiếng ồn loại bỏ tiếng quạt quay và tiếng ồn của micrô mà không làm mất đi âm thanh phát ra; ngay cả khi quạt cách xa chưa đầy một mét, tiếng ồn nền vẫn được loại bỏ hiệu quả.

Bộ lọc tiếng vang phòng phát hiện tiếng vang đặc trưng của các phòng trống hoặc có độ phản xạ cao và giảm thiểu nó theo thời gian thực. Trong môi trường đã được kiểm soát, sự khác biệt có thể rất tinh tếnhưng trong các văn phòng có bề mặt cứng, nó giúp giọng nói nghe gần gũi và tự nhiên hơn.

Loa/Tai nghe: Trả về âm thanh sạch

Tab Đầu ra mô phỏng cách tiếp cận này: bạn chọn loa hoặc tai nghe và áp dụng tính năng khử tiếng ồn và tiếng vang để nghe phản hồi không có tính giả tạo. Điều này rất thiết thực nếu bạn có một người hâm mộ ở trên bạn hoặc căn phòng hoạt động như một bảng âm thanh. Nó cũng bao gồm các đoạn clip thử nghiệm để xác nhận hiệu ứng trước khi bắt đầu cuộc họp hoặc trực tiếp. Nếu âm thanh không ổn, hãy kiểm tra dịch vụ âm thanh windows.

Video thời gian thực: cảnh nền được kiểm soát và cảnh quay cẩn thận

Trong tab camera, Broadcast hiển thị cho bạn hình ảnh với độ trễ rất ít và cho phép bạn áp dụng tối đa hai bộ lọc cùng một lúcNgoài hiệu ứng AI, bạn có thể mở cài đặt của thiết bị (nếu máy ảnh hỗ trợ) để điều chỉnh độ sáng, độ sắc nét, độ khuếch đại, thu phóng, tiêu điểm hoặc độ phơi sáng.

Làm mờ nền và mờ viền

Sự mờ ảo tách biệt chính xác phần tiền cảnh và tạo ra một hiệu ứng Boong Có thể điều chỉnh để tập trung sự chú ý vào bạn mà không cần dùng đến Chroma Key. Có hai chế độ: Hiệu suất (mượt mà hơn nếu cảnh cho phép) và Chất lượng (cắt cúp mịn hơn). Bộ lọc Vignette thêm hiệu ứng đổ bóng ngoại vi theo khuôn mặt bạn; hiệu ứng này mang lại vẻ đẹp thẩm mỹ, nhưng không thực sự cần thiết.

Lưu ý sử dụng thực tế: Nếu bạn đeo tai nghe có dây đeo đầu, có thể có những khe hở nhỏ giữa đầu và vòm tai, nơi phần khoét hơi bị lệch. Với những tai nghe không tạo ra "cửa sổ" trực quan, kết thúc thực tế là hoàn hảo và hiệu ứng vẫn giữ nguyên ngay cả khi chuyển động.

Thay thế và xóa nền

Nếu bạn muốn thay đổi hoàn toàn bối cảnh, tính năng thay thế nền sẽ đặt hình ảnh phía sau bạn như thể bạn đang sử dụng khóa sắc độ, nhưng không cần vải hay ánh sáng tinh tế. Phần cắt ghép chắc chắn, lấp đầy các khoảng trống nhỏ một cách hiệu quả và vẫn ổn định khi di chuyển, điều này được đánh giá cao so với các giải pháp kém chính xác hơn. Đối với các thiết lập hoặc lối chơi tối giản, xóa nền để nền trống để phủ trực tiếp lên cảnh trò chơi hoặc lớp bố cục.

Giảm nhiễu video

Trong điều kiện thiếu sáng, nhiều webcam thường bị nhiễu hạt. Bộ lọc giảm nhiễu video sẽ xử lý hiệu quả hiện tượng này. mạnh hay yếu, tùy theo trường hợp. Trong các thử nghiệm thiếu sáng, việc kích hoạt bộ lọc đã cải thiện chất lượng chụp ảnh lên mức độ rõ nét đáng ngạc nhiên mà không gây ra hiện tượng nhấp nháy hoặc màu nước quá mức.

Giao tiếp bằng mắt

Hiệu ứng này điều chỉnh hướng của đồng tử của bạn sao cho có vẻ như bạn đang nhìn vào máy ảnh, luôn trong phạm vi những chuyển động tinh tế và hợp lý. Nó rất hữu ích nếu bạn đang đọc kịch bản từ máy nhắc chữ hoặc kiểm tra màn hình trong cuộc họp, vì nó mang lại cảm giác hiện diện trực tiếp hơn. Khi chỉ trò chuyện hoặc chơi game, tốt nhất nên sử dụng ở mức độ vừa phải: giao tiếp bằng mắt liên tục có thể tạo cảm giác hơi gượng ép.

Tự động đóng khung

Nếu bạn thực hiện phản ứng hoặc di chuyển trong cảnh quay, chức năng đóng khung tự động sẽ cắt xén và theo dõi khuôn mặt của bạn để giúp bạn tập trung. Tính năng theo dõi hoạt động tốt với thời gian phản hồi ngắn và có thể kết hợp với bộ lọc khác (ví dụ: làm mờ hậu cảnh) để tạo ra bức ảnh động và tinh tế.

Yêu cầu và khả năng tương thích

Để sử dụng NVIDIA Broadcast, bạn cần có GPU tương thích: bắt đầu từ GeForce RTX 2060, cũng như Quadro RTX 3000 hoặc TITAN RTX trở lên. Trong CPU, thanh tối thiểu là khoảng Intel Core i5 8600 hoặc AMD Ryzen 5 2600, với 8 GB RAM và Cửa sổ 10 64-bit (hoặc cao hơn). Khả năng tương thích bao gồm máy tính xách tay RTX, vì vậy bạn cũng có thể sử dụng nó trên thiết bị di động.

Broadcast tích hợp với các ứng dụng phát trực tuyến và truyền thông chính: OBS Studio, Streamlabs, Discord và các nền tảng hội nghị truyền hình. Trên thực tế, bạn chỉ cần chọn Micrô (NVIDIA Broadcast), Loa (NVIDIA Broadcast) và Máy ảnh (NVIDIA Broadcast) trong cài đặt của từng ứng dụng để các hiệu ứng được áp dụng cho tín hiệu đã xử lý.

Trong bối cảnh phát trực tuyến ngày càng đòi hỏi nhiều hơn, Lõi Tensor RTX Chúng mang đến hiệu ứng chất lượng chuyên nghiệp chỉ với một cú nhấp chuột, cả trên máy tính để bàn và máy tính xách tay. Thực tế, các thử nghiệm đã được thực hiện với AORUS 15 (máy tính xách tay RTX 4070 và Intel Core i7-13700H) ngay cả ở chế độ pin và hiệu suất vẫn mượt mà, với webcam Razer Kiyo ở độ phân giải 1080p/30 FPS và micrô Razer Seiren V2 X mang lại kết quả rất đáng tin cậy.

Cấu hình từng bước

Trước hết, hãy kết nối các thiết bị của bạn và nếu chúng USB với phần mềm độc quyền, cài đặt của nó trình điều khiểnVí dụ, với các thiết bị ngoại vi Razer, bạn nên cấu hình cài đặt trong Razer Synapse để tín hiệu cơ sở đến được Broadcast theo cách tối ưu; nếu xuất hiện thông báo cụ thể, bạn có thể xem cách xóa cửa sổ HP Audio Switch.

Tải ứng dụng từ trang web chính thức của NVIDIA, cài đặt và mở ứng dụng. Bạn sẽ thấy một giao diện đơn giản với ba phần: Micrô (đầu vào âm thanh), Loa (ra/trở về) và Máy ảnh (Video). Mỗi tab bao gồm một bộ chọn thiết bị, một danh sách hiệu ứng và, trong trường hợp của micrô, một khu vực thử nghiệm để bạn tự ghi âm.

Trình tự sử dụng được đề xuất: đầu tiên hãy điều chỉnh phông chữ trong phần mềm gốc của họ (ví dụ: micrô và camera trong tiện ích), sau đó áp dụng các hiệu ứng trong NVIDIA Broadcast và cuối cùng, kiểm tra cài đặt cho chương trình mục tiêu (OBS, Zoom, v.v.). Trong các ứng dụng cũng cung cấp bộ lọc riêng, hãy thử kết hợp; một số ngăn xếp hiệu ứng không phải lúc nào cũng hoạt động tốt khi kết hợp với nhau.

Nếu bạn muốn có hướng dẫn nhanh trong Broadcast: a) mở ứng dụng, b) trong mỗi tab, chọn thiết bị từ trình chọn trên cùng và c) kích hoạt hiệu ứng mong muốn. Bạn có thể kết hợp nhiều hiệu ứng Miễn là bạn không vượt quá giới hạn hai bộ lọc cho mỗi phần. Để tối ưu hóa tài nguyên, hãy chỉ sử dụng những gì bạn cần và nếu tò mò, hãy bật chỉ báo sử dụng GPU trong Cài đặt để xem mỗi bộ lọc tiêu thụ bao nhiêu.

Đối với hội nghị truyền hình, chuỗi lý tưởng sẽ là: Camera -> (cài đặt của nhà sản xuất) -> NVIDIA Broadcast -> Zoom/Nhóm/Gặp gỡ. Đối với âm thanh, cũng tương tự: Micrô -> (cài đặt của nhà sản xuất) -> NVIDIA Broadcast -> ứng dụng đích. Đảm bảo bạn chọn Nguồn phát trong bảng âm thanh/video của ứng dụng bạn đang sử dụng.

Tích hợp với OBS và các công cụ khác

Thiết lập OBS với Broadcast rất đơn giản. Hãy tạo cảnh của bạn và thêm các nguồn thông thường: Thu âm đầu vào âm thanh cho micro, Thiết bị quay video cho máy ảnh và nếu bạn sử dụng nó, Thu âm đầu ra để trả về. Trong mỗi trường hợp, hãy chọn thiết bị NVIDIA Broadcast tương ứng và thế là xong, tín hiệu đã được xử lý.

Ưu điểm thực tế: OBS nhận được hình ảnh đã được áp dụng sẵn tính năng tự động làm mờ, tự động hoán đổi hoặc tự động đóng khung, do đó bạn không cần phải sử dụng chuỗi bộ lọc phức tạp trong chính OBS. Tuy nhiên, nếu bạn thêm các bộ lọc bổ sung vào chương trình, thực hiện các xét nghiệm nhanh để xác nhận rằng mọi thứ đều hợp lý và không có bất kỳ sự bất ngờ nào về độ trễ hoặc mức độ ưu tiên hiệu ứng.

Phần cứng được đề xuất để đi kèm với Phát sóng

Mặc dù Broadcast cải thiện đáng kể tín hiệu, nhưng một camera tốt và một micro tốt sẽ nâng cao chất lượng kết quả cuối cùng. Một bộ đôi phổ biến về tỷ lệ giá/hiệu suất là Razer KiyoPro bên cạnh Razer Seiren V2 X.

Razer Kiyo Pro (máy ảnh)

Cân bằng cho PC: Cảm biến CMOS Sony IMX327 STARVIS 1/2,8 inch, 1080p với tốc độ lên đến 60 FPS, góc nhìn có thể điều chỉnh và đèn vòng tích hợp có thể điều chỉnh độ sáng. Mang lại hình ảnh sắc nét với sự điều khiển từ Razer Synapse và kết nối qua USB 3.0.

cảm biến	CMOS Sony IMX327 STARVIS 1/2,8"
Resolución del cảm biến	1.920 x 1.080 (2,1 MP)
Tamaño de pixel	2,9 μm
Độ phân giải video	1080p ở 60/30/24 FPS, 720p ở 60 FPS, 480p ở 30 FPS, 360p ở 30 FPS
Góc nhìn	Từ 80° đến 103°
micro tích hợp	Vâng, đa hướng
Iluminación	Đèn vòng có thể điều chỉnh
Phần mềm	Razer Synapse và Razer Virtual Ring Light
Conexión	USB 3.0

Razer Seiren V2 X (micrô)

Đối với nội dung, một micrô chuyên dụng là lý tưởng. Mô hình này có mẫu supercardioid Sản phẩm này có chức năng thu âm tập trung bằng giọng nói, 24-bit/48 kHz, điều khiển khuếch đại và nút tắt tiếng, cũng như đầu ra giắc cắm mini để theo dõi, tất cả đều có thể quản lý từ Razer Synapse.

Patrón cực	Siêu tim
Sự nhạy cảm	-34 DB
Tỷ lệ lấy mẫu	24 bit / 48 kHz
Conexión	USB
Kiểm soát	Đầu ra tăng, tắt tiếng và minijack
Phần mềm	Syner Razer

Mẹo sử dụng và quan sát thực tế

Với RTX hiện đại, ngay cả trên máy tính xách tay chạy bằng pin, trải nghiệm vẫn rất mượt mà. Trong thử nghiệm thực tế với máy tính chạy bằng pin, Máy tính xách tay RTX 4070 và Intel Core i7-13700H, cắt nền, làm mờ và đóng khung hoạt động mượt mà, và khả năng khử tiếng ồn của micrô nổi bật hơn hẳn các tính năng khác.

Nếu bạn muốn có độ tự nhiên tối đa trên máy ảnh, hãy kết hợp nền mờ với chế độ tự động lấy nét ở chế độ chất lượng. Nếu bạn cần di chuyển nhiều hoặc ưu tiên tốc độ khung hình, chế độ hiệu suất sẽ giúp trải nghiệm mượt mà hơn. Lưu ý rằng bạn chỉ có thể áp dụng đồng thời hai hiệu ứng trên máy ảnh: hãy lên kế hoạch kết hợp hiệu ứng phù hợp nhất với bạn.

Trong âm thanh, chức năng khử tiếng ồn trên micro thường là đủ. Hãy kích hoạt bộ lọc tiếng vang khi phòng quá ồn ào hoặc bạn ở xa micro. Đối với các cuộc gọi dài bằng tai nghe, hãy cân nhắc vệ sinh đầu ra để giám sát của bạn trở nên dễ chịu hơn và ít mệt mỏi hơn.

Về khả năng tương thích với phần mềm của bên thứ ba, cách làm được khuyến nghị là: trước tiên hãy điều chỉnh camera và mic của bạn cho phù hợp (độ phơi sáng, độ khuếch đại, EQ nếu có), sau đó để Broadcast thực hiện nhiệm vụ và cuối cùng, chỉ thêm bộ lọc ánh sáng vào OBS/Zoom nếu chúng hữu ích. Quá nhiều bộ lọc xếp tầng có thể gây ra hiện tượng trễ hoặc hiện tượng nhiễu.

Nếu bạn đeo tai nghe cồng kềnh, hãy tìm hiện tượng cắt vòng cung trong vùng mờ hoặc thay thế nền. Trong hầu hết các trường hợp, thuật toán điền vào tốt ngay cả ở những khu vực phức tạp, nhưng việc chuyển sang một mô hình không có khoảng trống nhìn thấy được xung quanh đầu có thể tinh chỉnh đường viền trong những cảnh rất khó.

Làm thế nào để đưa nó vào thực tế với các ứng dụng của bạn

Trong OBS/Streamlabs, hãy tạo cảnh và thêm nguồn bằng cách chọn thiết bị Phát sóng. Trong Discord hoặc nền tảng gọi video của bạn, hãy mở cài đặt Thoại và Video, chọn Micrô (Phát sóng NVIDIA) và Máy ảnh (NVIDIA Broadcast)Nếu ứng dụng cho phép sử dụng bộ lọc tùy chỉnh, trước tiên hãy thử tắt mọi thứ rồi bật các tùy chọn cho đến khi bạn tìm được sự cân bằng lý tưởng.

Đối với những người ghi lại hướng dẫn hoặc bài thuyết trình, hiệu ứng giao tiếp bằng mắt là một điểm cộng với máy nhắc chữ, vì che giấu việc đọc Nhìn vào màn hình. Trong các cuộc trò chuyện trực tiếp, hãy sử dụng nó một cách tiết kiệm để tránh nhìn chằm chằm liên tục; đôi khi một cái nhìn ngang tự nhiên lại truyền đạt sự gần gũi hơn.

Nếu bạn muốn kiểm soát chi phí tài nguyên, hãy vào Cài đặt Phát sóng và bật chỉ báo sử dụng GPU. Bằng cách này, bạn sẽ biết hiệu ứng nào hiệu quả nhất và có thể quyết định nên bù trừ hay điều chỉnh. độ trễ âm thanh và cường độ.

Hệ sinh thái AI của NVIDIA không chỉ giới hạn ở chơi game hoặc nâng cấp như DLSS; trên máy tính để bàn, các giải pháp như Broadcast hoặc trình tạo hình ảnh dựa trên GAN chứng minh rằng AI đã là chuyện thường ngày Đối với hàng ngàn người dùng PC, Broadcast cô đọng phần lớn sức mạnh đó vào một bảng điều khiển đơn giản giúp cải thiện kết quả ngay từ phút đầu tiên.

Ở mức độ thực tế, với một webcam Full HD tốt và một cổng micro USB thông dụng, sự khác biệt là rất lớn: Bạn có thể quên đi Chroma Key, giảm thiểu hậu kỳ trong quá trình chỉnh sửa và mang đến giọng nói rõ ràng hơn trong các cuộc gọi và phát sóng trực tiếp. Chất lượng tăng vọt chỉ sau hai lần nhấp chuột, bù đắp lại rất nhiều. el tiempo thiết lập ban đầu.

Nếu bạn đã có RTX và làm việc hoặc sáng tạo tại nhà, Broadcast là một trong những công cụ luôn mở: làm sạch âm thanh, đánh bóng máy bay và tích hợp liền mạch với các chương trình thông thường của bạn. Có rất ít cách dễ dàng hơn để chuyên nghiệp hóa âm thanh và video mà không cần thay đổi máy quay hoặc micrô.