噪音消除:NVIDIA Broadcast 强效助力直播和远程工作
编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 RTX PC 和工作站用户展示全新硬件、软件、工具和加速特性。
AI 为计算领域带来了深远的改变。虽然最近的焦点是生成式 AI,但多年来,由 RTX 提供支持的 AI 加速工具也在改善游戏、内容创作和工作效率方面起到了关键作用。
应用程序就是一个例子,它可使用本地 RTX GPU 上的 Core 不间断地提升音频和视频质量。通过将这款应用与 RTX 和 RTX GPU 内置的 编码器 (NVENC) 搭配使用,您可轻松上手直播,或在视频会议通话中尽展专业风范。
助力实现“直播梦”
一直以来,要实现高质量的直播,就离不开昂贵硬件的支持。许多主播常用 x264 软件库的软件 CPU 编码,而这通常会影响游戏体验。这便导致许多主播使用双 PC 设置:一台 PC 专注于游戏和内容,另一台负责视频编码与串流。这种设置组装起来很复杂,还很难进行故障排除,而且其价格对于新人主播来说通常过于高昂。
NVENC 可应对上述问题。它是 GPU 上的专用硬件视频编码器,负责处理视频编码,以便释放系统的其余资源来专注于游戏和内容的性能。Open (OBS) 等行业领先的直播应用正在添加对 NVENC 的支持,为虎牙和 等热门平台上的新一代主播铺平道路。
同时, 还可帮助解决设备昂贵的问题。它包含免费的 AI 增强功能,例如虚拟绿幕和基于网络摄像头的增强现实追踪。有了这些功能,用户便无需使用物理绿幕或动作捕捉套件等特殊设备。主播们曾在 2019 年的 大会上首次体验到了上述绿幕技术,他们使用 RTX 2080 GPU 上的 AI 加速绿幕,在展厅中现场测试了该绿幕在 OBS 上的效果。
的 AI 赋能效果最初在 RTX Voice 测试版中向 RTX 用户开放,随后又在名为 的独立应用中提供。
探索
提供各类 AI 增强功能,可提升各种用例中的音频和视频质量。它易于使用,适用于任何其他应用,而且起来非常简单。
这款应用包含:
的工作原理是在 中创建虚拟摄像头、麦克风或扬声器,这样用户只需设置一次设备即可在任何直播、视频会议或语音聊天应用 (包括 Teams、OBS 、Slack、腾讯会议、钉钉等) 中使用这些设备。
RTX、TITAN RTX、 RTX 或 RTX GPU 用户可使用其 GPU 专用的 Core 协助 的 AI 网络实时运行。
技术中的所有 AI 赋能技术也能以软件开发套件的形式提供给应用开发者。视听技术公司 在其 Wave Link 软件中添加了 的 AI 音频噪声移除技术,而 VTube (一款热门应用,用于将 3D 模型连接到网络摄像头,以便使用动画角色进行直播) 则提供了可以免费下载的经 RTX 加速的模型追踪器插件。独立开发者 在其 插件中使用了 。
在使用 Adobe Pro 等视频编辑套件或 Live 及 Adobe 等数字音频工作站进行后期处理时,内容创作者可以使用 插件或 的虚拟工作室技术 (VST) 过滤器消除录制内容中的噪声和回声。
耳听 (未必) 为实
自 发布以来,已有数百万人使用了这款应用。
知名主播 表示:“我最常使用的是视频降噪和背景替换功能。目光接触功能非常有趣,老实说,这项功能的效果让我感到惊喜。”
频道 的主持人 Dinda 在极端情境下演示了 的噪声消除和回声移除 AI 功能。他将一台呼呼作响的电风扇正对麦克风,还戴上头盔并让人持续敲击头盔。即便背景中充斥着很大的噪声,在打开 应用的噪音消除功能后,Dinda 的声音依然清晰可闻。这段视频的观看次数已超过 1200 万次。
对于日益增多的远程工作人员来说, 应用也是一款实用的工具。Tom’s 网站的总编 Avram 在一篇文章中详细介绍了他对这款应用的降噪功能的测试,测试对象包括呼呼作响的空调、修剪草坪的邻居,乃至一个发脾气挥舞着机器人的孩子。 的 AI 音频效果每次都能大显神通:
表示:“我让我八岁的孩子在我身后假装发脾气,当我启用噪声移除功能后,每一声‘我不去睡觉’的抱怨都消失了(至少在录制内容中是这样)。为了增加挑战性,我们让他一边发脾气,一边拿着一辆嗡嗡作响的机器人汽车走来走去。这一次, 依然移除了所有多余的声音。”
的 AI 赋能背景去除功能也可以在日常情境中发挥作用,例如与医疗专业人员进行视频通话。
欢迎在任何搭载 RTX 的台式电脑或笔记本电脑上免费下载 。
请订阅《解码 AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。
分类: 生成式 AI
