腾讯QQ团队AI音视频降噪算法揭秘：说什么都“好听”

腾讯QQ团队AI音视频降噪算法揭秘：说什么都“好听”

当6亿用户习惯每天通过QQ发语音、视频通话，或者通过语音聊天与网友群里完成Pia游戏，或者在聚会上通过语音回答问题时，你有没有想过，如何在不同的环境下，场景中，始终清晰流畅的QQ音视频体验背后，是什么样的黑科技支撑着这些场景中的“声”与“言”之美？

今年11月16日举行的谷歌2021开发者大会期间，大会官网更新了一个案例——《辅助：AI语音降噪打造QQ音视频通话新体验》。 作者是QQ音视频通话技术团队。 作为的优秀应用案例，腾讯QQ团队在本文中详细揭示了语音增强技术在QQ音视频功能中的开发和应用。

借助QQ，我们搭建了AI降噪模型训练框架。

在当今的应用市场中，音视频通话功能几乎已经成为APP的标配功能。 2021年10月中国下载量前100名应用中，超过70%的应用配备了音视频通话功能。 音视频功能的体验是衡量一个APP体验是否优秀的重要指标。

为了优化音视频通话质量，降噪算法是核心技术之一。

目前主流的降噪方案主要包括传统降噪和AI降噪。 传统的降噪方法计算复杂度低，具有实时语音降噪的优点。 但同时，由于它们的推导是基于数学和物理原理，其过程不可避免地基于人类认知的理想先验假设，这使得传统的降噪方法对于出现的各类非平稳噪声表现不佳。实际场景中经常出现。

AI降噪是最近兴起的一种数据驱动的降噪方法，可以有效应对各种突发的非平稳噪声，但需要前期进行大量的数据训练，并构建合适的数据模型作为基础。 在移动端部署模型需要权衡模型大小、降噪效果、CPU占用率、内存占用率等多种因素，这给降噪技术的实现带来了一定的挑战。

为了解决6亿用户对QQ音视频的巨大需求，腾讯团队基于开源机器学习平台构建了AI降噪和噪声场景分类的并行训练框架，设计了音频降噪、音质改进和模型优化算法。

噪声数据的多样性是提高降噪模型泛化能力的关键。 因此，在训练模型时，腾讯QQ团队通过对多个时长相等的音频数据进行“喂食”和场景训练，并结合适当的数据扩展，进一步完善了模型。 模型泛化能力，结合精细设计的网络结构，让AI降噪模型能够适应生活中数百种常见噪音，为用户提供有AI加持的智能通讯体验。

同时，腾讯QQ团队还利用Lite的量化功能来缩小模型的尺寸。 在模型降噪效果基本不受影响的前提下，性能优势大幅提升，并成功部署到产品功能中。

AI降噪算法+蒸馏技术模型优化，打造实时、高品质清晰通话体验

案例中，腾讯QQ团队指出，AI降噪算法包括两大方面：音频降噪模块和音质提升模块。

音频降噪模块主要对噪声音频中的干净人声进行建模，然后提取噪声音频的频域特征，并比较和计算噪声音频和干净音频的频域特征，从而使AI更加准确除了人声之外，还对开门声、键盘声、行走声等常见音频声音进行识别和降噪处理，能够将干净的语音与嘈杂的环境分开。

在此基础上，腾讯QQ团队加入了音质提升模块，平衡降噪幅度，确保噪音去除得更干净，同时避免其他有用的音频被静音，确保“在真实的过程中有用的信息进来”。一次降噪过程“，无用的噪音被隔离。”

当代人们的生活更加多元化。 餐厅、咖啡馆、车厢、电影院、街道、小区等不同场景，以及晴天、雨天、台风天等不同天气，也伴随着不同类型的噪声，也可能影响用户的音频和视频。 经验带来颠覆。

为了测试AI降噪针对不同场景的深度优化能力，腾讯QQ团队还选取了数百种办公场景中常见的噪音：键盘声、关门声、风扇声等，结合干净的人声按照0dB、5dB、10dB和15dB信噪比产生混合音频，并测试原始降噪模型和通过蒸馏技术改进的AI模型的性能。

测试结果表明，短期目标可懂度（STOI）和语音质量感知评价（PESQ）均有所提升，并且随着降噪量的增加，AI降噪效果的优势可进一步显现突出显示。

优质的社交功能体验往往隐藏在用户“看不到”的地方

社交软件几乎占据了当代人使用手机时间的一半。 它不仅是人们日常交互的重要工具，而且与用户体验和社交质量密切相关。

每一条短信或语音信息的背后，每一次音频或视频通话的背后，都有无数环节的技术支持。 每个链接的质量也关系到用户体验的质量——用一句话来说，“要使出浑身解数，才能显得毫不费力”。

基于腾讯QQ团队研发的降噪技术，通过AI算法带来智能降噪功能和清晰干净的音视频体验。 在保证音质效果的同时，还针对业界难点之一的音频降噪做了针对性的优化。 该方案为语音质量和视频通话带来更好的技术保障。

腾讯QQ始终专注于社交和沟通，致力于提供高品质的社交体验。 许多音视频相关的功能，比如有趣的变声、语音暂停等功能，都是QQ中首次出现的。 这些特点也普遍受到年轻人的喜爱。 据悉，腾讯QQ未来还将加强基础AI算法和模型的研究，拓展更多元化的社交应用场景。

附录：

帮助：AI语音降噪打造音视频通话新体验