AliPLC 智能丢包补偿算法, 提升弱网环境的通话质量

AliPLC 智能丢包补偿算法, 提升弱网环境的通话质量

在线视频/语音通话逐渐成为人们日常生活的一部分，而复杂多变的网络环境会导致部分音频包无法传送到接收端，造成语音信号的短时中断或者卡顿，这会严重影响通话体验，为解决这类问题，阿里云视频云音频技术团队在综合考虑效果、性能开销、实时性等诸多因素后，研发了实时因果的智能丢包补偿算法 AliPLC (Ali Packet Loss Concealment)，采用低复杂度的端到端的生成对抗网络来解决语音在传输过程中的丢包问题。

实时通信中，信号不好怎么办？

语音信号通过编码压缩技术，在网络上进行分帧传送。然而由于网络环境的影响会导致部分音频包无法传送到接收端，造成语音信号的短时中断或者卡顿，进而影响长时通话过程中的音质和可懂度。为解决以上问题，丢包补偿 (Packet Loss Concealment，PLC) 算法应运而生。PLC 算法可以通过利用所有已得到的信息对丢失的音频包进行恰当的补偿，使之不易被察觉，从而保证了接收侧音频的清晰度和流畅度，给用户带来更好的通话体验。

音频补偿算法业内研究现状

丢包是数据在网络中进行传输时会经常遇到的一种现象，也是引起 VOIP(Voice Over Internet Phone, VOIP) 通话中语音质量下降的主要原因之一。传统的 PLC 解决方案主要基于信号分析原理 [1-2]，大致可以分为基于发送端补偿的方案和基于接收端补偿的方案。前者的基本原理是利用编码冗余信息来恢复丢包的内容。

然而，该方法需要占用额外带宽，且存在编解码器不兼容的问题。后者的基本原理是利用丢包前的解码参数信息来重构出丢失的语音信号。传统的 PLC 方法最大的优点是计算简单，可在线补偿；缺点是补偿的能力有限，只能有效对抗 40ms 左右的丢包。应对长时连续突发丢包时，传统算法会出现机械音，波形快速衰减等无法有效补偿的情况。因此，上述传统的 PLC 方法的处理能力满足不了现网业务的需求。

近年来，硬件和算法都有了显著的进步，越来越多深度学习的方法被应用到语音信号处理领域。当然，PLC 算法也不例外。现有的深度 PLC 方法都是在接收端利用深度学习的模型生成丢失的音频包，大致可以分为两个通用的工作框架：第一个是实时因果处理框架，只使用历史的未丢失帧进行后处理。在进行实时处理时，按迭代方法的不同大致可以分为基于循环神经网络的自回归方法 [3-4] 和基于生成对抗网络的并行方法 [5-6] 两种，但往往涉及较大的参数量和计算量。

第二个是离线非因果处理框架，除了使用历史未丢失帧之外，还有可能使用了包括未来帧的更广泛的上下文信息 [7-8]。离线处理方法通常关注的是如何填充语音信号中的空白，而且通常不考虑计算复杂度，难以在实际应用场景中部署。

智能丢包补偿算法：AliPLC

1. 算法原理

在综合考虑业务使用场景，补偿效果、性能开销、实时性等诸多因素后，阿里云视频云音频技术团队研发了实时因果的智能丢包补偿算法：AliPLC(Ali Packet Loss Concealment)，采用低复杂度的端到端的生成对抗网络来解决语音在传输过程中的丢包问题。该算法具有以下优点：• 算法没有任何延时；• 可以实时流式处理；• 可以生成高质量的语音；• 不用单独进行平滑操作就能保证丢包前后音频的平滑和连贯性。

2. 算法性能

AliPLC 算法的参数量为 590k, 在主频为 2GHz 的 Intel Core i5 四核机器上补偿一帧 20ms 的音频数据所需时间为 1.5ms, 在推演的过程中不产生任何延时。

3. 应用场景

4. 效果展示

下面分别对中文男女生测试语料的丢包补偿前后效果进行展示。主观听感上，补偿之后的语音卡顿减少，流畅度和清晰度都有明显的提升。中文男声固定连续丢包60ms：丢包音频音频

AliPLC 客观指标评测

AliPLC 补偿算法的后续创新

AliPLC 作为阿里云视频云音频技术团队音频解决方案的一部分，充分利用深度学习中 GAN 网络能够有效地生成高质量的音频这一能力，在方法上进行创新，用较低的计算复杂度，提供连续丢包补偿的能力，提升用户在弱网环境下的通话体验。在未来，阿里云视频云音频技术团队将继续探索基于深度学习 + 信号处理的的音频技术，为更广泛的用户创造极致的音频体验。参考文献[1] S. M. Kay and S. L. Marple, “Spectrum analysis A modern perspective,” Proceedings of the IEEE, vol. 69, no. 11, pp. 1380–1419, 1981.[2] C. A. Rodbro, M. N. Murthi, S. V. Andersen, and S. H. Jensen, “Hidden Markov model-based packet loss concealment for voice over IP,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 14, no. 5, pp. 1609–1623, 2006.[3] M. M. Mohamed and B. W. Schuller, “ConcealNet: An End- to-end Neural Network for Packet Loss Concealment in Deep Speech Emotion Recognition,” arXiv:2005.07777 [cs, eess], May 2020, arXiv: 2005.07777.[4] F. Stimberg et al., "WaveNetEQ — Packet Loss Concealment with WaveRNN," 2020 54th Asilomar Conference on Signals, Systems, and Computers, 2020, pp. 672-676.[5] S. Pascual, J. Serra`, and J. Pons, “Adversarial Auto-Encoding for Packet Loss Concealment,” arXiv:2107.03100 [cs, eess], Jul. 2021, arXiv: 2107.03100.[6] J. Wang, Y. Guan, C. Zheng, R. Peng, and X. Li, “A temporal-spectral generative adversarial network based end-to-end packet loss concealment for wideband speech transmission,” The Journal of the Acoustical Society of America, vol. 150, no. 4, pp. 2577–2588, Oct. 2021.[7] O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” arXiv:1505.04597 [cs], May 2015, arXiv: 1505.04597 version: 1.[8] A. Marafioti, N. Perraudin, N. Holighaus, and P. Majdak, “A context encoder for audio inpainting,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 27, no. 12, pp. 2362–2372, 2019.

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。