识别声学回声降噪算法

时间:2022年12月13日 来源:

    深入浅出WebRTCAEC(声学回声消除),前言:近年来,音视频会议产品提升着工作协同的效率,在线教育产品突破着传统教育形式的种种限制,娱乐互动直播产品丰富着生活社交的多样性,背后都离不开音视频通信技术的优化与创新,其中音频信息内容传递的流畅性、完整性、可懂度直接决定着用户之间的沟通质量。自2011年WebRTC开源以来,无论是其技术架构,还是其中丰富的算法模块都是值得我们细细品味,音频方面熟知的3A算法(AGC:Automaticgaincontrol;ANS:Adaptivenoisesuppression;AEC:Acousticechocancellation)就是其中闪闪发光的明珠。本文章将结合实例解析WebRTCAEC的基本框架和基本原理,一起探索回声消除的基本原理,技术难点以及优化方向。回声的形成WebRTC架构中上下行音频信号处理流程,音频3A主要集中在上行的发送端对发送信号依次进行回声消除、降噪以及音量均衡(这里只讨论AEC的处理流程,如果是AECM的处理流程ANS会前置),AGC会作为压限器作用在接收端对即将播放的音频信号进行限幅。那么回声是怎么形成的呢?如图2所示,A、B两人在通信的过程中,我们有如下定义:x(n):远端参考信号,即A端订阅的B端音频流,通常作为参考信号;y(n):回声信号,即扬声器播放信号x。

    声学回声消除应用技术。识别声学回声降噪算法

识别声学回声降噪算法,声学回声

    也能够更清楚地看到这里面可能存在的回授现象。部分工程师在调试远程会议系统时也许遇到过啸叫,那可不一定是本地系统没调好所造成的,你会发现,关掉终端一切非常正常。为什么绝大多数的远程系统没有啸叫呢?这还得感谢您还不算非常质量的网络。我们常说,距离产生延时,而在模拟音频大举转向数字音频、网络音频的,网络信号的延迟也为音频领域赋予了新的现象,尤其应用在远程会议这样的音频传输系统当中,它能将一次次回授剥离成一次次听似回声的现象,这就是网络音频回声。通常由A地发出的声源A在几乎不经过延迟处理的本地系统中,通过A地音箱扩声;而其经过网络终端编码送向远端时,除了考虑A地的上传时间X,还得考虑B地的下载时间Y。在这样一个架构在Internet网络传输环境中的声音,其到达B地扩声音箱出来的信号则是A+X+Y。经B地本地话筒拾取后的该信号,再由B地的上传网速(时间)Z、A地的下载时间W传送回A地扩声音箱,其表现出的信号则会出现一次A信号,及一次赋予了(X+Y+Z+W)时间的A信号。假设A地—B地传输时间总和为200ms,B地—A地传输时间总和为200ms,则信号的一去一回。体现在A扩声音箱中至少会存在A和A+400ms的信号,若反馈信号电平足够强。则再被话筒拾取。

     识别声学回声降噪算法声学回声的原理是什么?

识别声学回声降噪算法,声学回声

    在线性的回声场景里,双耦合的非线性滤波器是处于休眠的状态,所以它的值是趋于0的,这个时候起主导作用的是线性滤波器。接下来我们再看一下右边的非线性声学回声场景。我们假设非线性的失要出现在t1到t2这个时间段内,大家可以看到黄色线在这个时间里,出现了一次突变,对于NLMS算法,当出现非线性失真之后,它的线性滤波器会去逼近非线性失真。但是由于学习的速度跟不上滤波器变化的速度,所以它跟真实的值之间总是存在一个比较大的gap。同时当非线性失真消失之后,它还需要一段时间恢复到正常状态,因此在整个时间段里,都会出现回声泄露的问题。接下来我们再看双耦合算法,在非线性失真出现之后,线性滤波器会进入到一种相对休眠的状态,就是前面所提到的耦合机制,会降低它的更新速度,所以在整个非线性出现的这段时间里,他的值是缓慢变化的。进入非线性失真状态之后,非线性滤波器开始工作,它会快速非线性特性的变化,而当非线性失真消失之后,非线性滤波器又进入休眠状态。将这两个滤波器结合起来,就可以实现对整个声学回声路径的变化进行有效。这里只是给出了一个示例,实际情况往往要复杂很多。接下来我们对这2个滤波器做了特性比较,主要是从4个不同的维度。

    

    运用声学处理来控制回声和混响,当有某个房间或建造一个录音棚时,如出现下述问题,就需要进行声学处理:(1)在墙边拍一下手,然后可听到颤动回声。这是由于声音在硬的平行墙面之间的来回撞击而产生的。(2)录音棚有非常活跃的环境,诸如像一个车库或是混凝土结构的地下室之类,可以听到很多的房间混响。(3)录音棚体积很小。(4)从录音作品中可以听到外界的噪声。(5)低音吉他放大器和音箱的声音有隆隆声。(6)缺乏在数英尺之外作不拾取噪声或不拾取过量房间混响的拾音的自由度。(7)在传声器信号中可听到大量的泄漏声。一些泄漏的例子,如吉他传声器拾取了鼓声,或是由于铙镲传声器拾取了电吉他的声音。如果有上述情况出现,则可按如下的建议来改善录音室的声学状况。混响和回声是由于房间表面的声音反射引起的,因此,强吸声的表面会有助于化解这些问题。高频吸收如要吸收高频,可使用诸如多孔的褶皱(凹凸不平的)的泡沫垫材料。这些材料是高可燃性的,所以,要作阻燃处理。把它们钉住或粘贴在墙面上,或者把它们固定在框架上。从效果上看,使用厚的泡沫材料要比薄的好。装在墙上的,这取决于声音撞击到泡沫材料上的角度。在泡沫材料嵌板之间要留有一些空隙。

     非线性声学回声产生的原因。

识别声学回声降噪算法,声学回声

    就得到了非线性滤波器的比较好解,它具有小二乘估计形式。第三步构建耦合机制。在介绍耦合机制之前,先说一下我对这种耦合机制的期望特性。我希望在声学系统的线性度非常好的情况下,线性滤波器起到主导作用,而非线性滤波器处于休眠的状态,或者关闭的状态;反过来,当声学系统的非线性很强时,希望非线性滤波器起到主导作用,而线性滤波器处于半休眠状态。实际声学系统往往是非线性与线性两种状态的不断交替、叠加,因此我们希望构建一种机制来对这两种状态进行耦合控制。为了设计耦合机制,就必须对线性度和非线性度特征进行度量。因此,我们定义了两个因子,分别是线性度因子和非线性度因子,对应左边的这两个方程。而我们进行耦合控制的基本的思想就是将这两个因子的值代入到NLMS算法和小二乘算法之中,调整二者的学习速度。为了便于大家对双耦合声学回声消除算法有一个定性的认识,我又画了一组曲线,左边一组对应的是线性回声的场景。我们首先来看一下NLMS算法,黄色曲线真实的系统传递函数,红色曲线是NLMS算法的结果。可以看到,在线性场景下,NLMS算法得到的线性滤波器可以有效逼近真实传递函数,进而能够有效抑制线性声学回声。下面再来看一下这个双耦合算法。

     声学回声消除,该技术的出现旨在消除这种因远程网络会议所带来的回授现象。河南声学回声供应商家

非线性的声学回声消除问题,在实际声学系统里面非常普遍也非常棘手。识别声学回声降噪算法

32.隔声实验室由两个相连的混响室组成,在两个混响室之间应有一个安装试件的洞口。33.质量定律对于隔声存在一个普遍的规律,即材料越重(面密度,或单位面积质量越大)隔声效果越好。对于单层密致匀实材料,面密度每增加一倍,隔声量在理论上增加6dB,这种规律即为质量定律。34.吻合谷声波接触隔声材料后,隔声材料除了垂直方向的受迫振动以外,还有沿着板面方向的受迫弯曲振动。在某个特定频率上,受迫弯曲振动将和板固有的自由弯曲振动发吻合,这时隔声材料就非常顺从地跟随入射声弯曲,造成声能大量地投射到另一侧去,形成隔声量的低谷,这种现象被称作吻合效应。35.平方反比定律在自由场(freefield)条件下,话筒或扬声器与音源之间的距离每增加一倍,声音的强度就会下降6分贝。36.哈斯效应如果有两个不同声源发出同样的声音,在同一时间以同样强度到达时,声音呈现的方向大致在两个声源之间;如两个同样的声源中的一个延时5~35ms,则感觉声音似乎都来自未延时的声源;如延迟时间在35~50ms时,延时的声源可被识别出来,但其方向仍在未经延时的声源方向;只有延迟时间超过50ms时,第二声源才能象清晰的回声般听到。这种现象就是哈斯效应。识别声学回声降噪算法

深圳鱼亮科技有限公司位于龙华街道清华社区建设东路青年创业园B栋3层12号,拥有一支专业的技术团队。专业的团队大多数员工都有多年工作经验,熟悉行业专业知识技能,致力于发展Bothlent的品牌。公司以用心服务为重点价值,希望通过我们的专业水平和不懈努力,将语音识别,音效算法,降噪算法,机器人,智能玩具,软件服务,教育培训,芯片开发,电脑,笔记本,手机,耳机,智能穿戴,进出口服务,云计算,计算机服务,软件开发,底层技术开发,软件服务进出口,品牌代理服务。等业务进行到底。诚实、守信是对企业的经营要求,也是我们做人的基本准则。公司致力于打造***的智能家居,语音识别算法,机器人交互系统,降噪。

信息来源于互联网 本站不为信息真实性负责