广东电脑声学回声

    非线性声学回声消除的技术难点我从6个不同的维度比较了线性的和非线性这两种回声消除问题。首先个维度，系统传递函数。在线性系统里面，我们认为系统传递函数是一个缓慢时变的系统，我们可以通过自适应滤波的方式去逼近这个传递函数，来有效抑制回声。而在非线性系统里面，系统传递函数通常是快变、突变的，我们如果用线性的方法去逼近的话，会出现滤波器的更新速度，跟不上系统传递函数变化的速度，就会导致声学回声消除不理想。第二个维度是优化模型，在线性里面我们是有一套非常完备的线性优化模型，从目标函数的构建到系统优化问题的求解，整个脉络是很清晰的。而在非线性的系统里面，目前是缺少一种有效的模型来对它进行支撑的。接下来的四个维度对应4个问题，它们是线性回声消除领域普遍存在的4个难点问题。这些问题在非线性领域也同样存在。比如强混响问题，我们如果在一个小型会议室里开视频会议。那么声音会经过多次墙壁反射，带来很强的混响，混响的拖尾时间会很长。如果想抑制这样的强混响回声，就需要把线性滤波器的长度加长。这样会带来一个新的问题：按照Widrow的自适应滤波理论，滤波器的长度越长，其收敛速度越慢，同时权噪声越大。 AEC声学回声，电话的扬声器的声音。广东电脑声学回声

    如果设置nlp_mode=kAecNlpAggressive，α大约会在30左右。如果当前帧为近端帧（即echo_state=false），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，即使滤波后的损失听感上几乎无感知。如图8(a)，hNl经过α调制之后，幅值依然很接近。如果当前帧为远端帧（即echo_state=true），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，滤波后远端能量小到基本听不到了。如图8(b)，hNl经过α调制之后，基本接近0。经过如上对比，为了保证经过调制之后近端期望信号失真小，远端回声可以被抑制到不可听，WebRTCAEC才在远近端帧状态判断的的模块中设置了如此严格的门限。另外，调整系数α过于严格的情况下会带来双讲的抑制，如图9第1行，近端说话人声音明显丢失，通过调整α后得以恢复，如第2行所示。因此如果在WebRTCAEC现有策略上优化α估计，可以缓解双讲抑制严重的问题。延时调整策略回声消除的效果与远近端数据延时强相关，调整不当会带来算法不可用的风险。在远近端数据进入线性部分之前，一定要保证延时在设计的滤波器阶数范围内，不然延时过大超出了线性滤波器估计的范围或调整过当导致远近端非因果都会造成无法收敛的回声。先科普两个问题：。1）为什么会存在延时？首先近端信号d。

   广东电脑声学回声声学回声，表现为收发环路的隔离度不好，其根本原因就是耳机在装配时麦克风与喇叭的密封隔离没做好。

    在线性的回声场景里，双耦合的非线性滤波器是处于休眠的状态，所以它的值是趋于0的，这个时候起主导作用的是线性滤波器。接下来我们再看一下右边的非线性声学回声场景。我们假设非线性的失要出现在t1到t2这个时间段内，大家可以看到黄色线在这个时间里，出现了一次突变，对于NLMS算法，当出现非线性失真之后，它的线性滤波器会去逼近非线性失真。但是由于学习的速度跟不上滤波器变化的速度，所以它跟真实的值之间总是存在一个比较大的gap。同时当非线性失真消失之后，它还需要一段时间恢复到正常状态，因此在整个时间段里，都会出现回声泄露的问题。接下来我们再看双耦合算法，在非线性失真出现之后，线性滤波器会进入到一种相对休眠的状态，就是前面所提到的耦合机制，会降低它的更新速度，所以在整个非线性出现的这段时间里，他的值是缓慢变化的。进入非线性失真状态之后，非线性滤波器开始工作，它会快速非线性特性的变化，而当非线性失真消失之后，非线性滤波器又进入休眠状态。将这两个滤波器结合起来，就可以实现对整个声学回声路径的变化进行有效。这里只是给出了一个示例，实际情况往往要复杂很多。接下来我们对这2个滤波器做了特性比较，主要是从4个不同的维度。

    第三个部分是通过实验来检验这个算法的性能；再做一些简单的总结。非线性声学回声1什么是非线性声学回声？，什么是非线性的声学回声？的是声学回声的路径，左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识清楚这里面的每一个环节，看看它们到底是线性系统还是非线性系统，如果所有的环节都是线性的话，那么很自然y[k]就是一个线性的回声，否则只要有一个环节是非线性的，那么这个回声就是非线性回声。在这里我将整个回声路径分成了A、B、C、D四个部分。我们一起来看一下，ABCD里面哪一个环节有可能是非线性的？答案应该是B。也就是回声路径里面的功率放大器和喇叭，具体的原因稍后会做详细分析。接下来我想再解释一下为什么A、C、D它们不是非线性的。

    推出的双耦合的声学回声消除算法以及实验检验结果。

    n)后，被麦克风采集到的信号，此时经过房间混响以及麦克风采集的信号y(n)已经不能等同于信号x(n)了,我们记线性叠加的部分为y'(n),非线性叠加的部分为y''(n),y(n)=y'(n)+y''(n)；s(n):麦克风采集的近端说话人的语音信号，即我们真正想提取并发送到远端的信号；v(n)：环境噪音，这部分信号会在ANS中被削弱；d(n):近端信号，即麦克风采集之后，3A之前的原始信号，可以表示为：d(n)=s(n)+y(n)+v(n)；s'(n):3A之后的音频信号，即准备经过编码发送到对端的信号。WebRTC音频引擎能够拿到的已知信号只有近端信号d(n)和远端参考信号x(n)。如果信号经过A端音频引擎得到s'(n)信号中依然残留信号y(n)，那么B端就能听到自己回声或残留的尾音（回声抑制不彻底留下的残留）。AEC效果评估在实际情况中可以粗略分为如下几种情况（专业人员可根据应用场景、设备以及单双讲进一步细分）：回声消除的本质在解析WebRTCAEC架构之前，我们需要了解回声消除的本质是什么。音视频通话过程中，声音是传达信息的主要途径，因此从复杂的录音信号中，通过信号处理的手段使得我们要传递的信息：高保真、低延时、清晰可懂是一直以来追求的目标。在我看来，回声消除。

     通过这种分析去挖掘非线性声学回声的一些物理特性。广东电脑声学回声

非线性声学回声系统建模。广东电脑声学回声

    n)中的回声是扬声器播放远端参考x(n)，又被麦克风采集到的形成的，也就意味着在近端数据还未采集进来之前，远端数据缓冲区中已经躺着N帧x(n)了，这个天然的延时可以约等于音频信号从准备渲染到被麦克风采集到的时间，不同设备这个延时是不等的。苹果设备延时较小，基本在120ms左右，Android设备普遍在200ms左右，低端机型上会有300ms左右甚至以上。（2）远近端非因果为什么会导致回声？从（1）中可以认为，正常情况下当前帧近端信号为了找到与之对齐的远端信号，必须在远端缓冲区沿着写指针向前查找。如果此时设备采集丢数据，远端数据会迅速消耗，导致新来的近端帧在向前查找时，已经找不到与之对齐的远端参考帧了，会导致后续各模块工作异常。如图10(a)表示正常延时情况，(b)表示非因果。WebRTCAEC中的延时调整策略关键而且复杂，涉及到固定延时调整，大延时检测，以及线性滤波器延时估计。三者的关系如下：①固定延时调整只会发生在开始AEC算法开始处理之前，而且调整一次。如会议盒子等固定的硬件设备延时基本是固定的，可以通过直接减去固定的延时的方法缩小延时估计范围，使之快速来到滤波器覆盖的延时范围之内。下面结合代码来看看固定延时的调整过程。

    广东电脑声学回声