上海交互声学回声抑制算法

时间:2022年08月27日 来源:

    只需要近端采集信号即可,傲娇的回声消除需要同时输入近端信号与远端参考信号。有同学会问已知了远端参考信号,为什么不能用噪声抑制方法处理呢,直接从频域减掉远端信号的频谱不就可以了吗?行为近端信号s(n),已经混合了近端人声和扬声器播放出来的远端信号,黄色框中已经标出对齐之后的远端信号,其语音表达的内容一致,但是频谱和幅度(明显经过扬声器放大之后声音能量很高)均不一致,意思就是:参考的远端信号与扬声器播放出来的远端信号已经是“貌合神离”了,与降噪的方法相结合也是不错的思路,但是直接套用降噪的方法显然会造成回声残留与双讲部分严重的抑制。接下来,我们来看看WebRTC科学家是怎么做的吧。信号处理流程WebRTCAEC算法包含了延时调整策略,线性回声估计,非线性回声抑制3个部分。回声消除本质上更像是音源分离,我们期望从混合的近端信号中消除不需要的远端信号,保留近端人声发送到远端,但是WebRTC工程师们更倾向于将两个人交流的过程理解为一问一答的交替说话,存在远近端同时连续说话的情况并不多(即保单讲轻双讲)。因此只需要区分远近端说话区域就可以通过一些手段消除绝大多数远端回声。

     非线性声学回声消除方面的资料非常少。上海交互声学回声抑制算法

上海交互声学回声抑制算法,声学回声

    在线性的回声场景里,双耦合的非线性滤波器是处于休眠的状态,所以它的值是趋于0的,这个时候起主导作用的是线性滤波器。接下来我们再看一下右边的非线性声学回声场景。我们假设非线性的失要出现在t1到t2这个时间段内,大家可以看到黄色线在这个时间里,出现了一次突变,对于NLMS算法,当出现非线性失真之后,它的线性滤波器会去逼近非线性失真。但是由于学习的速度跟不上滤波器变化的速度,所以它跟真实的值之间总是存在一个比较大的gap。同时当非线性失真消失之后,它还需要一段时间恢复到正常状态,因此在整个时间段里,都会出现回声泄露的问题。接下来我们再看双耦合算法,在非线性失真出现之后,线性滤波器会进入到一种相对休眠的状态,就是前面所提到的耦合机制,会降低它的更新速度,所以在整个非线性出现的这段时间里,他的值是缓慢变化的。进入非线性失真状态之后,非线性滤波器开始工作,它会快速非线性特性的变化,而当非线性失真消失之后,非线性滤波器又进入休眠状态。将这两个滤波器结合起来,就可以实现对整个声学回声路径的变化进行有效。这里只是给出了一个示例,实际情况往往要复杂很多。接下来我们对这2个滤波器做了特性比较,主要是从4个不同的维度。

     河北识别声学回声消除算法声学回声消除应用技术。

上海交互声学回声抑制算法,声学回声

    n)中的回声是扬声器播放远端参考x(n),又被麦克风采集到的形成的,也就意味着在近端数据还未采集进来之前,远端数据缓冲区中已经躺着N帧x(n)了,这个天然的延时可以约等于音频信号从准备渲染到被麦克风采集到的时间,不同设备这个延时是不等的。苹果设备延时较小,基本在120ms左右,Android设备普遍在200ms左右,低端机型上会有300ms左右甚至以上。(2)远近端非因果为什么会导致回声?从(1)中可以认为,正常情况下当前帧近端信号为了找到与之对齐的远端信号,必须在远端缓冲区沿着写指针向前查找。如果此时设备采集丢数据,远端数据会迅速消耗,导致新来的近端帧在向前查找时,已经找不到与之对齐的远端参考帧了,会导致后续各模块工作异常。如图10(a)表示正常延时情况,(b)表示非因果。WebRTCAEC中的延时调整策略关键而且复杂,涉及到固定延时调整,大延时检测,以及线性滤波器延时估计。三者的关系如下:①固定延时调整只会发生在开始AEC算法开始处理之前,而且调整一次。如会议盒子等固定的硬件设备延时基本是固定的,可以通过直接减去固定的延时的方法缩小延时估计范围,使之快速来到滤波器覆盖的延时范围之内。下面结合代码来看看固定延时的调整过程。

   

这将不止产生一次的回声,而是多次规律的回声现象。AEC即AcousticEchoCancellation(声学回声消除)技术简称,该技术的出现旨在消除这种因远程网络会议所带来的回授现象,以遏制次回声产生所需的必要条件来遏制多次回声的出现。为什么要费那么大周折去抑制回声?这个话题应该不言而喻了。会议、语音扩声讲究的即是STI语音清晰度(可懂度),而回声是语言清晰度的比较大。设想踩脚跟式的语音信号传达到耳朵,听者难受,讲者费劲,对于这样的语音会议来说,那必将是一场灾难。我们把声学回声消除这个技术变成一张实体的插件(设备插卡),在系统中,为实现次回声过滤(过滤回声源则过滤多次回声)。这个技术应该插入在系统的哪个环节呢?我们不妨来找找系统中具备近乎相同/相似信号的一级进出环节。们并不难发现一组具备相似信号的输入输出环节。而AEC技术认为,在这里对回声下手是治根的办法!市面上有多种类的回声消除器,也有部分抑制器,其算法和解决办法各有不同,本文就不详细阐释了。须知,通过对具有相似性极高的输入、输出信号的比对,约掉这一具备相似信号的输出。非线性声学回声消除技术。

上海交互声学回声抑制算法,声学回声

    非线性声学回声产生的原因非线性声学回声产生的原因,我一共列了两条原因。原因之一,声学器件的小型化与廉价化,这里所指的声学器件就是前面B里面提到的功率放大器和喇叭。为什么声学器件的小型化容易产生非线性的失真呢?这个需要从喇叭发声的基本原理说起,我们都知道声波的本质是一种物理振动,而喇叭发声的基本原理就是通过电流来驱动喇叭的振膜发生振动之后,这个振膜会带动周围的空气分子相应发生振动,这样就产生了声音。如果我们要发出一个大的声音的话,那么就需要在单位时间内用更多的电流去驱动更多的空气分子发生振动。假设有大小不同的两个喇叭,他们用同样的功率去驱动,对于大喇叭而言,由于它跟空气接触的面积要大一些,所以他在单位时间内能够带动更多的空气分子振动,所以它发出来的声音也会大一些。而小喇叭如果想发出跟大喇叭一样大的声音,就需要加大驱动功率,这样会带来一个问题:我们的功率放大器件会进入到一种饱和失真的状态,由此就会带来非线性的失真。这就是声学器件小型化容易产生非线性失真的一个主要的原因。这里廉价化比较好理解了,就不多说了。原因之二。就是声学结构设计的不合理。典型的一个实例就是声学系统的隔振设计不合理。

     对于耳机来讲,主要是声学回声,表现为收发环路的隔离度不好。上海交互声学回声抑制算法

非线性的声学回声消除是一个很有挑战的研究方向。上海交互声学回声抑制算法

    底噪也就是本底噪声,一般指在电声系统中,除去有用的信号外的总噪声。底噪有来自于固有的电子、电磁噪音,也有确是功放电路或电源性能问题导致的。理论上底噪是无法去除的,当然只有当底噪大到影响听感的时候才是问题。很多时候可以提高信噪比把底噪给压低,这确实可以降低听音乐时噪声的影响。但是总之人们还是有带耳机不听音乐的时候,典型的如ANC耳机降噪工作的时候,此时显得尤为重要,近期几大品牌都因为ANC底噪问题造成过批量退货。为了准确的检测产品底噪,我们需要知道目前行业内耳机功放工作类型大概有以下两种:1、产品处于蓝牙播放状态时,功放IC有打开,输入端无任何音源,喇叭输出端有底噪信号输出。2、产品处于蓝牙播放状态时,IC会被系统静音,信号输入端需要给一个很小信号触发功放IC打开,喇叭输出端有底噪信号输出。总的来说,底噪时需要多种指标和技术手段来验证和管控。指南测控整个标准声学测试系统通过极高灵敏度的仪器和声学传感器,采用多种评估底噪能量值的方法,以及专门为底噪测试而设计的箱体及治具结构,测试软件逻辑等一体化的设计,可以准确快速的进行底噪测试。下图TWS耳机中的左耳,在喇叭播放空声源时,喇叭端有略微的电流声底噪。 上海交互声学回声抑制算法

深圳鱼亮科技有限公司是一家有着雄厚实力背景、信誉可靠、励精图治、展望未来、有梦想有目标,有组织有体系的公司,坚持于带领员工在未来的道路上大放光明,携手共画蓝图,在广东省等地区的通信产品行业中积累了大批忠诚的客户粉丝源,也收获了良好的用户口碑,为公司的发展奠定的良好的行业基础,也希望未来公司能成为*****,努力为行业领域的发展奉献出自己的一份力量,我们相信精益求精的工作态度和不断的完善创新理念以及自强不息,斗志昂扬的的企业精神将**深圳鱼亮科技供应和您一起携手步入辉煌,共创佳绩,一直以来,公司贯彻执行科学管理、创新发展、诚实守信的方针,员工精诚努力,协同奋取,以品质、服务来赢得市场,我们一直在路上!

信息来源于互联网 本站不为信息真实性负责