一种基于高拍仪的双向拾音消噪方法、装置、设备及介质
文献发布时间:2023-06-19 19:07:35
技术领域
本发明涉及拾音消噪的技术领域,尤其是涉及一种基于高拍仪的双向拾音消噪方法、装置、设备及介质。
背景技术
目前,随着高拍仪在窗口办公业务中的广泛应用,人们对高拍仪在窗口对话中的拾音消噪效果也提出了更高的要求。
现有的高拍仪的拾音消噪方式通常为采用中值滤波的方式对声音信号进行处理,并滤除孤立的噪声点,从而使得声音信号的传播曲线更加趋近于平滑,减少高拍仪采集到的声音在传播过程中的失真现象,从而消除孤立噪声点的影响,但是,在声学回声的传播过程中往往会发生多路反射,且声音发射端和接收端之间的相对位移变化也会引起回声路径的变化,从而容易造成高拍仪的双向声音传播之间存出现声学回声,影响声音传播的清晰度。
上述中的相关技术方案存在以下缺陷:高拍仪的双向声音传播过程中容易受到回声路径变化所引起环境噪声的干扰,从而对高拍仪的双向声音传播的清晰度造成影响。
发明内容
为了降低环境噪声对高拍仪的双向声音传播过程中的噪声干扰,提高双向声音传播的声音清晰度,本申请提供一种基于高拍仪的双向拾音消噪方法、装置、设备及介质。
本申请的上述发明目的一是通过以下技术方案得以实现的:
提供一种基于高拍仪的双向拾音消噪方法,其特征在于,所述基于高拍仪的双向拾音消噪方法包括:
实时获取每个麦克风拾取到的原始声音信号;
对所述原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号;
将所述待处理声音信号进行时频空盲分离处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号;
将所述目标声音信号转换为可被声音接收端所识别的声音数字信号,并发送至所述声音接收端。
通过采用上述技术方案,由于高拍仪在窗口办公业务中常常会采用双向对话的方式进行工作,双向的麦克风容易采集到多路径反射后的声音信号,容易对办公人员的原始声音数据造成噪声影响,因此,本申请通过对高拍仪内置的麦克风矩阵拾取到的原始声音信号进行自适应处理,将超出声音拾取范围外的环境噪声信号进行初步滤除,得到待处理声音信号,有助于减少外界环境噪音的影响,再结合时频分析算法,对声音拾取范围内的待处理声音信号进行时频空盲分离处理,进一步将待处理声音信号中的残留噪声信号进行再次滤除,有助于进一步提高声音拾取范围内的声音质量,将进行多次噪声过滤后的目标声音信号转换为可被声音接收端识别的声音数字信号,并发送至声音接收端转换为语音进行播放,通过原始声音信号的多次噪声过滤处理,来降低声音拾取范围之外的噪声干扰和声音拾取范围内的残留噪声信号的干扰,从而使声音接收端播放的语音更加清晰,提高高拍仪在双向声音传播过程中的声音清晰度。
本申请在一较佳示例中可以进一步配置为:在所述实时获取每个麦克风拾取到的原始声音信号之后,且在所述对所述原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号之前,还包括:
根据所述原始声音信号,计算声源与每个麦克风之间的传播距离,得到声源与每个麦克风之间的回声路径;
对所述回声路径进行空间建模处理,得到声源与麦克风矩阵之间的声音拾取范围;
根据所述声音拾取范围,调节每个麦克风的空间拾取指向,得到与所述声源的回声路径契合程度最优的声音拾取角度;
对符合所述声音拾取角度的原始声音信号进行拾取,并滤除不符合所述声音拾取角度的环境噪声信号。
通过采用上述技术方案,由于每个麦克风的拾音位置存在差异,声源与每个麦克风之间的相对位移变化也会引起声音的回声路径发生变化,从而引起声音多路反射对原始声音信号的反射噪声影响,因此,通过计算每个麦克风与声源之间的传播距离,从而得到声源与每个麦克风之间的回声路径,根据回声路径进行空间建模处理,通过三角定位处理对声源进行初步定位,并根据声源位置划定声源与麦克风矩阵之间的声音拾取范围,有助于减少超出声音拾取范围之外的环境噪声的影响,提高拾取端的声音拾取准确性,通过对拾取端麦克风的空间拾取指向的调节,从而得到拾取端的最佳声音拾取角度,有助于减少声音播放端的麦克风拾音所带来的非线性散射噪声影响,保持声音拾取端的正向拾音,来降低拾取端的噪声干扰,并通过低失真地保持用户的声音,提高声音的自然度。
本申请在一较佳示例中可以进一步配置为:所述对所述原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号,具体包括:
对所有的原始声音信号进行拟合处理,得到所述原始声音信号的声源位置信息;
获取所述声源位置信息与每个麦克风的声音拾取范围之间的耦合关系,构建符合所述声源位置信息的消噪优化准则;
根据所述消噪优化准则,对所有的所述原始声音信号进行滤波处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号。
通过采用上述技术方案,通过对所有的原始声音信号进行拟合处理,将拟合程度最高的位置作为声源位置,从而得到原始声音信号的声源位置信息,有助于对声源位置进行再次确认,提高声源定位的准确性,并通过声源位置与麦克风的声音拾取范围进行耦合,寻找声源位置与每个麦克风声音拾取范围的耦合关系,从而有助于构建符合声源位置的消噪优化准则,有助于根据消噪优化准则对每个麦克风拾取到的原始声音信号进行针对性滤波处理,从而得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号,提高对原始声音信号的消噪精准性。
本申请在一较佳示例中可以进一步配置为:所述根据所述消噪优化准则,对所有的所述原始声音信号进行滤波处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号,还包括:
对符合所述消噪优化准则的所述原始声音信号进行计算,得到所述原始声音信号的滤波权系数;
根据所述滤波权系数对所述声音拾取范围内的所有原始声音信号进行滤波加权处理,得到与所述声源位置信息契合程度最优的声音滤波信号;
对所述声音滤波信号进行回声路径跟踪,得到声源传播的完整回声路径;
根据所述完整回声路径对高拍仪的信号耦合机制进行更新,得到符合所述完整回声路径传播趋势的目标信号耦合机制,所述目标信号耦合机制用于根据噪声类型控制滤波器的工作状态。
通过采用上述技术方案,通过对符合消噪优化准则的原始声音信号进行信号值计算,得到原始声音信号的滤波权系数,有助于根据滤波权系数对原始声音信号进行加权放大处理,从而便于观察与声源位置信息契合程度最有的声音滤波信号,提高声音滤波信号的观察便捷性,并通过对声音滤波信号的回声路径进行路径跟踪,从而得到声源传播的完整回声路径,有助于根据完整回声路径对高拍仪的滤波器的信号耦合机制进行更新,使滤波器对原始声音信号的滤波处理更符合声源传播的完整回声路径,提高滤波器的滤波工作状态切换准确性,使滤波器的工作状态更符合待过滤噪音类型,提高滤波的精准性。
本申请在一较佳示例中可以进一步配置为:将所述待处理声音信号进行时频空盲分离处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号,具体包括:
获取每个麦克风接收到所述原始声音信号的接收时间,得到声源到达麦克风矩阵的离散时间序列;
根据所述离散时间序列,构建声源与麦克风矩阵之间的脉冲响应关系;
根据所述脉冲响应关系,计算声源与麦克风矩阵之间的信号失真调节因子;
根据所述信号失真调节因子对所述待处理声音信号进行滤波处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号。
通过采用上述技术方案,由于声源与每个麦克风之间的传播路径存在差异,麦克风接收到原始声音信号的接收时间也存在差异,因此通过获取声源到达麦克风矩阵的离散时间序列,来构建声源与麦克风矩阵之间的脉冲响应关系,有助于根据脉冲响应关系获知原始声音信号传播的幅度变化,通过对每个麦克风的脉冲响应关系进行最小均方误差计算,得到声源与麦克风矩阵之间的幅度调节因子,并通过脉冲响应关系的最大化互相关计算离散时间序列的相关熵值,得到时间调节因子,从而得到声源与麦克风矩阵之间的信号失真调节因子,有助于对待处理声音信号的幅度和时间进行自适应调节,从而得到进一步滤除残留噪声信号的目标声音信号,通过对待处理声音信号的幅度和时间进行多维度调节,减少声音信号的失真程度,提高目标声音信号的自然度。
本申请在一较佳示例中可以进一步配置为:所述根据所述信号失真调节因子对所述待处理声音信号进行滤波处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号,还包括:
对所述目标声音信号进行信号收敛处理,得到所述目标声音信号的回声抑制比;
根据所述回声抑制比,将所述目标声音信号转换为时域信号;
根据所述时域信号,构建关于所述目标声音信号的语谱图,所述语谱图用于对所述目标声音信号进行语音识别。
通过采用上述技术方案,通过傅里叶变换对目标声音信号进行信号收敛处理,从而得到目标声音信号的回声抑制比,有助于通过回声抑制比将目标声音信号转换为时域信号,根据时域信号能够直观地观察到目标声音信号随时间的动态变化关系,根据时域信号对目标声音信号中的盲源干扰信号进行分离,根据时域信号构建目标声音信号的语谱图,有助于根据语谱图获知语音频谱与时域信号的变化关系,有助于评估目标声音信号的语音识别的自然度,提高语音识别的质量。
本申请在一较佳示例中可以进一步配置为:所述根据所述时域信号,构建关于所述目标声音信号的语谱图,所述语谱图用于对所述目标声音信号进行语音识别,还包括:
提取语谱图中携带有人声信号的语音频段,并对所述语音频段进行归一化处理,得到符合人声频段的语音波形数据;
对所述时域信号进行多次滤波处理,得到滤除不符合所述语音波形数据的目标声音信号滤除,得到符合所述语音波形数据的最优声音信号;
将所述最优声音信号转换为可被声音接收端所识别的声音数字信号,并发送至所述声音接收端。
通过采用上述技术方案,通过对语谱图中的人声信号进行归一化处理,得到合成人声频段的语音波形数据,根据语音波形数据,进一步滤除时域信号中的非人声噪音信号的干扰,提高语音识别的清晰度,并通过最优声音信号的模数转换,得到可被声音接收端识别的声音数字信号,从而便于在声音接收端播放出清晰且自然的声源语音,从而通过语音波形数据对非人声干扰信号进行进一步的噪音过滤,从而多维度提高语音识别的清晰度和自然度,使播放的语音更贴合心理声学的需求。
本申请的上述发明目的二是通过以下技术方案得以实现的:
提供一种基于高拍仪的双向拾音消噪装置,所述基于高拍仪的双向拾音消噪装置包括:
信号拾取模块,用于实时获取每个麦克风拾取到的原始声音信号;
信号处理模块,用于对所述原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号;
噪声分离模块,用于将所述待处理声音信号进行时频空盲分离处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号;
信号转换模块,用于将所述目标声音信号转换为可被声音接收端所识别的声音数字信号,并发送至所述声音接收端。
通过采用上述技术方案,由于高拍仪在窗口办公业务中常常会采用双向对话的方式进行工作,双向的麦克风容易采集到多路径反射后的声音信号,容易对办公人员的原始声音数据造成噪声影响,因此,本申请通过对高拍仪内置的麦克风矩阵拾取到的原始声音信号进行自适应处理,将超出声音拾取范围外的环境噪声信号进行初步滤除,得到待处理声音信号,有助于减少外界环境噪音的影响,再结合时频分析算法,对声音拾取范围内的待处理声音信号进行时频空盲分离处理,进一步将待处理声音信号中的残留噪声信号进行再次滤除,有助于进一步提高声音拾取范围内的声音质量,将进行多次噪声过滤后的目标声音信号转换为可被声音接收端识别的声音数字信号,并发送至声音接收端转换为语音进行播放,通过原始声音信号的多次噪声过滤处理,来降低声音拾取范围之外的噪声干扰和声音拾取范围内的残留噪声信号的干扰,从而使声音接收端播放的语音更加清晰,提高高拍仪在双向声音传播过程中的声音清晰度。
本申请的上述目的三是通过以下技术方案得以实现的:
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于高拍仪的双向拾音消噪方法的步骤。
本申请的上述目的四是通过以下技术方案得以实现的:
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于高拍仪的双向拾音消噪方法的步骤。
综上所述,本申请包括以下至少一种有益技术效果:
1、通过对高拍仪内置的麦克风矩阵拾取到的原始声音信号进行自适应处理,将超出声音拾取范围外的环境噪声信号进行初步滤除,得到待处理声音信号,有助于减少外界环境噪音的影响,再结合时频分析算法,对声音拾取范围内的待处理声音信号进行时频空盲分离处理,进一步将待处理声音信号中的残留噪声信号进行再次滤除,有助于进一步提高声音拾取范围内的声音质量,将进行多次噪声过滤后的目标声音信号转换为可被声音接收端识别的声音数字信号,并发送至声音接收端转换为语音进行播放,通过原始声音信号的多次噪声过滤处理,来降低声音拾取范围之外的噪声干扰和声音拾取范围内的残留噪声信号的干扰,从而使声音接收端播放的语音更加清晰,提高高拍仪在双向声音传播过程中的声音清晰度;
2、通过计算每个麦克风与声源之间的传播距离,从而得到声源与每个麦克风之间的回声路径,根据回声路径进行空间建模处理,通过三角定位处理对声源进行初步定位,并根据声源位置划定声源与麦克风矩阵之间的声音拾取范围,有助于减少超出声音拾取范围之外的环境噪声的影响,提高拾取端的声音拾取准确性,通过对拾取端麦克风的空间拾取指向的调节,从而得到拾取端的最佳声音拾取角度,有助于减少声音播放端的麦克风拾音所带来的非线性散射噪声影响,保持声音拾取端的正向拾音,来降低拾取端的噪声干扰,并通过低失真地保持用户的声音,提高声音的自然度;
3、通过对所有的原始声音信号进行拟合处理,将拟合程度最高的位置作为声源位置,从而得到原始声音信号的声源位置信息,有助于对声源位置进行再次确认,提高声源定位的准确性,并通过声源位置与麦克风的声音拾取范围进行耦合,寻找声源位置与每个麦克风声音拾取范围的耦合关系,从而有助于构建符合声源位置的消噪优化准则,有助于根据消噪优化准则对每个麦克风拾取到的原始声音信号进行针对性滤波处理,从而得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号,提高对原始声音信号的消噪精准性。
附图说明
图1是本申请一实施例中的一种基于高拍仪的双向拾音消噪方法的实现流程图。
图2是本申请一实施例中的基于高拍仪的双向拾音消噪方法步骤S20的实现流程图。
图3是本申请一实施例中的双向拾音消噪方法步骤S20的另一实现流程图。
图4是本申请一实施例中的双向拾音消噪方法的步骤S103的实现流程图。
图5是本申请一实施例中的双向拾音消噪方法的步骤S30的实现流程图。
图6是本申请一实施例中的双向拾音消噪方法的步骤S404的实现流程图。
图7是本申请一实施例中的双向拾音消噪方法的步骤S503的实现流程图。
图8是本申请一实施例中的一种基于高拍仪的双向拾音消噪装置的结构示意图。
图9是用于实现基于高拍仪的双向拾音消噪方法的计算机设备的内部结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
在一实施例中,如图1所示,本申请公开了一种基于高拍仪的双向拾音消噪方法,具体包括如下步骤:
S10:实时获取每个麦克风拾取到的原始声音信号。
具体的,通过集成于高拍仪上的麦克风矩阵进行原始声音信号的拾取,声音拾取端设置有两组呈等边三角形排列的麦克风矩阵,声音播放端也同样设置两组等同的麦克风矩阵,通过对立设置的两组麦克风矩阵实现高拍仪的双向拾音,便于窗口办公业务的双向对话。
S20:对原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号。
具体的,将原始声音信号进行数模转换处理,并将原始声音模拟信号通过功率放大器进行放大处理,对放大后的原始声音信号进行自适应信号处理,如图2所示,具体步骤S20包括以下步骤:
S101:对所有的原始声音信号进行拟合处理,得到原始声音信号的声源位置信息。
具体的,将所有的原始声音信号输入至MATLAB中,通过预设的拟合公式对所有的原始声音信号进行拟合处理,预设的拟合公式如下公式(1)所示:
其中,
其中,fi表示声音信号的频率。
向量矩阵
其中,Fs表示原始声音信号的采样率,T表示每个声音信号的拾取时间。
S102:获取声源位置信息与每个麦克风的声音拾取范围之间的耦合关系,构建符合声源位置信息的消噪优化准则。
具体的,根据声源位置信息在每个麦克风的声音拾取范围内的重合位置,在声源位置与麦克风矩阵之间建立多组三角定位关系,从而划定声源与两两相关的麦克风之间的三角声音拾取范围,并根据多个声音拾取范围的短时相关度,来对原始声音信号进行误差补偿,根据误差补偿的累计值构建消噪优化准则,通过消噪优化准则对高拍仪的噪声滤波器进行约束,其中,基于短时相关度的误差补偿累计值的计算如下公式(4)所示:
其中,
S103:根据消噪优化准则,对所有的原始声音信号进行滤波处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号。
具体的,根据消噪优化准则对所有的原始呻吟信号进行滤波处理,对原始声音信号进行误差补偿,并根据三角声音拾取范围,将三角声音拾取范围之外的声音信号作为环境噪声信号进行滤除,从而得到只保留三角声音拾取范围内的声音信号作为待处理声音信号。
本实施例中,为了更好地对原始声音信号进行拾取,减少非线性散射噪声的对声音拾取的干扰,在实时获取每个麦克风拾取到的原始声音信号之后,且在对原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号之前,如图3所示,S20还包括:
S201:根据原始声音信号,计算声源与每个麦克风之间的传播距离,得到声源与每个麦克风之间的回声路径。
具体的,获取每个麦克风接收到原始声音信号的时间,并计算每个麦克风接收原始声音信号的时间差,根据时间差结合声波在空气中的传播速度340米每秒,计算声源与麦克风之间的传播角度,以麦克风为原点结合每个麦克风对应的传播角度绘制辅助线,两两麦克风的辅助线相交位置设定为声源位置,并以声源位置与麦克风之间的辅助线作为原始声音信号的回声路径。
S202:对回声路径进行空间建模处理,得到声源与麦克风矩阵之间的声音拾取范围。
具体的,根据麦克风与声源位置之间的声音传播角度,以及原始声音信号的回声路径,构建声源与所有的麦克风之间的传播关联模型,并根据声源与任意两个麦克风之间的回声路径来划分声音拾取范围,从而得到声源与麦克风矩阵之间的声音拾取范围。
S203:根据声音拾取范围,调节每个麦克风的空间拾取指向,得到与声源的回声路径契合程度最优的声音拾取角度。
具体的,根据两个麦克风与声源之间的三角声音拾取范围,调节每个麦克风的空间拾取指向,使每个麦克风始终保持在正向的声音传播角度内进行声音信号拾取,减少负向以及超过声音传播角度之外的反射噪声带来的影响,并结合所有的麦克风的声音拾取范围来综合确定与声源的回声传播路径契合程度最有的声音拾取角度,如对所有的麦克风拾取角度进行求均值计算,将声音拾取角度的均值作为最优的声音拾取角度。
S204:对符合声音拾取角度的原始声音信号进行拾取,并滤除不符合声音拾取角度的环境噪声信号。
具体的,通过滤波器将符合声音拾取角度的原始声音信号进行拾取,并滤除不符合声音拾取角度的环境噪声信号,进一步降低环境噪声对声源发出的原始声音信号的噪干扰。
本实施例中,为了更好地根据噪音类型的差异来动态的选择对应的滤波器进行噪音滤除处理,如图4所示,步骤S103根据消噪优化准则,对所有的原始声音信号进行滤波处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号,还包括:
S301:对符合消噪优化准则的原始声音信号进行计算,得到原始声音信号的滤波权系数。
具体的,将声音拾取角度内的原始声音信号通过消噪优化准则进行误差补偿处理,根据声音拾取角度内的原始声音信号的优化补偿计算公式如下公式(5)所示:
E
其中,E表示由预先计算得到的消噪优化准则对声音拾取角度内的原始声音信号的优化补偿参数,n表示声音拾取角度内的原始声音信号的数量,
通过声音拾取角度内的优化补偿参数,结合最小二乘算法计算原始声音信号的滤波权系数,滤波权系数的计算公式如下公式(6)所示:
其中,K表示滤波次数,
S302:根据滤波权系数对声音拾取范围内的所有原始声音信号进行滤波加权处理,得到与声源位置信息契合程度最优的声音滤波信号。
具体的,将滤波加权系数与声音拾取范围内的每个原始声音信号进行加权运算,根据与声源位置信息的互关性,对加权后的所有原始声音信号进行排序,并在排序后的原始声音信号中推选出与 声源位置信息契合程度最优的声音滤波信号。
S303:对声音滤波信号进行回声路径跟踪,得到声源传播的完整回声路径。
具体的,通过对声音滤波信号的整个信号收敛过程进行数据跟踪,并标记声音滤波信号中的峰值,根据麦克风接收到声音滤波信号的接收时间顺序,绘制声源传播的完整回声路径,有助于根据完整回声路径对声源传播的回声路径变化进行直观观察。
S304:根据完整回声路径对高拍仪的信号耦合机制进行更新,得到符合完整回声路径传播趋势的目标信号耦合机制,目标信号耦合机制用于根据噪声类型控制滤波器的工作状态。
具体的,声音在传播过程中不仅会发生线性失真,也会发生非线性失真,根据失真状态的不同所引起的噪声影响的类型也会存在差异,因此,根据完整回声路径的传播趋势对高拍仪的信号耦合机制进行更新,如根据完整回声路径中的噪声类型,将对应的优化补偿系数以及对应的滤波权系数更新至信号耦合机制中,得到用于控制滤波器的工作状态切换的目标耦合机制。
S30:将待处理声音信号进行时频空盲分离处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号。
具体的,如图5所示,步骤S30包括:
S401:获取每个麦克风接收到原始声音信号的接收时间,得到声源到达麦克风矩阵的离散时间序列。
具体的,当每个麦克风接收到声源发出的原始声音信号时,记录每个麦克风的拾取时间,从而得到声源到达麦克风矩阵的离散时间序列。
S402:根据离散时间序列,构建声源与麦克风矩阵之间的脉冲响应关系。
具体的,根据离散时间序列,通过MATLAB对离散时间序列所对应的脉冲响应信号进行标记,随着拾取时间的离散值越大,脉冲响应值也越久,从而得到每个麦克风与声源之间的脉冲响应与拾取时间差之间的正比例关系,随着对麦克风矩阵的脉冲响应关系进行集合,得到声源与麦克风矩阵时间的脉冲响应关系。
S403:根据脉冲响应关系,计算声源与麦克风矩阵之间的信号失真调节因子。
具体的,根据脉冲响应关系,计算声源与麦克风矩阵之间的信号失真调节因子,其中,信号失真调节因子包括幅度调节因子和时间调节因子,幅度调节因子通过计算声音拾取范围内的原始声音信号的最小均方误差计算得到,如公式(7)所示:
其中,
时间调节因子通过计算脉冲响应的离散时间序列的最大化互相关计算得到,通过公式(8)计算出离散时间序列的最大化互相关参数,如公式(8)所示:
其中,
S404:根据信号失真调节因子对待处理声音信号进行滤波处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号。
具体的,将幅度调节因子与时间调节因子分别与待处理声音信号值
具体的,如图6所示,步骤S404还包括:
S501:对目标声音信号进行信号收敛处理,得到目标声音信号的回声抑制比。
具体的,将每个麦克风接收到的目标声音信号绘制成声音变化曲线,对声音变化曲线的峰值点进行标记并计算同一时间点下的峰值平均值,根据峰值平均值对目标声音信号进行收敛处理,使声音变化曲线趋近于峰值平均值,并计算相邻峰值的斜率变化,从而得到目标声音信号的回声抑制比。
S502:根据回声抑制比,将目标声音信号转换为时域信号。
具体的,将回声抑制比作为傅里叶级数,通过傅里叶变换将目标声音信号转换为时域信号,使转换后的时域信号满足回声抑制比的需求。
S503:根据时域信号,构建关于目标声音信号的语谱图,语谱图用于对目标声音信号进行语音识别。
具体的,根据时域信号,以时域信号的拾取时间和声音频率作为坐标参照,构建目标声音信号的语谱图,通过对语谱图进行逆离散傅里叶变换,可得到目标声音信号的语音信息。
具体的,如图7所示,步骤S503还包括:
S601:提取语谱图中携带有人声信号的语音频段,并对语音频段进行归一化处理,得到符合人声频段的语音波形数据。
具体的,通过人耳反向工程对语谱图中的语音频段进行提取,并结合心理声学将提取到的语音频段进行拼接,并将拼接后的语音频段进行归一化处理,从而得到携带有完整人声频段的语音波形数据。
S602:对时域信号进行多次滤波处理,得到滤除不符合语音波形数据的目标声音信号滤除,得到符合语音波形数据的最优声音信号。
具体的,根据语音波形数据的频率以及拾取时间,通过滤波器将不符合语音波形数据的频率以及拾取时间的时域信号进行滤除,在多次反复滤除后,只保留符合语音波形数据的时域信号作为最优声音信号。
S603:将最优声音信号转换为可被声音接收端所识别的声音数字信号,并发送至声音接收端。
具体的,将最优声音信号进行模数转换处理,得到可被声音接收端识别的声音数字信号,并根据预设的传输链路发送至声音接收端。
S40:将目标声音信号转换为可被声音接收端所识别的声音数字信号,并发送至声音接收端。
具体的,通过模数转换器对目标声音信号进行模数转换处理,从而得到可被声音接收端所识别的声音数字信号,并根据预设的传输链路将声音数字信号发送至声音接收端,以便于声音接收端根据声音数字信号,解码出与声音数字信号相对应的语音,并通过麦克风进行播放。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在一实施例中,提供一种基于高拍仪的双向拾音消噪装置,该基于高拍仪的双向拾音消噪装置与上述实施例中基于高拍仪的双向拾音消噪方法一一对应。如图8所示,该基于高拍仪的双向拾音消噪装置包括信号拾取模块、信号处理模块、噪声分离模块和信号转换模块。各功能模块详细说明如下:
信号拾取模块,用于实时获取每个麦克风拾取到的原始声音信号。
信号处理模块,用于对原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号。
噪声分离模块,用于将待处理声音信号进行时频空盲分离处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号。
信号转换模块,用于将目标声音信号转换为可被声音接收端所识别的声音数字信号,并发送至声音接收端。
优选的,在实时获取每个麦克风拾取到的原始声音信号之后,且在对原始声音信号进行自适应信号处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号之前,还包括:
回声路径计算模块,用于根据原始声音信号,计算声源与每个麦克风之间的传播距离,得到声源与每个麦克风之间的回声路径。
空间建模模块,用于对回声路径进行空间建模处理,得到声源与麦克风矩阵之间的声音拾取范围。
拾取指向调节模块,用于根据声音拾取范围,调节每个麦克风的空间拾取指向,得到与声源的回声路径契合程度最优的声音拾取角度。
环境噪声滤除模块,用于对符合声音拾取角度的原始声音信号进行拾取,并滤除不符合声音拾取角度的环境噪声信号。
优选的,信号处理模块具体包括:
声源定位子模块,用于对所有的原始声音信号进行拟合处理,得到原始声音信号的声源位置信息。
消噪优化准则构建子模块,用于获取声源位置信息与每个麦克风的声音拾取范围之间的耦合关系,构建符合声源位置信息的消噪优化准则。
消噪滤波子模块,用于根据消噪优化准则,对所有的原始声音信号进行滤波处理,得到滤除声音拾取范围之外的环境噪声信号的待处理声音信号。
优选的,消噪滤波子模块还包括:
滤波权系数计算子模块,用于对符合消噪优化准则的原始声音信号进行计算,得到原始声音信号的滤波权系数。
滤波加权处理子模块,用于根据滤波权系数对声音拾取范围内的所有原始声音信号进行滤波加权处理,得到与声源位置信息契合程度最优的声音滤波信号。
回声路径跟踪处理子模块,用于对声音滤波信号进行回声路径跟踪,得到声源传播的完整回声路径。
信号耦合机制更新子模块,用于根据完整回声路径对高拍仪的信号耦合机制进行更新,得到符合完整回声路径传播趋势的目标信号耦合机制,目标信号耦合机制用于根据噪声类型控制滤波器的工作状态。
优选的,噪声分离模块具体包括:
离散时间序列获取子模块,用于获取每个麦克风接收到原始声音信号的接收时间,得到声源到达麦克风矩阵的离散时间序列。
脉冲响应关系构建子模块,用于根据离散时间序列,构建声源与麦克风矩阵之间的脉冲响应关系。
调节因子计算子模块,用于根据脉冲响应关系,计算声源与麦克风矩阵之间的信号失真调节因子。
调节滤波处理子模块,用于根据信号失真调节因子对待处理声音信号进行滤波处理,得到滤除声音拾取范围内残留噪声信号的目标声音信号。
优选的,调节滤波处理子模块还包括:
信号收敛处理子模块,用于对目标声音信号进行信号收敛处理,得到目标声音信号的回声抑制比。
时域信号转换子模块,用于根据回声抑制比,将目标声音信号转换为时域信号。
语谱图构建子模块,用于根据时域信号,构建关于目标声音信号的语谱图,语谱图用于对目标声音信号进行语音识别。
优选的,语谱图构建子模块还包括:
语音波形数据获取子模块,用于提取语谱图中携带有人声信号的语音频段,并对语音频段进行归一化处理,得到符合人声频段的语音波形数据。
最优声音信号推选子模块,用于对时域信号进行多次滤波处理,得到滤除不符合语音波形数据的目标声音信号滤除,得到符合语音波形数据的最优声音信号。
声音数字信号转换子模块,用于将最优声音信号转换为可被声音接收端所识别的声音数字信号,并发送至声音接收端。
关于基于高拍仪的双向拾音消噪装置的具体限定可以参见上文中对于基于高拍仪的双向拾音消噪方法的限定,在此不再赘述。上述基于高拍仪的双向拾音消噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储高拍仪双向拾音过程中所拾取到的原始声音信号以及消噪过程中的声音信号中间文件。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于高拍仪的双向拾音消噪方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述基于高拍仪的双向拾音消噪方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
- 基于双向网闸的数据传输方法、装置、设备及介质
- 一种抑制漏音的穿戴式设备、抑制漏音方法及存储介质
- 一种基于手机双麦克风构架的拾音消噪装置
- 一种基于麦克风阵列的拾音方法、拾音装置及存储介质