使用归一化评估耳封的系统和方法

相关申请的交叉引用

本申请要求基于于2020年6月17日提交的题为“System and Method forEvaluating an Ear Seal using Normalization”的美国临时申请序列号63/039,988的优先权，该申请全部内容通过引用并入本文。

背景技术

为了降低功耗，许多个人音频设备都具有专用的“入耳检测”功能，可用于检测设备附近是否存在耳朵。此外，具体到耳内换能器(耳机)，对于一些应用，需要评估耳机和耳道之间形成的密封的质量。例如，重放质量，特别是低音响应，受到耳机和耳道之间形成的密封的质量的影响。此外，在耳朵生物测定领域，耳道脉冲响应(ear canal impulseresponse，ECIR)受插入质量的影响。

红外传感器已用于移动电话中，以检测耳朵的接近程度。已经提出了光传感器来检测耳机和头戴式耳机插入到用户的耳朵中或耳朵上。然而，这些非声学机制的缺点是它们需要设备中增加额外的硬件。此外，他们无法评估密封/插入质量。

测量传感器(例如，接收器)阻抗是一种声学方法，可以被用于检测设备的入耳/出耳状态，但不能检测密封质量。也可以使用非常低的频率(例如，5Hz)探测声音，需要直接测量这些频率下的声级。这种测量除了需要生成特定的探测信号之外，还受到高噪声水平和麦克风响应不准确的影响。

发明内容

在一个实施例中，本公开提供了一种用于评估听力设备的耳机和耳道之间的耳封的系统，该系统包括第一换能器，其被配置为响应于电信号将声音播放到耳道中，其中，电信号包括参考频率分量和至少一个测试频率分量。声音包括参考频率分量和至少一个测试频率分量。至少一个测试频率低于参考频率。第二换能器被配置为接收耳道中的声音。控制器被配置为：计算电信号的参考频率分量和至少一个测试频率分量之间的至少一个电信号电平差，测量耳道中声音的参考频率分量和至少一个测试频率分量的声级，计算参考频率分量的测量声级与至少一个测试频率分量的测量声级之间的至少一个声信号电平差，通过从至少一个声信号电平差中减去电信号电平差来计算至少一个归一化声学差值，以及基于至少一个归一化声学差值来确定耳封的测量结果。

在另一个实施例中，本公开提供了一种用于评估听力设备的耳机和耳道之间的耳封的方法。该方法包括由耳机的第一换能器响应于电信号将声音播放到耳道中。电信号包括参考频率分量和至少一个测试频率分量。声音包括参考频率分量和至少一个测试频率分量。至少一个测试频率低于参考频率。该方法还包括：计算电信号的参考频率分量和至少一个测试频率分量之间的至少一个电信号电平差，测量由耳机的第二换能器接收的耳道中的声音的参考频率分量和至少一个测试频率分量的声级，计算参考频率分量的测量声级与至少一个测试频率分量的测量声级之间的至少一个声信号电平差，通过从至少一个声信号电平差中减去电信号电平差来计算至少一个归一化声学差值，以及基于至少一个归一化声学差值来确定耳封的测量结果。

在又一个实施例中，本公开提供了一种非暂时性计算机可读介质，其上存储有指令，其能够导致或配置用于评估听力设备的耳机与耳道或耳腔之间的密封的系统执行操作。该操作包括由耳机的第一换能器响应于电信号将声音播放到耳道中。电信号包括参考频率分量和至少一个测试频率分量。声音包括参考频率分量和至少一个测试频率分量。至少一个测试频率低于参考频率。该方法还包括：计算电信号的参考频率分量和至少一个测试频率分量之间的至少一个电信号电平差，测量由耳机的第二换能器接收的耳道中的声音的参考频率分量和至少一个测试频率分量的声级，计算参考频率分量的测量声级与至少一个测试频率分量的测量声级之间的至少一个声信号电平差，通过从至少一个声信号电平差中减去电信号电平差来计算至少一个归一化声学差值，以及基于至少一个归一化声学差值来确定耳封的测量结果。

附图说明

图1是示出根据本公开的实施例在频谱上测量的良好耳封和不良耳封声级的示例图。

图2是示出根据本公开的实施例的针对不同耳封泄漏尺寸的相对于参考频率的测试频谱上的归一化声学差值电平的示例图。

图3是示出根据本公开的实施例的在选定频率处针对不同耳封泄漏尺寸的归一化声学差值电平的示例图。

图4是根据本公开的实施例的可以被用于使用归一化评估耳封的系统的示例框图。

图5是示出根据本公开的实施例使用归一化评估耳封的系统的操作的示例流程图。

具体实施方式

图1是说明根据本公开的实施例在整个频谱上测量的良好耳封和不良耳封声级的示例图。在图1中，声级以相对于参考信号的分贝(dBr)进行衡量，并且频率范围为10Hz至1000Hz。从图中可以观察到，在不良耳封的情况下，响应与频率之间近似为对数关系，而在良好耳封的情况下，响应与频率之间近似为线性关系。因此，例如，相对于在良好耳封的情况下的响应，较低频率下的响应(例如，音频范围低音响应)受到不良耳封的不利影响。图1示出了用于确定耳封质量的示例，例如，在不良耳封的情况下通知系统提高低频和/或通知用户密封不良。此外，如本文所述，还有用于确定耳封的质量以及用于确定耳机是否完全插入用户耳道中的其他用途。

描述了实施例，其中系统使用宽带节目材料频谱的较低频率区域来评价耳塞的进/出位置以及耳封质量。使用电编程信号差作为归一化参考，相对于至少一个较高频率(higher frequency，HF)(本文中被称为参考频率)测量一个或多个低频(low frequency，LF)(本文中被称为测试频率)处的声级。以100Hz的LF测试频率(例如，见图3)和1kHz的HF参考频率为例。100Hz和1kHz之间的电信号电平差是已知的，并且与耳塞位置和密封质量无关。因此，可以记录参考电平，以被用于声学测量。由耳道内的麦克风(例如，耳机的误差麦克风)测量的100Hz和1kHz之间的声级差取决于耳机位置和密封质量，并且因此当归一化为电信号电平差时，可被用于评估密封质量。可以使用一个以上的测试频率和一个以上的参考频率来在各种条件下获得对耳封质量的更大的辨别。例如，在参考频率和多个测试频率处的电平之间的归一化声学差值可以一起被使用，以提高用于确定耳封质量的归一化声学差值的置信度。最后，例如，对于每个测试频率，可以建立用于指示“耳塞退出”的差值的阈值。

图2是示出根据本公开的实施例的针对不同的耳封泄漏尺寸的相对于参考频率的测试频谱上的归一化声学差值电平的示例图。所示的不同泄漏尺寸以毫米为单位被测量。由于耳道和耳机形状不完全匹配，泄漏尺寸可能在耳道周围变化。针对0、0.01、0.0215、0.0464、0.1、0.215、0.464、1和2.15毫米的泄漏尺寸，示出了归一化声学差值电平曲线。电平以相对于参考信号(dBr)的分贝为单位进行测量，并且频率范围为从10Hz至1000Hz。测量的声音由听力设备的耳机的扬声器生成，并在听力设备的内部(例如，误差)麦克风处被接收。归一化声学差值电平信息可以以各种方式被生成。例如，存储的或流式传输的节目材料(例如，在音频频谱上具有不同级别的音乐)可以被驱动到扬声器中并在内部麦克风处被测量；可以在感兴趣的频谱(例如，图2的10Hz至1000Hz)上分析驱动到扬声器中的电信号的电平；可以在频谱上分析麦克风处的声级；可以针对电信号电平和声学电平两者计算参考频率(例如，1000Hz)电平与频谱中其他频率中的每一个频率之间的差值；并且可以针对其他频率中的每一个频率计算归一化声学差值电平，作为声学电平差和电信号电平差的差值。对于另一个示例，音调可以扫过感兴趣的频谱(包括参考频率)，并且可以执行类似的一组测量和计算，以生成频谱中每个频率的归一化声学差值电平。在这样的示例中，在电信号的电平对于参考频率和所有其他频率是相同的特殊情况下，则电信号电平差为零，并且声学差值电平的归一化包括从声学差值电平中减去零。

从图2中可以观察到，在频谱的很大一部分上，归一化声学差值电平的频谱形状中的强泄漏依赖性是明显的。在一个实施例中，50Hz和200Hz之间的频率范围提供了清晰的特征，特别是在除了泄漏尺寸范围的两端以外的所有地方。例如，特定于给定耳机模型的归一化声学差值信息可以经由耳朵模拟器或志愿者受试者测量来建立，并用于确定耳封测量结果，如下面更详细描述的。也就是说，尽管归一化声学差值信息对于不同的耳机设计可能不同，但在图2中观察到的针对给定频率的归一化声学差值相对于给定频率的参考频率的分离是典型的。特别地，泄漏尺寸的增加对应于较小的归一化声学差值，如图所示，其可被用于评估耳封质量。最后，可以建立指示“耳塞退出”状况的归一化声学差值电平的阈值。

图3是示出根据本公开的实施例的在选定频率处对于不同耳封泄漏尺寸的归一化声学差值电平的示例图。更具体地说，图3绘制了对于五个不同频率(即75、100、125、150和200Hz)中的每一个，作为图2的八个不同的耳封泄漏尺寸(不包括零泄漏情况)的函数的归一化声学差值(以dBr为单位)。75和200Hz值的趋势线用虚线箭头示出。图3中绘制的值在所示的每个频率处相对零泄漏电平被归一化。也就是说，在每个感兴趣的频率处，零泄漏响应的电平被定为0dBr电平。这具有的效果是，去除图2中在一些频率处可观察到的大于10dBr的“凸起”，并使其在0dBr电平处变平。因此，图3显示了在每个选定频率处零泄漏和非零泄漏响应之间的差值，并示出了实施例确定耳封质量、耳机插入深度和/或“耳机退出”状态的能力。如图3中可以观察到的，随着耳封泄漏尺寸的增加，归一化声学差值的扩展存在增加的一般趋势。

图4是根据本公开的实施例的可被用于使用归一化评估耳封的示例系统100。系统100包括与便携式音频设备10(诸如移动电话或其他音频设备)耦合的听力设备13。听力设备13可以包括组合盒16、左耳机18A和右耳机18B。左耳机18A被示出为靠近人耳5以插入其中，而右耳机18B用于插入另一只耳朵(未示出)中。如在本公开中所使用的，术语“耳机”广义地包括任何扬声器、内部麦克风、外部麦克风和与其相关联的结构，其旨在被插入在听众的耳道内或以其他方式声学耦合到该耳道，并且包括但不限于耳机、耳塞、头戴式耳机和可以被插入到人耳道中或以其他方式声学耦合到人耳道的其他类似设备。此外，应当理解，本文描述的实施例可以被用于确定各种不同形状、尺寸和风格的耳机的耳封质量。

耳机18A和18B中的每一个(一般被称为耳机18，并统称为耳机18)包括参考麦克风R、误差麦克风E和扬声器SPKR。当耳机18被插入到耳道中时，参考麦克风R在耳道外部，并且误差麦克风E在耳道内部。参考麦克风R(也诶称为外部麦克风)测量周围或外部声学环境。误差麦克风E(也被称为内部麦克风)测量耳道内衰减的环境音频以及扬声器SPKR再现的音频。扬声器SPKR可以再现由移动音频设备10接收的远程语音以及其他本地音频事件，诸如铃声、存储或流式传输的音频节目材料、近端语音的注入(即，移动音频设备10的用户的语音)以提供平衡的会话感知，以及需要移动音频设备100再现的其他音频，诸如来自网页或移动音频设备110接收的其他网络通信的源，以及诸如低电池指示和其他系统事件通知的音频指示。

听力设备13可以包括控制器17，例如，在组合盒16中或在耳机18中的一个或两个内，控制器17执行本文所述的各种操作或功能，以使用在误差(内部)麦克风E上在测试和参考频率处测量的声级来确定耳封质量。该操作可以包括：在参考频率和测试频率处测量误差麦克风E处的声级，计算所测量声级之间的声学差值，计算用于驱动扬声器SPKR以生成声音的电信号的测试频率分量和参考频率分量之间的差值，基于声学差值和电信号差值计算归一化声信号差值，以及基于归一化声学差值确定耳封质量。控制器17还可以基于所确定的耳封质量来执行动作，该动作可以改善听力设备13的用户的听觉体验。控制器17可以包括获取并执行程序指令的处理元件。控制器17还可以包括易失性和非易失性存储器，用于存储数据和可由控制器17执行的程序指令。控制器17还可以包括音频编码器/解码器(coder/decoder，CODEC)电路(未示出)，其从参考麦克风R和误差麦克风E接收信号，并生成到扬声器SPKR的电信号。

音频设备10还包括控制器19，控制器19可以执行一些操作以确定耳封质量和/或基于所确定的耳封质量执行动作，以改善用户的听觉体验。控制器19可以被包括在音频设备10的集成电路(integrated circuit，IC)中。控制器19还可以包括音频CODEC电路和易失性和非易失性存储器(未示出)。音频设备10可以包括用于连接到听力设备13的音频端口15。音频端口15可以被通信地耦合到音频设备10内的射频(radio frequency，RF)电路(未示出)和控制器19，从而允许与听力设备13的组件通信。RF电路可以包括无线电话收发器。在其他实施例中，听力设备13可以无线连接到移动音频设备10，例如经由蓝牙或其他短程无线技术。

听力设备13和/或移动音频设备10可以包括声学噪声消除(acoustic noisecancellation，ANC)电路和特征件，其将抗噪声信号注入到扬声器SPKR中，以提高由扬声器SPKRR再现的远程语音和其他音频的可懂度。通常，ANC系统测量撞击在参考麦克风R上的环境声学事件(与扬声器SPKR和/或近端语音的输出相反)，并且还通过测量撞击在误差麦克风E上的相同环境声学事件，ANC处理电路调整使用参考麦克风R的输出生成的抗噪声信号，以具有使误差麦克风E处的环境声学事件的幅度最小化的特性。在一些实施例中，听力设备13和/或音频设备10还可以包括可以在ANC操作中使用的近语音麦克风。

在本公开的一些实施例中，本文所公开的电路和技术可以被合并在单个集成电路中，该集成电路包括用于实施听力设备13和/或便携式音频设备10的控制电路和其他功能，诸如MP3片上播放器集成电路。在这些实施例和其他实施例中，本文公开的电路和技术可以部分地或完全地在计算机可读介质中体现的软件和/或固件中实施，并且可由控制器或其他处理设备(诸如可以执行本文所述操作的控制器)执行。控制器可以包括能够获取存储在寻址存储器位置中的程序指令并执行所获取的指令的电子电路。IC还可以包括用于存储阈值的非易失性存储器，如下面更详细描述的。

图5是示出根据本公开的实施例的使用归一化评估耳封的系统(例如，图4的系统100)的操作的示例流程图。对听力设备13的每个耳机18执行所描述的操作。操作开始于块502。

在块502处，电信号被驱动到听力设备(例如，图4的听力设备13)的耳机(例如，图4的耳机18)的换能器(例如，图4的扬声器SPKR)中，以将声音播放到听力设备的用户的耳道中。声音由听力设备的内部麦克风(例如，图4的误差麦克风E)接收。电信号可以包括通过换能器回放的记录或流式音频信号，例如音乐。电信号包括参考频率处的分量和一个或多个测试频率处的分量。测试频率低于参考频率。优选地，参考频率大于500Hz，并且测试频率在50-200Hz的范围内。因为声音和用于产生声音的电信号可以具有不同的频率内容，所以系统可以提取或隔离在期望的参考频率和一个或多个测试频率处的声音和电信号的信号功率。在一个实施例中，对声音和/或电信号执行快速傅里叶变换(Fast Fourier Transform，FFT)以获得包括期望的一个或多个测试频率的频率仓。在另一个实施例中，采用一个或多个陷波滤波器来隔离期望的一个或多个测试频率。可以采用其他频率隔离技术。此外，由于系统可能无法控制声音和电信号的频率内容，所以系统可以测量参考和/或测试频率处的电平，检测信号水平不足以高到以可接受的置信度来确定耳封测量结果，并且作为响应，使用声音的信号电平足够高的不同参考和/或测试频率处的测量电平。声级测量可以由听力设备(例如，图7的听力设备13)和/或移动音频设备(例如，图7的移动音频设备10)的控制器17执行。操作进行到块504。

在块504处，计算电信号的参考频率和测试频率分量之间的电信号电平差。在一个实施例中，使用多个测试频率，并且计算电信号的参考频率分量和多个测试信号频率分量之间的多个电信号电平差。此外，测量在块502处生成的声音的参考频率分量和测试频率分量的声信号电平。更进一步，计算在参考频率分量的测量声信号电平和测试频率分量的一个或多个测量声信号电平之间的一个或多个声信号电平差。最后，通过从相应的一个或多个声信号电平差中减去一个或多个电信号电平差来计算一个或多个归一化声学差值。如上所述，多个测试频率可以与给定的参考频率一起使用，以便于在各种条件下更好地辨别耳封质量。例如，针对不同的测试频率计算多个归一化声学差值，并且然后统计组合(例如，平均、加权平均)以生成单个归一化声学差值。此外，一个或多个测试频率可以与多个参考频率中的每一个一起使用，以便于在各种条件下更好地辨别耳封质量。块504处的操作可以由听力设备和/或移动音频设备的控制器执行。操作进行到块506。

在块506处，基于在块504处计算的一个或多个归一化声学差值来确定耳封测量结果。在一个实施例中，将一个或多个归一化声学差值与和不同的耳封质量或泄漏尺寸相关联的阈值进行比较。例如，X(例如，-20)dBr的差值可以与Y(例如，0.01)毫米的泄漏尺寸相关联。阈值可以基于先前测量和计算的信息(诸如图2和/或图3所示的信息)来建立。在一个实施例中，对于给定的耳机模型，阈值是先验确定的。在另一个实施例中，为通用耳机确定阈值，例如，来自被测试的不同耳机的样本的期望值。在一个实施例中，阈值中的至少一个可以与耳机和耳道之间的最小摩擦力相关联，该最小摩擦力是在不需要额外支撑的情况下将耳机保持在耳道内所需的。换言之，阈值对应于这样一种情况，其中泄漏尺寸如此之大，以至于耳机不再被摩擦所保持在耳道中，并且在没有额外支撑的情况下可能即将掉落。这样的阈值可能有助于定义对应于松散插入的耳塞状态的泄漏尺寸。大于该值的泄漏尺寸不受关注，并且出于相关目的，耳机可以被宣布脱离耳道。在一个实施例中，不同的阈值可以与耳机在耳道内的不同插入深度相关联。例如，插入深度的单独确定可以被获得(例如，根据高频响应形状)，并且在耳封泄漏尺寸和插入深度之间可以存在相关性，使得根据本文描述的实施例的泄漏尺寸确定可以被用作插入深度的独立确认。在一个实施例中，经过训练的机器学习模块可以执行耳封测量结果确定。机器学习模块可以接收并使用在块504处计算的归一化声学差值和/或在块502处测量的声级。在训练模式期间和操作模式期间，可以将接收到的计算的归一化声学差值和/或测量的声级作为输入提供给机器学习模块。操作进行到决策块508。

在决策块508处，确定在块504处计算的归一化声学差值(例如，对于给定的测试频率)是否小于预定阈值，其被称为“设备退出”阈值。如果是，则操作进行到块512；否则，操作进行到块514。

在块512处，存储耳机离开耳道的指示。“设备退出”指示可以被用作其他动作的触发，例如，如关于块514所描述的。

在块514处，基于在块506处进行的耳封测量结果和/或在块508和512处确定的“设备退出”指示采取行动。这些动作可以包括但不限于：使用耳封测量结果和/或“设备退出”指示来辅助听力设备13和/或移动音频设备10所采用的ANC算法；调整回放质量和/或级别；调整左右耳机之间的平衡；调整耳机的均衡，例如提高低音水平；向用户显示消息，例如，“耳机退出，请更换”或“耳封质量低，请重新插入耳机”。如本文所述，在一些实施例中，关于图5描述的操作可以完全由听力设备13本身(例如，组合盒16内的控制器17)执行，而在其他实施例中，一些操作可以由耦合到听力设备13的移动音频设备10执行。

本文所述实施例的优点可以包括以下内容。因为例如可以使用节目材料或音乐钟声信号(例如，最低的吉他音符为80Hz，并且最低的低音音符为40Hz)，所以不需要次声探测信号。由于可以避免内部麦克风的高通滤波器斜率范围(例如，误差麦克风的典型-3dB频率范围为35至85Hz)，因此可以避免测量结果不确定性的降低。这些实施例可以被用作通用的，即未知的密封耳机设计的插入质量的粗略测量。使用多个测试频率和/或参考频率可以允许对给定耳机进行微调，并且测量结果有更好的置信度。对于已知的耳塞，该实施例可以被微调到很大程度的密封评估精度。例如，实施例可以被用作用于耳朵生物测定的噪声独立的(即与其他方法无关的)插入深度的测量，并且可以被用于辅助ANC算法。

应当理解——尤其是由受益于本公开的本领域普通技术人员——本文所述的各种操作，特别是与附图相关的操作，可以通过其他电路或其他硬件组件来实施。除非另有指示，否则可以改变执行给定方法的每个操作的顺序，并且本文所示系统的各种元件可以被添加、重新排序、组合、省略、修改等。本公开旨在包含所有此类修改和改变，并且因此，上述描述应被视为说明性的而非限制性的意义。

类似地，尽管本公开涉及特定实施例，但在不偏离本公开的范围和覆盖面的情况下，可以对那些实施例进行某些修改和改变。此外，本文中关于特定实施例描述的问题的任何益处、优点或解决方案不旨在被解释为关键的、必需的或必要的特征或元件。

同样，受益于本公开的其他实施例对于本领域普通技术人员来说将是显而易见的，并且此类实施例应被视为被包含在本文中。本文叙述的所有示例和条件语言旨在用于教学目的，以帮助读者理解本公开以及发明人为促进本领域所贡献的概念，并且被解释为不限于这些具体叙述的示例和条件。

本公开涵盖本领域普通技术人员将理解的对本文示例实施例的所有改变、替换、变化、变更和修改。类似地，在适当的情况下，所附权利要求涵盖本领域普通技术人员将理解的对本文示例实施例的所有改变、替换、变化、变更和修改。此外，在所附权利要求中，对适于、被布置为、能够、被配置为、启用、可操作于或可运转地执行特定功能的装置或系统或装置或系统的组件的引用涵盖该装置、系统或组件，无论其或该特定功能是否被激活、开启或解锁，只要该装置、，系统或组件被如此适应、布置、能够、配置、启用、可操作或可运转。

最后，软件可以导致或配置本文所述的装置和方法的功能、制造和/或描述。这可以使用通用编程语言(例如，C、C++)、包括Verilog HDL、VHDL等的硬件描述语言(hardwaredescription language，HDL)或其他可用程序来实现。这种软件可以被设置在任何已知的非暂时性计算机可读介质中，诸如磁带、半导体、磁盘或光盘(例如，CD-ROM、DVD-ROM等)、网络、电线或其他通信介质，其上存储有能够引起或配置本文描述的装置和方法的指令。