用于听力装置的音高编码增强

背景

技术领域

本发明大体上涉及听力装置。

背景技术

近几十年来，医疗装置已为接受者提供了广泛的治疗益处。医疗装置可以包括内部或可植入部件/装置、外部或可佩戴部件/装置或其组合(例如具有与可植入部件通信的外部部件的装置)。医疗装置，例如传统助听器、部分或完全可植入听力假体(例如骨传导装置、机械刺激器、耳蜗植入物等)、起搏器、除颤器、功能性电刺激装置和其他医疗装置，多年来在执行救生和/或生活方式改善功能和/或接受者监测方面一直是成功的。

多年来，医疗装置的类型以及由其执行的功能范围有所增加。例如，有时称为“可植入医疗装置”的许多医疗装置现在通常包括永久或临时植入接受者体内的一个或多个器械、设备、传感器、处理器、控制器或其他功能性机械或电部件。这些功能性装置通常用于诊断、预防、监测、治疗或管理疾病/损伤或其症状，或研究、替换或修改解剖结构或生理过程。这些功能性装置中的许多功能性装置利用从外部装置接收到的电力和/或数据，所述外部装置是可植入部件的一部分或与可植入部件协同操作。

发明内容

在一方面中，提供了一种方法。所述方法包括：在听力装置处接收声音信号；估计所接收的声音信号的目标基频；确定所接收的声音信号中存在的目标基频的谐波；以及在递送到听力装置的接受者的刺激信号中对目标基频的一个或多个目标谐波进行区分性编码。

在另一方面中，提供了一种方法。所述方法包括：生成在听力装置处接收的谐波信号的时变目标基频的实时估计；确定与所述目标基频的一个或多个目标谐波相关联的信息；生成表示所述谐波信号的刺激信号以递送到所述听力装置的接受者；以及在所述刺激信号中提高所述一个或多个目标谐波与所述谐波信号中的其他分量之间的感知区分性。

在另一方面中，提供了一种或多种非暂态计算机可读存储介质。所述一种或多种非暂态计算机可读存储介质包括指令，所述指令当由处理器执行时，使所述处理器：估计在听力装置处接收的声音信号的目标基频；确定与所述目标基频的谐波相关联的信息；并且从所述声音信号确定刺激信号，其中，所述刺激信号被配置成优先于其他信号分量增强所述目标基频的一个或多个目标谐波的感知。

附图说明

在本文中结合附图描述本发明的实施例，其中：

图1是示出根据本文给出的某些实施例的用于频谱谐波增强的第一种方法的曲线图；

图2是示出根据本文给出的某些实施例的用于频谱谐波增强的第二种方法的曲线图；

图3是示出根据本文给出的某些实施例的用于频谱谐波增强的第三种方法的曲线图；

图4A示出了使用连续交错采样(CIS)策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的非增强电刺激模式。

图4B示出了使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的电刺激模式，其中，该电刺激模式使用本文给出的第二频谱谐波增强来增强。

图4C示出了使用高级组合编码器(ACE)策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的非增强电刺激模式。

图4D示出了使用ACE策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的电刺激模式，其中，该电刺激模式使用本文给出的第二频谱谐波增强来增强。

图5A示出了使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的非增强电刺激模式，以+4dB的SNR添加了白噪声。

图5B示出了使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的电刺激模式，以+4dB的SNR添加了白噪声，其中，该电刺激模式使用本文给出的第二频谱谐波增强来增强。

图5C示出了使用ACE策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的非增强电刺激模式，以+4dB的SNR添加了白噪声。

图5D示出了使用ACE策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的电刺激模式，以+4dB的SNR添加了白噪声，其中，该电刺激模式使用本文给出的第二频谱谐波增强来增强。

图6A示出了使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的非增强电刺激模式。

图6B示出了使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的电刺激模式，其中，该电刺激模式使用本文给出的第三频谱谐波增强来增强。

图6C示出了使用ACE策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的非增强电刺激模式。

图6D示出了使用ACE策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/生成的电刺激模式，其中，该电刺激模式使用本文给出的第三频谱谐波增强来增强。

图7A示出了使用CIS策略针对F0从75Hz扫到400Hz的经低通滤波的谐波音调生成的非增强电刺激模式；

图7B示出了使用CIS策略针对F0从75Hz扫到400Hz的经低通滤波的谐波音调生成的电刺激模式，其具有根据第二种频谱增强方法的频谱增强；

图7C示出了使用CIS策略针对F0从75Hz扫到400Hz的经低通滤波的谐波音调生成的电刺激模式，其具有根据第三种频谱增强方法的频谱增强；

图8A示出了使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内的F0处演唱的元音/a/生成的非增强电刺激模式；

图8B示出了根据第二种频谱增强方法，使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内的F0处演唱的元音/a/生成的电刺激模式；

图8C示出了根据第三种频谱增强方法，使用CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内的F0处演唱的元音/a/生成的电刺激模式；

图9是根据本文给出的某些实施例的示例性耳蜗植入物系统的功能框图；

图10A示出了根据本文给出的实施例的被配置成实施组合式频谱和时间F0增强的示例性耳蜗植入物系统；

图10B示出了根据本文给出的实施例的被配置成实施组合式频谱和时间F0增强的另一示例性耳蜗植入物系统；

图11和12是示意性地示出根据本文给出的实施例的组合式频谱和时间F0增强的曲线图；

图13是根据本文给出的某些实施例的双模听力系统的功能框图；

图14是被配置成实施本文给出的技术各方面的示例性耳蜗植入物系统的示意图；

图15是被配置成实施本文给出的技术各方面的示例性听力装置的示意框图。

图16是根据本文给出的某些实施例的示例性方法的流程图；

图17是根据本文给出的某些实施例的示例性方法的流程图；以及

图18是根据本文给出的某些实施例的另一示例性方法的流程图。

具体实施方式

本文提出了通过利用刺激位置来更准确且有区分性地编码与目标谐波信号的个别谐波有关的频率信息来增强例如耳蜗植入物的听力装置中的频谱音高编码的技术，所述目标谐波信号例如语音中的语音元音或音乐中的谐波音调。本文提出的技术可以与时间音高增强系统组合以提供在语音和音乐音高范围内操作的组合式系统，其中，例如，针对低基频(F0)通过时间音高增强方法增强音高感知，通过本申请中描述的频谱位置音高编码方法增强对更高F0的感知。本文提出的技术还可以应用于增强声学听力装置中的音高和语音的编码。

仅为了易于描述，本文中提出的技术在本文中主要参考特定听力装置系统，即耳蜗植入物系统来描述。然而，应了解，本文中提出的技术也可以与多种其他可植入医疗装置系统一起使用。例如，本文中提出的技术可以与其他听力系统一起使用，这些听力系统包括耳蜗植入物、中耳听觉假体(中耳植入物)、骨传导装置、直接声学刺激器、电声假体、听觉大脑刺激器系统等中的任一者的组合。本文中提出的技术也可以与包括(comprise)或包括(include)以下的系统一起使用：耳鸣治疗装置、前庭装置(例如前庭植入物)、视觉装置(即仿生眼)、传感器、起搏器、药物递送系统、除颤器、功能性电刺激装置、导管、癫痫装置(例如用于监测和/或治疗癫痫事件的装置)、睡眠呼吸暂停装置、电穿孔装置等。

耳蜗植入物接受者对语音音高和/或音乐音高的感知比正常听力的(NH)聆听者明显更差。这是因为正常听力聆听者用来将目标基频(F0)的谐波分辨为音高提示的精细频谱和时间结构不能由常规的耳蜗植入物系统携带。相反，对于低基频(例如，最高大约300Hz，超过该频率对时间F0音高的辨别会劣化)，耳蜗植入物接受者利用较弱的F0音高的时间包络提示。

另外，虽然刺激的位置引起可以提供频谱信息(例如，频谱音色和谐振频率)的粗略表示的音高感觉，但位置不提供可以分辨目标基频(F0)谐波的机制，至少不以与正常听力中相同的方式提供。这种限制部分地是由于激励沿着耳蜗广泛地空间扩散到电刺激以及与声学刺激相比的其他差异，诸如电刺激募集神经元的确定性方式。然而，尽管电位置不能以正常方式分辨F0谐波，但是该机制仍然能够提供F0的一些区分性频谱提示，特别是对于较高F0而言(例如，取决于顶端滤波器组通道的分辨率和频率选择性，处于或高于300或400Hz)，其中，可以针对F0的个体谐波产生耳蜗中的不同激励位置。

由于现有临床声音编码策略，例如高级组合编码器(ACE)策略和连续交错采样(CIS)策略，对上述F0音高的时间和频谱提示提取和编码都不好，因此在耳蜗植入物系统中出现了对F0音高编码的进一步限制。对于时间包络提示，编码在通道信号的刺激包络中的F0振幅调制用于引起音高感觉。然而，此调制的编码深度和形状既不是最优的也不是一致的。深度通常可能非常浅，并且在通道和不同信号之间在电平和相位上变化，并且形状通常可能包含多个时间峰。此外，调制的形状和深度容易被噪声破坏。因此，通过现有策略对时间F0音高提示进行编码引起不良音高显著性和不准确的音高高度。另外，由于F0调制源自每个带通滤波器组通道通过的相邻谐波之间的跳动，因此可以通过的最高F0调制频率受每个通道的带宽限制。因此，对于诸如ACE的策略，对于高于大约200Hz的F0而言，在顶端通道中编码的音高的时间包络提示减弱，进一步限制了使用时间编码的耳蜗植入物接受者可以感知的F0的范围。

幸好，可以通过耳蜗植入物策略来改进时间F0音高编码，尽管只针对最高大约300Hz的低F0。此外，如前所述，位置编码可以提供一些F0谐波频率的区分性提示。然而，对于较高F0(例如，高于300或400Hz)，主要是这种情况，其中，由滤波器组和刺激电极/神经接口提供足够的频率选择性，以在沿着耳蜗的不同独立位置处编码个体F0谐波。另外，由于顶端到中间带通滤波器组通道彼此基本上重叠，因此诸如纯音或F0部分的窄带信号导致激活至少三个和最多五个相邻通道。最后，与时间包络编码一样，F0信息的频谱位置编码被噪声破坏，在这种情况下，噪声降低频谱谐波对比度，并且因此降低谐波频率之间的感知差异。

耳蜗植入物声音编码系统

本文提出的技术适用于例如耳蜗植入物声音编码策略，例如连续交错采样(CIS)和高级组合编码器(ACE)策略，其采用带通滤波器(BPF)的滤波器组和时间包络检测器来在频谱上分析声音信号。本文提出的技术还适用于编码策略，例如峰值导出定时(PDT)和精细结构处理(FSP)，其另外从滤波器组通道提取和编码精细定时信息。如下文进一步描述的，在图9中示出了用于耳蜗植入物系统1450中的用于增强频谱谐波信息的一个实施例，耳蜗植入物系统如图14中所示。

更具体地说，在图9和14的示例中，声音处理和编码由声音处理器1401(图14)执行，所述声音处理器分析由耳电平麦克风1402(图14)捕获/接收的声音信号。在信号的一些预处理之后，滤波器组通道输出信号(通道化信号)907(图9)被处理并且用于产生电刺激信号916(图9)，所述电刺激信号被发送1403(图14)到植入的接收器-刺激器1404、1405(图14)，所述植入的接收器-刺激器又经由通过耳蜗1406内的电极阵列1407递送的电流脉冲刺激听觉神经1408(图14)。滤波器组通道以音位排列方式映射到耳蜗内的电极位点，并且每个通道/电极的电刺激信号的强度映射到个体耳蜗植入物接受者的感知电动态范围之内。虽然本申请与耳蜗植入物声音编码系统中的电刺激具有特定相关性，但应了解，所提出的处理还可能与例如助听器、可穿戴声学装置等的声学处理相关。

F0估计器和谐波分析器

除了由耳蜗植入物声音编码策略提供的处理之外，本文提出的技术还利用F0估计器904(图9)来估计存在于声学信号901(图9)中的目标谐波信号的目标基频(F0)。本文提出的技术还利用谐波分析器906(图9)来分析目标谐波信号的谐波结构(即，谐波频率和功率)和/或所捕获/测量的声学信号901(图9)中存在的任何非谐波或非目标谐波信号的频率和功率。

F0估计器的作用是提供与某个目标谐波信号有关的近瞬时(时变)F0的实时估计(即，尽可能少的时间滞后)。目标谐波信号通常由位于接受者(聆听装置)前方的声源产生，和/或是接受者的听力范围中最主要的声源。目标谐波信号可以例如对应于由说话者产生的有声语音(例如，元音)或对应于由乐器产生的谐波音调。F0估计器还用于在任何时间点提供传入信号中的能量与目标谐波信号相关程度的估计。在这方面，目标谐波信号功率与噪声功率比或目标谐波信号功率与总功率比是有用的度量。

谐波分析器的作用是在任何时间点提供关于传入声音/信号中存在的频率分量(部分)的信息。具体地说，对于F0估计器已经为其提供目标F0的估计值的传入信号中存在目标谐波信号的情况，谐波分析器继而提供传入信号中的目标F0的任何谐波的频率和功率的量度。谐波分析器还提供由传入信号中的任何非谐波信号产生的非谐波部分的频率和功率(或强度)，或者在未检测到目标谐波信号时非目标信号分量的频率和功率的量度。可以使用各种技术来生成实时F0和谐波信息估计。

频谱F0增强-谐波频率的增强位置编码

本文提出的技术还被配置成增强目标谐波信号的频谱谐波编码。下文给出用于增强目标F0谐波的频率-位置编码的若干方法。应当理解，可以使用各种不同的规则/功能来调整通道增益/刺激水平，目的是提高滤波器组通道中，并且因此在随后的谐波位置音高信息编码中的目标F0谐波区分/对比度和准确度。

谐波频谱增强(方法1)

图1是频域曲线图，示出了相对于传入/接收的声音信号(传入信号)的振幅/功率(纵坐标)的频率(横坐标)。在图1中，对于目标F0谐波信号的每个谐波101(例如，hF

在这些技术中，可以调整承载每个谐波能量的大部分的通道的增益以传递(或甚至放大)谐波能量，同时可以调整承载较少或不承载谐波能量的通道的增益以衰减(或阻挡)通道信号。此规则将用以提高目标F0谐波信号的频谱谐波对比度，特别是在顶端(低频)通道中，其中，通道之间的间距足够精细以分离各个谐波。

当远离谐波频率的通道(即，承载较少谐波功率的通道)的增益减小时，编码谐波信号的总体响度也减小。为了补偿这一点，增益被应用于最接近谐波频率的通道(即，应用于承载大部分谐波功率的通道)，以便保持响应于谐波频率从所有滤波器组通道测量的总体谐波功率。例如，对于图1中的第一谐波(hF

对于不存在目标F0谐波信号的情况(即，当目标信号非谐波或不存在时)，调整通道增益处理，使得非目标频谱信息和非谐波频谱信息的编码不被增强。该规则通常与目标谐波信号噪声比(或目标谐波信号总信号比)成比例地调适所施加的频谱增强量(即，滤波器组通道增益被调整的程度)。

两个相邻通道中的谐波编码(方法2)

在本文中给出的另一个实施例中，与上文参考图1描述的规则类似的规则可以用于确保仅两个相邻通道(参见图2中的点/线203)被激活以编码个体目标F0谐波的频率(经由刺激位置)和功率或强度(经由刺激电平)，而不是含有与每个谐波相关的一些能量的所有通道。应注意，现有耳蜗植入物策略中的滤波器组具有相当大的通道重叠，当编码诸如个体谐波的窄带信号时，所述通道重叠通常在三个和最多五个相邻的顶端通道上产生刺激。这种重叠会“模糊化”通道化信号中的谐波信息。在完全顺序编码策略(没有电流转向)中，可以(例如，使用两个通道的频谱形心)控制两个顺序被刺激的相邻通道的刺激幅度，使得电极对的平均激活位置和强度引发对应于目标频率和功率(或根据目标频率和功率映射)的感知，所述目标频率和功率可以在所述一对通道/电极之间下降。

例如，图2是频域曲线图，示出了相对于传入/接收的声音信号(传入信号)的振幅/功率(纵坐标)的频率(横坐标)。在图2中，可以看出，每对相邻通道(参见图2中与203相关联的点)的功率加权平均刺激频率位置(频谱形心)对图2中每个目标谐波201(例如，hF

在图4A-4D中针对女歌手在从C4(262Hz)到G4(392Hz)的增大的F0处产生的演唱元音/e/，示出了非增强和(使用方法2)增强电刺激模式的示例。更具体而言，图4A和4B示出了对于CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/的电刺激模式。图4A示出了非增强/标准电刺激模式，而图4B示出了频谱谐波增强(方法2)。对于每个电刺激模式(电图)，每个刺激脉冲被绘制为黑色竖直线，其中线高反映在对应于激活的电极的位置处和刺激时间的刺激电流电平。在纵坐标上绘制电极编号，并且在横坐标上绘制时间(以毫秒为单位)。电极编号22是最顶端(最低频率)电极，并且1是最底端(最高频率)电极。

图4C和4D示出了对于ACE策略(例如，选择8个最大频谱极大值)，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/的电刺激模式。图4C示出了非增强/标准电刺激模式，而图4D示出了频谱谐波增强(方法2)。

对于大约300Hz和更高的F0(例如，图4B和4D中从第四或第五演唱声调/刺激开始)，对于频谱增强处理可见更大的谐波对比度，其中低阶谐波的位置仅由一对相邻通道/电极编码。

图5A-5D示出了图4A-4D中所示的相同信号的刺激输出模式，但其中在+4dB的SNR下添加白噪声证明了该技术对噪声的稳健性。亦即，图5A和5B示出了对于CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处，在+4dB SNR的白噪声中演唱的元音/e/的电刺激模式。图5A示出了非增强/标准电刺激模式，而图5B示出了频谱谐波增强(方法2)。图5C和5D示出了对于ACE策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处，在+4dB SNR的白噪声中演唱的元音/e/的电刺激模式。图5C示出了非增强/标准电刺激模式，而图5D示出了频谱谐波增强(方法2)。

然而，存在对可以经由该方法2进行编码的最低F0的约束，该约束由滤波器组通道的数量和对应的电极位点的数量施加。由于使用两个相邻通道对中间电极放置音高进行编码，因此可以分辨的最低F0谐波间距受到相邻通道对之间的频率间距的限制，在该示例中，在给定125Hz的通道间距的情况下，顶端滤波器组通道的频率间距约为250Hz(250Hz的F0是125Hz的通道间距的两倍)。相比之下，对于三倍通道间距(例如，375Hz)或更高的F0，可以使用通道对为每个谐波进行编码，而在谐波通道对之间的(多个)居间通道中不产生刺激，从而可能引起编码谐波之间的更大频谱区分性。对于图2所示的示例，F0是顶端通道间距的大约2.7倍，因此虽然可以使用一对相邻通道对谐波进行编码，但仅前两个谐波(hF

量化到单个通道的谐波编码(方法3)

对于在方法2中描述的F0转变范围内的F0，在该方法中，所施加的频谱增强对于较低的F0逐渐减小，仍然有可能以谐波位置编码中的较差准确度为代价在谐波之间提供更大的频谱区分性。在这种情况下，使用位置最接近谐波频率的单个通道/电极位点对每个谐波的频率和功率(强度)进行编码，即，将谐波频率量化到最近的单个电极位点(图中的点303)。注意，像方法1的情况那样，必须要调整施加到用于对目标谐波进行编码的每个通道(或刺激电平/强度)的增益，以保持测量的谐波功率，同时考虑任何通道内噪声功率。另外，对于不存在目标F0谐波信号的情况，调整通道增益处理，使得非目标频谱信息和非谐波频谱信息的编码不被增强。

在图6A-6D中示出了图4A-4D中所示的相同信号的示例性刺激输出模式，但是对于频率分辨率(通道间距)不足以根据方法2使用一对相邻通道对个体谐波进行区分性编码的情况，使用单个通道对F0谐波频率/位置信息进行编码(方法3)。具体而言，图6A和6B示出了对于CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/的电刺激模式，其中，图6A示出了非增强频谱，图6B示出了频谱谐波增强(方法3)。图6C和6D示出了对于ACE策略(即，选择8个最大频谱极大值)，针对女歌手在C4(262Hz)至G4(392Hz)范围内(以一个一个半音步长增大)的F0处演唱的元音/e/的电刺激模式，其中，图6C示出了非增强频谱，图6D示出了频谱谐波增强(方法3)。应当指出，当存在足够的通道间距来使用两个通道对谐波进行编码时，可以应用方法2。

在图7A-7C和8A-8C中示出了比较方法2与3的刺激输出模式，分别针对F0从75Hz扫掠到400Hz的谐波音调，以及由女性在C4(262Hz)到G4(392Hz)范围内的F0处演唱的元音/a/。在这些示例和图6B和6D中所示的示例中，调整方法3的F0转变范围，使得高于175Hz的F0(SF0

具体而言，图7A-7C示出了针对CIS策略针对F0从75Hz扫到400Hz的经低通滤波的谐波音调的电刺激模式。图7A示出了非增强，图7B示出了根据方法2的频谱增强，而图7C示出了根据方法3的频谱增强。图8A-8C示出了对于CIS策略，针对女歌手在C4(262Hz)至G4(392Hz)范围内的F0处演唱的元音/a/的电刺激模式。图8A示出了非增强，图8B示出了根据方法2的频谱增强，而图8C示出了根据方法3的频谱增强。

图9是根据本文给出的实施例的示例性耳蜗植入物系统950的功能框图。如图所示，耳蜗植入物系统950包括一个或多个麦克风900、预处理模块902、目标基频(F0)估计器模块904、谐波分析器模块906、带通滤波器组908、频谱谐波增强模块910、后处理模块912和电刺激生成模块(刺激器)914。应了解，图9中所示的具体功能块/模块仅仅是说明性的，并且为了便于描述和说明，耳蜗植入物可以包括已从图9中省略的其他部件。

在图9的示例中，一个或多个麦克风900捕获/接收声学信号901。一个或多个麦克风900将声学信号901转换成电信号，所述电信号又被提供给预处理模块902、F0估计器模块904和谐波分析器模块906。预处理模块902对声学信号901执行标准预处理操作并生成预滤波输出信号905，如下文进一步所述，所述预滤波输出信号是进一步处理操作的基础。

预滤波输出信号905被提供给带通滤波器组908。带通滤波器组908使用预滤波输出信号905来生成合适的一组带宽受限通道化信号907，每个通道化信号包括所接收的声学声音信号901的频谱分量。也就是说，带通滤波器组908是多个带通滤波器，所述带通滤波器将预滤波输出信号905分离成多个分量，每一个分量都携带原始信号的单个频率子带(即，预滤波输出信号905中包括的所接收的声音信号的频率分量)。由带通滤波器组908生成的通道化信号907的数目“m”可以取决于许多不同的因素，包括但不限于植入物设计、有源电极的数目、编码策略和/或接受者偏好。在某些布置中，产生二十二(22)个通道化信号907。通道化信号907被提供给频谱谐波增强模块910。

如上所述，F0估计器904和谐波分析器906各自从麦克风接收声学信号901。使用声学信号901，F0估计器904被配置成估计声学信号901的目标基频(F0)。F0估计器904将估计的F0 909提供到谐波分析器906和频谱谐波增强模块910中的每一个。使用声学信号901，谐波分析器906被配置成确定存在于声学信号901中的F0(以及任何非谐波分量)的谐波。谐波分析器906将F0(和非谐波分量)的估计谐波911提供到频谱谐波增强模块910。

如上所述，通道化信号907、估计的F0 909和F0的估计谐波911被提供给频谱谐波增强模块910。频谱谐波增强模块910被配置成使用通道化信号907、估计的F0 909和F0(和非谐波分量)的估计谐波911来执行本文提出的频谱谐波增强技术。也就是说，频谱谐波增强模块910被配置成如上所述将方法1、方法2或方法3中的一个应用于通道化信号907，以便增强声学信号901的谐波分量。

在实践中，频谱谐波增强模块910如上所述应用方法1、方法2或方法3中的一个来生成“频谱增强信号”。频谱谐波增强模块910还接收/获得由声学信号901生成的“非增强信号”。如本文所用，非增强信号是未施加谐波增强的信号(例如，标准的已处理信号)。频谱谐波增强模块910将频谱增强信号与非增强信号混合以生成“频谱谐波增强信号”913，所述“频谱谐波增强信号”被提供给后处理模块912。也就是说，频谱谐波增强信号913是频谱增强信号和非增强信号的加权组合。频谱增强信号和非增强信号的混合比可以例如基于目标基频和/或目标谐波信号噪声比(或目标谐波信号总信号比)。

后处理模块912被配置成对频谱谐波增强信号913执行一个或多个标准处理操作。例如，这些标准处理操作可以包括在一个或多个通道中用于听力损失补偿的通道化增益调整(例如，对声音信号的一个或多个离散频率范围的增益调整)、降噪操作、语音增强操作等；声音编码、通道映射(例如，阈值和舒适水平映射、动态范围调整、音量调整等)等。处理模块912生成经处理的频谱谐波增强信号915。

经处理的频谱谐波增强信号915被提供给电刺激生成模块914。电刺激生成模块914生成电刺激信号916，所述电刺激信号被递送到接受者。如上所述，图4B、4D、5B、5D、6B、6D、7B、7C、8B和8C示出了可以根据本文给出的某些实施例生成的示例性电刺激信号。

应了解，图9中所示的具体功能块/模块布置仅出于说明的目的。各种功能模块中的一个或多个可以实施为相同处理块的一部分，和/或功能模块可以并入相同或不同的物理部件中，所述物理部件可以在接受者的身体外部或植入接受者的身体中。例如，在一种布置中，一个或多个麦克风901、预处理模块902、F0估计器模块904、谐波分析器模块906、带通滤波器组908、频谱谐波增强模块910和后处理模块912都可以在接受者外部，而电刺激生成模块914可以植入接受者体内。在另一种布置中，图9中所示的所有功能模块可以植入接受者体内。同样，这两种布置是说明性的，并且其他布置是可能的。

电流转向

上述方法用于增强在耳蜗中可能在电极位点之间中间的频率位置处的目标F0谐波的编码。然而，并非使用相邻电极的顺序刺激来引起电极位置间距，而是可以采用“电流转向”的方法来引导激活位置。可以调整虚拟通道(例如，同时激活的一对相邻电极)的电流的绝对和相对比例，以在耳蜗中产生对应于每个目标F0谐波的频率和功率/强度的电极间激励位置。在这种情况下，每个F0谐波实际上由单个(虚拟)通道编码，并且可以由每个通道编码(分辨)的最低F0(谐波频率间距)因此受到虚拟通道之间的频率间距的限制，对于这些示例中使用的滤波器组的顶端通道而言，所述频率间距是125Hz。与方法3类似，调整滤波器组通道增益(或刺激电平)，使得每个F0谐波由频率上最接近(量化)谐波频率的单个通道并且在从总测量谐波功率导出的强度下编码(例如，参见图3中的303)。然而，以与根据方法2中使用的频谱形心模型计算一对相邻通道的刺激强度相同的方式确定例如施加到同时激活(作为虚拟通道)以编码每个谐波频率的一对相邻电极的相对强度(参见图2中的203)。最后，还应用用于将滤波器组通道量值转换为电流电平(在图9的框914中执行)的取决于耳蜗植入物系统的响度变换(针对虚拟通道)，以根据每个电极的受检者特定电动态范围(其可以在电极间变化)来确定要应用于虚拟通道中的每个电极的特定电流电平。

电流聚焦

神经响应中的位置编码对比度也可以通过使用“电流聚焦”(例如，三极、聚焦多极等)刺激通道来增强，所述“电流聚焦”涉及多个电极的同时激活。电流聚焦有效地减少附近通道之间的刺激模式的重叠，从而导致神经激励的更窄“聚焦”场。使用跨通道依序呈现的电流聚焦刺激，可以使用方法2产生电流聚焦电刺激，其针对编码目标谐波的每对通道在耳蜗中产生更窄的激励场。替代地，像电流转向那样，可以确定施加到在电流聚焦刺激中同时激活的每个电极的电流电平，以为每个目标谐波提供更聚焦的电极间位置代码。在这种情况下，每个F0谐波实际上由单个刺激(信息通道)编码，并且因此可以被编码的最低F0受到电流聚焦通道/电极之间的频率间距的限制。必须根据每个谐波的总功率(根据方法3)和引导聚焦激活位置到目标谐波频率所需的电流的相对比率(或模式)来确定聚焦刺激中每个同时激活的电极的电流电平。电流的这种模式必须根据取决于耳蜗植入物系统的变换来确定，所述变换用于将滤波器组通道谐波功率和频率(从方法3导出的)转换成聚焦刺激中的每个电极的电流电平，以及每个电极的受检者特定电动态范围(其可以在电极间变化)。

增大的通道数量

还可以通过增加频谱分析(滤波器组)通道和刺激通道(电极)的数量来提供频率/位置编码分辨率的增大。然而，分析滤波器组中的频谱分辨率增大是以时间分辨率降低为代价的，这可能会不利地影响时间音高感知。为了补充降低的时间分辨率，可以与提出的频谱增强技术一起使用时间F0音高增强技术。如下文进一步所述，图10A例如显示本文提出的技术的实施例，其包括时间和频谱F0增强过程的组合。

噪声处理

对于上述所有处理方法，本文提出的技术可以在以竞争性噪声呈现时改进目标谐波信息的编码，尽管有谐波信噪比，其中可以可靠地估计目标谐波信号(例如，参见图5)。对于目标信号的频谱和时间包络都被破坏的中等噪声水平，F0估计器和谐波分析器仍然能够提供关于目标F0谐波的频率和功率信息。如上所述，与任何非目标(谐波内)频率分量相比，该信息可以在编码信号中(在通道内和通道间都)增强。

组合式频谱和时间F0增强

本文提出的技术可以用于通过提供一种系统来解决上文所论述的现有耳蜗植入物系统的音高编码限制，所述系统例如针对低F0增强音高的时间F0包络提示，同时对较高F0增强频谱F0谐波信息。

图10A示出了根据本文给出的实施例的被配置成实施组合式频谱和时间F0增强的示例性耳蜗植入物系统1050(A)。类似于耳蜗植入物系统950，耳蜗植入物系统1050(A)包括一个或多个麦克风1000(1)、预处理模块1002、目标基频(F0)估计器模块1004、谐波分析器模块1006、带通滤波器组1008、频谱谐波增强模块1010、时间增强模块1020、增强控制模块1022、用户控制模块1024、增强应用模块1026、后处理模块1012和电刺激生成模块1014。应了解，图10A中所示的具体功能块/模块仅仅是说明性的，并且为了便于描述和说明，耳蜗植入物可以包括已从图10A中省略的其他部件。

在图10A的示例中，一个或多个麦克风1000包括被配置成捕获/接收声学信号1001的麦克风1000(1)(例如，同侧麦克风)。麦克风1000(1)将声学信号1001转换成电信号，所述电信号又被提供给预处理模块1002、F0估计器模块1004和谐波分析器模块1006。预处理模块1002对声学信号1001执行标准预处理操作并生成预滤波输出信号1005，如下文进一步所述，所述预滤波输出信号是进一步处理操作的基础。

预滤波输出信号1005被提供给带通滤波器组1008。带通滤波器组1008使用预滤波输出信号1005来生成合适的一组带宽受限通道化信号1007，每个通道化信号包括所接收的声学声音信号1001的频谱分量。也就是说，带通滤波器组1008是多个带通滤波器，所述带通滤波器将预滤波输出信号1005分离成多个分量，每一个分量都携带原始信号的单个频率子带(即，预滤波输出信号1005中包括的所接收的声音信号的频率分量)。由带通滤波器组1008生成的通道化信号1007的数目“m”可以取决于许多不同的因素，包括但不限于植入物设计、有源电极的数目、编码策略和/或接受者偏好。在某些布置中，产生二十二(22)个通道化信号1007。通道化信号1007被提供给频谱谐波增强模块1010、时间增强模块1020和增强应用模块1026。

如上所述，F0估计器1004和谐波分析器1006各自接收声学信号1001。使用声学信号1001，F0估计器1004被配置成估计声学信号1001的目标基频(F0)。F0估计器1004将估计的F0 1009提供到谐波分析器1006、频谱谐波增强模块1010、时间增强模块1020和增强控制器1022中的每一个。

使用声学信号1001，谐波分析器1006被配置成确定存在于声学信号1001中的F0(和任何非谐波分量)的谐波。谐波分析器1006将F0的估计谐波(和非谐波分量)1011提供到频谱谐波增强模块1010、时间增强模块1020和增强控制器1022。

如上所述，通道化信号1007、估计的F0 1009和F0的估计谐波1011被提供给频谱谐波增强模块1010。在此示例中，频谱谐波增强模块1010被配置成使用通道化信号1007、估计的F0 1009和F0的估计谐波1011来根据方法1、方法2或方法3中的一个生成频谱增强信号1030，如上所述(例如，在此示例中，频谱增强信号1030被提供到增强应用模块1026)。

同样如上所述，通道化信号1007、估计的F0 1009和F0的估计谐波1011被提供给时间增强模块1020。在此示例中，时间增强模块1020被配置成使用通道化信号1007、估计的F01009和F0的估计谐波1011来生成提供给增强应用模块1026的时间增强信号1032。也就是说，时间增强模块1020被配置成应用刺激信号振幅的时变调制和/或调整脉冲速率，以便提高编码的F0速率音高信息的显著性和准确度。例如，时间增强模块可以将F0调制应用于通道信号的振幅，所述通道信号对从谐波分析器1006导出的目标F0的每个谐波进行编码。替代地或另外，其可以用于使用刺激脉冲速率和/或根据现有的时间F0增强策略，例如OPAL(eTone)、F0-Mod、PDT或FSP来编码每个谐波频率。

另外，同样如上所述，估计的F0 1009和F0的估计谐波1011被提供给增强控制模块1022。增强控制模块1022被配置成从用户控制模块1024接收输入，并且大体上被配置成指示/控制如何在增强应用块1026内将频谱增强信号1030和时间增强信号1032与非增强信号1003混合(例如，混频器控制)。增强控制模块1022生成控制信号1034，该控制信号被提供给增强应用模块1026。

更具体地，在图10A的示例中，增强应用模块1026被配置成在控制信号1034的控制下将频谱增强信号1030和/或时间增强信号1032与非增强信号1003混合。因此，增强应用模块1026生成增强信号1013，增强信号是频谱增强信号1030、时间增强信号1032和非增强信号1003的加权组合。可以例如基于目标基频、谐波信息、目标谐波信号噪声比(或目标谐波信号总信号比)等控制增强应用模块1026处的信号混合比。

例如，在某些实施例中，时间增强可以用于提高在刺激信号的时间包络中编码的F0信息的显著性和准确性。频谱F0增强可以用于提高经由刺激位置编码的F0谐波信息的显著性和准确性。由增强控制块1024调整增强应用模块1026施加的时间和频谱增强对编码信号的贡献。

在某些实施例中，并且如图11和12所示，增强控制块1024利用目标F0并且在语音和音乐音高范围内的F0连续统上操作，表示为“低F0”至“高F0”。对于从低F0开始到表示为F0

时间和频谱增强技术的F0转变范围可以直接由耳蜗植入物接受者(图10A中的用户控制模块1024)控制。例如，遥控器上的图形滑块控件可以用于分别设置时间增强技术和频谱增强技术的F0转变范围(TF0

然而，应了解，本文中给出的各种实施例可以组合若干种不同的时间和频谱F0增强技术。这样一来，图10A,10B、11和12中所示的实施例仅仅是说明性的。

返回图10A，如上所述，增强应用模块1026生成增强信号1013，所述增强信号被提供给后处理模块1012。后处理模块1012被配置成对增强信号1013执行一个或多个标准处理操作。例如，这些标准处理操作可以包括在一个或多个通道中用于听力损失补偿的通道化增益调整(例如，对声音信号的一个或多个离散频率范围的增益调整)、降噪操作、语音增强操作等；声音编码、通道映射(例如，阈值和舒适水平映射、动态范围调整、音量调整等)等。处理模块1012生成经处理的增强信号1015。

经处理的增强信号1015被提供给电刺激生成模块1014。电刺激生成模块1014生成电刺激信号1016，所述电刺激信号被递送到接受者。

应了解，图10A中所示的具体功能块/模块布置仅出于说明的目的。各种功能模块中的一个或多个可以实施为相同处理块的一部分，和/或功能模块可以并入相同或不同的物理部件中，所述物理部件可以在接受者的身体外部或植入接受者的身体中。例如，在一种布置中，一个或多个麦克风1001、预处理模块1002、F0估计器模块1004、谐波分析器模块1006、带通滤波器组1008、频谱谐波增强模块1010和后处理模块1012都可以在接受者外部，而电刺激生成模块1014可以植入接受者体内。在另一种布置中，图10A中所示的所有功能模块可以植入接受者体内。同样，这两种布置是说明性的，并且其他布置是可能的。

如上所述，图10A中所示的具体功能块/模块仅仅是说明性的，并且耳蜗植入物可以包括其他部件。例如，图10B示出了类似于耳蜗植入物系统1050(A)的耳蜗植入物系统1050(B)，不同之处在于耳蜗植入物系统1050(B)包括被配置成捕获/接收声学信号1001的第二麦克风1000(2)(例如，对侧麦克风)。如上所述，麦克风1000(1)和1000(2)将声学信号1001转换成电信号。然而，在此示例中，声学信号1001被提供到波束形成器1018。波束形成器1018对声学信号1001执行波束形成操作并生成定向信号1021。

在图10B的示例中，定向信号1021被提供给预处理模块1002、F0估计器模块1004和谐波分析器模块1006。预处理模块1002对定向信号1021执行标准预处理操作并生成预滤波输出信号1005，如下文进一步所述，所述预滤波输出信号是进一步处理操作的基础。

如上所述，F0估计器1004和谐波分析器1006各自接收定向信号1021。使用定向信号1021，F0估计器1004被配置成估计声学信号1001的目标基频(F0)。F0估计器1004将估计的F0 1009提供到谐波分析器1006、频谱谐波增强模块1010、时间增强模块1020和增强控制器1022中的每一个。

使用定向信号1021，谐波分析器1006被配置成确定存在于声学信号1001中的F0(以及任何非谐波分量)的谐波。谐波分析器1006将F0的估计谐波(和非谐波分量)1011提供到频谱谐波增强模块1010、时间增强模块1020和增强控制器1022。此后，如上所述，耳蜗植入物系统1050(B)与耳蜗植入物系统1050(A)基本上相同地操作。

改善的F0估计

在某些实施例中，本文提出的F0估计技术用于跟踪传入声音中最主要的语音/谐波信号的F0，其中当SNR不是太负时，最主要的F0通常对应于目标说话者或声音的F0。此过程可以通过使用多麦克风波束形成器(参见图10B)来改进，所述多麦克风波束形成器可以将声学输入的空间范围聚焦到涵盖目标声音位置的某个较窄范围(波束)。此类波束形成器的使用可以专门用于F0估计器的输入，而不管由(多个)耳蜗植入物装置利用的空间输入范围如何。进一步的改进可以例如利用目标说话者语音跟踪算法和/或学习神经网络来将目标语音信号与不同的说话者和/或背景噪声分开。

声学F0谐波增强

本文提出的技术的某些方面适用于双模和/或混合系统中的电声刺激(EAS)，所述系统包括一个或两个耳中的耳蜗植入物装置和一个或两个耳中的助听器(HA)，如图13所示。亦即，图13是根据本文给出的某些实施例的双模或混合听力系统的功能框图。为了便于描述，图13被描述为包括基本上如上所述操作的图10B的耳蜗植入物系统1050(B)和助听器1360的双模听力系统1380。同样，为了便于描述，不参考图13重复耳蜗植入物系统1050(B)的块/模块的操作。

助听器1360包括预处理模块1362、声调合成模块1364、声学谐波增强模块1366、增强应用模块1368、后处理模块1370和输出声学刺激信号1374的声学刺激生成模块1372。应了解，图13中所示的具体功能块/模块仅仅是说明性的，并且为了便于描述和说明，组合式耳蜗植入物和助听器系统可以包括已从图13省略的其他部件。

在图13的示例中，上文针对耳蜗植入物处理描述的一些原理可以应用于由HA呈现的放大声学信号。这种处理的目的是在刺激信号中提供目标F0谐波的更有区分性的编码，以优先于声学信号中的其他信号分量增强那些谐波的感知。对于这种处理，HA装置的“F0转变范围”不需要与耳蜗植入物的相同，而是将针对个人的听力范围/能力进行优化。用于声学信号的F0增强技术可以例如基于这样的技术：其中，由1364合成表示某个目标F0的信号并与来自1362的预处理的传入信号组合以随后产生递送到耳部的(多个)声学信号1374。施加到合成信号和传入信号的增益可以由声学谐波增强模块1366控制以调整由声学增强应用模块1368施加的增强程度。合成的声学信号的作用是提高声学音高感知的显著性，特别是当传入信号受噪声影响时。然而，与各种现有技术相比，合成信号可以由具有F0和谐波振幅的谐波声调组成，所述谐波声调被调制以跟随目标F0 1009及其谐波频谱1011的谐波声调(如从本发明的主体中描述的方法导出的)。此外，可以应用频谱F0增强技术1366以减轻目标F0谐波频谱中的噪声影响。合成信号可以与降噪的目标F0信号组合，而不是预处理的传入信号或作为预处理的传入信号的补充。上述声学处理技术还可以适用于增强正常听力聆听者在噪声中的F0音高感知，特别是随着实时F0处理技术的改进。

图15示出了被配置成实施本文提出的技术的各方面的适当听力装置1550(例如，耳蜗植入物)的示例性布置。在其最基本配置中，听力装置1550包括至少一个处理单元1557和存储器1559。处理单元1557包括一个或多个硬件或软件处理器(例如，中央处理单元)，所述一个或多个硬件或软件处理器可以获得并执行指令。处理单元1557可以与听力装置1550的其他部件通信并控制所述其他部件的性能。

存储器1559是一个或多个基于软件或硬件的计算机可读存储介质，其可操作以存储可由处理单元1557访问的信息。除了别的以外，存储器1559可以存储指令以及其他数据，所述指令可由处理单元1557执行以实施应用程序或使得执行本文所述的操作。存储器1559可以是易失性存储器(例如，RAM)、非易失性存储器(例如，ROM)或它们的组合。存储器1559可以包括暂态存储器或非暂态存储器。存储器1559还可以包括一个或多个可移除或不可移除的存储设备。在示例中，存储器1559可以包括RAM、ROM、EEPROM(电可擦可编程只读存储器)、闪存存储器、光盘存储装置、磁存储装置、固态存储装置或可用于存储信息以供稍后访问的任何其他存储器介质。在示例中，存储器1559涵盖调制数据信号(例如，其一个或多个特性以诸如在信号中编码信息的方式进行设定或改变的信号)，例如载波或其他传送机构，并且包括任何信息传递介质。作为示例而非限制，存储器1559可以包括有线介质，例如有线网络或直接布线连接，以及无线介质，例如声学、RF、红外和其他无线介质或它们的组合。在某些实施例中，存储器1559包括增强逻辑1561，所述增强逻辑在被执行时使得处理单元1557能够执行所提出的技术的各方面。

在所示示例中，听力装置1550还包括通信接口1563、用户接口1565和一个或多个刺激输出装置1567(例如，电刺激发生器、声学接收器等中的一个或多个)。

应理解，图15中所示的听力装置1550的布置仅仅是说明性的，并且本文提出的技术的各方面可以在许多不同类型的系统/装置上实施。例如，听力装置1550可以包括其他部件，例如系统总线、部件接口、图形系统、电源(例如，电池)以及其他部件。

图16是根据本文给出的某些实施例的示例性方法1690的流程图。方法1690开始于1692，其中，听力装置接收声音信号。在1694处，听力装置估计所接收的声音信号的目标基频。在1696处，听力装置确定所接收的声音信号中存在的目标基频的谐波。在1698处，在递送到听力装置的接受者的刺激信号中，听力装置有区分性地对目标基频的一个或多个目标谐波进行编码。

图17是根据本文给出的某些实施例的示例性方法1790的流程图。方法1790开始于1792处，其中听力装置生成在听力装置处接收的谐波信号的时变目标基频的实时估计。在1794处，听力装置确定与目标基频的一个或多个谐波相关联的信息。在1796处，听力装置生成表示谐波信号的刺激信号以递送到听力装置的接受者。在1798处，听力装置在刺激信号中提高目标基频的一个或多个目标谐波与谐波信号中的其他分量之间的感知区分性。

图18是根据本文给出的某些实施例的示例性方法1890的流程图。方法1890开始于1892处，其中听力装置生成在听力装置处接收的谐波信号的时变目标基频的实时估计。在1894处，听力装置确定与目标基频的一个或多个谐波相关联的信息。在1896处，听力装置从谐波信号生成多个通道化信号，其中多个通道化信号中的每一个与多个输出刺激通道中的对应一个相关联。在1898处，听力装置调整通道化信号的增益或刺激电平中的一个或多个，以编码目标基频的谐波中的一个或多个的位置音高信息。

应当理解，虽然上文已说明和讨论本技术的特定用途，但所公开的技术可根据本技术的许多示例来与各种装置一起使用。上述讨论并非意在表示所公开的技术仅适合在类似于附图中所示的系统内实施。一般来说，可以使用额外配置来实践本文的过程和系统，和/或可以在不脱离本文所公开的过程和系统的情况下排除所描述的一些方面。

本公开参考附图描述了本发明技术的一些方面，附图中仅示出了一些可能的方面。然而，其他方面可以以许多不同形式体现，并且不应被解释为限于本文阐述的方面。相反，提供这些方面是为了使本公开详尽且完整并且向本领域技术人员充分传达可能方面的范围。

应当理解，本文相对于附图描述的各个方面(例如，部分、部件等)并不旨在将系统和过程限于所描述的特定方面。因此，可以使用额外配置来实践本文的方法和系统，和/或可以在不脱离本文所公开的方法和系统的情况下排除所描述的一些方面。

类似地，在公开了过程的步骤的情况下，这些步骤是出于说明本方法和系统的目的而描述的，并且不旨在将本公开限于特定步骤序列。例如，可以按不同的顺序执行这些步骤，可以同时执行两个或更多个步骤，可以执行另外的步骤，并且可以在不脱离本公开的情况下排除所公开的步骤。此外，可以重复所公开的过程。

尽管本文描述了具体方面，但本技术的范围不限于那些具体方面。本领域技术人员将认识到在本发明技术范围内的其他方面或改进。因此，具体结构、动作或介质仅作为说明性方面来公开。本技术的范围由以下权利要求及其中的任何等同物限定。