一种智能数字助听器控制方法、系统、介质、设备及应用

技术领域

本发明属于康复器械智能控制技术领域，尤其涉及一种智能数字助听器控制方法、系统、介质、设备及应用。

背景技术

目前，2020年，中国发展研究基金会发布报告表明：2019年末，中国的65岁及以上老年人口达到1.76亿人，占总人口的12.6％。到2022年左右，中国65岁以上人口将占到总人口的14％，实现向老龄社会的转变。2035年以后，这部分老年人将占总人口比例22％以上。老年人身体机能，包括听觉神经退化，因此，助听器等相关产品和技术发展受到越来越多的关注，相关品牌产品有西门子、瑞声达、斯达克、峰力等。助听器实质上是一种补偿听力损失的小型扩音装置，在解决包括老年人在内的听力损失人群的听力补偿方面可以发挥重要作用，但是，中国听力障碍的人群中对助听器的普及程度并不高，部分使用群体由于各种各样的原因试用一段时间后就闲置不用。究其原因主要在于：

(1)早期的助听器，特别是模拟助听器，体积过于笨重，且有外设和有线耳机等部门，舒适度不佳，长期佩戴容易劳累；

(2)部分低端助听器对各类声音进行无差别放大，实际使用效果不理想，目前的数字助听器多可以将人耳可以接受的声音信号根据频率进行4通道以上的分类，最高可以48通道，但还不能满足实际要求；

(3)高端助听器需要经常到医院等场所定期校准，且价格昂贵，绝大多数助听器产品价格从几千到几万元不等；

(4)目前市场上的助听器主要分为入耳式和耳背式，但无论是哪一种，都为独立装置，由于体积受限，集成小型芯片，其本身处理能力有限，助听器的实际效果还有明显的场景使用不足。

(5)类似无区别放大可能导致听力损害，目前的助听器虽然具有降噪功能，但无差别降噪可能会滤除部分有用声音信息，部分人群担心佩戴会引起不必要事故。

研究人员实际上也认识到上述不足，一直在致力于相关研究，据查阅，学术方面的研究涉及范围较广，响度补偿、语音降噪技术、回声消除技术和声源定位技术是最多研究的核心技术。类似2019年苹果公司以及2020年华为公司发布的新一代降噪耳机，主动降噪耳机方面的专利较多，许多相关专利成果实际上在目前助听器的降噪功能上得到应用。2019年，中国电子科技集团公司第五十八研究所的学者提出微系统技术助力数字助听器发展的思路，但主要还是从助听器结构上的变革展开。

综上可见，目前已有的研究和产品都没有脱离一个既定框架，就是助听器是一个独立的小型设备，所有的降噪等信号处理功能都是基于该独立设备考虑的，部分产品具备的蓝牙功能仅仅是为了支持看电视、打电话等功能。这样的优点是便于携带，双耳佩戴时可以利用声源定位，但不足之处也较为明显，即处理能力有限，远不够智能化。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有助听器舒适度不佳、声音放大效果不佳，且价格昂贵，处理能力有限，会对听力产生损害。

(2)现有助听器控制系统或控制方法处理能力有限，智能化程度不足。

解决以上问题及缺陷的难度为：

单独的助听器设备处理能力有限，导致对相关的信号处理算法复杂度有很大的限制；而老年人学习能力变差，不适合过于繁琐的产品操作。

解决以上问题及缺陷的意义为：

可以大幅提升助听器产品的易用性和用户体验，并大幅降低成本。

发明内容

针对现有技术存在的问题，本发明提供了一种智能数字助听器控制方法、系统、介质、设备及应用。

本发明是这样实现的，一种智能数字助听器控制方法，所述智能数字助听器控制方法包括：

利用录音外设模块获取外部声音信号，并对获取的外部声音信号进行滤波以及数字化处理；

手机端对数字化处理后的信号进行处理，包括信道化滤波、统计特征分析；并基于数据处理结果结合GPS位置信息进行当前环境的识别或利用声音控制进行环境结果的提示性选择；

手机端基于环境识别或选择结果进行不同的处理；同时将处理声音进行编码调制后利用蓝牙进行传输；入耳端接收蓝牙信号，完成信号解调并进行声音恢复。

进一步，所述对数字化处理后的信号进行处理包括：对数字化处理的后的信号进行多通道滤波、特征分析、人工智能分类处理。

进一步，所述当前环境包括：居家环境、移动环境、商场购物环境以及公园小区环境。

进一步，所述手机端基于环境识别结果进行不同的处理包括：

于居家环境下进行门铃、敲门声以及各类警报信息的识别；并利用人工智能识别并放大亲人声音；同时结合声源定位于收听广播或者电视节目时进行固定声源放大；

于移动环境下根据GPS得到的移动速度等信息判断目前的移动状态，并基于不同移动状态进行不同处理；

于商场环境下进行亲人语音识别及放大，滤除背景音乐或广播音乐信号；并根据不同的声纹特性选择放大其中强度最大的声音；

于小区环境下根据不同的声纹特性和声音强度，选择放大其中强度最大的声音，同时结合声音时长，识别广场舞音乐并通知使用者选择放大。

进一步，所述警报信息包括家用电器瓦斯报警、烟雾报警。

进一步，所述基于不同移动状态进行不同处理包括：

当利用公共交通工具进行移动时则基于电子语音具有不同的声纹特性或者基于对到站提醒语句的语义分析进行到站提醒语音识别；

当步行移动时则进行车铃声或鸣笛声的识别以及放大。

进一步，语音特征通过预先训练设置并存储。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

利用录音外设模块获取外部声音信号，并对获取的外部声音信号进行滤波以及数字化处理；

手机端对数字化处理后的信号进行处理；并基于数据处理结果结合GPS位置信息进行当前环境的识别或利用声音控制进行环境结果的提示性选择；

手机端基于环境识别或选择结果进行不同的处理；同时将处理声音结果利用蓝牙进行传输；入耳端接收蓝牙信号并进行声音恢复。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

利用录音外设模块获取外部声音信号，并对获取的外部声音信号进行滤波以及数字化处理；

手机端对数字化处理后的信号进行处理；并基于数据处理结果结合GPS位置信息进行当前环境的识别或利用声音控制进行环境结果的提示性选择；

手机端基于环境识别或选择结果进行不同的处理；同时将处理声音结果利用蓝牙进行传输；入耳端接收蓝牙信号并进行声音恢复。

本发明的另一目的在于提供一种运行所述智能数字助听器控制方法的智能数字助听器控制系统，所述智能数字助听器控制系统包括：

录音外设模块、手机终端、数据传输模块以及入耳端；

录音外设模块，用于进行外部声音信号的滤波、数字化和存储；

手机终端，用于对数字信号进行多通道滤波、特征分析以及人工智能分类处理；同时用于基于特征分析结果以及智能分类结果结合GPS位置信息进行当前环境识别，并基于识别的环境类型进行不同的处理，同时将处理结果通过数据传输模块传输至入耳端；

数据传输模块，用于利用蓝牙进行数据传输；

入耳端，用于接收蓝牙信号并进行声音恢复。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明充分利用助听器和手机的交互功能，处理能力大幅提高，甚至可以利用5G网络的优势进行云端处理；本发明首次提出了通过人工智能手机APP对各类声音信号进行分类并结合场景筛选放大的思想；本发明根据老年人常去的场所，借助手机定位系统进行环境自适应识别，主要分为四大类：居家环境、移动环境、商场购物环境、公园小区环境；本发明首次针对商场购物环境，提出了基于5G云端的背景音乐消除方法；本发明声音处理主要在已有手机端完成，降低入耳端的开发难度，从而极大降低成本；本发明通过升级APP即可完成设备升级。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的智能数字助听器控制系统原理图。

图2是本发明实施例提供的智能数字助听器控制系统结构示意图；

图中：1、录音外设模块；2、手机终端；3、数据传输模块；4、入耳端。

图3是本发明实施例提供的智能数字助听器控制方法流程图。

图4是本发明实施例提供的智能数字助听器控制原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种智能数字助听器控制方法、系统、介质、设备及应用，下面结合附图对本发明作详细的描述。

如图1-图2所示，本发明实施例提供的智能数字助听器控制系统包括：

录音外设模块1、手机终端2、数据传输模块3以及入耳端4；

录音外设模块1，用于进行外部声音信号的滤波、数字化和存储；

手机终端2，用于对数字信号进行多通道滤波、特征分析以及人工智能分类处理；同时用于基于特征分析结果以及智能分类结果结合GPS位置信息进行当前环境识别，并基于识别的环境类型进行不同的处理，同时将处理结果通过数据传输模块3传输至入耳端4；

数据传输模块3，用于利用蓝牙进行数据传输；

入耳端4，用于接收蓝牙信号并进行声音恢复。

如图3-图4所示，本发明实施例提供的智能数字助听器控制方法包括以下步骤：

S101，利用录音外设模块获取外部声音信号，并对获取的外部声音信号进行滤波以及数字化处理；

S102，手机端对数字化处理后的信号进行处理；并基于数据处理结果结合GPS位置信息进行当前环境的识别或利用声音控制进行环境结果的提示性选择；

S103，手机端基于环境识别或选择结果进行不同的处理；同时将处理声音结果利用蓝牙进行传输；入耳端接收蓝牙信号并进行声音恢复。

步骤S102中，本发明实施例提供的对数字化处理后的信号进行处理包括：

对数字化处理的后的信号进行多通道滤波、特征分析、人工智能分类处理。

本发明实施例提供的当前环境包括：居家环境、移动环境、商场购物环境以及公园小区环境。

步骤S103中，本发明实施例提供的手机端基于环境识别结果进行不同的处理包括：

于居家环境下进行门铃、敲门声以及各类警报信息的识别；并利用人工智能识别并放大亲人声音；同时结合声源定位于收听广播或者电视节目时进行固定声源放大；

于移动环境下根据GPS得到的移动速度等信息判断目前的移动状态，并基于不同移动状态进行不同处理；

于商场环境下进行亲人语音识别及放大，滤除背景音乐或广播音乐信号；并根据不同的声纹特性选择放大其中强度最大的声音；

于小区环境下根据不同的声纹特性和声音强度，选择放大其中强度最大的声音，同时结合声音时长，识别广场舞等音乐并通知使用者选择放大。

本发明实施例提供的警报信息包括但不限于家用电器瓦斯报警、烟雾报警。

本发明实施例提供的基于不同移动状态进行不同处理包括：

当利用公共交通工具进行移动时则基于电子语音具有不同的声纹特性或者基于对到站提醒语句的语义分析进行到站提醒语音识别；

当步行移动时则进行车铃声或鸣笛声的识别以及放大。

步骤S102中，本发明实施例提供的亲人语音特征通过预先训练设置并存储。

下面结合具体实施例对本发明的技术效果作进一步描述。

本发明提出了一种利用手机等处理能力强大的常用终端进行声音预处理后再通过蓝牙二次发送的设计思路，即将整个助听系统分为三部分：录音外设、手机终端、入耳端。

录音外设为可选部分，外部声音可以通过该录音外设或者手机自带的录音功能完成声音信号的滤波、数字化和存储功能；

手机终端主要完成声音信号的智能处理并通过蓝牙发送处理后声音信号；

入耳端接收蓝牙信号并类似目前降噪耳机进行声音恢复，避免外部声音的二次影响。提出方案主要具有以下创新特点：

(1)充分利用助听器和手机的交互功能，处理能力大幅提高，甚至可以利用5G网络的优势进行云端处理

(2)首次提出了通过人工智能手机APP对各类声音信号进行分类并结合场景筛选放大的思想；

(3)根据老年人常去的场所，可以借助手机定位系统进行环境自适应识别，主要分为四大类：居家环境、移动环境、商场购物环境、公园小区环境；

(4)首次针对商场购物环境，提出了基于5G云端的背景音乐消除方法；

(5)声音处理主要在已有手机端完成，降低入耳端的开发难度，从而极大降低成本；

(6)目前的助听器都不支持升级，采用本发明设计，通过升级APP即可完成设备升级。

各部分连接或者蓝牙配对已经完成情况下，助听器的基本运行过程如图4步骤如下：

第一步：外部声音信号通过录音外设或者手机自带的录音功能完成声音信号的滤波、数字化功能；

第二步：手机端利用其强大的处理功能，对数字信号进行处理，包括多通道滤波、特征分析、人工智能分类等功能；

第三步：手机端利用其分类及特征分析结果，结合GPS位置信息，可以识别当前所处环境。设计助听器根据老年人常去的场所，主要区分四大类环境：居家环境、移动环境、商场购物环境、公园小区环境。

第四步：手机进一步根据判断环境类型进行不同的处理，此时也可以利用声音控制进行提示性选择：

1)居家环境：该环境下具备的特色功能包括：识别门铃和敲门声；识别各类警报信息，如家用电器瓦斯报警、烟雾报警等；利用人工智能识别并放大亲人声音；收听广播或者电视节目时结合声源定位实现固定声源放大。

2)移动环境：老年人多乘坐公共交通工具或者步行，该环境下智能助听器会根据GPS得到的移动速度等信息判断目前的移动状态，主要分为两类：一是乘坐公共交通工具时重点识别到站提醒语音(利用电子语音具有不同的声纹特性或者利用对到站提醒语句的语义分析)，二是步行时重点识别并放大车铃声或鸣笛声等，保护佩戴者安全；

3)商场环境：此时主要针对嘈杂的商场环境，当识别到亲人语音时，专门识别并放大亲人语音，亲人语音特征完全可以通过预先训练设置并存储；其他情况下主要根据不同的声纹特性选择放大其中强度最大的声音，如用于老年人和售货员间的对话交流。对于该环境，考虑到通常具有促销的背景音乐，设计助听器可以检索分辨商场的广播音乐并滤除，即在接收声音信号中同步减去音乐信号，只提取出声音信号。

4)小区环境：此环境下手机根据不同的声纹特性和声音强度，选择放大其中强度最大的声音，用于老年人间直接的对话交流。并可以结合声音时长，识别广场舞等音乐并通知使用者选择放大。

第五步：手机端将选择环境下的处理声音结果送入蓝牙模块进行发送；

第六步：入耳端接收蓝牙信号并类似目前降噪耳机进行声音恢复。

MATLAB以及第三方提供了非常有用的语音处理工具箱，包括voicebox，不同声音信号体现的特征有很大区别，相关专业人员可以很容易获知其可行性。百度语音和讯飞语音识别都给专业人员提供了相关的开发包，手机端语音识别类APP应用已经有很多，本专利涉及的相关技术都是可以预见的，区别就在于采用不同的处理方法导致的识别准确度的不同，可以为本专利提供支撑。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。