显示装置、及对应的信号处理装置及手势识别方法

技术领域

本发明涉及显示技术领域，具体涉及一种具有超声波手势识别功能的显示装置、及对应的信号处理装置及手势识别方法。

背景技术

现有技术中通常将超声波传感器直接贴设于显示面板的背面，超声波传感器独立于显示面板设置，声波在传输过程中，需穿过整个显示面板，达到显示面板的正面，因此，在整个传输过程中超声波能量的衰减较大，影响超声波手势识别的准确性。

发明内容

本发明的目的是提供一种显示装置、及对应的信号处理装置及手势识别方法，将超声转换器整合至显示结构内，可减少传输过程中超声波能量的衰减，进而提高超声波手势识别的准确性。

本发明实施例提供了以下方案：

第一方面，本发明实施例提供一种一种显示装置，其特征在于，所述显示装置包括显示结构，所述显示结构包括：依次堆叠设置的基底、阵列基板、树脂层、第一电极、多个发光单元、间隔多个发光单元的像素界定层、与所述第一电极相对设置的第二电极、以及封装层；

在一些实施例中，所述显示装置还包括间隔地设置于所述第一电极与所述像素界定层之间的压电薄膜以及间隔地设置于所述像素界定层与所述树脂层之间的第三电极，所述第三电极的位置及数目与所述压电薄膜的位置及数目对应，所述第二电极、所述压电薄膜及对应的所述第三电极形成超声换能器；

所述显示装置还包括开设于所述第三电极一侧、且与所述超声换能器的位置及数目对应的多个间隔设置的振动腔。

在一些实施例中，每个压电薄膜在基底上的正投影、与所述压电薄膜对应的所述第三电极在基底上的正投影、以及与所述压电薄膜对应的在基底上的正投影部分或者全部重叠。

在一些实施例中，每个所述振动腔纵向开设于所述树脂层、所述阵列基板及所述基底中至少一个或者多个。

在一些实施例中，所述第三电极的宽度等于或者大于所述超声换能器的宽度。

第二方面，本发明实施例提供一种信号处理装置，用于在上述显示装置进行手势识别时，进行信号处理，所述信号处理装置包括：

激励模块，用于生成激励信号，所述激励信号用于激励所述显示装置内的超声换能器发射超声波；

接收模块，用于接收经用户的手部反射的超声波的回波信号，并对所述回波信号进行处理；以及

控制模块，用于控制所述激励模块生成所述激励信号，并根据所述接收模块处理后的回波信号对所述手部对应的手势进行识别。

在一些实施例中，所述激励模块包括电性连接的激励电路及匹配电路，所述激励电路用于生成激励信号，所述匹配电路用于对所述超声换能器的阻抗进行匹配。

在一些实施例中，所述接收模块包括依次电性连接的前置放大电路、带通滤波电路、以及模数转换器，所述前置放大电路包括依次电性连接的差分信号采集电路及差分放大电路，所述差分信号采集电路与所述超声换能器电性相连，用于采集所述回波信号，所述差分放大电路用于对采集的回波信号进行放大，所述带通滤波电路用于对放大后的回波信号进行带通滤波，所述模数转换器用于对滤波后的回波信号进行转换，并将转换后的回波信号传送至所述控制模块。

在一些实施例中，所述信号处理装置还包括与所述控制模块电性连接的调制解调模块，所述调制解调模块用于对转换后的回波信号进行解调。

第三方面，本发明实施例提供一种手势识别方法，用于上述显示装置进行手势识别，其特征在于，所述方法包括：

获取超声换能器发射超声波经用户的手部反射的回波信号；

对所述回波信号进行处理，得到所述回波信号对应的特征向量；

使用模型对所述特征向量进行分析，其中，所述模型通过使用多组样本数据通过机器学习训练得到，所述多组样本数据均包括：所述特征向量及用于标识特征向量的手势类别的标签；以及

获取模型的输出信息，并根据所述输出信息识别对应的手势，其中，所述输出信息包括所述特征向量的手势类别，所述手势类别包括手势对应的形状及位移。

在一些实施例中，所述特征向量包括所述回波信号的波达方向俯仰角、投影点分布的位置、回波频率变化以及回波时间中至少一项或者多项的组合。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明实施例提供的显示装置将超声换能器整合于显示结构内，并为超声换能器设置相应的振动腔，可减少传输过程中超声波能量的衰减，提高超声波手势识别的准确性。

本发明实施例提供的信号处理装置可在显示装置进行手势识别时，生成激励信号及接收经用户的手部反射的超声波的回波信号，并对回波信号进行处理，以支持显示装置实现超声手势识别功能。

本发明实施例提供的手势识别方法可基于回波信号的特征向量实现手势类别的识别，以支持显示装置实现超声手势识别功能。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种显示装置的结构示意图。

图2是图1所示的显示装置的超声换能器的排布示意图。

图3是图1所示的显示装置另一视角下的局部放大示意图。

图4是本发明实施例提供的一种信号处理装置的电路图。

图5是图4所示的激励模块的电路图。

图6是图5所示的匹配电路对超声换能器匹配前后的有功功率随频率变化关系图。

图7是图4所示的接收模块的前置放大电路的电路图。

图8是图4所示的接收模块的带通滤波电路的电路图。

图9是图8所示的接收模块的输出的回波信号的波形示意图。

图10是图4所示的调制解调模块的电路图。

图11是本发明实施例提供的一种手势识别方法的流程图。

图12是本发明实施例提供的一种波达方向俯仰角的示意图。

图13是本发明实施例提供的不同手势类别对应的投影点分布图。

图14是本发明实施例提供的不同的手势类别表。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明实施例保护的范围。

请参阅图1，图1为本发明实施例提供的一种显示装置10的结构示意图。在本实施例中，显示装置10为OLED(Organic Light-Emitting Diode，有机发光二极管)结构。显示装置10包括显示结构11及集成于显示结构11的超声换能器12，超声换能器12用于支持显示结构11现实超声手势识别功能。

在本实施例中，显示结构11包括依次堆叠设置的基底111、阵列基板112、树脂层113、第一电极114、多个发光单元115、间隔多个发光单元115的像素界定层116、与第一电极114相对设置的第二电极117、以及封装层118。显示结构11的结构与现有的显示结构类似，因此，在此不再赘述。显示装置10还包括间隔地设置于第二电极117与像素界定层116之间的压电薄膜121以及间隔地设置于像素界定层116与树脂层113之间的第三电极122，可以理解，第三电极122与第一电极114之间可通过设置绝缘材料而相互独立。第三电极122的位置及数目与对应压电薄膜121的位置及数目对应，第二电极117、对应的压电薄膜121及第三电极122形成超声换能器12，即图2所示的超声传感器senor，显示装置10还包括开设于第三电极122一侧、且与超声换能器12的位置及数目对应的多个间隔设置的振动腔123。

请一并参阅图2，在本实施例中，超声换能器12呈M*N的阵列排布，M可以等于N，M与N均为正整数。

压电薄膜121由压电材料制成，压电材料包括，但不仅限于，PVDF(VinylideneFluoride，聚偏氟乙烯)。

请一并参阅图3，在一个实施例中，每个压电薄膜121在基底111上的正投影、与所述压电薄膜121对应的所述第三电极122在基底111上的正投影、以及与所述压电薄膜121对应的在基底111上的正投影部分或者全部重叠。如此，当显示装置10接收到激励信号时，激励信号可准确地施加于压电薄膜121，可以理解，当每个压电薄膜121在基底111上的正投影、与所述压电薄膜121对应的所述第三电极122在基底111上的正投影、以及与所述压电薄膜121对应的在基底111上的正投影全部重叠时，可获得更好的效果。

在一个实施例中，每个振动腔123纵向开设于树脂层113、阵列基板112及基底111中至少一个或者多个。

例如，每个振动腔123可仅开设于树脂层113，贯穿或者不贯穿树脂层113均可；或者开设于树脂层113及阵列基板112，贯穿树脂层113直至阵列基板112，贯穿或者不贯穿阵列基板112均可；或者贯穿树脂层113、阵列基板112直至基底111，但是并不贯穿基底111。也就是说，振动腔123的深度可根据实际需求调整，其中，振动腔123的深度越深，显示装置10的重量越轻，从而减少驱动超声波换能器12起振时所需要的驱动能量，越能提高超声换能器12的电声转换效率，另外，振动腔123的深度越深，更能为压电薄膜121向基底111方向振动提供振动空间，从而获取更大的振动幅度，保证获取更高的声压级。

在一个实施例中，每个第三电极122的宽度等于或者大于超声换能器12的宽度。但是，需要注意的是，第三电极122的宽度不能过大，以避免相邻的两个超声换能器12之间产生干扰。

基于与同样的发明构思，本发明实施例还提供了一种信号处理装置20，用于上述显示装置10进行手势识别时，进行信号处理。

信号处理装置20包括激励模块21、接收模块22以及控制模块23。激励模块21用于生成激励信号，激励信号用于激励超声换能器12发射超声波。接收模块22用于接收用户的手部反射的超声波的回波信号，并对回波信号进行处理。控制模块23用于控制激励模块21生成激励信号，并根据回波信号对手部对应的手势进行识别。

在本实施例中，激励模块21包括电性连接的激励电路24及匹配电路25，激励电路24用于生成激励信号，匹配电路25用于对超声换能器的阻抗进行匹配。在一个实施例中，激励模块24包括一种基于多级高速运放以及LC谐振的超声波高压驱动电路，以提供对超声换能器12的压电薄膜121进行驱动所需的高频高压。

请参阅图5，具体地，激励电路24包括两路运放电路241，两路运放电路241的结构及工作原理均相同，在此其中一路为例，加以说明，每路运放电路241包括依次相连的输入端、高通滤波单元241a、多个放大单元241b及输出端。

高通滤波单元241a包括第一电容C1及第一电阻R1，第一电容C1的一端作为输入端，另一端与放大单元241b相连，第一电阻R1一端连接至第一电容C1与放大单元241b之间，另一端接地。

多个放大单元241b包括第一级第一放大单元、中间级放大单元、未级放大单元。第一级第一放大单元及中间级放大单元连接至第一电源VCC及VSS，未级放大单元连接至第二电源VDD及VNN，在本实施例，中间级放大单元为1个，每个放大单元241b包括第一放大器。

第一级第一放大器的第一端(正向输入端)与高通滤波单元241a相连，第二端(反相输入端)经第二电阻R2连接至第三端，且经第三电阻R3接地，第三端(输出端)连接至中间级第一放大器的第一端，中间级第一放大器的第二端经第四电阻R4连接至末级第一放大器的第一端，且经第五电阻R5接地，末级第一放大器的第一端经第六电阻R6连接至电压Vbase，同时经第七电阻R7连接至中间级第一放大器的第三端，末级第一放大器的第二端经第八电阻R8连接至第三端，且经第九电阻连接至参考电压Vref，末级第一放大器的第三端作为输出端。

两路运放电路241的输入端用于输入具有一定相位差的控制信号，经运放大后，输出至匹配电路25。具体地，以其中一路运放电路为例，加以说明，输入端接收到电压信号VIN1，经高通滤波之后，先通过两级同向放大将电压信号VIN1进行放大，得到输出电压信号V03，在第三级运放中，通过在同向输入端增加的电压Vbase电压而构成一个同向求和运算电路，且为使输出信号Vout1取得一个较高电压，该级运放供电采用非对称供电，可改变运放输出动态范围，使其正向供电VDD取一个较高值，从而可使得输出电压Vout1尽量高，同时，在第二端(反向输入端)的反馈回路中，在第九电阻R9的位置增加一个参考电压Vref，可实现电压的提升。

匹配电路25包括第一级匹配网路、第二级匹配网络及第三级匹配网路。第一级匹配网路包括分别与两路运放电路相连的第一输入线路、第二输入线路。第一输入线路包括串联的第一电感L1及第三电容C3，其中，第一电感L1的一端与其中一路运放电路241的输出端相连，另一端经第三电容C3与第二级匹配网路相连。第二输入线路包括第二电感L2。第二电感L2的一端与另一路运放电路241的输出端相连。第二级匹配网络包括第三电感L3及第五电容C5，第三电感L3的一端与第三电容C3及第二电感L2相连，另一端与第三匹配网路相连。第五电容C5的一端连接至第三电感L3与第三匹配网路之间，另一端接地。第三匹配网络包括第四电感L4，第四电感L4一端与第三电感L3相连，另一端经超声换能器12的CL接地。

输入信号VIN1与VIN2为具有一定相位差的输入控制信号，在两个两路中分别实现运算放大后，其中一路接入第一电感L1与第三电容C3形成的第一输入线路，另一路接入第二电感L2形成的第二输入线路，实现第一级匹配，之后再经过第三电感L3与电容C5形成的第二级匹配网络，实现第二级匹配，最后接入第四电感L4与超声换能器12的CL形成的第三级匹配网络，实现第三级匹配。匹配电路25可同时实现在谐振频率处最大功率的匹配以及激励电压的谐振升压两种功能。其中，请一并参阅图6，基于匹配电路25可实现超声换能器12在较宽的频率范围内均具有最大有功功率输出，有助于实现激励电路24对不同谐振频率的适配性以及提升超声换能器12有功功率输出效率。

另外，对于电压要求不高的场合，两路运放电路中可仅保留其中一路，另一路可省略，此时，将第二电感L2接地即可。

请再次参阅图4，接收模块22包括依次电性连接的前置放大电路221、带通滤波电路222以及ADC(模数转换器，Analog-To-Digital Converter)223，请参阅图7及图8，前置放大电路221包括差分信号采集电路221a及差分放大电路221b，差分信号采集电路221a与超声换能器12电性相连，用于采集回波信号，差分放大电路221b用于对采集的回波信号进行放大，带通滤波电路222用于放大后的回波信号进行带通滤波，ADC 223用于对滤波后的回波信号进行转换，并将转换后的回波信号传送至控制模块23，接收模块22的具体结构及工作原理与现有的接收模块类似，故，在此不再赘述。

请参阅图8，控制模块23接收到的回波信号的为包络形式，因此，需要对回波信号进行IQ正交解调，可方便后续基于回波信号对手势进行识别算法的计算，并实现滤波以及节省存储空间作用。可以理解，请再次参阅图4，信号处理装置20还包括与控制模块23电性连接的调制解调模块26，调制解调模块26用于对转换后的回波信号进行解调，请参阅图9，调制解调模块22的具体结构及工作原理与现有的调制解调模块类似，故，在此不再赘述。

请参阅图10，基于与前述实施例中同样的发明构思，本发明实施例还提供一种手势识别方法，用于上述显示装置10进行超声波手势识别，本实施例提供的手势识别方法采取基于学习机制的模式对手势进行识别，方法包括：

步骤S1，获取超声换能器发射超声波经用户的手部反射的回波信号。在本实施例中，用户的手部为回波信号的信号源。

步骤S2，对回波信号进行处理，得到回波信号对应的特征向量。在本实施例中，特征向量包括回波信号的波达方向俯仰角、投影点分布的位置、回波频率变化以及回波时间中至少一项或者多项的组合。

在一个实施例中，步骤S2包括：

步骤S21，对回波信号进行处理，得到回波信号对应的波达方向俯仰角。

请参阅图11，具体地，将信号源看作单一信号源，波达方向俯仰角θ,

步骤S21，对回波信号进行处理，得到回波信号对应的投影点分布的位置。

投影点分布的位置可用于识别手势的形状特征，当超声波发射传输到用户的手掌(即待识别的手掌)后，由于手掌为不同形状，例如，张开不同手指个数、握拳或者展开时，回波信号反射的信号源的数量以及回波可到达的位置是不同的，因此，基于原理即可实现对手势的形状的识别。

在一个实施例中，步骤S21包括：

步骤S211，对各个信号源的波达方向进行计算，以得到对应的信号源的位置信息。

具体地，可基于相干源估计算法，例如，正则相关技术、基于概率统计的信息论方法等对信号源的数目进行计算；以及基于DOA算法对各个信号源的波达方向进行计算，以得到信号源位置信息。

请参阅图12，步骤S212，将各信号源投影到XOY平面上，得到不同手势形状在XOY平面上的位置信息。

具体而言，不同手势形状在平面上对应了不同的投影点分布，投影点分布在数学表示上可通过在每一个坐标点位置内投影点数量进行描述，即在XOY平面横纵方向上以单位坐标长度进行网格划分，统计每个网格内坐标点数量，并按一定顺序组成特征向量形式，例如，表达式：[n1，n2，n3，n4，n5……n]，一种可能的形式为：[0，0，1，0，1……1，0，0……]。

步骤S23，对回波信号进行处理，得到回波信号对应的频率变化。

具体地，由于多普勒效应的存在，当信号源位置与参考位置有相对运动时，参考点看到的信号的频率不同，即两个物体相互靠近时频率增加、相互远离时参考点看到信号频率减小，因此，基于前后两帧信号回波的频率变化可用于识别手势推拉等位移，对频率变化的计算可通过基于FFT的RIFE运算等方法实现。

步骤S24，对回波信号进行处理，得到回波信号对应的信号回波时间。

具体地，通常由于水平手势的时间跨度较短，而垂直手势的时间跨度较长，因此，信号回波时间也可用于识别手势的位移。

综上，回波信号对应的特征向量

步骤S3，使用模型对特征向量进行分析，其中，模型为使用多组样本数据通过机器学习训练得到，多组样本数据均包括：特征向量及用于标识特征向量的手势类别的标签。

请参阅图13，在一个具体的实施例中，在训练阶段，需分别按不同类别，例如类别1至类别19，进行不同手势以及位移移动，并通过上述步骤S1，获取超声换能器发射超声波经手势反射的回波信号，步骤S2，对回波信号进行分析，得到回波信号对应的特征向量，特征向量包括回波信号的波达方向俯仰角、投影点分布的位置、回波频率变化以及回波时间中至少一项或者多项的组合。对每一个类别均采集一定量的数据作为样本，用于训练，以得到分类函数，即训练之后得到分类器，分类器为模型。

步骤S4，获取模型的输出信息，根据输出信息识别对应的手势，其中，输出信息包括特征向量的手势类别，手势类别包括手势对应的形状及位移。

本发明实施例中提供的技术方案，至少具有如下技术效果或优点：

本发明实施例提供的显示装置将超声换能器整合于显示结构内，并为超声换能器设置相应的振动腔，可减少传输过程中超声波能量的衰减，提高超声波手势识别的准确性。

本发明实施例提供的信号处理装置可在显示装置进行手势识别时，生成激励信号及接收经用户的手部反射的超声波的回波信号，并对回波信号进行处理，以支持显示装置实现超声手势识别功能。

本发明实施例提供的手势识别方法可基于回波信号的特征向量现实手势类别的识别，以支持显示装置实现超声手势识别功能。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。