触控反馈系统、终端设备及触控反馈控制方法和存储介质

技术领域

本发明涉及触控反馈技术领域，尤其是涉及一种触控反馈系统、一种终端设备以及一种触控反馈控制方法和存储介质。

背景技术

相关技术中，对于接触式触觉反馈技术，通过借助相关设备(如屏幕、手套等)辅助，利用振动、静电力等原理和技术实现触觉感知。但是，该方式需必须与辅助设备进行接触，一方面设备的交叉使用会引起公共卫生安全问题，用户也无法摆脱笨重设备的束缚；另一方面，用户使用后在设备上遗留的指纹、掌纹等个人信息，会对个人信息安全面临泄露风险。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种触控反馈系统，该系统既可以实现用户非接触式触觉反馈，又可以在视觉和触觉上同时满足用户的交互体验，更加卫生安全。

本发明的目的之二在于提出一种终端设备。

本发明的目的之三在于提出一种触控反馈控制方法。

本发明的目的之四在于提出一种存储介质。

为了解决上述问题，本发明第一方面实施例提供的触控反馈系统，包括，成像子系统，用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，并在检测到用户与所述空中交互界面的交互信号时发送触控反馈控制指令和触控点坐标信息；触觉反馈子系统，与所述成像子系统连接，用于根据所述触控反馈控制指令和所述触控点坐标信息发射超声波并将所述超声波聚焦至触控点。

根据本发明实施例的触控反馈系统，通过成像子系统将人机交互信息在空中目标区域成像显示以形成空中交互界面，即成像子系统采用可交互空中成像技术，将空中交互界面作为触觉感知的基准面，以用于引导用户触控，并在成像子系统检测到用户与空中交互界面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统，触觉反馈子系统根据接收的触控反馈控制指令和触控点坐标信息，发射超声波并将超声波聚焦至触控点，即触觉反馈子系统以超声波辐射压力，在人体与触控点之间产生触觉反馈效果，实现用户非接触式触觉反馈的目的，以及本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险，也避免出现因用户信息遗留在接触面上而造成个人信息泄露的问题，更加卫生安全。

在一些实施例中，所述触觉反馈子系统包括：第一壳体，所述第一壳体设置有开窗且在内部形成有第一容纳腔；超声波发射器阵列，所述超声波发射器阵列设置于所述第一容纳腔中，包括多个超声波发射器，每个所述超声波发射器的发射端均朝向所述开窗；控制器，设置于所述第一容纳腔中，与所述超声波发射器阵列连接，用于根据所述触控反馈控制指令和所述触控点坐标信息控制每个所述超声波发射器发射超声波，并将所述超声波聚焦至触控点。

在一些实施例中，所述控制器包括：数据处理模块，用于根据所述触控点坐标信息和每个所述超声波发射器的位置信息确定每个所述超声波发射器的延时相位；驱动模块，与所述超声波发射器阵列和所述数据处理模块连接，用于响应于所述触控反馈控制指令生成原始驱动信号，并根据每个所述超声波发射器的延时相位调整所述原始驱动信号以将多个所述超声波发射器发射的超声波聚焦至所述触控点。

在一些实施例中，所述驱动模块在响应于所述触控反馈控制指令时，根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号。

在一些实施例中，所述驱动模块根据每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理，以获得每个所述超声波发射器的目标驱动信号，并根据所述目标驱动信号驱动每个所述超声波发射器。

在一些实施例中，所述数据处理模块包括：第一存储单元，用于存储数据处理过程中的数据和程序；数据处理单元，所述数据处理单元与所述第一存储单元连接，用于根据所述触控点坐标信息和每个所述超声波发射器的发射端的位置信息确定每个所述超声波发射器的延时相位。

在一些实施例中，所述驱动模块包括：第二存储单元，用于存储驱动控制过程中的数据和文件；控制单元，所述控制单元与所述第二存储单元连接，用于根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号，并根据每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理；驱动单元，所述驱动单元与所述控制单元连接，用于对延时后的原始驱动信号进行放大处理，获得每个所述超声波发射器的目标驱动信号，并根据所述目标驱动信号驱动每个所述超声波发射器。

在一些实施例中，在所述第一容纳腔的第一侧壁上设置有第一散热孔，在所述第二容纳腔的第二侧壁上设置有第二散热孔，所述第一侧壁与所述第二侧壁相对。

在一些实施例中，所述触觉反馈子系统还包括：吸风扇，所述吸风扇设置在所述第一侧壁上，用于通过所述第一散热孔吸取外部空气至所述第一容纳腔；排风扇，所述排风扇设置在所述第二侧壁上，用于通过第二散热孔将所述第一容纳腔内空气排出。

在一些实施例中，所述触觉反馈子系统还包括：挡盖，设置在所述第一壳体上，用于遮挡所述开窗。

在一些实施例中，所述挡盖为网状。

在一些实施例中，所述挡盖为透波材料挡板。

在一些实施例中，所述成像子系统包括：第二壳体，所述第二壳体形成有显示窗口且在内部形成有第二容纳腔；成像组件，设置于所述第二容纳腔，用于将人机交互信息在空中目标区域成像显示以形成空中交互界面；检测模块，用于检测用户与所述空中交互界面的交互信号；主控模块，与所述成像组件和所述检测模块连接，用于响应于所述交互信号发送触控反馈控制指令和触控点坐标信息。

在一些实施例中，所述成像组件包括：显示器，所述显示器设置于所述第二容纳腔，与所述主控模块连接，用于显示所述人机交互信息；光学组件，所述光学组件设置于所述第二容纳腔，用于将携带所述人机交互信息的光线汇聚成像在所述空中目标区域，以形成空中交互界面；其中，所述显示器设置于所述光学组件的光源侧，所述显示窗口在所述光学组件的成像侧。

在一些实施例中，所述第二容纳腔的内壁上设置有吸光层。

在一些实施例中，所述触觉反馈子系统设置于所述成像子系统的上方且位于所述空中交互界面的触摸侧；所述超声波发射器阵列的发射端与所述空中交互界面平行相对设置；所述超声波发射器阵列的发射端朝向所述空中交互界面。

在一些实施例中，所述触觉反馈子系统设置于所述成像子系统的上方且位于所述空中交互界面的成像侧，所述超声波发射器阵列与所述光学组件垂直，且所述超声波发射器阵列与所述空中交互界面在水平方向平齐，所述超声波发射器阵列的发射端朝向所述空中交互界面。

在一些实施例中，所述触觉反馈子系统设置于所述第二容纳腔中，且位于所述光学组件对携带所述人机交互信息的光线的反射路径上，所述超声波发射器阵列的发射端朝向所述空中交互界面。

在一些实施例中，所述触觉反馈子系统设置于所述成像子系统的上方且位于所述空中交互界面的触摸侧，所述超声波发射器阵列与所述光学组件平行设置，所述超声波发射器阵列与所述空中交互界面在垂直方向平齐，所述超声波发射器阵列的发射端朝向所述空中交互界面。

本发明第二方面实施例提供一种终端设备，包括，设备本体；上述实施例所述的触控反馈系统，所述触控反馈系统设置在所述设备本体上。

根据本发明实施例的终端设备，通过采用上述实施例提供的触控反馈系统，可以实现用户非接触式触觉反馈的目的，且无需设置额外的限制用户操作装置，操作方式也更加自然方便，并在视觉和触觉上同时满足用户的交互体验。

本发明第三方面实施例提供一种触控反馈控制方法，包括：将人机交互信息在空中目标区域成像显示以形成空中交互界面；检测到用户与所述空中交互界面的交互信号，获取触控点坐标信息并发送触控反馈控制指令；根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至触控点。

根据本发明实施例的触控反馈控制方法，通过将人机交互信息在空中目标区域成像显示以形成空中交互界面，即采用可交互空中成像技术，将空中交互界面作为触觉感知的基准面，以用于引导用户触控，并在检测到用户与空中交互界面的交互信号时，获取触控反馈控制指令和触控点坐标信息，以根据获取的触控反馈控制指令和触控点坐标信息，控制超声波发射器阵列发射超声波并将超声波聚焦至触控点，即通过超声波辐射压力，以在人体与触控点之间产生触觉反馈效果，实现用户非接触式触觉反馈的目的，以及本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险，也避免出现因用户信息遗留在接触面上而造成个人信息泄露的问题，更加卫生安全。

在一些实施例中，根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至触控点，包括：根据所述触控点坐标信息和所述超声波发射器阵列中每个超声波发射器的发射端的位置信息确定每个所述超声波发射器的延时相位；根据所述触控反馈控制指令生成原始驱动信号；根据每个所述超声波发射器的延时相位对所述原始驱动信号进行调整，以将多个所述超声波发射器发射的超声波聚焦至所述触控点。

在一些实施例中，根据所述触控反馈控制指令生成原始驱动信号，包括：根据所述触控反馈控制指令产生时钟信号和调制信号；根据所述时钟信号和所述调制信号生成所述原始驱动信号。

在一些实施例中，根据每个所述超声波发射器的延时相位对所述原始驱动信号进行调整，包括：根据每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理；获得每个所述超声波发射器的目标驱动信号；根据所述目标驱动信号驱动每个所述超声波发射器。

在一些实施例中，还包括：获取环境温度；根据所述环境温度对每个所述超声波发射器的延时相位进行校正。

在一些实施例中，超声波发射器阵列包括n个分布在同一平面的超声波发射器子阵列，所述空中交互界面划分为n个触控子区，n个所述超声波发射器子阵列与n个所述触控子区一一对应配置；根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至触控点，包括：根据所述触控点坐标信息确定触控点对应所述空中交互界面中的目标触控子区；根据所述目标触控子区确定目标超声波发射器子阵列，根据所述触控点坐标信息和所述目标超声波发射器子阵列中每个超声波发射器的发射端的位置信息确定所述目标超声波发射器子阵列中每个所述超声波发射器的延时相位；根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号；根据所述目标超声波发射器子阵列中每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理以获得所述超声波发射器子阵列的每个所述超声波发射器的目标驱动信号；根据所述目标驱动信号驱动所述超声波发射器子阵列的每个所述超声波发射器。

在一些实施例中，所述超声波发射器阵列为n个，n个所述超声波发射器阵列分布在同一平面或者以预设角度错开设置，所述空中交互界面划分为n个触控子区，n个所述超声波发射器阵列与n个所述触控子区一一对应配置；根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至触控点，包括：根据所述触控点坐标信息确定触控点对应所述空中交互界面中的目标触控子区；根据所述目标触控子区确定目标超声波发射器阵列，根据所述触控点坐标信息和所述目标超声波发射器阵列中每个超声波发射器的发射端的位置信息确定所述目标超声波发射器阵列中每个所述超声波发射器的延时相位；根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号；根据所述目标超声波发射器阵列中每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理以获得所述目标超声波发射器阵列中每个所述超声波发射器的目标驱动信号；根据所述目标驱动信号驱动所述目标超声波发射器阵列中每个所述超声波发射器。

本发明第四方面实施例提供一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例所述的触控反馈控制方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的触控反馈系统的结构框图；

图2是根据本发明一个实施例的触觉反馈子系统的结构示意图；

图3是根据本发明一个实施例的超声波发射器阵列的示意图；

图4是根据本发明一个实施例的数据处理模块的结构框图；

图5是根据本发明一个实施例的驱动模块的结构框图；

图6是根据本发明一个实施例的触控反馈系统的结构示意图；

图7是根据本发明一个实施例的人机交互的结构示意图；

图8是根据本发明一个实施例的光学组件的结构示意图；

图9是根据本发明一个实施例的第一光波导阵列和第二光波导阵列的示意图；

图10是根据本发明一个实施例的光学组件沿厚度方向的正面结构示意图；

图11是根据本发明一个实施例的第一光波导阵列和第二光波导阵列的局部结构示意图；

图12是根据本发明一个实施例的光学组件的光路示意图；

图13是根据本发明一个实施例的超声波发射器阵列设置于第二壳体的上方的布置示意图；

图14是根据本发明一个实施例的超声波发射器阵列设置于第二容纳腔的布置示意图；

图15是根据本发明另一个实施例的超声波发射器阵列设置于第二壳体的上方的布置示意图；

图16是根据本发明一个实施例的终端设备的结构框图；

图17是根据本发明一个实施例的触控反馈控制方法的流程示意图；

图18是根据本发明一个实施例的单块超声波发射器阵列的布局示意图；

图19是根据本发明一个实施例的多块超声波发射器阵列的布局示意图。

附图标记：

终端设备2000；

触控反馈系统1000；设备本体300；

成像子系统100；触觉反馈子系统200；

第一壳体210；超声波发射器阵列220；控制器250；数据处理模块230；驱动模块240；

第一容纳腔2；第一散热孔3；第二散热孔4；挡盖5；超声波发射器30；

第一存储单元11；数据处理单元12；第一接口单元13；第一电源单元14；第一串行接口15；第一并行接口16；

第二存储单元17；控制单元18；驱动单元19；第二电源单元20；第二接口单元21；电源输入口22；第二并行接口23；驱动信号输出口24；

第二壳体110；成像组件120；检测模块130；主控模块140；

显示器25；光学组件26；空中目标区域10；显示窗口40；第二容纳腔50；

第一光波导阵列6；第二光波导阵列7；透明基板8；反射单元9；反射膜27；胶粘剂28。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

为了解决上述问题，本发明第一方面实施例提出一种触控反馈系统，该系统既可以实现用户非接触式触觉反馈，又可以在视觉和触觉上同时满足用户的交互体验，更加卫生安全。

下面参考图1描述本发明实施例提出的触控反馈系统。

如图1所示，本发明实施例提供的触控反馈系统1000包括成像子系统100和触觉反馈子系统200。

其中，成像子系统100用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，并在检测到用户与空中交互界面的交互信号时发送触控反馈控制指令和触控点坐标信息。触觉反馈子系统200与成像子系统100连接，触觉反馈子系统200用于根据触控反馈控制指令和触控点坐标信息发射超声波并将超声波聚焦至触控点。

在本发明实施例中，成像子系统100采用可交互空中成像技术，在空中的确定位置处形成浮空实像即空中交互界面，以作为用户触觉感知的基准面，而覆盖浮空实像所在的三维空间即为空中目标区域。通过成像子系统100将人机交互信息汇聚成像在空中目标区域，以形成空中交互界面，并在检测到用户与空中交互界面的交互信号时，成像子系统100发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统200。

触觉反馈子系统200的触控区域设置为覆盖空中交互界面所在三维空间，即空中目标区域。具体地，基于空中交互界面的大小和显示位置是相对固定的，触觉反馈子系统200根据已知的空中交互界面，产生一个与之等大等位置的触控反馈平面。即由成像子系统100提供空中交互界面，以引导用户触摸，以及由触觉反馈子系统200提供触控反馈平面，以反馈用户对触摸对象的感知。

根据本发明实施例的触控反馈系统1000，通过成像子系统100将人机交互信息在空中目标区域成像显示以形成空中交互界面，将空中交互界面作为用户触觉感知的基准面，以用于引导用户触控，并在成像子系统100检测到用户与空中交互界面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统200。触觉反馈子系统200根据接收的触控反馈控制指令和触控点坐标信息，发射超声波并将超声波聚焦至触控点，在人体与触控点之间产生触觉反馈效果，使得人体可以真实感受到触控点的存在，实现用户非接触式触觉反馈的目的。本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险。同时避免出现因用户指纹信息残留，使得个人信息泄露而造成的信息安全问题。

在一些实施例中，如图2所示，触觉反馈子系统200包括第一壳体210、超声波发射器阵列220和控制器250。

第一壳体210上设置有开窗且在内部形成有第一容纳腔2。第一壳体210可以为触觉反馈子系统200提供保护和支撑，以防止外力冲击、振动对系统造成损坏。

超声波发射器阵列220设置于第一容纳腔2中，以起到保护作用。根据声学理论，超声波可以在一定空间内产生声压，声压分布与距离呈反相关，由于单个超声波发射器发出的超声波所产生的声压不足以对用户提供触觉反馈，当超声波发射器的数量达到一定数量时，每个超声波发射器所产生的超声波同时到达空间中某一点并在该点进行聚焦叠加，所叠加的声压远远大于单个超声波发生器产生的声压，在该点人体可感知到振动，从而实现超声波触觉反馈。因此，在本发明实施例中，例如图3所示的结构示意图，超声波发射器阵列220包括多个超声波发射器30，多个超声波发射器30以N*N阵列或M*N阵列组合构成超声波发射器阵列220，且如图2所示，每个超声波发射器30的发射端均朝向开窗，并暴露于开窗处，使得超声波可以正常辐射，减少辐射能量的损失。

超声波发射器阵列220可以由若干个小功率、小型化的超声波发射器30组成，以便用于商用和集成。

需要说明的是，超声波发射器阵列220采用超声波发射器30的数量可以根据系统需求如触控区域大小、触控距离等以及根据超声波发射器30自身技术指标例如谐振频率、声压级、方向角等实际情况来决定，在此，对于采用超声波发生器30的数量不作限制。

控制器250设置于第一容纳腔2中，与超声波发射器阵列220连接，用于根据触控反馈控制指令和触控点坐标信息控制每个超声波发射器30发射超声波，并将超声波聚焦至触控点。具体地，将超声波发射器阵列220的聚焦点位置设定为空中交互界面所在区域。当用户与空中交互界面交互时，控制器250根据触控反馈控制指令控制超声波发射器阵列220发射超声波且根据触控点坐标信息控制每个超声波发射器30的超声波聚焦至触控点，在触控点处超声波声压叠加而产生触觉反馈力，使得人体真实感受到触控点的存在，实现对触摸对象的感知。

在一些实施例中，如图2所示，控制器250包括数据处理模块230以及驱动模块240。

数据处理模块230用于根据触控点坐标信息和每个超声波发射器30的发射端的位置信息确定每个超声波发射器30发射超声波的延时相位。具体地，由于超声波发射器阵列220上的每个超声波发射器30发射端到触控点的空间距离不同，为了使得每个超声波发射器30发射的超声波在同一时刻到达触控点，以在触控点产生触觉反馈，数据处理模块230在完成触控点坐标数据处理与相位计算后，根据每个超声波发射器30的位置和触控点坐标数据，对超声波发射器30的控制信号相位进行延时控制，使超声波在同时刻传播至触控点，实现多个超声波同时刻在触控点进行叠加而产生振动反馈。

在本发明实施例中，由数据处理模块230计算超声波发射器30发射超声波的延时相位。具体地，以超声波发射器阵列220的阵列面为坐标平面，以阵列面几何中心作为坐标原点O，阵列面上与阵列边平行且经过原点O的一组正交轴作为x、y轴，z轴垂直于阵列面且经过原点O，建立空间直角坐标系，其中，阵列面为超声波发射器阵列220的发射端所在平面。数据处理模块230根据超声波发射器30在超声波发射器阵列220上的排布，获取超声波发射器30发射端几何中心的坐标，并结合成像子系统100发送的触控点坐标信息，计算获得每个超声波发射器30发射端几何中心至各触控点的空间距离，进而将超声波发射器阵列220中各超声波发射器30之间的空间距离差值，代入声速值c，最终获得各超声波发射器30的延时相位。需要说明的是，成像子系统100获取的触控点坐标与超声波发射器30发射端的几何中心的坐标为同一坐标系。

驱动模块240与超声波发射器阵列220和数据处理模块230连接，用于响应于触控反馈控制指令生成原始驱动信号，并根据每个超声波发射器30的延时相位调整原始驱动信号以将多个超声波发射器30发射的超声波聚焦至触控点。具体地，由于超声波发射器阵列220上每个超声波发射器30发射端到触控点的空间距离不同，因此通过驱动模块240根据每个超声波发射器30的延时相位对原始驱动信号进行延时处理，即通过调节每个超声波发射器30发射超声波的发射时间，以控制多个超声波声压同时刻在触控点进行叠加，实现触觉反馈。

在一些实施例中，驱动模块240在响应于触控反馈控制指令时，根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号。

具体地，在成像子系统100检测到用户与空中交互界面的交互信号后，成像子系统100将空中交互界面中的触控点坐标信息和触控反馈控制指令分别传送给数据处理模块230和驱动模块240。数据处理模块230根据触控点空间坐标以及超声波发射器阵列220上各超声波发射器30的位置，计算出每个超声波发射器30的延时相位，并将延时相位发送给驱动模块240。驱动模块240接收触控反馈控制指令并完成信号调制过程与时钟分配，即产生时钟信号和调制信号，以生成若干超声波发射器30的原始驱动信号；以及驱动模块240再根据数据处理模块230发送的延时相位，对每个超声波发射器30的原始驱动信号进行延时控制，以使得各个超声波发射器30在对应的相位下发射超声波，并在同一时刻到达触控点处进行叠加汇聚，以产生触控反馈，使得人体可以真实感受到触控点的存在。

在一些实施例中，驱动模块240根据每个超声波发射器30的延时相位对原始驱动信号进行延时处理，以获得每个超声波发射器30的目标驱动信号，并根据目标驱动信号驱动每个超声波发射器30发射超声波。具体地，在驱动模块240接收到数据处理模块230传输的延时相位后，驱动模块240对每个超声波发射器30的原始驱动信号进行延时处理，并对延时控制后的信号再进行放大处理，以获得每个超声波发射器30所需的目标驱动信号，并将各个超声波发射器30的目标驱动信号同步传输至超声波发射器阵列220，以驱动各个超声波发射器30在对应的目标驱动信号下依次发射超声波，实现每个超声波发射器30发射的超声波在同一时刻到达触控点，以在触控点产生触觉反馈。

本发明实施例中，优选地，超声波发射器30采用类球面波形式向外发射超声波，球面波球心即为超声波发射器30发射端的几何中心。

此外，超声波在有限空间内的声压分布，一方面与距离呈负相关，即距离越远声压越弱，使得触控点距超声波发射器阵列220的阵列面的距离受限制；另一方面与超声波频率f有关，根据超声波相关理论，超声波在空气介质中的自由空间波数

此外，在空气介质中传播的超声波，其速度也因环境温度的影响而改变，在标准大气压下，温度为0℃时，声速为c

因此，依据以上控制超声波发射器30发射超声波的原理，通过控制不同超声波发射器30的发射时间差可以使超声波在空中目标区域内任意点聚焦，对于多个触控点，按照一定的刷新频率更改各个超声波发射器30的发射时间差，即可实现多点触控交互需求。

此外，对于多个触控点，可通过触觉反馈子系统200高速刷新来实现多点触控反馈，并与成像子系统100呈现的空中交互界面相结合，以引导用户进行触控操作。对于现实对象较大或3D对象触控的应用场景，因其聚焦点数目增多，本发明实施例也可以采用多个触觉反馈子系统200同步工作，以组合和拼接的方式，实现用户与复杂操作界面的人机交互，尤其对于3D显示对象的轮廓感知，提高用户体验。

在一些实施例中，如图4所示，数据处理模块230包括第一存储单元11、数据处理单元12、第一接口单元13以及第一电源单元14。

其中，第一接口单元13包括第一串行接口15和第一并行接口16。第一串行接口15与成像子系统100、数据处理单元12连接，以实现成像子系统100与数据处理模块230之间的信息传输，例如，第一串行接口15可以为例如USB接口，可以实现触控点坐标数据及系统控制指令的传输。第一并行接口16与驱动模块240、数据处理单元12连接，以实现驱动模块240与数据处理模块230之间的信息传输，例如，第一并行接口16可以采用由DSP(DigitalSignal Processing，数字信号处理技术)集成的Upp并口，完成延时相位数据及反馈数据的传送。

第一电源单元14与第一存储单元11、数据处理单元12和第一接口单元13连接，第一电源单元14用于进行电源转换，将输入电源转换为数据处理模块230中各模块所需的各种稳定、可靠的电源，以为其供电，保证其正常工作。

第一存储单元11用于存储数据处理过程中的数据和程序。如图4所示，第一存储单元11分为数据存储单元和程序存储单元，数据存储单元用于存储数据处理过程中的数据，程序存储单元用于存储系统引导程序以及加载程序。优选地，数据存储单元采用DDR2SDRAM(Double-Data-Rate Two Synchronous Dynamic Random Access Memory，随机存取存储器)，程序存储单元采用NAND FLASH(闪存)。

数据处理单元12与第一存储单元11连接，优选地，数据处理单元12可以采用浮点数DSP芯片作为主控，主频在200MHz以上，以保证系统实时性要求。数据处理单元12接收到触控点坐标数据，根据触控点坐标信息和每个超声波发射器30的发射端的位置信息确定每个超声波发射器30的延时相位，并通过第一并行接口16将延时相位信息传输给驱动模块240，以使得驱动模块240根据每个超声波发射器30的延时相位对原始驱动信号进行延时处理，并基于延时处理后的驱动信号控制每个超声波发射器30，以使得每个超声波发射器30发射的超声波同时刻到达触控点并聚焦叠加，以在触控点产生振动，使得人体能够感知触控反馈。

在一些实施例中，如图5所示，驱动模块240包括第二存储单元17、控制单元18、驱动单元19、第二电源单元20以及第二接口单元21。

其中，第二接口单元21包括电源输入口22、第二并行接口23和驱动信号输出口24。其中，电源输入口22与第二电源单元20连接，第二并行接口23与控制单元18、第一并行接口16连接，驱动信号输出口24与驱动单元19连接。第二并行接口23如Upp并口与控制单元18进行数据通信，实现延时相位数据、控制指令以及反馈数据的传输。

第二存储单元17用于存储驱动控制过程中的数据和文件，例如，用于存储控制单元18的处理数据以及信号调制过程中的数据。第二存储单元17可以选用SRAM(StaticRandom-Access Memory，静态随机存取存储器)，同时选用专用FLASH(固态存储器)芯片，以用于存储和加载控制单元18的逻辑目标文件。

控制单元18与第二存储单元17连接，用于根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号，并根据每个超声波发射器30的延时相位对原始驱动信号进行延时处理。优选地，控制单元18可以选用FPGA(FieldProgrammable Gate Array，现场可编程逻辑门阵列)作为主控芯片，以通过配置的I/O口直接同步输出驱动信号至驱动单元19，完成对各超声波发射器30发射超声波的控制，同时FPGA主控芯片管脚资源丰富且管脚可重定义配置，能够满足系统设计需求。

驱动单元19与控制单元18连接，用于对延时后的原始驱动信号进行放大处理以获得每个超声波发射器30的目标驱动信号，并根据目标驱动信号驱动每个超声波发射器30。

第二电源单元20与第二存储单元17、控制单元18和驱动单元19连接。第二电源单元20用于为整个系统提供稳定可靠的电源，通过电源输入口22输入外部电源，并经DC-DC转换以及线性转换后，为驱动模块240、控制单元18、超声波发射器阵列220提供所需的电源。

在本发明实施例中，由于控制单元18的尺寸相较于驱动单元19的尺寸较小，因此可以通过高速板间连接器将控制单元18固定于驱动单元19上。驱动单元19的尺寸与超声波发射器阵列220的尺寸相当，两者之间可以通过板间连接器实现互联。将超声波发射器阵列220、控制单元18和驱动单元19进行组装，并将组装后的整体封装于第一壳体210内，提高系统的集成性和美观性。

在一些实施例中，如图2所示，在第一容纳腔2的第一侧壁上设置有第一散热孔3，在第二容纳腔2的第二侧壁上设置有第二散热孔4，第一侧壁与第二侧壁相对。通过在第一壳体210两侧分别开通散热孔，可以为系统提供散热效果。

在一些实施例中，触觉反馈子系统200还包括吸风扇和排风扇。具体地，如图2所示，吸风扇设置在第一侧壁上，用于通过第一散热孔3吸取外部空气至第一容纳腔2。排风扇设置在第二侧壁上，用于通过第二散热孔4将第一容纳腔2内空气排出。基于在第一壳体210两侧分别开通散热孔，并结合吸风扇和排风扇，进一步提高对系统的散热效果。

在一些实施例中，如图2所示，触觉反馈子系统200还包括挡盖5，设置在第一壳体210上，用于遮挡开窗，防止超声波发射器30的发射端直接暴露于空气中，并起到保护作用，同时提高产品的美观性。

在一些实施例中，在不阻碍超声波正常辐射的前提下，对挡盖5的设置材料不作限制，例如挡盖5可以为网状保护罩或透波材料挡板。

此外，本发明实施例中数据处理模块230、驱动模块240和超声波发射器阵列220之间均通过微小型板间连接器进行装配，且触觉反馈子系统200整体采用模块化、小型化设计，使得在系统组装后可以降低整体高度、缩小体积，减少占用空间，提高系统的美观性和集成性。

在一些实施例中，如图6所示，成像子系统100包括第二壳体110、成像组件120、检测模块130以及主控模块140。

其中，第二壳体110形成有显示窗口40且在内部形成有第二容纳腔50。

成像组件120设置于第二容纳腔50中，用于将人机交互信息在空中目标区域10成像显示以形成空中交互界面。具体地，成像组件120在空中的确定位置处形成浮空实像即空中交互界面，覆盖浮空实像所在的三维空间即为空中目标区域10，也就是，成像组件120无需借助实体介质即可在空中目标区域10呈现浮空实像，满足用户在视觉上的交互体验，以及成像组件120也无需设置额外的限制机构来引导用户进行操作，减少了用户与设备本体接触的风险。

检测模块130用于检测用户与空中交互界面的交互信号。具体地，如图7所示，检测模块130的感应区域与空中交互界面位于同一平面且包含空中交互界面所处三维空间。通过检测模块130实时检测空中目标区域10处用户对空中交互界面的交互操作，以在检测到用户与空中交互界面的交互信号时，将检测的交互信号反馈至主控模块140，主控模块140响应于交互信号发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统200，以触发触觉反馈子系统200反馈用户对触摸对象的感知。因此，用户通过与空中交互界面直接交互，来触发触觉反馈子系统200进行触觉反馈的操作方式，更加自然舒适。

在实施例中，检测模块130可以为光学传感器，其感应形式可以包括但不限于远近红外、超声波、激光干涉、光栅、编码器、光纤式或CCD(Charge-coupled Device，电荷耦合器件)等。

在实际应用时，检测模块130可以根据安装空间、观看角度和使用环境选择最佳的感应形式，从而方便用户以最佳的姿态在空中目标区域10进行操作，提高用户体验。

主控模块140与成像组件120和检测模块130连接，用于响应于交互信号发送触控反馈控制指令和触控点坐标信息。其中，主控模块140与检测模块130之间可以采用有线或无线方式连接，以传输数字或模拟信号，从而可以灵活控制整体装置的体积，且可以增强触控反馈系统1000的电气稳定性。

在一些实施例中，如图6所示，成像组件120包括显示器25和光学组件26。

具体地，显示器25设置于第二容纳腔50中，与主控模块140连接，用于显示人机交互信息。光学组件26设置于第二容纳腔50中，用于将携带人机交互信息的光线汇聚成像在空中目标区域10，以形成空中交互界面。

其中，如图6所示，显示器25设置于光学组件26的光源侧，显示窗口40在光学组件26的成像侧。通过主控模块140控制显示器25显示人体交互信息，显示器25显示的人体交互信息的光线通过光学组件26成像显示在空中目标区域10，形成空中交互界面，以用于引导用户触控。

在实施例中，显示器25的成像模式可以包括RGB(红色、绿色、蓝色)发光二极管(Light Emitting Diode，LED)、LCD(Liquid Crystal Display，液晶显示器)、LCOS(LiquidCrystal on Silicon，液晶附硅)器件、OLED(Organic Light-Emitting Diode，有机发光二极管)阵列、投影、激光、激光二极管或任何其他合适的显示器或立体显示器，对此不作限制。显示器25可以提供清晰、明亮且高对比度的动态图像光源，主控模块140控制显示器25显示人体交互信息，并经光学组件26折射，可以在空中目标区域10位置呈现出清晰的空中交互界面，从而便于用户操作。

在实施例中，可以设置显示器25的亮度不低于500cd/m

在实施例中，可以对显示器25的显示图像表面进行可视角控制处理，以减轻空中目标区域10的残影，提高画面质量，同时也可以防止他人窥视，便于广泛应用于其他需要隐私信息保护的输入装置。

下面对本发明实施例的光学组件26的结构及其实现成像的原理进行说明。

在一些实施例中，光学组件26可以采用平板透镜，平板透镜固定于第二壳体110上，如图8所示，平板透镜包括两个透明基板8，以及置于两个透明基板8之间的第一光波导阵列6和第二光波导阵列7。其中，第一光波导阵列6和第二光波导阵列7在同一平面紧密贴合且正交布置。优选地，第一光波导阵列6和第二光波导阵列7的厚度相同，便于设计和生产。

具体地，如图8所示，平板透镜从显示器25一侧到空中目标区域10一侧依次包括第一透明基板8、第一光波导阵列6、第二光波导阵列7和第二玻璃基板8。

其中，第一透明基板8和第二透明基板8均具有两个光学面，透明基板8对波长在390nm至760nm之间的光线具有90％-100％的透射率。透明基板8的材料可以为玻璃、塑料、聚合物和丙烯酸树脂中的至少一个，用于保护光波导阵列及滤除多余光线。需要说明的是，如果第一光波导阵列6和第二光波导阵列7紧密正交贴合后的强度足够，或者安装环境有厚度限制，则也可以只配置一个透明基板8或完全不配置透明基板8。

光学组件26实现空中成像的原理为，第一光波导阵列6和第二光波导阵列7由多个横截面为矩形的反射单元9组成，各反射单元9的长度由光波导阵列外围尺寸限制从而长短不一。如图9所示，第一光波导阵列6中反射单元9的延伸方向为X，第二光波导阵列7的反射单元9的延伸方向为Y，Z方向为光波导阵列的厚度方向。第一光波导阵列6和第二光波导阵列7中反射单元9的延伸方向(光波导阵列方向)相互垂直，即从Z方向(厚度方向)看，第一光波导阵列6和第二光波导阵列7之间正交布置，从而使处于正交方向的两个光束会聚于一点，且保证物像面(光源侧和成像侧)相对于平板透镜对称，产生等效负折射现象，实现空中成像。

在一些实施例中，如图10所示，第一光波导阵列6或第二光波导阵列7由以用户视角偏转45°斜向布置的多个平行排布的反射单元9组成。具体地，第一光波导阵列6可由呈左下方向45°并排且横截面为矩形的反射单元9组成，第二光波导阵列7可由呈右下方向45°并排且横截面为矩形的反射单元9组成，两组光波导阵列中反射单元9的排列方向可以互换。例如，第一光波导阵列6中反射单元9的延伸方向为Y，第二光波导阵列7的反射单元9的延伸方向为X，Z方向为光波导阵列的厚度方向，从Z方向(厚度方向)看，第一光波导阵列6和第二光波导阵列7之间正交布置，使处于正交方向的两个光束会聚于一点，且保证物像面(光源侧和成像侧)相对于平板透镜对称，产生等效负折射现象，实现空中成像。其中，光波导材料具有光学折射率n1，在一些实施例中，n1>1.4，例如n1取值为1.5、1.8、2.0等。

如图11所示，对于第一光波导阵列6和第二光波导阵列7，各反射单元9与其相邻的反射单元9之间存在两个交接面，各交接面之间由透光性较好的胶粘剂28接合。优选地，胶粘剂28可以选择光敏胶或热固胶，胶粘剂28的厚度为T1，且满足T1>0.001mm，例如，T1＝0.002mm或者T1＝0.003mm或者T1＝0.0015mm，具体厚度可以依据具体需要设置。平板透镜中相邻的光波导阵列之间以及光波导阵列与透明基板8之间均设置有胶粘剂28，增加牢固性。

在一些实施例中，反射单元9的横截面可以为矩形，且沿反射单元9的排布方向的一侧或两侧面设置有反射膜27。具体地，如图11所示，在光波导阵列排布方向上，各反射单元9两侧均镀有反射膜27，该反射膜27的材料可以为实现全反射的铝、银等金属材料或其他非金属化合物材料。反射膜27的作用是防止光线因没有全反射而进入相邻光波导阵列中形成杂光影响成像。或者，各反射单元9也可以在反射膜27上添加介质膜，介质膜的作用是提高光反射率。

单个反射单元9的横截面宽a和横截面长b，满足0.1mm≤a≤5mm，0.1mm≤b≤5mm，例如a＝2mm，b＝4mm；或者，a＝3mm，b＝5mm。在大屏幕显示时可以通过拼接多块光波导阵列来实现大尺寸需求。光波导阵列的整体形状根据应用场景需要设置，本实施例中，两组光波导阵列整体呈矩形结构，两对角的反射单元9为三角形，中间的反射单元9为梯形结构。单个反射单元9的长度不等，位于矩形对角线的反射单元9长度最长，两端的反射单元9长度最短。

此外，平板透镜还可以包括增透部件和视角控制部件，增透部件可以提高平板透镜的整体透过率，提高成像于空中目标区域10的空中交互界面的清晰度和明亮度。视角控制部件可以用于消除成像于空中目标区域10的空中交互界面的残像，降低观察者的眩晕感，同时防止观察者从其他角度窥视到装置内部，提升装置整体的美观度。其中，增透部件和视角控制部件可以组合，或者也可以分别独立设置在透明基板8与波导阵列的之间、两层波导阵列之间或透明基板8的外层。

下面参考图8对平板透镜的成像原理进行说明，具体内容如下。

在微米尺度上，使用相互正交的双层波导阵列结构，来对任意光信号进行正交分解。原始信号投射在第一光波导阵列6，以原始信号投射点作为原点、垂直于第一光波导阵列6为x轴建立直角坐标系，在该直角坐标系内原始信号被分解为位于x轴的信号X和位于y轴的信号Y两路相互正交信号。其中，信号X在经过第一光波导阵列6时，按照与入射角相同的反射角在反射膜27表面进行全反射；此时，信号Y保持平行于第一光波导阵列6，穿过第一光波导阵列6后，在第二光波导阵列7表面按照与入射角相同的反射角在反射膜27表面进行全反射，反射后的信号Y与信号X组成的反射后的光信号便与原始光信号成镜面对称。因此任意方向的光线经过此平板透镜均可实现镜面对称，任意光源的发散光经过此平板透镜便会在对称位置重新汇聚成浮空实像，即在空中目标区域10处成像空中交互界面，浮空实像的成像距离与平板透镜到像源即显示器25的距离相同，为等距离成像，且浮空实像的位置在空中，不需要具体载体，而是直接在空气中呈现实像。因此，使用者所看到的空间中的影像即是显示器25发出的图像。

在本发明实施例中，显示器25光源发出的光线在穿过平板透镜时，在平板透镜上发生上述过程。具体地，如图12所示，光线在第一光波导阵列6上的入射角分别为α

进一步地，汇聚成像后的入射角分别为α

可以理解的是，若光波导阵列的尺寸较小，则仅在距离光波导阵列成像侧的一定距离才可看到影像；而若光波导阵列的尺寸变大，即可实现更大的成像距离，从而增大视野率。

优选地，平板透镜与显示器25的夹角设置为45°±5°的范围，从而可以有效利用平板透镜的尺寸，提高成像质量和降低残像影响。此外，如果对成像位置有其他需求，则也可以在牺牲部分成像质量的情况下选择其他角度，优选地，平板透镜的大小设置为可以显示整个显示器25所呈现的浮空实像的画面。但如果实际使用时仅需要看到显示器25的部分画面，则平板透镜的尺寸也可以根据实际显示画面自由调整大小和位置，对此不作限制。

另外，以上主要表述采用双层光波导阵列结构的平板透镜的成像原理，在另一些实施例中，若将四周面均设为附有反射膜27的多个立方柱状反射单元9，且多个立方柱状反射单元9均在一层光波导阵列结构中沿X和Y方向呈阵列排布，即将两层光波导阵列合并成一层，其成像原理与双层光波导阵列结构的成像原理相同，也可以作为平板透镜的结构。

在实施例中，第一光波导阵列6与第二光波导阵列7的厚度相同，从而可以简化第一光波导阵列6与第二光波导阵列7结构的复杂度，降低第一光波导阵列6与第二光波导阵列7的制造难度，提升第一光波导阵列6与第二光波导阵列7的生产效率，减少第一光波导阵列6与第二光波导阵列7的生产成本。需要注意的是，此处的厚度相同为一个相对的范围，并非是绝对相同，即以提高生产效率为目的，在不影响空中成像质量的前提下，光波导阵列之间可以存在一定的厚度差。

在一些实施例中，第二容纳腔50的内壁上设置有吸光层。也就是，在第二壳体110内除显示器25显示面以外的部分均做黑色吸光处理，如喷涂吸光涂料或张贴吸光膜，以用于消除第二壳体110内部构件对光线的漫反射，提高空中交互界面的显示效果。

本发明实施例中，超声波发射器阵列220可以采用穿透性较强的超声波发射器30，因此，对于触觉反馈子系统200的布置方式，可以根据实际应用场合以及系统的需求进行灵活布置，对此不作限制。以下具体说明本发明实施例优选的几种布置方案。

在一些实施例中，如图6所示，触觉反馈子系统200设置于成像子系统100的上方且位于空中交互界面的触摸侧。超声波发射器阵列220的发射端与空中交互界面平行相对设置。超声波发射器阵列220的发射端朝向空中交互界面。通过将超声波发射器阵列220与空中交互界面呈平行布置，可以减小各超声波发射器30与触控点之间的空间距离，提高聚焦精度。

在另一些实施例中，触觉反馈子系统200设置于成像子系统100的上方且位于空中交互界面的成像侧，如图13所示，超声波发射器阵列220与光学组件26垂直，且超声波发射器阵列220与空中交互界面在水平方向平齐，超声波发射器阵列220的发射端朝向空中交互界面。通过将超声波发射器阵列220与空中交互界面布置在同一侧，可以减少超声波因受外物阻碍而造成的辐射能量损耗。

在另一些实施例中，触觉反馈子系统200设置于第二容纳腔50中，且位于光学组件26对携带人机交互信息的光线的反射路径上，如图14所示，超声波发射器阵列220的发射端朝向空中交互界面。通过将超声波发射器阵列220集成于成像子系统100中，在整体上提高触控反馈系统1000的美观性和集成性。

在另一些实施例中，触觉反馈子系统200设置于成像子系统100的上方且位于空中交互界面的触摸侧，如图15所示，超声波发射器阵列220与光学组件26平行设置，超声波发射器阵列220与空中交互界面在垂直方向平齐，超声波发射器阵列220的发射端朝向空中交互界面。通过将超声波发射器阵列220与空中交互界面布置在同一侧，可以减少超声波因受外物阻碍而造成的辐射能量损耗。

概括来说，根据本发明实施例的触控反馈系统1000，通过成像子系统100采用可交互空中成像技术，在空中的确定位置形成空中交互界面，即无需借助任何实体介质在空中目标区域10处呈现浮空实像，以及，通过触觉反馈子系统200采用超声波辐射压力触控反馈技术，将超声波聚焦点区域调整为覆盖空中交互界面所处位置，该区域构成指导用户触控区。当用户触摸空中交互界面时，成像子系统100触发触觉反馈子系统200在触控点处利用超声波声压叠加而产生触觉反馈力，即无需借助实体设备，实现对该浮空触控对象的触觉感知。因此，本发明实施例将超声波辐射压力触觉反馈技术与可交互空中成像技术深度融合，通过触控反馈系统1000的集成与开发，既实现用户非接触式触觉反馈，又在视觉和触觉上给用户营造全新的显示与交互体验。以及，基于触觉反馈子系统200发射超声波所产生的声压叠加聚焦形成的触控点，使得在空中目标区域10为用户提供了实际的触控依托，用户通过指尖即可准确感知触控情况，从而在视觉反馈的基础上，提高触控交互效率，避免用户在空中无意义的重复点触。以及，本发明实施例中超声波发射器30采用低功率的小型化产品，也可以避免对人体造成损害。

本发明第二方面实施例提供一种终端设备，如图16所示，终端设备2000包括设备本体300以及上述实施例提供的触控反馈系统1000，触控反馈系统1000设置在设备本体300上。

根据本发明实施例的终端设备2000，通过采用上述实施例提供的触控反馈系统1000，可以实现用户非接触式触觉反馈的目的，且无需设置额外的限制用户操作装置，操作方式也更加自然方便，并在视觉和触觉上同时满足用户的交互体验。

本发明第三方面实施例提供一种触控反馈控制方法，如图17所示，本发明实施例的方法至少包括步骤S1-步骤S3。

步骤S1，将人机交互信息在空中目标区域成像显示以形成空中交互界面。

本发明实施例采用以可交互空中成像技术与超声波辐射压力触觉反馈技术相结合的方式，用以高效完成空中触觉反馈交互。

在实施例中，本发明实施例通过采用可交互空中成像技术，可以在空中的确定位置处将人机交互信息进行显示，以形成空中交互界面，在视觉上满足用户的交互体验。空中交互界面位置在空中是相对固定的，因此将空中交互界面所在的三维空间作为空中目标区域。因此，用户可以直接与空中交互界面进行交互，而无需设置额外的限制机构来引导用户进行操作，避免了用户与设备本体接触的风险，减少因用户交叉使用而引发的公共卫生安全问题，同时也避免因用户指纹信息残留，使得个人信息泄露而造成的信息安全问题。

步骤S2，检测到用户与空中交互界面的交互信号，获取触控点坐标信息并发送触控反馈控制指令。

在实施例中，将空中交互界面作为触觉感知的基准面，用于引导用户触控。在检测到用户与空中交互界面的交互信号后，可以根据空中交互界面的显示对象，并结合触控点的分布，确定触控点坐标信息，进而发送触控点坐标信息和触控反馈控制指令，以在触控点处为用户提供触觉反馈。

步骤S3，根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至触控点。

在实施例中，本发明实施例通过采用超声波辐射压力触觉反馈技术，响应于触控反馈控制指令，控制超声波发射器阵列发射超声波，同时结合触控点坐标信息，控制超声波发射器阵列发射的超声波在同时刻聚焦至触控点，使得在触控点处所叠加后的超声波声压可以被人体感知，实现超声波触觉反馈。

根据本发明实施例的触控反馈控制方法，通过将人机交互信息在空中目标区域成像显示以形成空中交互界面，即采用可交互空中成像技术，将空中交互界面作为触觉感知的基准面，以用于引导用户触控，并在检测到用户与空中交互界面的交互信号时，获取触控反馈控制指令和触控点坐标信息，以根据获取的触控反馈控制指令和触控点坐标信息，控制超声波发射器阵列发射超声波并将超声波聚焦至触控点，即通过超声波辐射压力，以在人体与触控点之间产生触觉反馈效果，使得人体可以真实感受到触控点的存在，实现用户非接触式触觉反馈的目的，以及本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，既在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，又无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险，也避免出现因用户信息遗留在接触面上而造成个人信息泄露的问题，更加卫生安全。

在一些实施例中，由于超声波发射器阵列中每个超声波发射器与触控点的距离不同，因此，对于根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至触控点，包括，根据触控点坐标信息和超声波发射器阵列中每个超声波发射器的发射端的位置信息确定每个超声波发射器的延时相位，以及根据触控反馈控制指令生成原始驱动信号。从而根据每个超声波发射器的延时相位对原始驱动信号进行调整，以控制每个超声波发射器发射超声波的发射时间，将多个超声波发射器发射的超声波在同时刻聚焦至触控点，实现触觉反馈。

在一些实施例中，超声波发射器阵列中包含多个超声波发射器，因此对于根据触控反馈控制指令生成原始驱动信号，包括，根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号，以根据对应的原始驱动信号实现对超声波发射器阵列中各个超声波发射器的控制。

在一些实施例中，对于根据每个超声波发射器的延时相位对原始驱动信号进行调整，包括，根据每个超声波发射器的延时相位对原始驱动信号进行延时处理，获得每个超声波发射器的目标驱动信号；根据目标驱动信号驱动每个超声波发射器。从而，通过对一定数量的超声波发射器相位的控制，实现所有超声波发射器同时刻到达触控点处进行叠加，以使叠加后的超声波声压可以被人体真实感知，实现超声波触觉反馈。

在一些实施例中，由于声速值随环境温度而变化，对延时相位数据的计算影响较大，因此本发明需对环境温度进行实时采集，具体包括，获取环境温度，并根据环境温度对每个超声波发射器的延时相位进行校正，以减小延时控制误差，提高超声波发射器阵列的聚焦精度。

本发明实施例中对于较复杂的二维交互界面或三维立体交互对象，分别采用单块阵列分区域控制或多块阵列同步控制的方案，具体如下。

在一些实施例中，由于超声波发射器阵列所提供的触控区域面积的限制，复杂交互界面触控区域较大，单一阵列控制时对系统刷新频率要求高，且大阵列所有超声波传感器都进行聚焦控制时，相位延时时间增大，无法保证聚焦精度，无法满足系统实时性要求，因此，本发明设置超声波发射器阵列包括n个分布在同一平面的超声波发射器子阵列，空中交互界面划分为n个触控子区，n个超声波发射器子阵列与n个触控子区一一对应配置。也就是，采用单块阵列分区域控制的方式，将超声波发射器阵列进行分区，以分成若干个超声波发射器子阵列，且每个超声波发射器子阵列分别映射到对应的触控子区，由所有的触控子区组成复杂的二维交互界面。

对于单块阵列分区域控制的方式，本发明实施例中根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至触控点，包括，根据触控点坐标信息确定触控点对应空中交互界面中的目标触控子区；根据目标触控子区确定目标超声波发射器子阵列，根据触控点坐标信息和目标超声波发射器子阵列中每个超声波发射器的发射端的位置信息确定超声波发射器子阵列中每个超声波发射器的延时相位；根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号；根据目标超声波发射器子阵列中每个超声波发射器的延时相位对原始驱动信号进行延时处理以获得目标超声波发射器子阵列中每个超声波发射器的目标驱动信号；根据目标驱动信号驱动超声波发射器子阵列中每个超声波发射器。由此，基于超声波发射器阵列分为多个区域，通过控制目标触控子区中的每个超声波发射器的相位，从而可以减少聚焦点数目以及相位延时时间差，保证聚焦精度，满足系统的实时性要求。

举例说明，如图18所示，本发明实施例将空中交互界面分割成四个触控子区，并分别映射到对应的超声波发射器子阵列上，以减少聚焦点数目以及相位延时时间差，并采用局部聚焦的方式实现聚焦扫描。具体地，在数据处理模块获取触控区域所有触控点坐标后，按照就近原则将触控点分配给对应的超声波发射器子阵列，组成四个触控子区域与超声波发射器子阵列分组，各分组的聚焦控制过程与单阵列聚焦控制过程原理相同，即根据触控点坐标信息确定触控点对应空中交互界面中的触控子区，该区域作为目标触控子区，目标触控子区对应的超声波发射器子阵列即为目标超声波发射器子阵列。数据处理模块计算目标触控子区所对应的所有超声波发射器的延时相位数据，并将延时相位数据发送至驱动模块。驱动模块根据接收到的延时相位数据以及触控反馈控制指令，完成目标触控子区的信号调制、时钟分配、延时控制以及驱动放大，并将目标驱动信号同步输出至对应的超声波发射器子阵列，以控制超声波发射器子阵列上每个超声波发射器在规定时刻发射超声波，由此完成对应触控点的聚焦控制，保证聚焦精度。

在一些实施例中，对于三维立体交互场景，由于聚焦点分布在空间任意点，而并非在同一个平面上，因此，本发明设置超声波发射器阵列为n个，n个超声波发射器阵列分布在同一平面或者以预设角度错开设置，空中交互界面划分为n个触控子区，n个超声波发射器阵列与n个触控子区一一对应配置。也就是，采用多块超声波发射器阵列，并将触控区域分为若干个触控子区域，按照触控子区域所在的位置布置相应的超声波发射器阵列，即以多块阵列同步控制的方式，实现各超声波发射器在触控点叠加汇聚。其中，对于多块超声波发射器阵列的布置，根据实际需求可以分布在同一平面上，也可以按照一定角度错开布置，对此不作限制。

对于多块阵列同步控制的方式，本发明实施例中根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至触控点，包括，根据触控点坐标信息确定触控点对应空中交互界面中的目标触控子区；根据目标触控子区确定目标超声波发射器阵列；根据触控点坐标信息和目标超声波发射器阵列中每个超声波发射器的发射端的位置信息确定目标超声波发射器阵列中每个超声波发射器的延时相位；根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号；根据目标超声波发射器阵列中每个超声波发射器的延时相位对原始驱动信号进行延时处理以获得目标超声波发射器阵列中每个超声波发射器的目标驱动信号；根据目标驱动信号驱动目标超声波发射器阵列中每个超声波发射器。基于多块超声波发射器阵列的设置，通过控制目标超声波发射器阵列中的每个超声波发射器的相位，可以保证聚焦精度，满足系统的实时性要求。

举例说明，如图19所示，可以设置八个超声波发射器阵列对应八个触觉反馈子系统，触控点按照就近原则分配给对应的触觉反馈子系统，组成八个触控子区与触觉反馈子系统分组，各分组的聚焦控制过程与单阵列聚焦控制过程原理相同。具体地，八个触觉反馈子系统对应的数据处理模块分别获取对应触控子区的触控点坐标，根据触控点坐标确定该触控点所对应的触控子区即为目标触控子区，目标触控子区对应的超声波发射器阵列即为目标超声波发射器阵列，目标超声波发射器阵列对应的数据处理模块计算目标超声波发射器阵列内所有超声波发射器的延时相位数据，并将数据发送给对应的驱动模块。驱动模块根据接收到的目标超声波发射器阵列的延时相位数据以及触控反馈控制指令，完成对目标超声波发射器阵列的信号调制、时钟分配、延时控制以及驱动放大，并将目标驱动信号传送给目标超声波发射器阵列，以控制目标超声波发射器阵列上每个超声波发射器在规定时刻发射超声波，完成对应触控点的聚焦控制。因此，通过采用多个超声波发射器阵列，以在不同角度对触控对象进行聚焦控制，可以保证聚焦精度和系统实时性。

需要注意的是，本发明考虑多个超声波发射器阵列控制的同步问题，在整个系统中设置一路同步控制信号，使得各触控子区与触觉反馈子系统分组在同步控制信号的控制下可以进行同步工作，从而保证各触控子区域触控点的同步扫描，为用户提供良好的触控感受，避免出现渲染失真如边界触控不连续的问题。

本发明第四方面实施例提供一种存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述实施例提供的触控反馈控制方法。

在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。