一种投影画面交互控制方法、装置及存储介质

技术领域

本发明涉及投影交互控制领域，特别涉及一种投影画面交互控制方法、装置及存储介质。

背景技术

当前市面上的投影设备大多只有单纯的显示功能，想要控制投影画面仅能够通过遥控器控制，缺少能够与用户动作配合的控制功能。

有部分投影设备具有识别用户手势进行操作的功能，但大部分操作逻辑较为繁琐，且不容易实现。

发明内容

本申请实施例提供了一种投影画面交互控制方法、装置及存储介质，以至少解决相关技术中使用遥控器控制投影画面时用户体验感差，以及动作交互逻辑繁琐、不容易实现等问题。

根据本申请实施例的一个方面，提供了一种投影画面交互控制方法，包括：一种投影画面交互控制方法，其特征在于，

所述方法包括：

获取多帧连续图像，所述多帧连续图像包括投影画面及控制物体的图像；

根据所述多帧连续图像，确定所述控制物体相对于所述投影画面的相对位置变化；

根据所述相对位置变化，控制所述投影画面移动。

可选地，所述根据所述多帧连续图像，确定所述控制物体相对于所述投影画面的相对位置变化，包括：

根据所述多帧连续图像，确定所述投影画面的坐标信息以及控制物体的坐标信息；

根据所述投影画面的坐标信息以及所述控制物体的坐标信息，获取所述控制物体相对于所述投影画面的相对位置变化。

可选地，所述根据所述投影画面的坐标信息以及所述控制物体的坐标信息，获取所述控制物体相对于所述投影画面的相对位置变化，包括：

从所述多帧连续图像中的任意一帧或多帧图像确定所述投影画面的关键点坐标；

根据所述多帧连续图像中第一图像和第二图像确定所述控制物体的关键点坐标，其中，所述第一图像的拍摄时间晚于所述第二图像的拍摄时间；

依据所述第一图像中的所述控制物体的关键点坐标、所述第二图像中的所述控制物体的关键点坐标及所述投影画面的关键点坐标，获取所述控制物体相对于所述投影画面的相对位置变化。

可选地，所述获取所述控制物体相对于所述投影画面的相对位置变化，包括：

计算得到所述第一图像中的所述控制物体的关键点坐标与所述投影画面的关键点坐标的第一差值；

计算得到所述第二图像中的所述控制物体的关键点坐标与所述投影画面的关键点坐标的第二差值；

根据所述第一差值与所述第二差值获取所述控制物体相对于所述投影画面的相对位置变化。

可选地，所述根据所述相对位置变化，控制所述投影画面移动，包括：

根据所述相对位置变化，确定所述投影画面的目标移动方向；

基于所述目标移动方向，控制所述投影画面移动。

可选地，所述根据所述相对位置变化，控制所述投影画面移动，还包括：

判断所述控制物体是否处于所述投影画面内，获取判断结果；

根据所述判断结果，对所述相对位置变化进行响应，控制所述投影画面移动。

可选地，所述获取多帧连续图像，所述多帧连续图像包括投影画面及控制物体的图像之前，还包括：

响应于交互控制指令，基于所述交互控制指令控制传感器采集所述多帧连续图像。

可选地，所述根据所述相对位置变化，控制所述投影画面移动之前，还包括：

根据所述多帧连续图像，计算所述控制物体的关键点与所述投影画面的距离；

若所述距离小于预设阈值，则进行下一步。

根据本申请实施例的另一方面，还提供了一种投影画面交互控制装置，包括：

图像获取模块，用于获取多帧连续图像，所述多帧连续图像包括投影画面及控制物体的图像；

位置确定模块，根据所述多帧连续图像，确定所述控制物体相对于所述投影画面的相对位置变化；

投影控制模块，用于根据所述相对位置变化，控制所述投影画面移动。

根据本申请实施例的另一方面，还提供了一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的投影画面交互控制方法。

在本申请实施例中，首先获取多帧连续图像，所述多帧连续图像包括投影画面及控制物体的图像；然后根据所述多帧连续图像，确定所述控制物体相对于所述投影画面的相对位置变化；最后根据所述相对位置变化，控制所述投影画面移动。用户能够通过手部移动控制投影画面移动，简化了类似功能的操作、实现逻辑，解决了相关技术中利用遥控器调节投影画面时用户交互体验感差的技术问题。

附图说明

图1为本申请提供的投影画面交互控制方法的一实施例的流程图；

图2为本申请提供的将投影画面映射至传感器的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图和实施例对本申请进行详细的说明。

本发明提供一种投影画面交互控制方法，如图1所示，该方法包括步骤S102-S104其中：

S102：获取多帧连续图像，所述多帧连续图像包括投影画面及控制物体的图像；

在本申请提供的实施例中，用户在想要对画面进行交互控制时，能够通过交互控制指令来启用，进行投影画面交互控制。在其他一些实施例中，投影设备也可默认开启该功能。

具体的，响应于交互控制指令，基于所述交互控制指令控制传感器采集所述多帧连续图像。例如，用户能够通过语音控制或菜单界面内的选项等方法触发投影画面交互控制功能，当然，用户也可以通过设置快捷键的方式快触发上述功能。

在本申请提供的实施例中，本方案所应用的手部动作交互场景，手部识别的数据基础是传感采集的多帧连续图像。

具体的，多帧连续图像由传感器采集，该多帧连续图像可包括在一段时间内两帧或以上的图像，两帧或以上的图像可以为相邻帧的图像，也可为不相邻帧的图像，且多帧连续图像的类型可以为RGB、红外或其他类型中的任意一种，包含了由投影设备产生的投影画面图像以及控制物体的图像。同时，该传感器还能够获取距离数据和/或深度数据。

其中，控制物体为用户手部，在一些其他实施例中，该控制物体也可为其他物体，如指挥棒等能够用于指示和/或便于执行控制操作的物体。

S103：根据所述多帧连续图像，确定所述控制物体相对于所述投影画面的相对位置变化；

在本申请提供的实施例中，基于多帧连续图像获取投影画面的坐标信息以及控制物体的坐标信息。通过控制物体的坐标信息以及投影画面的坐标信息获取控制物体相对于投影画面的相对位置变化。具体的，由于传感器以及投影画面的特性，在本实施例中，投影画面与传感器的相对位置固定，因此，仅需在传感器所采集的多帧连续图像数据中任意选取一帧图像提取其记载的投影画面相关的位置数据、距离数据和/或深度数据，并通过位置数据、距离数据和/或深度数据，得到多个投影画面特征点的三维坐标，将该多个投影画面特征点的三维坐标通过空间平面公式Ax+By+Cz+D＝0进行平面拟合，得到拟合平面P以及拟合平面P的法向量N(A，B，C)。其中，A、B、C为拟合平面的法向量参数，x、y、z分别为三维坐标的x轴坐标、y轴坐标以及z轴坐标。在得到拟合平面P后，可以将拟合平面P作为投影画面在三维坐标系中的映射，该拟合平面P在三维空间与投影屏幕等投影区域完全重合。

具体的，在多帧连续图像中选取第一图像与第二图像，并根据第一图像与第二图像确定控制物体的关键点坐标，需要说明的是，在本实施例中，第一图像的拍摄时间晚于第二图像，因此，在多帧连续图像中，第一图像的位置序列在第二图像的位置序列之前。

具体的，在本实施例中，可采用预设识别模型识别出第一图像及第二图像中控制物体区域，选择控制物体区域中的一个或多个点作为关键点，通过控制物体区域的位置数据、距离数据和/或深度数据得到在第一图像及第二图像中控制物体关键点的三维坐标点，在本实施例中，选取了控制物体重心为关键点，将控制物体关键点的三维坐标点与实际控制物体坐标进行等同，同样也可选取其他控制物体关键点进行等同，在此不做约束。

基于传感器像素点分布建立二维坐标系，并基于拟合平面P的法向量N(A，B，C)以及映射关系H，将投影画面的四个角坐标映射至上述基于传感器的二维坐标系，如图2所示。具体的，使用公式

在投影画面的二维坐标区域中选取关键点，该关键点可为投影画面的中心点，获得投影画面的关键点坐标，上述投影画面的关键点坐标为投影画面的关键点在基于传感器的二维坐标系中的坐标。

需要说明的是，本实施例中的坐标系除可以基于传感器像素点分布进行建立外，还可以通过其他方式进行建立，如基于投影机光机建立对应坐标系。

需要说明的是，除选择投影画面的中心点为关键点外，还可选取投影区域内的其他任意点位作为关键点，不影响具体的方法实现。

在本申请提供的实施例中，在得到控制物体的坐标信息及投影画面的坐标信息后，还可执行一项前序检测步骤。

具体的，计算控制物体的关键点与投影画面的距离，若所述距离小于预设阈值，则执行后续步骤。在其他一些实施例中，也可在所述距离小于或等于预设阈值时再计算上述的相对位置变化。

具体的，通过控制物体关键点的三维坐标以及投影画面特征点的三维坐标，得到控制物体关键点与传感器的距离值Q

一些其他实施例中，还可有其他计算控制物体的关键点与投影画面距离的方法，如：通过预设识别模型，识别多帧连续图像中的控制物体，并基于传感器直接提取控制物体的位置信息，获得该控制物体的二维关键点坐标，同时，基于传感器获得该控制物体关键点与传感器的距离，根据控制物体的二维关键点坐标与控制物体关键点与传感器的距离，得到控制物体的三维关键点坐标，并计算该控制物体的关键点与前述拟合平面P的距离Q′，其中，该控制物体的关键点与前述拟合平面P的距离Q′等同于上述控制物体关键点与投影画面的距离Q

上述前序检测步骤的作用为当用户开启交互控制功能后，可能会出现手部意外被传感器识别到的情况，导致投影画面被误移动，影响用户的使用体验，该前序检测步骤极大地减少了上述情况的发生，提高的用户的体验。

在本申请提供的实施例中，依据第一图像中的所述控制物体的关键点坐标、第二图像中的所述控制物体的关键点坐标及所述投影画面的关键点坐标，获取所述控制物体相对于所述投影画面的相对位置变化。

具体的，通过将第一图像中控制物体的关键点坐标与投影画面的关键点坐标进行对应运算，得到第一图像中控制物体的关键点坐标与投影画面的关键点坐标第的第一差值N

S104：根据所述相对位置变化，控制所述投影画面移动；

在本申请提供的实施例中，可根据相对变化量确定投影画面的目标移动方向，再基于目标移动方向控制投影画面移动。

具体的，在本申请中，包括9种目标移动方向，上述9种目标移动方向由控制物体关键点相对于投影画面的相对位置变化量N′(L′，K′)确定，

当L′＞0，K′＞0时，为第一目标移动方向，

当L′＞0，K′＜0时，为第二目标移动方向，

当L′＞0，K′＝0时，为第三目标移动方向，

当L′＜0，K′＞0时，为第四目标移动方向，

当L′＜0，K′＜0时，为第五目标移动方向，

当L′＜0，K′＝0时，为第六目标移动方向，

当L′＝0，K′＞0时，为第七目标移动方向，

当L′＝0，K′＜0时，为第八目标移动方向，

当L′＝0，K′＝0时，为第九目标移动方向，

上述第一到第九目标移动方向分别对应右上、右下、正右、左上、左下、正左、正上、正下以及静止九种目标移动方向。

需要说明的是，在本实施例中，提供了较为完整的目标移动方向与相对位置变化量N′(L′，K′)的对应关系，在一些其他实施例中，目标移动方向可仅包括水平左右方向移动、垂直上下方向移动等4种目标移动方向，对应上述第三目标移动方向、第六目标移动方向、第七目标移动方向及第八目标移动方向。

还需要说明的是，在一些其他实施例中，目标移动方向也可仅包括水平左右移动等2种目标移动方向，对应上述第三目标移动方向及第六目标移动方向。

在本实施例中，在确定目标移动方向后，控制投影画面朝目标移动方向移动预设距离，该预设距离可为任意值，在此不作约束。

在一些其他实施例中，除需要确定目标移动方向外，还需要确定目标移动距离，目标移动距离包括水平目标移动距离值以及垂直目标移动距离值，水平目标移动距离值为|L′|，垂直目标移动距离值|K′|。例如，当|L′|＝1，|K′|＝2，且目标移动方向为第一移动方向时，控制画面向正右方向移动1像素距离，并继续向正上方向移动2像素距离。

需要说明的是，在本实施例中仅提供控制投影画面移动方法中的一种，还可以其他方法如通过控制配套投影机的云台转动来控制投影画面进行移动。

在本实施例中，还可对控制物体的位置进行判断，通过该判断的结果来决定是否响应上述相对位置变化并控制投影画面移动。

具体的，在投影画面的坐标区域外邻接设置一个或多个其中一条边沿为投影画面的坐标区域边沿的虚拟判定框，上述一个或多个虚拟判定框同样为基于传感器像素分布的二维坐标系中的一个或多个坐标区域。其中，虚拟判定框的大小能够自由调整。

具体的，获取控制物体关键点的坐标，其中，该坐标为控制物体关键点在基于传感器像素分布的二维坐标系中的二维坐标，获取投影画面在在基于传感器像素分布的二维坐标系中的坐标区域，当控制物体关键点的坐标落入投影画面的坐标区域时，则认为控制物体处于投影画面内，当控制物体关键点的坐标未落入投影画面的坐标区域，但落入虚拟判断框时，则认为控制物体处于投影画面边缘，当控制物体关键点的坐标未落入投影画面的坐标区域，且未落入虚拟判断框时，则认为控制物体处于投影画面外。

在一些其他实施例中，可在坐标系中设置一个虚拟判定框，该虚拟判定框被视为一个坐标区域，投影画面的一个或多个边沿处于该虚拟判定框内部，当控制物体关键点的坐标落入投影画面的坐标区域且未落入该虚拟判定框时，则认为控制物体处于投影画面内，当控制物体关键点的坐标落入投影画面的坐标区域且落入该虚拟判定框时，则认为控制物体处于投影画面边缘，当控制物体关键点的坐标未落入投影画面的坐标区域，且未落入虚拟判断框时，则认为控制物体处于投影画面外。

在一些其他实施例中，也可设置一个或多个投影画面关键线，计算控制物体关键点与上述投影画面关键线的距离，当控制物体关键点与投影画面关键线的距离小于设定阈值，则认为控制物体处于投影画面边缘，当控制物体关键点的坐标落入投影画面的坐标区域且控制物体关键点与投影画面关键线的距离大于设定阈值时，则认为控制物体处于投影画面内，当控制物体关键点的坐标未落入投影画面的坐标区域且控制物体关键点与投影画面关键线的距离大于设定阈值时，则认为控制物体处于投影画面外。

具体的，获取第一图像中控制物体的关键点坐标与投影画面的关键点坐标第的第一差值N

当控制物体处于投影画面内，且仅当H

当控制物体处于投影画面边缘，且仅当H

当控制物体处于投影画面外时，不响应任何相对位置变化。通过上述步骤，基于部分合理的限制，能够减少用户在交互控制过程中出现冗余操作，等同于减少了用户的操作量，使得用户在短时间内就能够将投影画面调整至满意的位置。

本申请实施例提供的方法能够使得投影画面随着控制物体的移动实时地对投影画面进行调整，无需用户进行长时间的等待，方便，快捷。相对于其他实现方式，本申请提供的方法简化了投影画面交互控制的控制逻辑以及实现方式，极大地提高了用户的交互体验。

此外，在进行上述所有步骤时，同步触发实时校正模块和护眼模块，实时获取投影画面调整的状态，校正模块会获取配套的投影机的移动角度，来动态校正画面，同时护眼模块会分析是人的身体是否进入到投影区域内，如是，则触发遮罩，遮住人头区域。防止用户被光线刺激眼睛。

本申请还提供了一种用于实现上述投影画面交互调整方法的投影画面交互调整装置，其中：

图像获取模块，用于获取多帧连续图像，所述多帧连续图像包括投影画面及控制物体的图像；

位置确定模块，用于根据所述多帧连续图像，确定所述控制物体相对于所述投影画面的相对位置变化；

投影控制模块，用于根据所述相对位置变化，控制所述投影画面移动。

本申请还提供了一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述的投影画面交互控制方法。