特效投影方法、装置、电子设备及可读存储介质

技术领域

本申请属于计算机技术领域，具体涉及一种特效投影方法、装置、电子设备及可读存储介质。

背景技术

相关技术中，特效投影比如增强现实(Augmented Reality，AR)特效投影等，通常依赖于对目标场景进行三维建模，获得三维点云，然后根据目标场景的图像与三维点云的匹配关系，解算相机位姿，并基于解算的相机位姿进行特效投影。然而，由于三维建模对目标场景的纹理特征要求较高，在目标场景距离远、纹理弱和/或图像成像模糊等情况下，会出现提取的特征点数量不足或质量不高，进而导致无法获取足够支撑用于解算相机位姿的三维点云，使得无法准确解算相机位姿，从而造成无法有效地实现特效投影。

发明内容

本申请实施例的目的是提供一种特效投影方法、装置、电子设备及可读存储介质，以解决相关技术中无法有效地实现特效投影的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，提供了一种特效投影方法，应用于电子设备，包括：

获取拍摄设备的初始位姿；

根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息；其中，所述模板图像为目标场景的模板图像，所述目标图像为所述拍摄设备拍摄所述目标场景获得的图像；

根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量；

根据所述位姿矫正量对所述初始位资进行矫正，获得所述拍摄设备的目标位资；

在所述目标位姿下进行特效投影。

可选的，所述根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量，包括：

根据所述第二位置信息和所述三维坐标信息，确定所述拍摄设备的旋转矫正量，以及根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量。

可选的，所述根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息，包括：

对所述模板图像和所述目标图像进行匹配，获得单应矩阵；

基于所述单应矩阵将所述第一位置信息转换为所述第二位置信息。

可选的，所述根据所述第二位置信息和所述三维坐标信息，确定所述拍摄设备的旋转矫正量包括：

计算使第一距离值为最小值时的所述拍摄设备绕着重力方向旋转的目标角度；其中，所述第一距离值是根据所述第二位置信息和第三位置信息确定；所述第三位置信息是当所述拍摄设备绕着重力方向旋转时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；以及，将所述目标角度确定为所述旋转矫正量。

可选的，所述根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量包括：

计算使第二距离值为最小值时的所述拍摄设备的目标平移量；其中，所述第二距离值是根据所述第二位置信息和第四位置信息确定；所述第四位置信息是当所述拍摄设备在绕着重力方向旋转所述旋转矫正量后进行平移时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；以及，将所述目标平移量确定为所述平移矫正量。

可选的，在所述目标位姿下进行特效投影之后，所述方法还包括：

追踪所述拍摄设备的位姿，并调整所述拍摄设备的位姿；

在调整后的所述拍摄设备的位姿下进行特效投影。

可选的，所述追踪所述拍摄设备的位姿，并调整所述拍摄设备的位姿包括：

获取所述拍摄设备中的加速度计的加速度值和所述拍摄设备中的陀螺仪的角速度值；

根据所述加速度值、所述角速度值和所述拍摄设备的姿态角，确定所述拍摄设备的目标姿态角，并根据所述目标姿态角，调整所述拍摄设备的位姿。

可选的，所述第一世界坐标系是根据第一位置点建立的，所述第一位置点是所述拍摄设备在启动时的实际位置点。

可选的，所述获取拍摄设备的初始位姿之前，所述方法还包括：

获取根据所述目标场景的默认观测点建立的第二世界坐标系；

根据所述第一位置点的坐标信息和所述默认观测点的坐标信息，对所述第二世界坐标系进行变换，获得所述第一世界坐标系。

第二方面，提供了一种特效投影装置，应用于电子设备，包括：

第一获取模块，用于获取拍摄设备的初始位姿；

第一确定模块，用于根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息；其中，所述模板图像为目标场景的模板图像，所述目标图像为所述拍摄设备拍摄所述目标场景获得的图像；

第二确定模块，用于根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量；

矫正模块，用于根据所述位姿矫正量对所述初始位姿进行矫正，获得所述拍摄设备的目标位姿；

投影模块，用于在所述目标位姿下进行特效投影。

第三方面，提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

在本申请实施例中，可以通过模板图像对拍摄设备位姿的矫正，由于模板图像不受场景实际情况比如距离远、纹理弱和/或图像成像模糊等情况的影响，因此即使在视觉特征很差的场景中，也能够准确解算拍摄设备的位姿，从而保证特效能够完全紧密地贴合在目标场景图像的相应位置中，从而有效地实现特效投影。

附图说明

图1是本申请实施例提供的一种特效投影方法的流程图；

图2是本申请实施例中模板图像的示意图；

图3A是本申请实施例中的指北世界坐标系的示意图；

图3B是本申请实施例中的第二世界坐标系的示意图；

图4是本申请实施例提供的一种特效投影装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

可选的，本申请实施例适应的场景包括但不限于远距离场景、弱纹理场景、模糊夜景、动态变化场景等，可以大大补充特效(比如AR特效等)的可用范围。

下述实施例中，特效可理解为AR特效。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的特效投影方法、装置、电子设备及可读存储介质进行详细地说明。

请参见图1，图1是本申请实施例提供的一种特效投影方法的流程图，该方法应用于拍摄设备，此拍摄设备可选为专用于摄像的设备(比如相机等)，或者携带拍摄装置的设备(比如手机、iPad等)，对此不作限定。如图1所示，该方法包括如下步骤：

步骤11：获取拍摄设备的初始位姿。

这里，所述初始位姿可以是拍摄设备启动时的位姿，或者是拍摄设备初次拍摄图像、视频等时的位姿等。

步骤12：根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息。

本实施例中，所述模板图像为目标场景的模板图像，可理解为目标场景的先验二维图像。比如，可以在已知拍摄设备位姿的位置上，对目标场景拍摄一张图像作为模板图像。在获取拍摄设备位姿时，可以通过无人机等高精度设备来获取，或者针对目标场景图像，通过ARkit等高精度算法进行估算。

对于模板图像的待投影特效部分上的特征点集中各个特征点，可以人为挑选，并记录其二维坐标。比如图2所示，为针对某模糊夜景的模板图像，其中人为挑选了一些特征点并构成特征点集。

所述目标图像为拍摄设备拍摄目标场景获得的图像，可理解为待定位图像。优选的，所述目标图像为拍摄设备刚启动后拍摄目标场景获得的首张图像。

所述目标场景可以基于实际需求选择，比如为远距离的模糊夜景，或者弱纹理的模糊夜景等。

上述步骤12可理解为：根据待投影特效在模板图像上的投影区域的特征点集中各个特征点的位置信息，确定待投影特效在待定位图像(即目标图像)上的投影区域的对应特征点集中各个特征点的位置信息。

步骤13：根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定拍摄设备的位姿矫正量。

这里，所述位姿矫正量可包括旋转矫正量和/或平移矫正量。所述步骤13可理解为：根据待投影特效在世界坐标系的三维坐标信息及待定位图像上的对应特征点集中各个特征点的位置信息，确定位姿矫正量。

步骤14：根据所述位姿矫正量对所述初始位姿进行矫正，获得拍摄设备的目标位姿。

步骤15：在所述目标位姿下进行特效投影。

本实施例中，上述进行特效投影具体可为进行AR特效投影。

这样，可以通过模板图像对拍摄设备位姿的矫正，由于模板图像不受场景实际情况比如距离远、纹理弱和/或图像成像模糊等情况的影响，因此即使在视觉特征很差的场景中，也能够准确解算拍摄设备的位姿，从而保证特效能够完全紧密地贴合在目标场景图像的相应位置中，从而有效地实现特效投影。

本申请实施例中，所述第一世界坐标系可以是基于目标场景的默认观测点建立的，该默认观测点可理解为目标场景的预设最优观测点；也可以是根据第一位置点建立的，所述第一位置点是拍摄设备在启动时的实际位置点，这样可更准确表征特效的三维坐标。

可选的，当所述第一世界坐标系是根据第一位置点建立的时，所述第一世界坐标系的建立过程可以包括：首先，获取根据目标场景的默认观测点建立的第二世界坐标系；然后，根据所述第一位置点的坐标信息和所述默认观测点的坐标信息，对所述第二世界坐标系进行变换，获得所述第一世界坐标系。这样借助根据默认观测点建立的世界坐标系，可以简便获得根据实际位置点建立的世界坐标系。

一些实施例中，以拍摄设备为手机为例，获取根据实际位置点建立的世界坐标系的过程包括：

首先，利用手机中的定位模块比如全球定位系统(Global PositioningSystem，GPS)/北斗系统等，获取当前手机的经纬度信息，以及利用手机中的磁力计获取当前手机的南北朝向；之后，以正北方向为X轴方向，以重力反方向为Y轴方向，并以同时垂直于X轴和Y轴的方向为Z轴方向，建立“指北世界坐标系”，如图3A所示；

其次，分别获取目标场景中目标点和默认观测点的经纬度信息，根据获取的经纬度信息计算目标点和默认观测点之间的距离d，并根据三角函数计算出目标点和默认观测点的连线与正北方向的夹角θ；之后，按照图3A中所示的世界坐标系的方向，以默认观测点为原点建立世界坐标系，且等比例还原目标点的位置，如图3B所示；这样可以将特效1:1还原至此世界坐标系中，从而实现特效模型与真实世界的位置绑定；

最后，若手机启动时的经纬度坐标为(x

其中，dx＝f(x^-x

由于相关定位系统比如GPS存在随机10米左右的误差范围，以及部分低端手机配置的磁力计会出现偶发漂移现象，将会导致上述确定的与真实世界相对应的世界坐标系，与真实世界理论上不论是方向上还是位置上均存在较大的随机性误差，这对于配置贴合类、实景交互类等的高精度定位来说是不可接受的。针对此类误差，本申请方案中提出了利用模板图像匹配信息，对拍摄设备的位姿进行矫正，从而将硬件上的误差弥补到可接受的范围内。通过先验选取目标实景中待贴合的目标特征点，作为后续矫正的依据，可以保证在无三维点云、无深度信息的情况下，有效完成特效深度贴合。

可选的，上述根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息的过程可以包括：

对所述模板图像和所述目标图像进行匹配，获得单应矩阵；

基于所述单应矩阵将所述第一位置信息转换为所述第二位置信息。

比如，如果模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息为p^＝{(x

p＝H*p^

可选的，上述确定拍摄设备的旋转矫正量的过程可以包括：首先，计算使第一距离值为最小值时的拍摄设备绕着重力方向旋转(此可理解为：以重力方向为旋转轴方向进行旋转)的目标角度；其中，所述第一距离值是根据所述第二位置信息和第三位置信息确定；所述第三位置信息是当所述拍摄设备绕着重力方向旋转(即以重力方向为旋转轴方向进行旋转)时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；然后，将所述目标角度确定为拍摄设备的旋转矫正量。

这里，所述第一距离值可选为欧式距离。所述第三位置信息可以根据所述拍摄设备绕着重力方向旋转的角度、所述三维坐标信息和所述拍摄设备的内参确定。

例如，若拍摄设备绕着重力方向旋转的角度记为yaw

其中，p

这样，通过矫正绕重力方向的旋转量，可以解决部分低端拍摄设备存在的偶发磁力计漂移现象。

需指出的，对于绕着重力方向的旋转矫正，假设模板图像相对于拍摄点位置处于北偏东30°，则当拍摄设备拍摄到与模板图像匹配的场景时，若磁力计给出的角度偏移先验角度很多(比如偏移180°)时，则可以直接放弃磁力计数据，改用模板图像进行匹配，即替换第二位置信息，采用第一位置信息来确定拍摄设备的旋转矫正量；假设匹配后的矫正角度为20°，那么模板图像相对于拍摄点位置的实际朝向为北偏东50°。

可选的，上述步骤12中确定拍摄设备的位姿矫正量的过程可以包括：

根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的旋转矫正量，以及根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量。

这样，通过模板图像的待投影特效部分上的特征点集中各个特征点对应的在实际拍摄图像中的二维位置信息以及三维位置信息，可以计算得到相应拍摄设备的旋转矫正量和平移矫正量。

可选的，上述确定拍摄设备的平移矫正量的过程可以包括：首先，计算使第二距离值为最小值时的拍摄设备的目标平移量；其中，所述第二距离值是根据所述第二位置信息和第四位置信息确定；所述第四位置信息是当所述拍摄设备在绕着重力方向旋转所述旋转矫正量(即目标角度)后进行平移时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；然后，将所述目标平移量确定为拍摄设备的平移矫正量。

这里，所述第二距离值可选为欧式距离。所述第四位置信息可以根据所述拍摄设备的平移量、所述三维坐标信息和所述拍摄设备的内参确定。

例如，若拍摄设备的平移量记为t

其中，p

视觉SLAM追踪是依赖于特征点法进行的，但是在远距离夜景等场景下，特征点少且不稳定(比如海面波动造成特征点上下浮动)，使用相关方法进行追踪时会出现抖动、跟踪丢失等情况。针对此情况，本申请中方案基于远景追踪的特点，考虑到目标场景及特效到拍摄设备的距离(如1000米)远大于拍摄设备位姿可能的平移量(如1-10米)，所以拍摄设备的平移量的更新对整体感受效果影响不大，甚至可能由于特征点不稳定，造成更大的抖动或丢失现象，所以在本方案中，设定在追踪过程中，始终将拍摄设备位姿的平移量设定为t

可选的，上述在所述目标位姿下进行特效投影之后，所述方法还包括：

追踪拍摄设备的位姿，并调整拍摄设备的位姿；

在调整后的拍摄设备的位姿下进行特效投影。

这样，借助对拍摄设备的追踪，可以保证生成特效的有效性。

进一步的，上述追踪拍摄设备的位姿，并调整拍摄设备的位姿可以包括：

获取拍摄设备中的加速度计的加速度值和拍摄设备中的陀螺仪的角速度值；

根据所述加速度值、所述角速度值和所述拍摄设备的姿态角(即当前姿态角)，确定所述拍摄设备的目标姿态角，并根据所述目标姿态角，调整所述拍摄设备的位姿。

这样，可以在不依赖于视觉特征的情况下，仅依赖于拍摄设备中硬件进行旋转变化量的估计，从而完成持续可靠的追踪。

例如，以拍摄设备为手机为例，假设手机中加速度计的加速度值为a，手机中陀螺仪的角速度值为w，手机当前的姿态角为R

R

其中，Q为权重系数，可取0.95-0.98。R

需要说明的是，本申请实施例提供的特效投影方法，执行主体可以为特效投影装置，或者该特效投影装置中的用于执行特效投影方法的控制模块。本申请实施例中以特效投影装置执行特效投影方法为例，说明本申请实施例提供的特效投影装置。

请参见图4，图4是本申请实施例提供的一种特效投影装置的结构示意图，该装置应用于拍摄设备，此拍摄设备可选为专用于摄像的设备(比如相机等)，或者携带拍摄装置的设备(比如手机、iPad等)，对此不作限定。如图4所示，特效投影装置40包括：

第一获取模块41，用于获取拍摄设备的初始位姿；

第一确定模块42，用于根据模板图像的待投影特效部分上的特征点集中各个特征点的第一位置信息，确定目标图像上的对应特征点集中各个特征点的第二位置信息；其中，所述模板图像为目标场景的模板图像，所述目标图像为所述拍摄设备拍摄所述目标场景获得的图像；

第二确定模块43，用于根据所述第二位置信息和所述特征点集中各个特征点对应的特效在第一世界坐标系中的三维坐标信息，确定所述拍摄设备的位姿矫正量；

矫正模块44，用于根据所述位姿矫正量对所述初始位姿进行矫正，获得所述拍摄设备的目标位姿；

投影模块45，用于在所述目标位姿下进行特效投影。

这样，可以通过模板图像对拍摄设备位姿的矫正，由于模板图像不受场景实际情况比如距离远、纹理弱和/或图像成像模糊等情况的影响，因此即使在视觉特征很差的场景中，也能够准确解算拍摄设备的位姿，从而保证特效能够完全紧密地贴合在目标场景图像的相应位置中，从而有效地实现特效投影。

可选的，所述第二确定模块43具体用于：

根据所述第二位置信息和所述三维坐标信息，确定所述拍摄设备的旋转矫正量，以及根据所述第二位置信息、所述三维坐标信息和所述旋转矫正量，确定所述拍摄设备的平移矫正量。

可选的，所述第一确定模块42具体用于：

对所述模板图像和所述目标图像进行匹配，获得单应矩阵；基于所述单应矩阵将所述第一位置信息转换为所述第二位置信息。

可选的，所述第二确定模块43具体用于：

计算使第一距离值为最小值时的所述拍摄设备绕着重力方向旋转的目标角度；所述第一距离值是根据所述第二位置信息和第三位置信息确定；所述第三位置信息是当所述拍摄设备绕着重力方向旋转时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；以及将所述目标角度确定为所述旋转矫正量。

可选的，所述第二确定模块43具体用于：

计算使第二距离值为最小值时的所述拍摄设备的目标平移量；所述第二距离值是根据所述第二位置信息和第四位置信息确定；所述第四位置信息是当所述拍摄设备在绕着重力方向旋转所述旋转矫正量后进行平移时，根据所述三维坐标信息确定的对应特效在所述拍摄设备拍摄的图像上的位置信息；以及将所述目标平移量确定为所述平移矫正量。

可选的，特效投影装置40还包括：

调整模块，用于追踪所述拍摄设备的位姿，并调整所述拍摄设备的位姿；

所述投影模块44还用于：在调整后的拍摄设备的位姿下进行特效投影。

可选的，所述调整模块具体用于：获取拍摄设备中的加速度计的加速度值和拍摄设备中的陀螺仪的角速度值；根据所述加速度值、所述角速度值和所述拍摄设备的姿态角，确定所述拍摄设备的目标姿态角；并根据所述目标姿态角，调整所述拍摄设备的位姿。

可选的，所述第一世界坐标系是根据第一位置点建立的，所述第一位置点是所述拍摄设备在启动时的实际位置点。

可选的，特效投影装置40还包括：

第二获取模块，用于获取根据所述目标场景的默认观测点建立的第二世界坐标系；

变换模块，用于根据所述第一位置点的坐标信息和所述默认观测点的坐标信息，对所述第二世界坐标系进行变换，获得所述第一世界坐标系。

本申请实施例的特效投影装置40，可以实现上述图1所示的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选的，如图5所示，本申请实施例还提供一种电子设备50，包括处理器51，存储器52，存储在存储器52上并可在所述处理器51上运行的程序或指令，该程序或指令被处理器51执行时实现上述特效投影方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供了一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时可实现上述特效投影方法实施例的各个过程且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台服务分类设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。