一种自动同步拼接的全景拍照方法、系统及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种自动同步拼接的全景拍照方法、一种自动同步拼接的全景拍照系统，以及一种计算机可读存储介质。

背景技术

照片是当今世界重要的组成部分，对于个人来说，照片可以记录生活、成长历程和回忆的方式，对于社会而言，也信息传播的重要手段。随着智能手机的发展，随手拍一张照片也成习惯之一，可以用于记录我们的重要时刻。然而，摄像头有时无法满足我们的拍照需求。例如：全体合照时，手机摄像头由于角度原因，无法拍摄完整，还可能出现画面畸变；或者因距离不够远，所拍摄的范围有限，导致无法拍摄完整；又或者虽然可以拍摄完整，但距离太远而导致照片的清晰度过低等等。

现有技术中，通过长按拍摄键，再通过摄影者自身身体的水平旋转来带动摄像头旋转，从而拍摄全景图。但是这会带来很多问题，例如，在旋转的过程中，如果所拍摄的物体发生了移动，会导致所拍摄的图片中物体的严重形变。因此，现有技术的全景拍摄方式无法拍摄动态的景象。再例如，现有技术还可以使用单个超大视角的摄像头来拍摄全景照片，但是使用单个超大视角的摄像头会导致画面畸变的问题。

为了克服现有技术所存在的上述缺陷，本领域亟需一种自动同步拼接的全景拍照技术，能够避免因追求视角而导致画面畸变的问题，实现画面拍摄完整的同时不会导致照片清晰度过低。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

为了克服现有技术所存在的上述缺陷，本发明提供了一种自动同步拼接的全景拍照方法、一种自动同步拼接的全景拍照系统，以及一种计算机可读存储介质，能够避免因追求视角而导致画面畸变的问题，实现画面拍摄完整的同时不会导致照片清晰度过低。

具体来说，根据本发明的第一方面提供的上述自动同步拼接的全景拍照方法包括步骤：获取多个拍摄设备所拍摄的画面；基于所述多个拍摄设备的重力感应信息统一多个画面的水平倾斜角度；在经过角度统一处理后的所述多个画面之间执行匹配处理，以获得所述多个画面的融合区域；以及响应于存在至少一个融合区域，根据所述融合区域拼接所述多个画面以形成全景画面。

优选地，在本发明的一实施例中，还包括：基于所述多个拍摄设备的重力感应信息，发出信息提醒，以调整所述多个拍摄设备的水平倾斜角度。

优选地，在本发明的一实施例中，还包括：所述响应于存在至少一个融合区域，根据所述融合区域拼接所述多个画面以形成全景画面的步骤包括：响应于存在多个融合区域，根据所述多个融合区域的坐标范围，确定在第一方向上所述多个融合区域的坐标范围的重叠部分；根据所述重叠部分的坐标范围，确定所述全景画面在所述第一方向上的坐标范围；以及基于所述全景画面在所述第一方向上的坐标范围，在与所述第一方向垂直的第二方向上拼接所述多个画面，以形成全景画面。

优选地，在本发明的一实施例中，还包括：响应于所述拍摄设备所拍摄的画面不包含融合区域，发出信息提醒。

优选地，在本发明的一实施例中，还包括显示模块，包括：基于所述融合区域，确定所述多个画面之间的位置关系；以及基于所述融合区域和所述位置关系，在所述拍摄设备上实时显示所述多个画面，并标注所述融合区域和所述全景画面。

优选地，在本发明的一实施例中，所述在所述拍摄设备上实时显示所述多个画面，并标注所述融合区域的步骤包括：以第一颜色标注所述多个画面的所述融合区域；以第二颜色标注所述全景画面；基于所述融合区域的边长为所述画面的边长，以第三颜色标注所述融合区域；以及基于所述第一颜色、所述第二颜色和/或所述第三颜色，发出信息提醒，以调整所述多个拍摄设备使所述全景画面最大化。

优选地，在本发明的一实施例中，还包括：基于多个所述拍摄设备的分辨率，以最低的所述分辨率为标准，统一所述多个画面的所述分辨率。

优选地，在本发明的一实施例中，所述画面和/或所述全景画面包括图像与视频。

此外，根据本发明的第二方面提供的上述自动同步拼接的全景拍照系统包括存储器及处理器。所述存储器上存储有计算机指令。所述处理器连接所述存储器，并被配置用于执行所述存储器上存储的计算机指令，以实施上述任意一个实施例所提供的方自动同步拼接的全景拍照法。

此外，根据本发明的第三方面提供的上述计算机可读存储介质上存储有计算机指令。所述计算机指令被处理器执行时，实施上述任意一个实施例所提供的自动同步拼接的全景拍照方法。

附图说明

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1示出了根据本发明的一些实施例提供的一种自动同步拼接的全景拍照方法的流程图；

图2示出了根据本发明的一些实施例提供的一种自动同步拼接的全景拍照系统的示意图；

图3A～3B示出了根据本发明的一些实施例提供的图像处理模块预处理的示意图；以及

图4A～4B示出了根据本发明的一些实施例提供的拍摄设备的显示界面的示意图。

附图标记：

100：自动同步拼接的全景拍照方法；

S110～S140：步骤；

200： 自动同步拼接的全景拍照系统；

210： 通信模块；

220： 信息获取模块；

230： 图像处理模块；

240： 信息提醒模块；以及

250： 显示模块。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在以下的说明中所使用的“上”、“下”、“左”、“右”、“顶”、“底”、“水平”、“垂直”应被理解为该段以及相关附图中所绘示的方位。此相对性的用语仅是为了方便说明之用，其并不代表其所叙述的装置需以特定方位来制造或运作，因此不应理解为对本发明的限制。

能理解的是，虽然在此可使用用语“第一”、“第二”、“第三”等来叙述各种组件、区域、层和/或部分，这些组件、区域、层和/或部分不应被这些用语限定，且这些用语仅是用来区别不同的组件、区域、层和/或部分。因此，以下讨论的第一组件、区域、层和/或部分可在不偏离本发明一些实施例的情况下被称为第二组件、区域、层和/或部分。

如上所述，现有技术中，通过长按拍摄键，再通过摄影者自身身体的水平旋转来带动摄像头旋转，从而拍摄全景图。但是这会带来很多问题，例如，在旋转的过程中，如果所拍摄的物体发生了移动，会导致所拍摄的图片中物体的严重形变。因此，现有技术的全景拍摄方式无法拍摄动态的景象。再例如，现有技术还可以使用单个超大视角的摄像头来拍摄全景照片，但是使用单个超大视角的摄像头会导致画面畸变的问题。

为了克服现有技术所存在的上述缺陷，本发明提供了一种自动同步拼接的全景拍照方法、一种自动同步拼接的全景拍照系统，以及一种计算机可读存储介质，能够避免因追求视角而导致画面畸变的问题，实现画面拍摄完整的同时不会导致照片清晰度过低。

在一些非限制性的实施例中，本发明的第一方面提供的上述自动同步拼接的全景拍照方法可以经由本发明的第二方面提供的上述自动同步拼接的全景拍照系统来实施。具体来说，该自动同步拼接的全景拍照系统中可以配置有存储器及处理器。该存储器包括但不限于本发明的第三方面提供的上述计算机可读存储介质，其上存储有计算机指令。该处理器连接该存储器，并被配置用于执行该存储器上存储的计算机指令，以实施本发明的第一方面所提供的自动同步拼接的全景拍照方法。

以下将首先结合一些自动同步拼接的全景拍照方法的实施例来描述上述自动同步拼接的全景拍照系统的工作原理。本领域的技术人员可以理解，这些自动同步拼接的全景拍照方法的实施例只是本发明提供的一些非限制性的实施方式，旨在清楚地展示本发明的主要构思，并提供一些便于公众实施的具体方案，而非用于限制该自动同步拼接的全景拍照系统的全部功能或全部工作方式。同样地，该自动同步拼接的全景拍照系统也只是本发明提供的一种非限制性的实施方式，不对这些自动同步拼接的全景拍照方法中各步骤的执行主体和执行顺序构成限制。

请参考图1和图2，图1示出了根据本发明的一些实施例提供的一种自动同步拼接的全景拍照方法的流程图，图2示出了根据本发明的一些实施例提供的一种自动同步拼接的全景拍照系统的示意图。

如图1所示，自动同步拼接的全景拍照方法100包括步骤S110：获取多个拍摄设备所拍摄的画面。

图2所示的自动同步拼接的全景拍照系统200可以包括通信模块210和信息获取模块220，信息获取模块220可以经由通信模块210获取多个拍摄设备的画面和对应的拍摄设备的信息。在此，拍摄设备的信息包括重力感应信息。信息获取模块220可以通过拍摄设备实时的水平仪获取拍摄设备的重力感应信息。

优选地，信息获取模块220还可以经由通信模块210获取多个拍摄设备的摄像头数据，例如分辨率等。

在一非限制性实施例中，可以由一个用户启用自动同步拼接的全景拍照系统200，经由通信模块210向其他用户的拍摄设备发送邀请。在其他用户同意邀请后，经由通信模块210，信息获取模块220可以获取其他用户的拍摄设备的信息和拍摄权限(例如，打开摄像头)。

自动同步拼接的全景拍照系统200包括图像处理模块230。信息获取模块220将所获取的多个拍摄设备所拍摄的画面发送至图像处理模块230。

此外，自动同步拼接的全景拍照系统200包括信息提醒模块240和显示模块250，信息提醒模块240可以嵌于显示模块250中，通过将信息提醒显示在拍摄设备上来提醒用户；信息提醒模块240也可以为一个单独的模块，例如，通过语音播报等方式提醒用户。

可选地，自动同步拼接的全景拍照系统200可以基于多个拍摄设备的重力感应信息发出信息提醒，以调整多个拍摄设备的水平倾斜角度。例如，通过拍摄设备的重力感应信息确定拍摄设备的水平倾斜角度，根据所设定的标准的水平倾斜角度与拍摄设备的水平倾斜角度的水平差，信息提醒模块240发出语音提醒，以提醒用户对拍摄设备进行调整。通过这一预调整，拍摄设备之间的水平倾斜角度已基本一致。

请继续参考图1，自动同步拼接的全景拍照方法100包括步骤S120：基于多个拍摄设备的重力感应信息统一多个画面的水平倾斜角度。

图像处理模块230可以根据信息获取模块220中的重力感应信息，统一多个拍摄设备所拍摄的画面的水平倾斜角度。

在一优选实施例中，图像处理模块230可以将启用自动同步拼接的全景拍照系统200的用户的拍摄设备的重力感应信息为标准拍摄设备，根据其他拍摄设备与标准拍摄设备的水平差，自动对多个画面的水平倾斜角度进行调整，以统一多个拍摄设备的画面的水平倾斜角度。

更优地，自动同步拼接的全景拍照系统200可以在用户调整多个拍摄设备的水平倾斜角度的预调整之后，再通过图像处理模块230对拍摄设备的画面进行微调，以统一多个拍摄设备的画面的水平倾斜角度。当所有画面满足为同一水平倾斜角度时，可以便于后续的画面中的图片特征匹配、画面拼接等，避免全景图片合成时因水平倾斜角度的问题产生误差。

此外，图像处理模块230还可以根据信息获取模块220中的摄像头数据，统一多个画面的分辨率。具体来说，图像处理模块230基于多个拍摄设备的分辨率，以最低的分辨率为标准，统一多个画面的分辨率。

请继续参考图1，自动同步拼接的全景拍照方法100包括步骤S130：在经过角度统一处理后的多个画面之间执行匹配处理，以获得多个画面的融合区域。

自动同步拼接的全景拍照系统200的图像处理模块230在统一多个画面的水平倾斜角度之后，在经过角度统一处理后的多个画面之间执行匹配处理，以确定多个画面的融合区域。

图像处理模块230可以通过对多个画面中的图片特征点进行查找、去重等方式来获取每个画面的图片特征，从而确定多个画面的融合区域。具体地，可以通过轮廓处理、色彩、像素匹配、纹理等方式确定画面的图片特征，确定画面的图片特征的具体方案不涉及本发明的技术改进，因而不做展开赘述。在此，融合区域可以为多个画面的图片特征重合的部分。

此外，基于融合区域，图像处理模块230可以确定多个画面之间的位置关系。基于融合区域和位置关系，经由显示模块250，可以在拍摄设备上实时显示多个画面，并标注融合区域和全景画面。

进一步地，显示模块250可以在拍摄设备上以第一颜色标注多个画面的融合区域，以第二颜色标注全景画面，以实时显示预览的全景画面。此外，显示模块250还可以在融合区域的边长为画面的边长时，可以在拍摄设备上以另一个第三颜色标注融合区域，以指示融合区域已经达到了最大高度值。例如，可以以红色矩形标示融合区域，绿色矩形为当前可输出的全景画面的区域，蓝色矩形指示融合区域已达到最大高度值，即两个拍摄设备所拍摄的画面的融合区域已完全拟合。

基于第一颜色、第二颜色和/或第三颜色，信息提醒模块240可以向用户发出信息提醒。例如，用户A的拍摄设备所拍摄的画面与用户B的拍摄设备所拍摄的画面之间的融合区域已达到最大高度值，融合区域标注为第三颜色，如此，信息提醒模块240提醒用户：“用户A与用户B的融合区域已达到最佳”。用户也可以基于显示模块250在拍摄设备上显示的第一颜色、第二颜色和/或第三颜色，自行调整多个拍摄设备，使拍摄设备的画面的融合区域边长在垂直方向上更长或在水平方向上更宽，以使得全景画面最大化。

例如，用户可以根据两个拍摄设备所拍摄的画面之间的融合区域的显示情况，将拍摄设备向上或者向下移动，以使得融合区域能够达到最大高度值。

如此，显示模块250可以在拍摄设备上实时地向用户展示各种信息，以便用户通过拍摄设备查看当前全景画面所存在的问题，包括拍摄设备自身的画面的水平倾斜角度状态、其他拍摄设备的画面以及水平倾斜角度状态、图片处理模块230的实时处理过程等，以便于用户对拍摄设备进行微调。信息提醒模块240可以根据图片处理模块230的处理结果输出语音提示以调整多个拍摄设备，使得全景画面最大化。

进一步地，当拍摄设备所拍摄的画面依次与其他拍摄设备所拍摄的画面匹配之后，没有查找到可融合的区域时，自动同步拼接的全景拍照系统200可以通过信息提醒模块240发出信息提醒，以提示用户调整拍摄设备的画面，从而使画面中能够包含与其他拍摄设备能够融合的融合区域。例如，当最大可输出全景画面的高度为100、宽度为2400时，发出信息提醒，请用户在X方向上移动100等等。并且，显示模块250在显示多个拍摄设备的画面时，由于这一拍摄设备的画面不包含融合区域，因此无法确定该拍摄设备与其他拍摄设备的画面的位置关系，所以不显示该不包含融合区域的拍摄设备的画面。

请继续参考图1，自动同步拼接的全景拍照方法100包括步骤S140：响应于存在至少一个融合区域，根据融合区域拼接多个画面以形成全景画面。

具体来说，图像处理模块230可以根据融合区域拼接多个画面以形成全景画面。例如，可以根据融合区域逐个拼接多个画面来形成全景画面。

在一优选地实施例中，响应于存在多个融合区域，图像处理模块230可以根据多个融合区域的坐标范围，确定在第一方向上多个融合区域的坐标范围的重叠部分。再根据重叠部分的坐标范围，确定全景画面在第一方向上的坐标范围。之后，基于全景画面在第一方向上的坐标范围，在与第一方向垂直的第二方向上拼接多个画面，以形成全景画面。

例如，根据多个融合区域的坐标范围，确定在垂直方向上多个融合区域的坐标范围的重叠部分，再根据重叠部分的坐标范围，确定全景画面在第一方向上的坐标范围。重叠部分的坐标范围即多个融合区域的坐标范围的上沿中的最低点的坐标和下沿中的最高点的坐标。之后，基于全景画面在垂直方向上的坐标范围，在水平方向上拼接多个画面，以形成全景画面

图像处理模块230可以将全景画面自动输出为最终的画面处理结果，以供用户查看与保存。也可以经由显示模块250，实时将全景画面显示在拍摄设备上，供用户继续对拍摄设备进行调整。

在此，画面和/或全景画面包括图像与视频，如此，所输出的画面处理结果也可以为图像或视频。此外，用户可以指定某一拍摄设备为指定设备，将结果经由通信模块210传送至指定的设备中进行查看与保存。

以下为一具体的非限制性的优选实施例，据此对本发明提出的自动同步拼接的全景拍照系统进行进一步展开说明。

用户A、B、C、D通过手机这一类拍摄设备对画面进行拍摄。为拍摄全景画面，利用一部手机的摄像头的视角是无法实现的，因此，需要多部手机对全景画面进行拍摄。用户A、B、C、D将手机摆放到大致位置后，根据信息提醒模块240，经由显示模块250在手机上显示的提示信息，对手机进行水平倾斜角度的调整。同时，手机上还显示了经由图像处理模块230处理而形成的实时的拍摄画面和全景画面，用户A、B、C、D可以对手机进行上下高度的调整，以使全景画面最大化。直到所预览的全景画面满足条件后，用户对全景画面进行拍摄操作，并输出至用户的手机中。

具体来说，用户A可以通过通信模块210邀请其他用户，在此，通信模块210可以包括应用软件、蓝牙或红外等方式。用户B、C、D同意邀请后，经由通信模块210，信息获取模块220可以获取用户B、C、D的手机信息和拍摄权限(例如，打开摄像头)。

图像处理模块230将所获取的手机拍摄的画面进行处理，并通过显示模块250在手机上对实时画面进行展现。显示模块250在手机上所显示的内容包括信息提醒模块240发出的提示信息和经由图像处理模块230处理而形成的实时画面。

在此，基于多个拍摄设备的重力感应信息，信息提醒模块240在手机上显示各手机的水平倾斜角度。用户可以根据显示的提醒信息，调整手机的水平倾斜角度。之后，图像处理模块230可以对手机所拍摄的画面的水平倾斜角度进行预处理。响应于各手机所拍摄的画面的水平倾斜角度还未统一，图像处理模块230可以根据其他拍摄设备与标准拍摄设备(例如用户A的手机)的水平差，自动对画面的水平倾斜角度进行调整。

此外，基于多个拍摄设备的分辨率，信息提醒模块240在手机上显示各手机的分辨率。以最低的分辨率为标准，图像处理模块230统一多个手机所拍摄的画面的分辨率。

请参考图3A～3B，图3A～3B示出了根据本发明的一些实施例提供的图像处理模块预处理的示意图。

如图3A所示，信息提醒模块240在手机上显示用户A、B、C、D的手机的分辨率和水平倾斜角度，用户A的分辨率为1200*800，水平倾斜角度45％。用户B的分辨率为1100*880，水平倾斜角度62％。用户C的分辨率为1300*800、水平倾斜角度35.1％。用户D的分辨率为1200*1000，水平倾斜角度75.4％。用户A、B、C、D对手机进行调整，使用户A、C、D的手机的水平倾斜角度调至0％，用户B的手机的水平倾斜角度为5％，以保证每部手机都处于大致相同的水平位置。由于无法通过用户手动地进一步将用户B的手机调整到0％，图像处理模块230对用户B的手机所拍摄的画面进行水平倾斜角度的调整。具体来说，如图3B所示，设置用户A的手机的水平倾斜角度为参考标准0％，通过计算其它用户B、C、D的手机的水平倾斜角度与参考标准的差值，图像处理模块230根据对应的水平差，自动精准调整用户B的手机所拍摄的画面的方向。在此，图像处理模块230可以使得用户B的手机所拍摄的画面反向倾斜5％。

请参考图4A～4B，图4A～4B示出了根据本发明的一些实施例提供的拍摄设备的显示界面的示意图。

如图4A所示，图像处理模块230对经过角度统一处理后的多个手机所拍摄的画面进行匹配处理，根据对图片特征点的查找确定各融合区域的坐标范围。依据融合区域，确定多个画面之间的位置属性，并基于位置关系进行画面的自动排序，并实时显示在手机的显示界面上。同时，为方便用户观察，将多个画面的融合区域进行了红色矩形标注(图4A中实线矩形框)。当两个手机所拍摄的画面之间的融合区域边长等于较小的手机所拍摄的画面的边长，即融合区域已达到最大高度时，图像处理模块230可以在手机上标示融合区域为蓝色。如图4B所示，用户A的手机画面与用户C的手机画面的融合区域的边长等于用户C的手机画面的边长时，指示融合区域已达到最大高度，图像处理模块230可以在手机上标示这一融合区域为蓝色。

在此，全景画面可以以绿色矩形标示(图4A中虚线矩形框)。全景画面在垂直方向上的坐标范围为多个融合区域在垂直方向上的坐标范围的重叠部分。基于全景画面在垂直方向上的坐标范围，在水平方向上拼接用户A、B、C、D的手机画面，以形成全景画面。

用户A、B、C、D通过观察每部手机的融合区域的大小和颜色状态，可以对手机进行高度(海拔)上的微调，以尽量使融合区域的高度最大化，如此，全景画面输出的画面处理结果的高度也会最大化。在此，也可以通过信息提醒模块240语音提醒用户，例如：当前全景输出尺寸为高度200，宽度3000。请用户B将手机向上移动100。请用户C将手机向下移动50。

通过用户A、B、C、D的微调，所有手机可以尽可能地实现完全拟合(融合区域的高度、宽度达到最大值)，从而使全景画面达到最大值。如此，信息提醒模块240可以通过语音提醒用户：当前全景图像已为最大高度和宽度，请保持静止。图像处理模块230自动输出该最佳的画面处理结果，并通过通信模块210传送至指定的手机进行查看与保存。

在一优选实施例中，自动同步拼接的全景拍照系统200可以开启全景视频模式，图像处理模块230可以通过处理连续的全景图片以生成视频文件。

此外，自动同步拼接的全景拍照系统200的通信模块210在拍摄时如果发现无线网络交互处理的延迟较大，则可以更改为通过蓝牙、红外等近距离高速交互方式。

综上，本发明提供的自动同步拼接的全景拍照方法和自动同步拼接的全景拍照系统以实现多部拍摄设备合作拍摄全景图片和全景视频，能够使用户无需专业相机，仅通过普通的拍摄设备即可满足全景拍照的需求，同时，可以避免专业相机因视角过大，而产生畸变的问题。此外，本发明提供的自动同步拼接的全景拍照方法可以用于拍摄视频，并且所拍摄的视频不会出现动态物体的畸变拉伸的问题。实时的显示画面和画面的融合区域、全景画面能够满足用户及时获取图片或视频的需求，并且，无需通过后期的专业处理，就可以得到全景画面。本发明提供的自动同步拼接的全景拍照方法还可以自动进行画面水平精准调整，避免画面拼接时因水平倾斜角度不同而导致融合难度较大或根本无法拼接的问题。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。