图像处理方法、装置、终端设备及计算机可读存储介质

技术领域

本申请涉及影像技术领域，具体涉及一种图像处理方法、装置、终端设备及计算机可读存储介质。

背景技术

随着科技的进一步发展，越来越多的终端设备上配备有强大的摄像系统，该摄像系统中可能包括有一个或多个不同的摄像头，以满足用户在不同场景中对于摄像的需求。目前对于终端设备拍摄的图像的处理方式较为单一，用户与图像之间的互动性较差。

发明内容

本申请实施例公开了一种图像处理方法、装置、终端设备及计算机可读存储介质，能够丰富图像的处理方式，提高用户与图像之间的互动性。

本申请实施例公开了一种图像处理方法，应用于终端设备，所述方法包括：

对第一图像进行分割，得到主显图像及副显图像；

获取所述终端设备的位姿信息；

根据所述位姿信息分别对所述主显图像及副显图像进行变换；

将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像。

本申请实施例公开了一种图像处理装置，应用于终端设备，所述装置包括：

图像分割模块，用于对第一图像进行分割，得到主显图像及副显图像；

位姿获取模块，用于获取所述终端设备的位姿信息；

变换模块，用于根据所述位姿信息分别对所述主显图像及副显图像进行变换；

拼接模块，用于将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像。

本申请实施例公开了一种终端设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请实施例公开的图像处理方法、装置、终端设备及计算机可读存储介质，通过对第一图像进行分割，得到主显图像及副显图像，获取终端设备的位姿信息，并根据该位姿信息分别对主显图像及副显图像进行变换，再将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像，将第一图像分割后又拼接形成目标图像，用户通过改变终端设备的位姿信息即可对主显图像及副显图像进行变换，从而改变拼接形成的目标图像，能够丰富图像的处理方式，提高用户与图像之间的互动性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的框图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中主显图像与副显图像的示意图；

图4为另一个实施例中图像处理方法的流程图；

图5A为一个实施例中对子区域进行扩大的示意图；

图5B为一个实施例中主显图像区域与副显图像区域的示意图；

图6为一个实施例中副显图像与主显图像的相交像素点，及副显图像的角像素点的示意图；

图7为一个实施例中显示目标图像的流程图；

图8A为一个实施例中显示主显图像的界面示意图；

图8B为一个实施例中显示目标图像的界面示意图；

图9为一个实施例中图像处理装置的框图；

图10为一个实施例中终端设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一个的图像。

本申请实施例提供一种终端设备。该终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

需要说明的是，虽然图1中仅示出了一个成像设备110，但是在本申请实施例中，可包括至少两个成像设备110，每个成像设备110可分别对应一个图像传感器114，也可多个成像设备110对应一个图像传感器114，在此不作限定。每个成像设备110的工作过程可参照上述所描述的内容。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

示例性地，结合图1的图像处理电路，对本申请实施例所提供的图像处理方法进行说明。ISP处理器140可从成像设备110或图像存储器130中获取第一图像，并对获取的第一图像进行分割，得到主显图像及副显图像。姿态传感器120可将采集的数据发送至ISP处理器140，ISP处理器140可根据姿态传感器120采集的数据获取终端设备的位姿信息，并根据该位姿信息分别对主显图像及副显图像进行变换。ISP处理器140可将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像。

可选地，ISP处理器140在得到目标图像后，可将目标图像发送到显示器160，由显示器160对目标图像进行显示，用户则可通过显示器160直观地观察目标图像。

如图2所示，在一个实施例中，提供一种图像处理方法，可应用于上述的终端设备，该终端设备可包括但不限于手机、智能可穿戴设备、平板电脑等。该图像处理方法可包括以下步骤：

步骤210，对第一图像进行分割，得到主显图像及副显图像。

在一些实施例中，第一图像可以是通过具有较大视场角(Field of View，FOV)的摄像头采集得到的图像，该视场角可用于表征摄像头可接收影像的视野范围，摄像头的视场角越大，对应的视野范围可越大。可选地，第一图像可以是通过视场角大于角度阈值的摄像头采集得到的图像，该角度阈值可包括但不限于55度、60度等。

作为一种具体实施方式，第一图像可包括通过广角摄像头采集的广角图像，以及通过超广角摄像头采集的超广角图像中的至少一种，该广角摄像头的焦距通常可为24-38毫米，视场角通常可为60～84度，超广角摄像头的焦距通常可为13-20毫米，视场角通常可为94-118度。需要说明的时，该广角摄像头及超广角摄像头也可以是其它型号及参数的摄像头，第一图像也可通过其它具有较大视场角的摄像头采集得到，在此不作限定。

终端设备可将第一图像划分为主显图像及副显图像，该主显图像可以是第一图像中固定区域的图像，例如，主显图像可以是第一图像中心区域的图像，副显图像可以是第一图像中在主显图像的周围区域的图像。可选地，终端设备分割第一图像可得到一张主显图像，以及多张副显图像。该主显图像可以是正方形或矩形图像等，副显图像可以是矩形、梯形等。多张副显图像可分别与主显图像的一条图像侧边对应，若第一图像在主显图像的任一图像侧边存在周围区域的图像，则可分割与该图像侧边对应的副显图像。

图3为一个实施例中主显图像与副显图像的示意图。如图3所示，终端设备可对第一图像进行分割，得到主显图像310和副显图像302、副显图像304、副显图像306及副显图像308。副显图像302、副显图像304、副显图像306及副显图像308可分别对应主显图像310的4个图像侧边，其中，副显图像302可包括第一图像在主显图像310上侧边周围区域的图像，副显图像304可包括第一图像在主显图像310左侧边周围区域的图像，副显图像306可包括第一图像在主显图像310下侧边周围区域的图像，副显图像308可包括第一图像在主显图像310右侧边周围区域的图像等。需要说明的是，图3仅示出了一种主显图像与副显图像的分割方式，也可按照其它的方式分割(如其它形状、其它图像区域等分割)，在此不作限制。

步骤220，获取终端设备的位姿信息。

位姿信息可包括终端设备的位置和/或姿态信息，终端设备中可设置有一个或多个位姿传感器，例如，IMU(Inertial Measurement Unit，惯性测量单元)传感器、加速度传感器等。位姿信息可以是终端设备在当前时刻下的位置和/或姿态数据，也可以是终端设备在当前时刻下发生的位置和/或姿态的变化数据等。可通过位姿传感器采集数据，并根据位姿传感器采集的数据获取终端设备的位姿信息。

作为一种可选的实施方式，终端设备获取的位姿信息可以是终端设备相对初始时刻的位置和/或姿态信息，该初始时刻可根据实际需求进行设置，例如，初始时刻可以是终端设备通过摄像头采集第一图像的时刻，也可以是终端设备对显示的界面进行初始化的时刻，可选地，在显示的界面初始化后，终端设备可显示分割得到的主显图像，并利用终端设备的位姿信息对显示的主显图像进行调整，最终再显示得到的目标图像。

终端设备可在初始时刻对位姿传感器进行重置，位姿传感器可从初始时刻开始对终端设备的位置变化和/或姿态变化等进行累计，实时得到终端设备的位姿信息。例如，以位姿传感器为IMU传感器为例，IMU可从初始时刻开始测量终端设备在三维空间中角速度和加速度，进而解算出终端设备的三维姿态和位移变化，通过对终端设备的三维姿态和位移变化进行累计，可实时得到终端设备的位姿信息。

步骤230，根据位姿信息分别对主显图像及副显图像进行变换。

在本申请实施例中，对主显图像及副显图像进行变换可以是图像几何变换，该图像几何变换可包括平移变换、缩放变换、旋转变换及偏移变换等中的一种或多种，但不限于此。终端设备可根据位姿信息确定主显图像对应的变换矩阵，并利用该变换矩阵对主显图像进行变换，以得到变换后的主显图像。可选地，该主显图像的变换可与终端设备的位姿信息匹配，可根据终端设备的位置信息对主显图像进行平移变换和/或缩放变换，可根据终端设备的姿态信息对主显图像进行旋转变换和/或偏移变换，使得主显图像的变换符合终端设备当前的位姿信息。

在对主显图像进行变换后，终端设备可基于变换后的主显图像确定副显图像对应的变换矩阵，再根据副显图像对应的变换矩阵对副显图像进行变换。由于副显图像与主显图像相交的像素点会随着主显图像的变换而发生变换，因此可利用副显图像与主显图像相交的像素点确定副显图像对应的变换矩阵，使得副显图像与主显图像相交的像素点在经过变换后依然为相同的像素点，从而可保证变换后的副显图像能够更好地与主显图像进行拼接。

步骤240，将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像。

在一些实施例中，终端设备可将变换后的主显图像与变换后的副显图像进行配准，得到变换后的主显图像与变换后的副显图像中相匹配的像素点，并将变换后的主显图像与变换后的副显图像中相匹配的像素点进行融合，不匹配的像素点可直接进行拼接组合，从而将变换后的主显图像及变换后的副显图像拼接成无缝的目标图像。

可选地，终端设备可对第一图像进行显示，并在拼接得到目标图像后，对目标图像进行显示，从而用户可直观地观察到第一图像的变化。在一些实施例中，由于第一图像可以是通过具有较大FOV的摄像头采集得到的图像，通过将第一图像分割成主显图像及副显图像，并利用终端设备的位姿信息对主显图像及副显图像进行变换调整，再拼接形成新的目标图像，从而可通过终端设备的位姿变化调整大FOV的图像的显示内容，提高互动性，且能够提高用户的沉浸感。

在本申请实施例中，通过对第一图像进行分割，得到主显图像及副显图像，获取终端设备的位姿信息，并根据该位姿信息分别对主显图像及副显图像进行变换，再将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像，将第一图像分割后又拼接形成目标图像，用户通过改变终端设备的位姿信息即可对主显图像及副显图像进行变换，从而改变拼接形成的目标图像，能够丰富图像的处理方式，提高用户与图像之间的互动性。

如图4所示，在一个实施例中，提供另一种图像处理方法，可应用于上述的终端设备，该方法可包括以下步骤：

步骤402，将第一图像与第二图像进行对齐，确定第一图像中与第二图像匹配的图像区域。

在一个实施例中，终端设备上可至少设置有第一摄像头及第二摄像头，其中，第一摄像头的视场角可大于第二摄像头的视场角，例如，第一摄像头可以是广角摄像头或超广角摄像头，第二摄像头可以是主摄像头(即标准摄像头)。终端设备可控制第一摄像头及第二摄像头同时进行图像采集，第一图像可以是终端设备在第一时刻通过第一摄像头采集的图像，第二图像可以是终端设备在第一时刻通过第二摄像头采集的图像，第一图像与第二图像是第一摄像头及第二摄像头在同一时刻分别采集到的图像。

在一些实施例中，终端设备在通过第一摄像头及第二摄像头采集第一图像及第二图像之前，还可通过摄像头标定算法对第一摄像头及第二摄像头进行标定，对第一摄像头及第二摄像头进行校正，标定第一摄像头与第二摄像头的内参数、外参数等。其中，内参数指的是摄像头内部的参数，可包括畸变参数、镜头光轴偏移参数、焦距等，外参数可用于描述摄像头在世界坐标系下的参数，例如摄像头的位置、旋转方向，与其它摄像头之间的位置关系等。

终端设备可根据标定的第一摄像头的内参数及外参数等对第一摄像头进行畸变校正及立体校正，并根据标定的第二摄像头的内参数及外参数等对第二摄像头进行畸变校正，从而可保证得到正常的第一图像与第二图像，提高后续第一图像与第二图像进行对齐时的准确性。

终端设备可将第一图像与第二图像进行对齐，将第一图像与第二图像进行对齐的方式可包括但不限于以下几种方式：

方式一、分别提取第一图像与第二图像中的特征点，并将第一图像的特征点与第二图像的特征点进行匹配，并根据第一图像与第二图像中匹配的特征点对确定第一图像中与第二图像匹配的图像区域。可选地，可提取第一图像与第二图像中的SIFT(Scale-invariant feature transform，尺度不变特征变换)特征描述子、ORB(Oriented Fast andRotated Brief，定向快速和旋转二进制特征)特征描述子等，但不限于此。进一步地，可利用RANSAC(Random sample consensus，随机抽样一致)等算法对匹配的特征点对进行筛选，过滤错误的匹配的特征点，提高图像对齐的准确性。

方式二、可将第二图像按照一定的缩小比例缩小，并将缩小后的第二图像作为图像搜索模板，并模拟图像搜索模板在第一图像上移动，可将图像搜索模板在第一图像中覆盖的子图块与该图像搜索模板进行比较，并计算图像搜索模板与覆盖的子图块之间的相似度，当该相似度大于预设的相似度阈值时，可将图像搜索模板在第一图像中覆盖的子图块作为第一图像中与第二图像匹配的图像区域。

在一个实施例中，上述的缩小比例可根据第一摄像头与第二摄像头之间视场角比值进行确定。进一步地，缩小比例可与第一摄像头与第二摄像头之间视场角比值呈正相关关系。第一摄像头与第二摄像头之间视场角比值越大，说明第一摄像头的视场角与第二摄像头的视场角相差较大，可设置较大的缩小比例，缩小后的第二图像相对原始的第二图像的尺寸变化较大。第一摄像头与第二摄像头之间视场角比值越小，说明第一摄像头的视场角与第二摄像头的视场角相差较小，可设置较小的缩小比例，缩小后的第二图像较为接近原始的第二图像。

可选地，第二图像也可以是预先设置的参考图像，或是其它摄像头采集的图像等，并不仅限于终端设备的主摄像头采集的图像。

步骤404，根据该匹配的图像区域确定第一图像中的主显图像区域及副显图像区域。

作为一种可选的实施方式，终端设备可直接将第一图像中与第二图像匹配的图像区域作为主显图像区域，并将第一图像中除主显图像区域以外的其它图像区域作为副显图像区域。

作为另一种可选的实施方式，由于第一图像中与第二图像匹配的图像区域可能为不规则形状的图像区域，因此，终端设备可查找该匹配的图像区域的内接四边形，并将内接四边形的顶点作为主显图像区域的顶点，得到主显图像区域。该内接四边形可包括但不限于正方形、矩形等。内接四边形对应的图像区域可作为主显图像区域。通过查找匹配的图像区域的内接四边形，并基于该内接四边形确定主显图像区域，可以防止在后续进行图像分割时出现无效的图像区域，提高图像处理效率，并进一步保证图像拼接的效果。

终端设备在确定第一图像中的主显图像区域后，可将第一图像中，除主显图像区域外的其它图像区域划分为多个子区域，并根据该多个子区域确定每个子区域对应的副显图像区域。可根据主显图像区域的各个图像侧边将其它图像区域划分为与各个图像侧边分别对应的多个子区域，从而可确定与主显图像区域的每个图像侧边分别对应的多个副显图像区域。

在一些实施例中，根据多个子区域确定与每个子区域对应的副显图像区域，可包括：按照扩充比例分别对多个子区域进行扩大，得到与每个子区域对应的副显图像区域。该扩充比例可根据实际需求进行设置，例如10％、20％、15％、18％等，在此不作限定。按照扩展比例对子区域进行扩大，可指的是将子区域与主显图像区域相交的边向主显图像区域扩大，使得扩大后得到的副显图像区域与主显图像区域具备重叠的图像区域，可提高后续进行图像拼接的拼接效果，保证得到无缝的目标图像。

图5A为一个实施例中对子区域进行扩大的示意图。如图5A所示，终端设备在确定第一图像中的主显图像区域510后，可对主显图像区域510外的其它图像区域进行划分，得到多个子区域，其中，图5A中仅显出了其中一个子区域502，可按照扩充比例对子区域502进行扩大，可将子区域502与主显图像区域510重合的边向主显图像区域510扩充，得到与该子区域502对应的副显图像区域520。副显图像区域520与主显图像区域510之间存在重叠区域。

图5B为一个实施例中主显图像区域与副显图像区域的示意图。如图5B所示，终端设备在确定第一图像中的主显图像区域510后，可基于扩充比例对划分的各个子区域进行扩大，得到副显图像区域520、副显图像区域530、副显图像区域540及副显图像区域550。

步骤406，根据主显图像区域及副显图像区域对第一图像进行分割，得到主显图像及副显图像。

终端设备可对第一图像进行分割，可将第一图像的主显图像区域作为主显图像，并将第一图像中的各个副显图像区域作为副显图像，从而可得到一张主显图像及多张副显图像。以图5B为例，终端设备可按照图5B中的主显图像区域510、副显图像区域520、副显图像区域530、副显图像区域540及副显图像区域550进行分割，则主显图像区域510可作为主显图像，副显图像区域520、副显图像区域530、副显图像区域540及副显图像区域550可分别作为副显图像。

在其它的实施例中，也可直接在第一图像中选择固定的分辨率图像作为主显图像，终端设备可从第一图像中选择固定尺寸及图像位置的图像区域作为主显图像，本申请实施例对分割第一图像得到主显图像及副显图像的方式不作限定。

步骤408，获取终端设备的位姿信息。

在一些实施例中，终端设备可通过位姿传感器测量当前时刻的角速度及加速度，该角加速指的是终端设备进行姿态变化时的角度变化速度，加速度则可包括平移加速度，也即终端设备进行平移时的加速度。可基于位姿传感器的传感器模型，利用测量得到的加速度计算终端设备的平移量，并根据该平移量构建平移矩阵；利用测量得到的角速度计算四元数，并根据该四元数构建旋转矩阵，该四元数可用于描述终端设备在三维空间中的朝向(即姿态)。构建的平移矩阵和旋转矩阵可作为终端设备的位姿信息。

作为一种具体实施方式，可根据公式(1)、公式(2)计算终端设备的平移量：

v

其中，

利用公式(1)可计算得到终端设备在j时刻，分别在位姿传感器的坐标系下的X轴、Y轴和Z轴的平移量，其中，在X轴的平移量可为

在计算得到终端设备在位姿传感器的坐标系下的X轴、Y轴和Z轴的平移量后，可根据该平移量构造得到平移矩阵T(p)：

其中，

作为一种具体实施方式，可根据公式(3)计算得到四元数：

其中，

可根据计算得到的四元数得到旋转矩阵R(p)：

步骤410，根据位姿信息对主显图像进行变换。

终端设备可利用计算得到的平移矩阵及旋转矩阵对主显图像进行变换，可先利用平移矩阵对主显图像进行平移变换，再利用旋转矩阵对主显图像进行旋转变换。在一个实施例中，可根据计算得到的平移矩阵及旋转矩阵确定主显图像对应的变换矩阵P′＝RP+RT，其中，R为旋转矩阵，T为平移矩阵，矩阵P为主显图像的齐次坐标矩阵，矩阵P经过平移及旋转后得到变换矩阵P′，并利用该变换矩阵P′对主显图像进行变换，得到变换后的主显图像。

步骤412，基于变换后的主显图像确定副显图像对应的变换矩阵，并根据变换矩阵对副显图像进行变换。

由于副显图像包含第一图像中在主显图像的周围图像区域的图像内容，因此副显图像与主显图像之间存在相交像素点，该相交像素点可理解为同时存在于副显图像与主显图像的图像侧边上的像素点。副显图像与主显图像的相交像素点会随着主显图像的变换而变换，且副显图像的外边界上的角像素点不会发生变换，该副显图像的外边界上的角像素点可理解为与主显图像不相交的侧边上的角像素点。

图6为一个实施例中副显图像与主显图像的相交像素点，及副显图像的角像素点的示意图。如图6所示，p1和p2为副显图像520与主显图像510的相交像素点，p3和p4为副显图像的外边界上的角像素点，p1和p2会随着主显图像510的变换而变换，p3和p4会保持不变。

因此，终端设备可确定副显图像与主显图像的相交像素点，在变换后的主显图像中对应的变换像素点，并根据副显图像的角像素点、以及相交像素点与对应的变换像素点，计算副显图像对应的变换矩阵。

具体地，终端设备可先根据副显图像的各个图像侧边上包含的像素点在第一图像中的坐标，以及主显图像的各个图像侧边包含的像素点在第一图像中的坐标，确定副显图像与主显图像的相交像素点，得到同时存在于副显图像的图像侧边及主显图像的图像侧边上，且坐标相同的像素点，即相交像素点。再基于主显图像对应的变换矩阵(即上述的变换矩阵P′)计算副显图像与主显图像的相交像素点对应的变换像素点，该变换像素点即为相交像素点在变换后的主显图像中对应的变换像素点。可利用相交像素点对应的变换像素点，以及副显图像中不进行变换的角像素点，计算得到副显图像对应的单应性变换矩阵。

以图6举例进行说明，终端设备可利用主显图像510对应的变换矩阵计算副显图像520的p1和p2对应的变换像素点p1’及p2’，p3和p4保持不变，则可利用(p1，p1’)、(p2、p2’)、p3及p4的像素值计算副显图像520对应的单应性变换矩阵。

在计算得到副显图像对应的变换矩阵后，可根据副显图像对应的变换矩阵对副显图像中的各个像素点进行变换，得到变换后的副显图像。在存在多张副显图像时，可按照上述实施例中描述的方式分别计算各张副显图像对应的变换矩阵，并根据各张副显图像对应的变换矩阵分别对各张副显图像进行变换，从而得到多张变换后的副显图像。

步骤414，将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像。

终端设备可将变换后的主显图像，以及变换后的多张副显图像进行拼接，得到目标图像。对于每一张变换后的副显图像，可将变换后的主显图像与变换后的副显图像进行对齐，并计算变换后的主显图像与变换后的副显图像之间的重叠区域。需要说明的是，将变换后的主显图像与变换后的副显图像进行对齐的方式可采用上述实施例中将第一图像与第二图像进行对齐的方式，在此不再对将变换后的主显图像与变换后的副显图像进行对齐的方式进行重复赘述。

在一些实施例中，由于在确定副显图像对应的副显图像区域时，按照扩充比例对划分的子区域进行扩大，因此，分割得到的副显图像与主显图像之间存在重叠区域。在对副显图像进行变换后，由于副显图像与主显图像分别对应不同的变换矩阵，因此需重新将变换后的主显图像与变换后的副显图像进行对齐，得到变换后的主显图像与变换后的副显图像之间匹配的图像区域，该匹配的图像区域即为重叠区域。

在一些实施例中，在上述中对子区域进行扩大，得到与子区域对应的副显图像区域后，可记录副显图像区域与主显图像区域之间的重叠区域的四个角像素点，并利用主显图像的变换矩阵对重叠区域的四个角像素点进行变换，得到四个角像素点在变换后的主显图像中的四个变换像素点，从而根据该四个变换像素点确定变换后的主显图像与变换后的副显图像之间的重叠区域。

终端设备可将变换后的主显图像与变换后的副显图像之间的重叠区域进行融合，拼接得到目标图像。将变换后的主显图像与各张变换后的副显图像之间的重叠区域进行融合的方式可包括但不限于平均像素值融合、加权平均像素值融合、基于非线性方法融合、颜色空间融合等，在此不作限定。对于变换后的主显图像与各张变换后的副显图像的非重叠区域，可直接进行拼接，从而组合形成无缝的目标图像。

在本申请实施例中，利用终端设备的位姿信息对主显图像进行变换，使得主显图像跟随位姿信息的变化进行变换，保持协同变换，进一步提高互动效果，且基于变换后的主显图像对副显图像进行变换，保证副显图像变换后的图像效果，提高了图像拼接的准确性，丰富了图像的处理方式，提高用户与图像之间的互动性的同时，且提高了目标图像的图像视觉效果。

如图7所示，在一个实施例中，上述图像处理方法还可包括以下步骤：

步骤702，对目标图像进行显示。

终端设备可对显示界面进行初始化，并在分割得到主显图像后，对主显图像进行显示，可选地，在对显示界面进行初始化后，也可直接显示第二摄像头采集的图像。终端设备利用位姿信息对主显图像及副显图像进行变换，可在显示界面显示变换的主显图像，并将变换后的主显图像与副显图像进行拼接得到目标图像后，可显示该目标图像，用户可直接地观察到主显图像的变化，提高互动性。

图8A为一个实施例中显示主显图像的界面示意图。如图8A所示，显示界面810中显示了分割得到的主显图像，终端设备在利用位姿信息对主显图像进行变换后，可在显示界面820中显示变换后的主显图像。

图8B为一个实施例中显示目标图像的界面示意图。如图8B示所，在对主显图像及副显图像进行变换后，可将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像。由于第一图像的FOV较大，因此拼接得到的目标图像的FOV也较大，从图8B中也可直观看出目标图像相对主摄像头采集的图像(即主显图像)能够显示更大FOV的图像内容，可提高用户的沉浸感。

步骤704，当检测到终端设备的位姿信息发生变化时，获取终端设备的位姿变化信息。

步骤706，根据位姿变化信息重新对主显图像及副显图像进行变换，并将重新变换后的主显图像及变换后的副显图像进行拼接，得到更新后的目标图像，再对更新后的目标图像进行显示。

终端设备在检测到位姿信息发生变化时，可获取终端设备的位姿变化信息，该位姿变化信息可用于表示终端设备发生变化的位置及姿态信息，并根据该位姿变化信息对目标图像进行更新显示。可根据位姿变化信息重新对主显图像及副显图像进行变换，主显图像的变换可与位姿变化信息保持一致，例如，终端设备向左移动时，主显图像可向左平移变换，终端设备向右旋转时，主显图像可向右旋转改变图像视角，从而使得主显图像能够模拟终端设备的移动进行视角切换。可选地，也可设置主显图像的变换规则，例如，终端设备沿着朝向用户的方向移动时，主显图像可放大变换，终端设备沿着远离用户的方向移动时，主显图像可缩小变换等，在此不作限定。

终端设备可将重新变换后的主显图像及变换后的副显图像进行拼接，得到更新后的目标图像，再对更新后的目标图像进行显示，从而实现实时基于位姿信息对目标图像进行更新显示的效果，用户通过改变终端设备的位姿，可在显示界面中直观地看到不同的目标图像，提高用户与图像之间的互动感。

在本申请实施例中，终端设备可通过显示界面显示目标图像，并可实时根据终端设备的位姿对目标图像进行更新显示，用户通过改变终端设备的位姿，可在显示界面中直观地看到不同的目标图像，提高用户与图像之间的互动感。

如图9所示，在一个实施例中，提供一种图像处理装置900，可应用于上述的终端设备，该图像处理装置900可包括图像分割模块910、位姿获取模块920、变换模块930及拼接模块940。

图像分割模块910，用于对第一图像进行分割，得到主显图像及副显图像。

在一个实施例中，第一图像包括通过广角摄像头采集的广角图像，以及通过超广角摄像头采集的超广角图像中的至少一种。

位姿获取模块920，用于获取终端设备的位姿信息。

变换模块930，用于根据位姿信息分别对主显图像及副显图像进行变换。

拼接模块940，用于将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像。

在本申请实施例中，通过对第一图像进行分割，得到主显图像及副显图像，获取终端设备的位姿信息，并根据该位姿信息分别对主显图像及副显图像进行变换，再将变换后的主显图像及变换后的副显图像进行拼接，得到目标图像，将第一图像分割后又拼接形成目标图像，用户通过改变终端设备的位姿信息即可对主显图像及副显图像进行变换，从而改变拼接形成的目标图像，能够丰富图像的处理方式，提高用户与图像之间的互动性。

在一个实施例中，图像分割模块910，包括对齐单元、区域确定单元及分割单元。

对齐单元，用于将第一图像与第二图像进行对齐，确定第一图像中与第二图像匹配的图像区域，其中，第一图像为终端设备在第一时刻通过第一摄像头采集的图像，第二图像为终端设备在第一时刻通过第二摄像头采集的图像，第一摄像头的视场角大于第二摄像头的视场角。

区域确定单元，用于根据匹配的图像区域确定第一图像中的主显图像区域及副显图像区域。

在一个实施例中，区域确定单元，还用于查找匹配的图像区域的内接四边形，并将内接四边形的顶点作为主显图像区域的顶点，得到主显图像区域，再将第一图像中，除主显图像区域外的其它图像区域划分为多个子区域，并根据多个子区域确定与每个子区域对应的副显图像区域。

在一个实施例中，区域确定单元，还用于按照扩充比例分别对多个子区域进行扩大，得到与每个子区域对应的副显图像区域。

分割单元，用于根据主显图像区域及副显图像区域对第一图像进行分割，得到主显图像及副显图像。

在一个实施例中，变换模块930，包括第一变换单元及第二变换单元。

第一变换单元，用于根据位姿信息对主显图像进行变换。

第二变换单元，用于基于变换后的主显图像确定副显图像对应的变换矩阵，并根据变换矩阵对副显图像进行变换。

在一个实施例中，第二变换单元，还用于确定副显图像中与主显图像的相交像素点，在变换后的主显图像中对应的变换像素点，并根据副显图像的角像素点、以及相交像素点与对应的变换像素点，计算副显图像对应的变换矩阵。

在一个实施例中，拼接模块940，还用于将变换后的主显图像与变换后的副显图像进行对齐，并计算变换后的主显图像与变换后的副显图像之间的重叠区域，以及用于将变换后的主显图像与变换后的副显图像之间的重叠区域进行融合，拼接得到目标图像。

在本申请实施例中，利用终端设备的位姿信息对主显图像进行变换，使得主显图像跟随位姿信息的变化进行变换，保持协同变换，进一步提高互动效果，且基于变换后的主显图像对副显图像进行变换，保证副显图像变换后的图像效果，提高了图像拼接的准确性，丰富了图像的处理方式，提高用户与图像之间的互动性的同时，且提高了目标图像的图像视觉效果。

在一个实施例中，上述图像处理装置900，除了包括图像分割模块910、位姿获取模块920、变换模块930及拼接模块940，还包括显示模块。

显示模块，用于对目标图像进行显示。

位姿获取模块920，还用于当检测到终端设备的位姿信息发生变化时，获取终端设备的位姿变化信息。

变换模块930，还用于根据位姿变化信息重新对主显图像及副显图像进行变换。

拼接模块940，还用于将重新变换后的主显图像及变换后的副显图像进行拼接，得到更新后的目标图像。

显示模块，还用于对更新后的目标图像进行显示。

在本申请实施例中，终端设备可通过显示界面显示目标图像，并可实时根据终端设备的位姿对目标图像进行更新显示，用户通过改变终端设备的位姿，可在显示界面中直观地看到不同的目标图像，提高用户与图像之间的互动感。

图10为一个实施例中终端设备的结构框图。如图10所示，终端设备1000可以包括一个或多个如下部件：处理器1010、与处理器1010耦合的存储器1020，其中存储器1020可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器1010执行时实现如上述各实施例描述的方法。

处理器1010可以包括一个或者多个处理核。处理器1010利用各种接口和线路连接整个终端设备1000内的各个部分，通过运行或执行存储在存储器1020内的指令、程序、代码集或指令集，以及调用存储在存储器1020内的数据，执行终端设备1000的各种功能和处理数据。可选地，处理器1010可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1010可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1010中，单独通过一块通信芯片进行实现。

存储器1020可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器1020可用于存储指令、程序、代码、代码集或指令集。存储器1020可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储终端设备1000在使用中所创建的数据等。

可以理解地，终端设备1000可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM可为多种形式，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

以上对本申请实施例公开的一种图像处理方法、装置、终端设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。