一种图像处理方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、设备及存储介质。

背景技术

全景图像拼接技术可以将多张具有一定相关性的图像合成一张全景图片，其解决了由于相机本身的拍摄视野有限而无法拍摄场景全景的问题。在相机进行连续性拍摄的过程中，由于光线变化、相机本身的抖动和拍摄对象的移动等原因，采集到的图像质量参差不齐，导致最终合成的全景图片出现拼接模糊、畸变、扭曲等问题，拼接效果并不理想。

发明内容

本申请实施例的目的在于提供一种图像处理方法、装置、设备及存储介质，用以实现提升全景图像的拼接质量。

本申请实施例第一方面提供了一种图像处理方法，包括：获取待拼接图像集，所述待拼接图像集中包括多个待拼接的图像；利用孪生神经网络模型，对所述待拼接图像集中的图像进行相关性分析；根据相关性分析结果，确定所述待拼接图像集中的图像的拼接顺序；根据所述拼接顺序，合成全景图像。

于一实施例中，所述利用孪生神经网络模型，对所述待拼接图像集中的图像进行相关性分析，包括：从所述待拼接图像集中选取一个图像作为初始图像；利用孪生神经网络模型对所述初始图像进行相关性分析，确定所述初始图像的拼接图像；判断所述待拼接图像集中是否存在未进行相关性分析的剩余图像；若所述待拼接图像集中存在未进行相关性分析的剩余图像，则从所述拼接图像中选取一个图像作为初始图像，利用孪生神经网络模型对所述初始图像进行相关性分析，确定所述初始图像的拼接图像，判断所述待拼接图像集中是否存在未进行相关性分析的剩余图像，直至所述待拼接图像集中不存在未进行相关性分析的剩余图像。

于一实施例中，所述利用孪生神经网络模型对所述初始图像进行相关性分析，确定所述初始图像的拼接图像，包括：利用孪生神经网络模型，逐个计算所述初始图像和所述待拼接图像集中除所述初始图像以外的其他图像的相似度，得到至少一个第一相似度；从所述其他图像中筛选所述第一相似度在预设范围内的图像，得到相关图像集；利用孪生神经网络模型，逐个计算所述初始图像的第一边界区域与所述相关图像集中的所有图像的相似度，得到至少一个第二相似度；从所述相关图像集中查找所述第二相似度最高的图像，标记为所述初始图像的第一拼接图像。

于一实施例中，在所述从所述相关图像集中查找所述第二相似度最高的图像，标记为所述初始图像的第一拼接图像之后，还包括：利用孪生神经网络模型，逐个计算所述初始图像的第二边界区域与所述相关图像集中的所有图像的相似度，得到至少一个第三相似度；从所述相关图像集中查找所述第三相似度最高的图像，标记为所述初始图像的第二拼接图像。

本申请实施例第二方面提供了一种图像处理装置，包括：获取模块，用于获取待拼接图像集，所述待拼接图像集中包括多个待拼接的图像；分析模块，用于利用孪生神经网络模型，对所述待拼接图像集中的图像进行相关性分析；确定模块，用于根据相关性分析结果，确定所述待拼接图像集中的图像的拼接顺序；合成模块，用于根据所述拼接顺序，合成全景图像。

于一实施例中，所述分析模块用于：从所述待拼接图像集中选取一个图像作为初始图像；利用孪生神经网络模型对所述初始图像进行相关性分析，确定所述初始图像的拼接图像；判断所述待拼接图像集中是否存在未进行相关性分析的剩余图像；若所述待拼接图像集中存在未进行相关性分析的剩余图像，则从所述拼接图像中选取一个图像作为初始图像，利用孪生神经网络模型对所述初始图像进行相关性分析，确定所述初始图像的拼接图像，判断所述待拼接图像集中是否存在未进行相关性分析的剩余图像，直至所述待拼接图像集中不存在未进行相关性分析的剩余图像。

于一实施例中，所述分析模块具体用于：利用孪生神经网络模型，逐个计算所述初始图像和所述待拼接图像集中除所述初始图像以外的其他图像的相似度，得到至少一个第一相似度；从所述其他图像中筛选所述第一相似度在预设范围内的图像，得到相关图像集；利用孪生神经网络模型，逐个计算所述初始图像的第一边界区域与所述相关图像集中的所有图像的相似度，得到至少一个第二相似度；从所述相关图像集中查找所述第二相似度最高的图像，标记为所述初始图像的第一拼接图像。

于一实施例中，所述分析模块具体还用于：利用孪生神经网络模型，逐个计算所述初始图像的第二边界区域与所述相关图像集中的所有图像的相似度，得到至少一个第三相似度；从所述相关图像集中查找所述第三相似度最高的图像，标记为所述初始图像的第二拼接图像。

本申请实施例第三方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行本申请实施例第一方面及其任一实施例的方法。

本申请实施例第四方面提供了一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行本申请实施例第一方面及其任一实施例的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例的电子设备的结构示意图；

图2为本申请一实施例的图像处理方法的流程示意图；

图3为本申请一另实施例的图像处理方法的流程示意图；

图4为本申请一实施例中步骤330的子步骤的流程示意图；

图5为本申请一实施例的图像处理装置的结构示意图。

附图标记：

100-电子设备，110-总线，120-处理器，130-存储器，500-图像处理装置，510-获取模块，520-分析模块，530-确定模块，540-合成模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。

在本申请的描述中，术语“包括”、“包含”等表示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、步骤、操作、元素、组件和/或其集合的存在或添加。

在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“设有”、“连接”、“配置为”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或整体式构造；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

请参看图1，其为本申请一实施例的电子设备100的结构示意图，包括至少一个处理器120和存储器130，图1中以一个处理器为例。处理器120和存储器130通过总线110连接，存储器130存储有可被至少一个处理器120执行的指令，指令被至少一个处理器120执行，以使至少一个处理器120执行如下述实施例中的图像处理方法。

于一实施例中，处理器120可以是通用处理器，包括但不限于中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等，还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器120是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。处理器120可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。

于一实施例中，存储器130可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，包括但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，静态随机存取存储器(Static Random Access Memory，简称SRAM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(ElectricErasable Programmable Read-Only Memory，EEPROM)等。

图1所示的电子设备100的结构仅为示意，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

如图2所示，其为本申请一实施例的图像处理方法的流程示意图，该方法可由图1所示的电子设备100来执行，以实现提升全景图像的拼接质量。该方法包括如下步骤：

步骤210：获取待拼接图像集。

在上述步骤中，待拼接图像集中包括多个待拼接的图像，该待拼接的图像可以由图像采集设备拍摄得到，图像采集设备包括但不限于相机、手机、摄像头等。

步骤220：利用孪生神经网络模型，对待拼接图像集中的图像进行相关性分析。

在上述步骤中，将待拼接图像集中的图像成对输入预先训练好的孪生神经网络模型，根据孪生神经网络模型输出的相似度计算结果，分析图像的相关性，进行图像的匹配筛选。根据全景图像的特性可知，用于进行全景图像拼接的两张相邻图像应同时具有相同区域和非相同区域，即两张相邻图像的拼接部分相同，而非拼接部分相异。

首先对待拼接图像集中的图像进行全局相关性分析，通过孪生神经网络模型得到每两张图像的整体相似程度，进行初步筛选，保证筛选出的图像之间既具有相同区域又具有非相同区域，然后再对筛选出的图像的拼接部分进行进一步的局部相关性分析，通过孪生神经网络模型得到图像拼接部分的相似程度。

步骤230：根据相关性分析结果，确定待拼接图像集中的图像的拼接顺序。

步骤240：根据拼接顺序，合成全景图像。

如图3所示，其为本申请一实施例的图像处理方法的流程示意图，该方法可由图1所示的电子设备100来执行，以实现提升全景图像的拼接质量。该方法包括如下步骤：

步骤310：获取待拼接图像集。

在上述步骤中，待拼接图像集中包括多个待拼接的图像。详细内容参见上述实施例中步骤210的描述。

步骤320：从待拼接图像集中选取一个图像作为初始图像。

在上述步骤中，从待拼接图像集中选取一个图像作为初始图像，该初始图像可以是随机选取的，也可以是由用户预先指定的。

步骤330：利用孪生神经网络模型对初始图像进行相关性分析，确定初始图像的拼接图像。

在上述步骤中，利用孪生神经网络模型对初始图像进行相关性分析，首先筛选出与初始图像的相似度在预设范围内的相关图像集，然后从中确定出可以用于与初始图像进行拼接的拼接图像。

于一实施例中，该拼接图像可以包括第一拼接图像和第二拼接图像，逐个计算相关图像集中的所有图像与初始图像的第一边界区域的相似度，将相似度最高的图像确定为第一拼接图像，逐个计算相关图像集中的所有图像与初始图像的第二边界区域的相似度，将相似度最高的图像确定为第二拼接图像。

步骤340：判断待拼接图像集中是否存在未进行相关性分析的剩余图像。

在上述步骤中，未进行相关性分析的剩余图像是指待拼接图像集中除初始图像，以及初始图像的拼接图像以外的图像。判断待拼接图像集中是否存在未进行相关性分析的剩余图像，若待拼接图像集中存在未进行相关性分析的剩余图像，则执行步骤350，若待拼接图像集中不存在未进行相关性分析的剩余图像，则执行步骤360。

步骤350：从拼接图像中选取一个图像作为初始图像。下一步执行步骤330。

步骤360：根据相关性分析结果，确定待拼接图像集中的图像的拼接顺序。

在上述步骤中，在完成了待拼接图像集中所有图像的相关性分析之后，可以根据相关性分析结果，对图像进行依次编号，从而表示图像的拼接顺序。

步骤370：根据拼接顺序，合成全景图像。

如图4所示，其为本申请一实施例中步骤330的子步骤的流程示意图，步骤330：利用孪生神经网络模型对初始图像进行相关性分析，确定初始图像的拼接图像，包括如下步骤：

步骤331：利用孪生神经网络模型，逐个计算初始图像和待拼接图像集中除初始图像以外的其他图像的相似度，得到至少一个第一相似度。

在上述步骤中，假设待拼接图像集中包括M张待拼接的图像，将初始图像记为A

于一实施例中，将初始图像A

步骤332：从其他图像中筛选第一相似度在预设范围内的图像，得到相关图像集。

在上述步骤中，从其他图像中筛选第一相似度在预设范围内的图像，该预设范围a

步骤333：利用孪生神经网络模型，逐个计算初始图像的第一边界区域与相关图像集中的所有图像的相似度，得到至少一个第二相似度。

于一实施例中，初始图像的第一边界区域可以为初始图像的左半部分。将相关图像集中的所有图像依次与初始图像的左半部分成对输入孪生神经网络模型，输出至少一个第二相似度。

步骤334：从相关图像集中查找第二相似度最高的图像，标记为初始图像的第一拼接图像。

步骤335：利用孪生神经网络模型，逐个计算初始图像的第二边界区域与相关图像集中的所有图像的相似度，得到至少一个第三相似度。

于一实施例中，初始图像的第二边界区域可以为初始图像的右半部分。将相关图像集中的所有图像依次与初始图像的右半部分成对输入孪生神经网络模型，输出至少一个第三相似度。

步骤336：从相关图像集中查找第三相似度最高的图像，标记为初始图像的第二拼接图像。

如图5所示，其为本申请一实施例的图像处理装置500的结构示意图，该装置可应用于图1所示的电子设备100，包括：获取模块510、分析模块520、确定模块530和合成模块540。各个模块的原理关系如下：

获取模块510，用于获取待拼接图像集，待拼接图像集中包括多个待拼接的图像。

分析模块520，用于利用孪生神经网络模型，对待拼接图像集中的图像进行相关性分析。

确定模块530，用于根据相关性分析结果，确定待拼接图像集中的图像的拼接顺序。

合成模块540，用于根据拼接顺序，合成全景图像。

于一实施例中，分析模块520用于：从待拼接图像集中选取一个图像作为初始图像；利用孪生神经网络模型对初始图像进行相关性分析，确定初始图像的拼接图像；判断待拼接图像集中是否存在未进行相关性分析的剩余图像；若待拼接图像集中存在未进行相关性分析的剩余图像，则从拼接图像中选取一个图像作为初始图像，利用孪生神经网络模型对初始图像进行相关性分析，确定初始图像的拼接图像，判断待拼接图像集中是否存在未进行相关性分析的剩余图像，直至待拼接图像集中不存在未进行相关性分析的剩余图像。

于一实施例中，分析模块520具体用于：利用孪生神经网络模型，逐个计算初始图像和待拼接图像集中除初始图像以外的其他图像的相似度，得到至少一个第一相似度；从其他图像中筛选第一相似度在预设范围内的图像，得到相关图像集；利用孪生神经网络模型，逐个计算初始图像的第一边界区域与相关图像集中的所有图像的相似度，得到至少一个第二相似度；从相关图像集中查找第二相似度最高的图像，标记为初始图像的第一拼接图像。

于一实施例中，分析模块520具体还用于：利用孪生神经网络模型，逐个计算初始图像的第二边界区域与相关图像集中的所有图像的相似度，得到至少一个第三相似度；从相关图像集中查找第三相似度最高的图像，标记为初始图像的第二拼接图像。

上述图像处理装置500的详细描述，请参见上述实施例中相关方法步骤的描述。

本发明实施例还提供了一种电子设备可读存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上仅为本申请的优选实施例而已，仅用于说明本申请的技术方案，并不用于限制本申请。对于本技术领域的普通技术人员而言，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。