一种可见光和红外图像融合方法

技术领域

本发明涉及图像处理领域，特别是涉及一种可见光和红外图像融合方法。

背景技术

目前，在人脸识别领域，通常需要同时利用可见光相机和红外相机同时获取同一目标的图像信息，以通过对两种不同的图像进行融合，提高目标检测率及识别率。在现有的图像融合方案中，需要在可见光图像和红外图像中都识别到所有设定特征点时，才基于识别的设定特征点获取对应的刚性映射矩阵，然后基于获取的刚性映射矩阵对可见光图像和红外图像进行融合。然而，由于可见光拍摄装置和红外拍摄装置的特点，可能存在可见光和/或红外光不能全部识别到所有设定特征点的情况，只能识别设定数量的设定特征点，因此，如何基于识别的设定数量的设定特征点获取对应的刚性映射矩阵是值得研究的课题。

发明内容

针对上述技术问题，本发明采用的技术方案为：

本发明实施例提供一种可见光和红外图像融合方法，所述方法包括如下步骤：

S100，获取目标对象的可见光图像和红外图像。

S200，基于n个设定区域，分别在所述可见光图像和所述红外图像中识别所述n个设定区域，得到可见光识别区域组GV＝(GV

S300，对GV

S400，对GR

S500，获取特征点标识交集组IVRS＝{IVR

S600，基于IVRA对应的特征点中的全部特征点或者部分特征点的坐标获取可见光图像对应的坐标系和红外图像对应的坐标系之间的刚性变换矩阵；IVRA＝IVR

S700，基于所述刚性变换矩阵，将所述红外图像中各像素点映射到所述可见光图像中。

本发明至少具有以下有益效果：

本发明实施例提供的可见光和红外图像融合方法，由于在可见光图像和红外图像中的识别到的属于各个设定区域的特征点数量均大于设定数量阈值时，才做刚性映射矩阵，从而能够使得用于做刚性映射矩阵的特征点在整个图像中是均匀分布的，进而使得图像融合更加准确。此外，相对于现有的需要识别所有的特征点的融合方案，能够节约计算时间。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的可见光和红外图像融合方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的可见光和红外图像融合方法的流程图。

本发明实施例提供一种可见光和红外图像融合方法，如图1所示，所述方法可包括如下步骤：

S100，获取目标对象的可见光图像和红外图像。

在本发明实施例中，目标对象可为人。可通过现有的可见光相机和红外相机对目标对象进行拍摄，得到对应的可见光图像和红外图像。

在一个示意性实施例中，图像可为目标对象的脸部图像。在另一个示意性实施例中，图像可为目标对象的整个身体的图像。优选，为目标对象的整个身体的图像。

在本发明实施例中，红外图像可为经过预处理例如经过降噪、图像增强等处理后的图像。

S200，基于n个设定区域，分别在所述可见光图像和所述红外图像中识别所述n个设定区域，得到可见光识别区域组GV＝(GV

在本发明实施例中，设定区域的划分可基于实际需要进行设置。相邻两个设定区域的中心之间的距离可大于设定阈值。设定阈值可为用户自定义或者经验值，只要能够使得设定区域内的特征点能够区分开即可。在图像为脸部的情况下，设定区域可为整个脸部。在图像为整个身体的情况下，设定区域可包括头部、上肢、躯干、下肢等区域。n个设定区域中的特征点可至少包括穴位。每个设定区域内的特征点可基于实际情况进行设置，例如，头部中的特征点可包括眉毛、眼睛、嘴巴、鼻子、耳朵、下巴等特征点，躯干中的特征点可包括穴位，上肢和下肢中的特征点可包括关节等。在本发明实施例中，设定区域的标识可为设定区域的名称或者为能够知晓该区域在图像中的位置的任何标识。

在本发明实施例中，设定区域可基于经训练的图像识别模型获取。经训练的图像识别模型可为神经网络模型，具体为深度神经网络模型。

S300，对GV

在本发明实施例中，可基于经训练的图像识别模型获取可见光图像中的特征点。在本发明实施例中，特征点的标识可为特征点的名称或者为能够知晓该特征点在图像中的位置的任何标识。在一个示意性实施例中，第z个特征点对应的标识包括第z个特征点对应的标签名、几何信息、相邻区域像素特征中的一个或多个。

具体地，在S300中，对GV

S301，将所述可见光图像输入到经训练后的图像识别模型中进行识别，得到对应的T个可见光图像特征点识别信息表，其中，第b个可见光图像特征点识别信息表中的第u行包括(G

S302，遍历T个可见光图像特征点识别信息表，对于第b个可见光图像特征点识别信息表，如果P

在该步骤中，K1和K2可基于实际情况进行设置，在一个示例中，K1可为0.7，K2可为0.8。

本领域技术人员知晓，如果P

S303，如果P

在本发明一个优选实施例中，x

在本发明实施例中，D0被设置为两个像素点容易混淆的值，可为用户自定义值或者经验值，例如，D0大于2个像素，但小于3个像素。

S303的技术效果在于，如果可见光图像中的所有像素点为某个特征点的最大概率小于K2但大于K1，并且所有像素点为某个特征点的第1大概率对应的像素点和第2大至第Y1大概率对应的像素点中的每个像素点之间的距离小于D0，则说明该特征点是容易混淆的像素点，则需要对该特征点的坐标进行修正，以使得用于刚性映射矩阵的特征点的坐标更加准确。

S400，对GR

在本发明实施例中，可基于经训练的图像识别模型获取红外图像中的特征点。

具体地，在S400中，对GR

S401，将所述红外图像输入到经训练后的图像识别模型中进行识别，得到对应的T个红外图像特征点识别信息表，其中，第d个红外图像特征点识别信息表中的第v行包括(G

S402，遍历T个可见光图像特征点识别信息表，对于第d个红外图像特征点识别信息表，如果P

本领域技术人员知晓，如果P

S403，如果P

在本发明一个优选实施例中，在本发明一个优选实施例中，x

S403的技术效果在于，如果红外图像中的所有像素点为某个特征点的最大概率小于K2但大于K1，并且所有像素点为某个特征点的第1大概率对应的像素点和第2大至第Y1大概率对应的像素点中的每个像素点之间的距离小于D0，则说明该特征点是容易混淆的像素点，则需要对该特征点的坐标进行修正，以使得用于刚性映射矩阵的特征点的坐标更加准确。

S500，获取特征点标识交集组IVRS＝{IVR

在本发明实施例中，D≥3。优选，D的取值为4至6。

本领域技术人员知晓，如果IVR

S600，基于IVRA对应的特征点中的全部特征点或者部分特征点的坐标获取可见光图像对应的坐标系和红外图像对应的坐标系之间的刚性变换矩阵；IVRA＝IVR

在一个示意性实施例中，基于IVRA对应的特征点中的全部特征点的坐标获取可见光图像对应的坐标系和红外图像对应的坐标系之间的刚性变换矩阵。

在另一个示意性实施例中，基于IVRA对应的特征点中的部分特征点的坐标获取可见光图像对应的坐标系和红外图像对应的坐标系之间的刚性变换矩阵，具体可包括：

S601，获取第i个设定区域对应的最大位置差值maxd

在本发明实施例中，d

S602，将maxd

在一个示意性实施例中，如果排序后的序列中的第e个元素小于设定值但是第e+1个元素大于设定值，则第e个元素在序列中的位置序号为X。在一个示意性实施例中，设定值可等于(max1d

S603，根据所述目标特征点标识集对应的特征点的坐标获取可见光图像对应的坐标系和红外图像对应的坐标系之间的刚性变换矩阵。

本领域技术人员知晓，任何基于目标特征点标识交集对应的特征点的坐标获取可见光图像对应的坐标系和红外图像对应的坐标系之间的刚性变换矩阵的方法均属于本发明的保护范围。

S601～S603的技术效果在于，能够将特征点位置之间的差值大的区域剔除，削减镜头畸变或噪声对特征点检测识别的影响，只选择特征点位置之间的差值小的多个区域用作刚性变换矩阵，与直接利用所有区域对应的共同特征点的坐标即IVRA对应的特征点的坐标获取可见光图像对应的坐标系和红外图像对应的坐标系之间的刚性变换矩阵相比，能够进一步提高刚性变换矩阵的准确性。

S700，基于所述刚性变换矩阵，将所述红外图像中各像素点映射到所述可见光图像中。

本领域技术人员知晓，任何基于所述刚性变换矩阵，将所述红外图像中各像素点映射到所述可见光图像中的方法均属于本发明的保护范围。

本发明实施例提供的可见光和红外图像融合方法，由于在可见光图像和红外图像中的识别到的属于各个设定区域的特征点数量均大于设定数量阈值时，才做刚性映射矩阵，从而能够使得用于做刚性映射矩阵的特征点在整个图像中是均匀分布的，进而使得图像融合更加准确。此外，相对于现有的需要识别所有的特征点的融合方案，能够节约计算时间。

进一步地，在本发明实施例中，在S600之后还包括：

S610，将GR

在本发明实施例中，获取目标特征点的方法可采用现有方式，例如，可基于中医理论。S700被替换为：

S710，基于所述刚性变换矩阵，将红外图像中所有的目标特征点映射到所述可见光图像对应的位置处。

S610和S710的技术效果在于，能够在融合后的图像中更好的定位到目标特征点。

进一步地，在本发明实施例中，S700可具体包括：

基于所述刚性变换矩阵，将所述红外图像中所有像素点进行半透明处理并映射到所述可见光图像对应的位置处。

本领域技术人员知晓，任何将所述红外图像中所有像素点进行半透明处理的方法均属于本发明的保护范围。

本发明实施例中，将红外图像中所有像素点进行半透明处理后再映射到所述可见光图像对应的位置处，能够使得融合图像可视化效果更好。

进一步地，在本发明另一实施例中，S500被替换为：

S510，获取特征点标识交集IVRS＝{IVR

在本发明实施例中，每个设定区域的关键特征点可基于实际情况进行设置。

S510的技术效果在于，只有在红外图像和可见光图像中的每个设定区域内的相同特征点的数量大于设定数量阈值并且相同特征点和该设定区域对应的关键特征点之间的交集的数量大于预设数量时，才获取刚性映射矩阵，从而能够使得获取的刚性映射矩阵更加准确。

进一步地，在本发明另一实施例中，S500被替换为：

S520，获取特征点标识交集IVRS＝{IVR

S520的技术效果在于，只有在红外图像和可见光图像中的每个设定区域内的相同特征点的数量大于设定数量阈值并且相同特征点全部属于该设定区域对应的关键特征点时，才获取刚性映射矩阵，与S510相比，能够进一步使得获取的刚性映射矩阵更加准确。

进一步地，本发明实施例提供的方法还可包括：

S800，将所述刚性变换矩阵进行存储，当接收到与所述刚性变换矩阵对应的图像拍摄条件拍摄的新的红外图像和可见光图像时，利用所述刚性变换矩阵将接收到的新的红外图像中各像素点映射到接收到的新的可见光图像中。

在本发明实施例中，通过将刚性变换矩阵进行存储，当下次使用同样的拍摄条件得到的红外图像和可见光图像时，可以直接之前得到的刚性变换矩阵进行变换，能够提高图像匹配效率。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。