图像融合方法、装置、电子设备及可读存储介质

技术领域

本发明涉及机器视觉中的图像处理技术领域，更具体地说，涉及图像融合方法、装置、电子设备及可读存储介质。

背景技术

中国在世界上水果市场上占据重要的地位，而且种类繁多，品种丰富。随着我国人民生活质量的提高，水果消费也有了明显增长趋势。在水果加工技术领域，水果流入市场之前需要经过检测将不合格的水果进行筛选。早期的检测和分选手段落后，大多数水果未经过分选直接到消费者手里，出现了质量参差不齐，也严重影响了水果的市场价值。因此，为了保障水果质量和大小规则的一致，出现了不同方案对水果进行分选定级。

早期通过人工进行水果质量检测和分级，但是劳动强度大，工作效率低，且容易受到人的主观影响，随着水果销量的迅速发展，人工分选已经远远满足不了市场的需求。之后，又出现了滚筒式分级机，利用提前设计好的若干级别尺寸的圆形框进行机械分选，当水果的外形略小于设定的圆形框，可依靠其本身重力穿过或跌落输出到指定的出口，从而实现分级，但是该方案还是不能准确的识别出水果的外观瑕疵或者水果的质量问题。随着，相机技术和机器学习技术的提升，水果分选机也得到了进一步的革新，利用相机拍摄传送带上水果的图像，并通过图像处理技术和机器学习获得水果的外貌特征，从而将水果进行分选和定级处理，也大大提高了工作效率和准确性，但是一般只是采用彩色图像作为输入来进行直接的判断，但是单一的彩色图像容易在进光量和清晰度上达到图像质量瓶颈，并且单一的彩色图像容易受到光源的影响，导致水果出现错误的分选。

发明内容

针对现有技术中的问题，为了增强图像中的对比度和清晰度信息，本发明提出图像融合方法、装置、电子设备及可读存储介质。

为达到上述目的，本发明提供的技术方案为：

一种图像融合方法，所述图像融合方法包括，

获取彩色图像Src

分别对所述彩色图像Src

根据最大外接矩阵Rect

计算彩色图像的灰度图像ROI

将黑白ROI区域图像ROI

将对齐后的图像ROI

进一步地，对所述彩色图像Src

大津二值化方法对图像H和S通道进行二值化分割获得前景图像Mask

对前景图像Mask

进一步地，对所述黑白图像Src

进一步地，获得彩色图像的灰度图像ROI

获得黑白图像的灰度图像ROI

进一步地，所述彩色图像的灰度图像ROI

进一步地，将黑白图像的灰度图像ROI

进一步地，ROI

本发明还提供一种图像融合装置，所述装置包括，

获取模块，用于获取彩色图像Src

分割模块，用于分别对所述彩色图像Src

剪裁模块，用于根据最大外接矩阵Rect

像素位置关系计算模块，计算彩色图像的灰度图像ROI

变换模块，用于将黑白ROI区域图像ROI

融合模块，用于将对齐后的图像ROI

输出模块，用于将最终彩色图像Src

本发明还提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行所述的图像融合方法。

本发明还提供一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像融合方法中的步骤。

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

本发明图像融合方法，将处理后的彩色图像和黑白图像进行融合，从而获得增强后的彩色图像中的对比度和清晰度信息，从而进一步提升图像检测的准确率。对原始获取的彩色图像和黑白图像进行前后景分割，大幅度减少求解彩色图像和黑白图像像素位置关系的计算量，并且通过泊松融合来提升彩色图像的对比度和清晰度。

附图说明

图1为图像融合方法流程图；

图2为图像融合装置的框架示意图；

图3为电子设备的框架示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，在本文中提及“示例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

示例性场景

在水果分选分级检测中，通常基于彩色图像进行检测，本实施例提供一种图像融合方法，应用于水果分级分选线上，拍摄的目标为水果，对水果分别拍摄其彩色图像和黑白图像，处理后通过彩色图像和黑白图像进行融合，提高最终图像中的对比度和清晰度信息，通过该图像对水果进行分选分级检测。

示例性方法

本实施例提供一种图像融合方法，通过对水果分选分级进行说明。

如图1所示，为一种图像融合方法的流程图。

具体地，图像融合方法包括如下步骤：

S110：获取彩色图像Src

具体地，通过在水果分选线上分别设置拍摄彩色照片的相机和拍摄黑白照片的相机，分别用于拍摄获得水果的彩色图像Src

S120：分别对所述彩色图像Src

由于在水果分选分级检测时，一方面主要关注所拍摄图像中的水果的图像信息；另一方面需要考虑在多拍摄图像融合的过程中如何提高算法效率。因此可以仅针对特定的区域进行融合，从而缩短算法的运行时间，特定的区域为拍摄对象所在的区域。因此针对彩色图像Src

具体地，关于彩色图像Src

关于黑白图像Src

G

G

其中，x为黑白图像Src

然后使用大津二值化方法对图像梯度信息G进行二值化分割，此时可以获得黑白图像Src

根据彩色图像上水果区域的外接矩阵坐标Rect

关于x，y，width，height，x为图像位于像平面坐标系中的横向坐标值，y为图像位于像平面坐标系中的纵向坐标值，width为图像中水果区域的宽度，即图像中拍摄目标的宽度，height为图像中水果区域的高度，即图像中拍摄目标的高度。

S130：根据最大外接矩阵Rect

具体地，选取图像中的ROI区域裁切生成待处理图像，ROI区域是指拍摄对象的区域。由于拍摄获取的图像原始的分辨率较大，但是拍摄的对象水果为主要的感兴趣的区域，在下一步额处理中只针对图像中感兴趣的区域进行处理，能够大大降低分选分级检测过程中的计算量。

根据最大外接矩阵Rect

然后根据已有的水果区域图像Mask

S140：计算彩色图像的灰度图像ROI

本实施例中，水果的彩色图像和黑白图像分别由两个相机拍摄获得，当然在其他的实施例中也可以由能够获取两种图像的智能相机进行拍摄，智能相机上的摄像头具备彩色图像拍摄和黑白图像拍摄两种拍摄功能。再具体到本实施例中，两个相机固定设置在光电箱中，两个相机位置差异不会太大，具体设置时两个相机相邻设置，均位于水果传送带的上方，且两个相机相对于水果传送带位于同一高度上。

由于两个相机的位置靠近，在计算彩色图像的灰度图像ROI

本实施例中，通过对彩色图像的灰度图像ROI

其中，I

最终匹配代价值采用赢家通吃(WTA)方法，即选择SAD(x，y，d，r)最大值对应的d和r值作为两幅图像影响对应像素的坐标关系。对于式(4)中计算时，只计算Mask图像中像素点等于255的区域，对于Mask图像中像素点等于0的值，进行跳过。因此得到一个矩阵Mat来记录两幅图像的坐标关系。

S150：将黑白ROI区域图像ROI

具体地，将黑白ROI区域图像ROI

I

I

S160：将对齐后的图像ROI

具体地，图像融合时，彩色ROI区域图像ROI

本实施例中的图像融合方法，将处理后的彩色图像和黑白图像进行融合，从而获得增强后的彩色图像中的对比度和清晰度信息，从而进一步提升图像检测的准确率。对原始获取的彩色图像和黑白图像进行前后景分割，大幅度减少求解彩色图像和黑白图像像素位置关系的计算量，并且通过泊松融合来提升彩色图像的对比度和清晰度示例性装置

如图2所示，一种图像融合装置，包括：

获取模块20，用于获取彩色图像Src

分割模块30，用于分别对所述彩色图像Src

剪裁模块40，用于根据最大外接矩阵Rect

像素位置关系计算模块50，计算彩色图像的灰度图像ROI

变换模块60，用于将黑白ROI区域图像ROI

融合模块70，用于将对齐后的图像ROI

输出模块80，用于将最终彩色图像Src

示例性电子设备

下面，参考图3来描述根据本申请实施例的电子设备。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其发送所选择的目标决策行为。

图3图示了根据本申请实施例的电子设备的框图。

如图3所示，电子设备10包括一个或多个处理器11和存储器12。处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的决策行为决策方法以及/或者其他期望的功能。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

当然，为了简化，图3中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本实施例上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的决策行为决策方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。