图像处理方法、装置、电子设备以及烹饪系统

技术领域

本申请涉及图像识别技术领域，特别涉及一种图像处理方法、装置、电子设备以及烹饪系统。

背景技术

在餐厅中，煲仔饭烹制主要依靠煲仔炉加热其上方的煲仔的形式完成。但是，由于目前操作流程及烹制工艺的影响，在烹制过程中，一部分食材(如玉米粒等)等异物可能会在煲仔中投料时落入煲仔炉中，易导致煲仔无法与煲仔炉的加热内壁保持良好的直接接触，造成热传递不良问题，进而可能引发烹制食材不熟等食品安全问题，影响用户用餐体验。

现有技术中，采用人工识别煲仔炉中是否落入食材等异物，若煲仔炉数量较多时，采用人工识别不仅耗时耗力，而且存在人为错检漏检等的问题。

发明内容

本申请提供了一种图像处理方法、装置、电子设备以及烹饪系统，所述方法能够实现对模型训练样本图像的数据增强，有利于降低模型训练样本图像的采集数量。所述方法能够对待识别图像中的目标进行识别，避免人为错检漏检等问题的发生。

第一方面，本申请提供了一种图像处理方法，包括：

获取输入的第一图像；

对所述第一图像进行目标检测，获得第一目标区域；

获取输入的第二图像；

对所述第二图像进行目标检测，获得第二目标区域；

将所述第一目标区域、所述第二目标区域以及所述第二图像进行合并，获得第三图像，其中，所述第一目标区域包括第一标注，所述第二目标区域包括第二标注。

其中一种可能的实现方式中，所述第一图像中包含多个第一目标，所述对所述第一图像进行目标检测，获得第一目标区域，包括：

对所述第一图像进行色彩分离处理，获得多个所述第一目标的轮廓及与所述第一目标对应的第一矩形区域；

在每个所述第一矩形区域中，将所述第一目标的轮廓以外的像素点的像素值置零，获得多个第一目标区域。

其中一种可能的实现方式中，所述第二图像中包含第二目标，所述对所述第二图像进行目标检测，获得第二目标区域，包括：

对所述第二图像进行霍夫圆检测处理，获得所述第二目标的轮廓及与所述第二目标对应的第二矩形区域；

在所述第二矩形区域中，将所述第二目标的轮廓以外的像素点的像素值置零，获得第二目标区域。

其中一种可能的实现方式中，在所述对所述第一图像进行目标检测，获得第一目标区域之后，还包括：

对所述第一目标区域进行变换处理，获得变换处理后的第一目标区域；

和/或，在所述对所述第二图像进行目标检测，获得第二目标区域之后，还包括：

对所述第二目标区域进行变换处理，获得变换处理后的第二目标区域。

其中一种可能的实现方式中，所述变换处理包括旋转、亮度调节、裁剪以及变形中的一种或多种。

其中一种可能的实现方式中，所述将所述第一目标区域、所述第二目标区域以及所述第二图像进行合并，获得第三图像，包括：

在所述第二图像中确定第一位置和第二位置；

获取所述第一目标区域中的第四图像以及所述第二目标区域中的第五图像；

使用所述第四图像覆盖所述第一位置，以及使用所述第五图像覆盖所述第二位置，得到第三图像。

第二方面，本申请提供了一种图像处理方法，包括：

输入第一图像和第二图像；

利用如第一方面所述的方法，基于所述第一图像和所述第二图像，获得第三图像；

利用所述第三图像对图像识别模型进行训练。

第三方面，本申请提供了一种图像处理方法，包括：

获取待识别图像；

将所述待识别图像输入由如第二方面所述的方法训练得到的图像识别模型中进行目标识别，获得第一目标区域及其对应的第一标注和第二目标区域及其对应的第二标注；

基于所述第一目标区域以及所述第二目标区域，获得识别结果。

其中一种可能的实现方式中，所述基于所述第一目标区域以及所述第二目标区域，获得识别结果，包括：

判断所述第一目标区域与所述第二目标区域的交并比是否等于预设阈值；

若所述第一目标区域与所述第二目标区域的交并比等于预设阈值，则发出提示信息。

第四方面，本申请提供了一种图像处理装置，包括：

第一图像获取模块，用于获取输入的第一图像；

第一检测模块，用于对第一图像进行目标检测，获得第一目标区域；

第二图像获取模块，用于获取输入的第二图像；

第二检测模块，用于对第二图像进行目标检测，获得第二目标区域；

合并模块，用于将所述第一目标区域、所述第二目标区域以及所述第二图像进行合并，获得第三图像，其中，所述第一目标区域包括第一标注，所述第二目标区域包括第二标注。

第五方面，本申请提供了一种图像处理装置，包括：

输入模块，用于输入第一图像和第二图像；

图像处理模块，用于利用如第一方面所述的方法，基于所述第一图像和所述第二图像，获得第三图像；

训练模块，用于利用所述第三图像对图像识别模型进行训练。

第六方面，本申请提供了一种图像处理装置，包括：

采集模块，用于获取待识别图像；

识别模块，用于将所述待识别图像输入由如第二方面所述的方法训练得到的图像识别模型中进行目标识别，获得第一目标区域及其对应的第一标注和第二目标区域及其对应的第二标注；

输出模块，用于基于所述第一目标区域以及所述第二目标区域，获得识别结果。

第七方面，本申请提供了一种电子设备，包括：

一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或第二方面所述的方法。

第八方面，本申请提供一种烹饪系统，包括：

烹饪区；

摄像装置，用于对所述烹饪区进行拍摄，以获取得到待识别图像；

控制装置，包含：

一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述系统执行时，使得所述系统执行如第二方面所述的方法；

执行装置，用于受控于所述控制装置输出的识别结果。

第九方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面或第二方面所述的方法。

第十方面，本申请提供一种计算机程序，当所述计算机程序被计算机执行时，用于执行第一方面或第二方面所述的方法。

在一种可能的设计中，第十方面中的程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。

附图说明

图1为本申请图像处理方法一个实施例的方法示意图；

图2A为本申请图像处理方法一个实施例中获得第一目标区域的流程示意图；

图2B为本申请图像处理方法一个实施例中第一图像(左图)以及转换格式后第一图像(右图)的图像示意图；

图2C为本申请图像处理方法一个实施例中第一目标的轮廓(中间图)、第一矩形区域(左图)以及第一目标区域(右图)的图像示意图；

图3A为本申请图像处理方法一个实施例中获取第二目标区域的流程示意图；

图3B为本申请图像处理方法一个实施例中第二图像(左图)以及第二目标的轮廓(右图)的图像示意图；

图3C为本申请图像处理方法一个实施例中第二目标区域的图像示意图；

图4A为本申请图像处理方法一个实施例中获得第三图像的流程示意图；

图4B为本申请图像处理方法一个实施例中第三图像的图像示意图；

图5A为本申请图像处理方法一个实施例中旋转后第一目标区域(左图)、裁剪后第一目标区域(中间图)以及变形后第一目标区域(右图)的图像示意图；

图5B为本申请图像处理方法一个实施例中旋转后第二目标区域(左图)、裁剪后第二目标区域(中间图)以及变形后第二目标区域(右图)的图像示意图；

图6为本申请图像处理方法一个实施例的方法示意图；

图7A为本申请图像处理方法一个实施例中模型训练的流程示意图；

图7B为本申请图像处理方法一个实施例中卷积神经网络模型的结构示意图；

图7C为本申请图像处理方法一个实施例中网络模型训练损失函数示意图；

图7D为本申请图像处理方法一个实施例中网络模型训练测试结果示意图；

图8为本申请图像处理方法一个实施例的方法示意图；

图9A为本申请图像处理方法一个实施例的流程示意图；

图9B为本申请图像处理方法一个实施例中异物落入煲仔炉中的图像示意图；

图9C为本申请图像处理方法一个实施例中异物未落入煲仔炉中的图像示意图；

图10为本申请图像处理装置一个实施例的结构示意图；

图11为本申请图像处理装置一个实施例的结构示意图；

图12为本申请图像处理装置一个实施例的结构示意图；

图13为本申请烹饪系统一个实施例的结构示意图；

图14为本申请电子设备一个实施例的结构示意图。

具体实施方式

本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。

在餐厅中，煲仔饭烹制主要依靠煲仔炉加热其上方的煲仔的形式完成。但是，由于目前操作流程及烹制工艺的影响，在烹制过程中，一部分食材(如玉米粒等)等异物可能会在煲仔中投料时落入煲仔炉中，易导致煲仔无法与煲仔炉的加热内壁保持良好的直接接触，造成热传递不良问题，进而可能引发烹制食材不熟等食品安全问题，影响用户用餐体验。

现有技术中，采用人工识别煲仔炉中是否落入食材等异物，若煲仔炉数量较多时，采用人工识别不仅耗时耗力，而且存在人为错检漏检等的问题。

为此，本申请提出一种图像处理方法、装置、电子设备以及烹饪系统，所述方法能够实现对模型训练样本图像的数据增强，有利于降低模型训练样本图像的采集数量。所述方法能够对待识别图像中的目标进行识别，避免人为错检漏检等问题的发生。

图1为本申请图像处理方法一个实施例的方法示意图。如图1所示，上述图像处理方法可以包括：

S101、获取输入的第一图像。

在本实施例中，所述第一图像可以包括第一目标，所述第一目标如玉米粒等异物。

优选地，所述第一图像中包含多个第一目标。例如，将多个玉米粒放置于白色纸或布等背景下，然后通过相机进行拍摄获得第一图像(如RGB图像等)。也就是说，在所述第一图像中，第一目标包含色彩(如玉米粒为黄色等)，以及除玉米粒以外的其他区域为白色背景。

S102、对所述第一图像进行目标检测，获得第一目标区域。

所述第一目标区域对应于所述第一图像中的第一目标，如玉米粒等异物。

在本实施例中，如图2A所示，步骤S102可以包括：

S201、对所述第一图像进行色彩分离处理，获得多个所述第一目标的轮廓及与所述第一目标对应的第一矩形区域；

S202、在每个所述第一矩形区域中，将所述第一目标的轮廓以外的像素点的像素值置零，获得多个第一目标区域。

优选地，所述第一矩形区域可以是所述第一目标轮廓的外接矩形区域。

具体地，在步骤S201中，对所述第一图像进行格式转换，以得到转换格式后的第一图像，如将所述第一图像转换为HSV(色调Hue，饱和度Saturation，亮度Value)格式的第一图像等。优选地，在步骤S201中，对HSV格式的第一图像进行提取，以得到所有第一目标轮廓。也就是说，在所述HSV格式的第一图像中提取(如剪切等)得到每个所述第一目标轮廓及与所述第一目标对应的外接矩形区域(即所述第一矩形区域)。也就是说，所述第一矩形区域中可以包含单个第一目标(如黄色的玉米粒等)，且第一目标轮廓可以形成闭环。

举例地，转换格式后的第一图像的HSV色彩范围如下表所示：

图2B为本申请图像处理方法一个实施例中第一图像(左图)以及转换格式后第一图像(右图)的图像示意图。如图2B所示，A1为第一图像，A2为第一图像中的第一目标(图示为玉米粒)，B1为转换为HSV格式后的第一图像，B2为转换为HSV格式后的第一图像中的第一目标。

在步骤S202中，可以将所述第一矩形区域与所述第一目标轮廓进行“与”运算处理，例如，以所述第一目标轮廓为蒙版对所述第一矩形区域中的像素点进行处理，以得到第一目标区域。具体地，将每个所述第一矩形区域中在所述第一目标轮廓以外(或外侧)的像素点的像素置零(如像素值与0相乘)，将每个所述第一矩形区域中在所述第一目标轮廓以内(或内侧)的像素点的像素保留(如像素值与1相乘)，以得到所述第一目标区域。也就是说，在所述第一目标区域中，在所述第一目标轮廓以外的像素点的像素值为0，在所述第一目标轮廓以内的像素点的像素值保持不变，如保留了第一目标的像素，以实现所有异物图像的提取，并降低干扰。

图2C为本申请图像处理方法一个实施例中第一目标的轮廓(中间图)、第一矩形区域(左图)以及第一目标区域(右图)的图像示意图。如图2C所示，C1为第一目标的外接矩形图像，C2为第一目标的轮廓，C3为第一目标区域。

S103、获取输入的第二图像。

在本实施例中，步骤S103中，第二图像可以包括由相机(如工业相机等)对烹饪区(包含一个或多个煲仔炉)进行拍摄，以获取第二图像。所述第二图像中可以包含第二目标，所述第二目标如煲仔炉等。所述第二图像可以是RGB图像(img-rgb)等。举例地，相机可以被安装与烹饪区的上方，拍摄获得烹饪区的俯视图。进一步地，在步骤S103之前，烹饪区的煲仔炉中可以没有落入异物(如玉米粒等)，以降低干扰。

S104、对所述第二图像进行目标检测，获得第二目标区域。

所述第二目标区域对应于所述第二图像中的第二目标，如煲仔炉等。

在本实施例中，如图3A所示，步骤S104中可以包括：

S301、对所述第二图像进行霍夫圆检测处理，所述第二目标的轮廓及与所述第二目标对应的第二矩形区域；

S302、在所述第二矩形区域中，将所述第二目标的轮廓以外的像素点的像素值置零，获得第二目标区域。

具体地，所述第二图像可以被转换为灰度图像。在步骤S301中，以预设半径作为目标区间(如0.9R-1.1R等，预设半径R可以根据煲仔炉形状大小预先设定)，对该灰度图像进行霍夫圆检测处理，以得到与第二目标相对应的第二目标轮廓，其中，所述第二目标轮廓包含圆心坐标以及半径，然后，在所述第二图像中提取(如剪切等)得到所述第二目标轮廓对应的外接矩形区域(即所述第二矩形区域)。也就是说，所述第二矩形区域中可以包含单个第二目标(如煲仔炉等)，且第二目标轮廓可以形成闭环。

步骤S302与上述步骤S202的功能或原理基本一致。具体地，在步骤S302中，可以将所述第二矩形区域与所述第二目标轮廓进行“与”运算处理，例如，以所述第二目标轮廓为蒙版对所述第二矩形区域中的像素点进行处理，以得到第二目标区域。具体地，将所述第二矩形区域中在所述第二目标轮廓以外(或外侧)的像素点的像素置零(如像素值与0相乘)，将所述第二矩形区域中在所述第二目标轮廓以内(或内侧)的像素点的像素保留(如像素值与1相乘)，以得到所述第二目标区域。也就是说，在所述第二目标区域中，在所述第二目标轮廓以外的像素点的像素值为0，在所述第二目标轮廓以内的像素点的像素值保持不变(如保留了第二目标的像素)，以实现煲仔炉图像的提取，并降低干扰。

图3B为本申请图像处理方法一个实施例中第二图像(左图)以及第二目标的轮廓(右图)的图像示意图。如图3B所示，D1为第二图像，D2为第二图像中的第二目标(图示为煲仔炉)，D3为第二目标的轮廓。图3C为本申请图像处理方法一个实施例中第二目标区域的图像示意图。如图3C所示，D4为第二目标区域。

S105、将所述第一目标区域、所述第二目标区域以及所述第二图像进行合并，获得第三图像，其中，所述第一目标区域包括第一标注，所述第二目标区域包括第二标注。

也就是说，在步骤S105中，所述第三图像中可以包含一个或多个第一目标区域以及一个或多个第二目标区域，以在第三图像中增加第一目标以及第二目标的数量，实现数据增强。所述第一标注可以用于标注所述第一目标区域的分类类别(如第一标注为玉米粒等异物)，所述第二标注可以用于标注所述第二目标区域的分类类别(如第二标注为煲仔炉等)。以所述第三图像作为模型训练样本图像，有利于减少模型训练过程中的数据采集量，减少工作量。

其中一种可能的实现方式中，如图4A所示，步骤S105中，可以包括：

S401、在所述第二图像中确定第一位置和第二位置；

S402、获取所述第一目标区域中的第四图像以及所述第二目标区域中的第五图像；

S402、使用所述第四图像覆盖所述第一位置，以及使用所述第五图像覆盖所述第二位置，得到第三图像。

也就是说，所述第二图像为现场采集烹饪区得到的图像，所述第一目标区域以及所述第二目标区域分别被合并至所述第二图像中，以得到合并后的第二图像为第三图像。在步骤S401中，所述第一位置以及所述第二位置可以根据随机选取逻辑在所述第二图像中选取确定。值得一提的是，步骤S105中的第二图像可以是重新采集的现场烹饪区图像，可以与步骤S103中的第二图像不是同一张图像。

可选地，所述第一位置与所述第二位置可以模拟现实场景确定。例如，模拟现实场景为烹饪煲仔饭场景，所述第一位置可以包括落入烹饪区中的玉米粒等异物的位置，或者，第一位置可以包含落入煲仔炉中的位置以及落入煲仔炉外的位置等，以及所述第二位置可以包括位于烹饪区中的煲仔炉的位置。

具体地，步骤S402中，可以将所述第一图像中的所述第一目标区域进行裁剪，得到所述第四图像，以及将所述第二图像中的所述第二目标区域进行裁剪，得到所述第五图像。也就是说，所述第四图像可以表示第一目标图像(如玉米粒图像)，所述第五图像可以表示第二目标图像(如煲仔炉图像)。

进一步地，在所述第一位置与所述第二位置不重叠的情况下，所述第四图像与所述第五图像在所述第三图像中可以不重叠，以模拟玉米粒等异物(即第一目标)未落入煲仔炉(即第二目标)中的场景。在所述第一位置与所述第二位置相重叠的情况下，所述第四图像可以覆盖于所述第五图像上，以模拟玉米粒等异物(即第一目标)落入煲仔炉(即第二目标)中的场景。

图4B为本申请图像处理方法一个实施例中第三图像的图像示意图。如图4B所示，E1为第三图像，E2为第四图像，E3为第五图像。

在本实施例中，所述图像处理方法可以是模型训练样本图像的获得方法。换句话说，所述图像处理方法处理得到所述第三图像可以作为模型训练样本图像，由于所述第三图像中可以包含多个所述第一目标区域以及多个所述第二目标区域，使得模型训练样本图像的数据增强，有利于降低模型训练样本图像的采集数量，减少工作量。所述模型训练样本图像可以用于对图像识别模型进行训练，训练得到的图像识别模型可以用于对待识别图像进行目标识别，以避免人为错检漏检等问题的发生。

其中一种可能的实现方式中，为了提高第三图像(如模型训练样本图像)的可靠性，在步骤S102之后，所述方法还包括：

S501、对所述第一目标区域进行变换处理，获得变换处理后的第一目标区域。

和/或，在步骤S104之后，所述方法还包括：

S502、对所述第二目标区域进行变换处理，获得变换处理后的第二目标区域。

也就是说，第三图像中可以包含变换处理后的第一目标区域以及变换处理后的第二目标区域。

优选地，所述变换处理包括旋转、亮度调节、裁剪以及变形中的一种或多种。例如，对所述第一目标区域和/或第二目标区域进行旋转，得到旋转后的第一目标区域和/或第二目标区域，其中，旋转方式可以包括中心旋转或者角点旋转等，旋转角度可以在0至360°范围内随机选取。对所述第一目标区域和/或第二目标区域进行亮度调节，得到亮度调节后的第一目标区域和/或第二目标区域，其中，亮度调节范围可以在预设亮度范围内随机选取。对所述第一目标区域和/或第二目标区域进行裁剪，以得到裁剪后的第一目标区域和/或第二目标区域，其中，裁剪区域可以在所述第一目标区域和/或第二目标区域内随机选取，如裁剪区域可以包括所述第一目标区域和/或第二目标区域内的部分区域(如左下角区域)等。对所述第一目标区域和/或所述第二目标区域进行变形，以得到变形后的第一目标区域和/或第二目标区域，其中，变形方式可以包括横向拉伸、纵向拉伸、局部放大等。

其中一种可能的实现方式中，在步骤S501中，可以包括：对所述第一目标区域进行旋转，以得到旋转后的第一目标区域；对旋转后的第一目标区域进行裁剪，以得到裁剪后的第一目标区域；对裁剪后的第一目标区域进行变形，以得到变形后的第一目标区域。图5A为本申请图像处理方法一个实施例中旋转后第一目标区域(左图)、裁剪后第一目标区域(中间图)以及变形后第一目标区域(右图)的图像示意图。如图5A所示，F1为旋转180°后第一目标区域，F2为对F1进行裁剪后第一目标区域，F3为对F2进行变形后的第一目标区域。

同理，其中一种可能的实现方式中，在步骤S502中，可以包括：对所述第二目标区域进行旋转，以得到旋转后的第二目标区域；对旋转后的第二目标区域进行裁剪，以得到裁剪后的第二目标区域；对裁剪后的第二目标区域进行变形，以得到变形后的第二目标区域。图5B为本申请图像处理方法一个实施例中旋转后第二目标区域(左图)、裁剪后第二目标区域(中间图)以及变形后第二目标区域(右图)的图像示意图。如图5B所示，G1为旋转90°后的第一目标区域，G2为对G1进行裁剪后的第一目标区域，G3为对G2进行变形后的第一目标区域。

举例地，在步骤S105中，可以将旋转后的第一目标区域、裁剪后的第一目标区域、变形后的第一目标区域、旋转后的第二目标区域、裁剪后的第二目标区域以及变形后的第二目标区域中的一个或多个与所述第二图像进行合并，以得到第三图像。

可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。

图6所示为本申请图像处理方法一个实施例的方法示意图。如图6所示，所述方法可以包括：

S801、输入第一图像和第二图像；

S802、基于所述第一图像和所述第二图像，获得第三图像；

S803、利用所述第三图像对图像识别模型进行训练。

在本实施例中，所述图像处理方法可以是图像识别模型的训练方法。也就是说，所述第三图像可以是模型训练样本图像。优选地，步骤S802中，可以利用如图1所示方法实施例提供的图像处理方法，基于所述第一图像和所述第二图像，获得第三图像。

本实施例中的所述方法中的步骤或原理可以参考如图1所示实施例提供的图像处理方法中的步骤或原理，在此不再赘述。

优选地，如图7A所示，所述图像识别模型为在PC端(如计算机等)通过人工智能学习系统(如Tensorflow Lite系统)搭建的YOLO(You Only Look Once)卷积神经网络模型，其系统版本包括但不限于YOLO V3 tiny等。图7B为本申请图像处理方法一个实施例中卷积神经网络模型的结构示意图，其中该模型结构为YOLO V3 tiny神经网络模型。

举例地，步骤S803中，在模型训练过程中，可以采用多尺度预测的方式，输出两个尺度的特征图(即第一目标区域以及第二目标区域)及其对应的分类类别(即第一标注以及第二标注)，并通过预测先验框(anchor box)的偏移量、置信度、分类类别等的方式，实现所述图像识别模型对第一目标(如玉米粒等异物)以及第二目标(如煲仔炉等)的同时检测，即所述图像识别模型可以同时输出第一目标区域及其对应的第一标注，以及第二目标区域及其对应的第二标注。

在模型训练过程中，通过计算预测值与真实值的损失值，通过反向传播优化模型参数，多次迭代，降低损失值，以导出最优模型参数，训练得到一个查全率、查准率都较高的图像识别模型。图7C为本申请图像处理方法一个实施例中网络模型训练损失函数示意图，其中，图7C中横坐标为训练次数(epoch)，纵坐标为损失值(loss)。每经过一轮训练，网络模型都会进行一轮测试，其测试结果如图7D所示。如图7D所示，横坐标为训练次数(epoch)，纵坐标为模型训练测试结果(mAP)，可以看出的是，模型训练测试结果可以达到90％左右，准确度以及可靠性较高。

相比于传统的滑窗法或其他图像识别模型，本申请方法实施例获得的图像识别模型更加节省资源，而且，所述图像识别模型可以转换成Tensorflow Lite格式，可移植到微型计算机(如树莓派)上，适用范围较广。

也就是说，在进行图像识别的情况下，所述图像识别模型可以预测待识别图像中的目标区域及其对应的分类类别(即标注)，并通过置性度筛选、非极大值抑制等方法，筛选出最终的识别结果，以实现图像识别。

可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。

图8所示为本申请图像处理方法一个实施例的方法示意图。如图8所示，所述图像处理方法可以包括：

S901、获取待识别图像。

在本实施例中，所述待识别图像可以包括由工业摄像头对烹饪区(包含一个或多个煲仔炉)进行实时拍摄获得，即在烹饪系统的烹饪机构执行烹饪工作过程中，实时对烹饪区进行拍摄，以获得待识别图像。

可以理解的是，在烹饪过程中，烹饪区中可以包含煲仔炉以及落入烹饪区的异物(如玉米粒等)。因此，所述待识别图像中可以包含第一目标(即玉米粒等异物)以及第二目标(即煲仔炉等)。

S902、将所述待识别图像输入图像识别模型中进行目标识别，获得第一目标区域及其对应的第一标注和第二目标区域及其对应的第二标注。

优选地，所述图像识别模型可以根据如图6所示实施例的方法获得，具体步骤或原理可以参考上述方法实施例，在此不再赘述。具体地，所述图像识别模型可以存储于微型计算机(如树莓派)中，该微型计算器连接上述工业摄像头，以实时对所述待识别图像进行目标识别。

S903、基于所述第一目标区域以及所述第二目标区域，获得识别结果。

也就是说，本实施例提供的图像处理方法可以是图像识别方法，以用于对待识别图像进行目标识别，避免人为错检漏检等问题的发生。

可以理解的是，在所述第一目标区域与所述第二目标区域相重叠的情况下，即输出识别结果可以为玉米粒等异物落入煲仔炉中。在所述第一目标区域与所述第二目标区域不重叠的情况下，即输出识别结果可以为玉米粒等异物未落入煲仔炉中。

其中一种可能的实现方式中，如图9A所示，步骤S903可以包括：

S904、判断所述第一目标区域与所述第二目标区域的交并比是否等于预设阈值；

S905、若所述第一目标区域与所述第二目标区域的交并比等于预设阈值，则发出提示信息。

优选地，所述预设阈值为1。所述第一目标区域与所述第二目标区域的交并比表示所述第一目标区域与所述第二目标区域的交集与并集的比值。

也就是说，在所述第一目标区域与所述第二目标区域相重叠的情况下，所述第一目标区域与所述第二目标区域的交集为1，并集为1，则交并比等于1。在所述第一目标区域与所述第二目标区域不重叠的情况下，所述第一目标区域与所述第二目标区域的交集为0，并集为1，则交并比等于0。

在步骤S905中，若任一个第一目标区域与任一个第二目标区域的交并比等于1，即表示煲仔炉中落入玉米粒等异物，则发出提示信息，所述提示信息用于表示识别结果为煲仔炉中落入玉米粒等异物。例如，由警报装置发出语音提示、灯光提示或画面显示等警报信息，以提示用户煲仔炉中落入玉米粒等异物，需及时处理，从而无需人工检查，节省人力，实时性强，避免人为错检漏检等问题的发生。图9B为本申请图像处理方法一个实施例中异物落入煲仔炉中的图像示意图。如图9B所示，H1为待识别图像，H2为第一目标(图示为玉米粒)，H3为第二目标(图示为煲仔炉)。

相应地，若所有的第一目标区域与所有的第二目标区域的交并比均为0，则输出识别结果为煲仔炉中未落入玉米粒等异物。图9C为本申请图像处理方法一个实施例中异物未落入煲仔炉中的图像示意图。如图9C所示，I1为待识别图像，I2为第一目标(图示为玉米粒)，I3为第二目标(图示为煲仔炉)。

可以理解的是，上述实施例中的部分或全部步骤骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。

如图10所示为本申请图像处理装置100一个实施例的结构示意图。如图10所示，所述图像处理装置100可以包括：

第一图像获取模块110，用于获取输入的第一图像；

第一检测模块120，用于对第一图像进行目标检测，获得第一目标区域；

第二图像获取模块130，用于获取输入的第二图像；

第二检测模块140，用于对第二图像进行目标检测，获得第二目标区域；

合并模块150，用于将所述第一目标区域、所述第二目标区域以及所述第二图像进行合并，获得第三图像，其中，所述第一目标区域包括第一标注，所述第二目标区域包括第二标注。

其中一种可能的实现方式中，所述第一图像中包含多个第一目标，所述第一检测模块120包括：

对所述第一图像进行色彩分离处理，获得多个所述第一目标的轮廓及与所述第一目标对应的第一矩形区域；

在每个所述第一矩形区域中，将所述第一目标的轮廓以外的像素点的像素值置零，获得多个第一目标区域。

其中一种可能的实现方式中，所述第二图像中包含第二目标，所述第二检测模块140包括：

对所述第二图像进行霍夫圆检测处理，获得所述第二目标的轮廓及与所述第二目标对应的第二矩形区域；

在所述第二矩形区域中，将所述第二目标的轮廓以外的像素点的像素值置零，获得第二目标区域。

其中一种可能的实现方式中，所述装置100还包括：

第一变换模块160，用于对所述第一目标区域进行变换处理，获得变换处理后的第一目标区域；

和/或，所述装置100还包括：

第二变换模块170，用于对所述第二目标区域进行变换处理，获得变换处理后的第二目标区域。

其中一种可能的实现方式中，所述变换处理包括旋转、亮度调节、裁剪以及变形中的一种或多种。

其中一种可能的实现方式中，所述合并模块150包括：

在所述第二图像中确定第一位置和第二位置；

获取所述第一目标区域中的第四图像以及所述第二目标区域中的第五图像；

使用所述第四图像覆盖所述第一位置，以及使用所述第五图像覆盖所述第二位置，得到第三图像。

可以理解的是，图10所示实施例提供的图像处理装置可用于执行本申请图1所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。

图11所示为本申请图像处理装置300一个实施例的结构示意图。如图11所示，上述图像处理装置300可以包括：

输入模块310，用于输入第一图像和第二图像；

图像处理模块320，用于利用如图1所示方法实施例提供的所述方法，基于所述第一图像和所述第二图像，获得第三图像；

训练模块330，用于利用所述第三图像对图像识别模型进行训练。

可以理解的是，图11所示实施例提供的图像处理装置可用于执行本申请图6所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。

图12所示为本申请图像处理装置400一个实施例的结构示意图。如图12所示，上述图像处理装置400可以包括：

采集模块410，用于获取待识别图像；

识别模块420，用于将所述待识别图像输入图像识别模型中进行目标识别，获得第一目标区域及其对应的第一标注和第二目标区域及其对应的第二标注，所述图像识别模型由如图6所示方法实施例所述的方法获得；

输出模块430，用于基于所述第一目标区域以及所述第二目标区域，获得识别结果。

其中一种可能的实现方式中，所述输出模块330包括：

判断所述第一目标区域与所述第二目标区域的交并比是否等于预设阈值；

若所述第一目标区域与所述第二目标区域的交并比等于预设阈值，则发出提示信息。

可以理解的是，图12所示实施例提供的图像处理装置可用于执行本申请图8所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。

应理解以上的图像处理装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，合并模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

图13为本申请烹饪系统200一个实施例的结构示意图。如图13所示，烹饪系统200可以包括烹饪区210、摄像装置220、控制装置230以及执行装置240。

本实施例中，烹饪系统200可以被应用餐厅中，如烹制煲仔饭等。

烹饪区210可以包括多个煲仔炉(如煲仔炉头等)，每个煲仔炉可以用于烹饪煲仔，制作煲仔饭。在一些可能的实现方式中，烹饪系统200可以包括一个或多个烹饪区210，每个烹饪区210均可以包括一个或多个煲仔炉。

摄像装置220用于对所述烹饪区中的煲仔炉进行拍摄，以获取得到待识别图像，并将所述待识别图像发送至控制装置230。所述摄像装置220如摄像头，其可以被安装于烹饪区的上方。

控制装置230用于接收由所述摄像装置220发送的所述待识别图像，并根据所述待识别图像，向所述执行装置240输出识别结果。

进一步地，所述控制装置230可以包括一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述系统执行时，使得所述系统执行步骤：

获取待识别图像；

将所述待识别图像输入图像识别模型中进行目标识别，获得第一目标区域及其对应的第一标注和第二目标区域及其对应的第二标注，所述图像识别模型由如图6所示方法实施例所述的方法获得；

基于所述第一目标区域以及所述第二目标区域，获得识别结果。

其中一种可能的实现方式中，当所述指令被所述系统执行时，使得所述系统执行所述基于所述第一目标区域以及所述第二目标区域，获得识别结果，包括：

判断所述第一目标区域与所述第二目标区域的交并比是否等于预设阈值；

若所述第一目标区域与所述第二目标区域的交并比等于预设阈值，则发出提示信息。

也就是说，所述烹饪系统200可以用于执行如图8所示实施例的图像处理方法，其功能或原理可以参考上述图8所示实施例的图像处理方法，在此不再赘述。

执行装置240，用于受控于所述控制装置230输出的识别结果，执行相应的操作。

例如，所述执行装置240可以包括警报装置，所述警报装置用于接收所述识别结果，若所述识别结果为煲仔炉中含有异物，则发出警报信号提示用户。或者，所述执行装置240还可以包括异物清理装置，所述异物清理装置用于接收所述识别结果，若所述识别结果为煲仔炉中含有异物，则执行清理煲仔炉中的异物，例如所述异物清理装置被实施为夹爪，根据所述待识别图像中异物(即第一目标区域)的坐标或位置，通过伺服升降机构驱动夹爪夹取煲仔炉中的异物，并从该煲仔炉中移出，实现异物清理，等。

应理解，本实施例烹饪系统200中的执行装置240可以包括其他不同类型的操作机构，以根据所述控制装置230输出的识别结果，执行不同的操作，在此不受限制。

应理解，控制装置230可以被实施为控制电路，控制装置230中的处理器可以是片上系统SOC，该处理器中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等。

图14为本申请电子设备一个实施例的结构示意图，如图14所示，上述电子设备可以包括：一个或多个处理器；存储器；以及一个或多个计算机程序。

其中，上述电子设备可以为微型计算机(如树莓派)，烹饪设备，移动终端(手机)，收银设备，计算机，智慧屏，无人机，智能网联车(Intelligent Connected Vehicle；以下简称：ICV)，智能(汽)车(smart/intelligent car)或车载设备等设备。

其中上述一个或多个计算机程序被存储在上述存储器中，上述一个或多个计算机程序包括指令，当上述指令被上述设备执行时，使得上述设备执行以下步骤：

获取输入的第一图像；

对所述第一图像进行目标检测，获得第一目标区域；

获取输入的第二图像；

对所述第二图像进行目标检测，获得第二目标区域；

将所述第一目标区域、所述第二目标区域以及所述第二图像进行合并，获得第三图像，其中，所述第一目标区域包括第一标注，所述第二目标区域包括第二标注。

其中一种可能的实现方式中，所述第一图像中包含多个第一目标，所述对所述第一图像进行目标检测，获得第一目标区域，包括：

对所述第一图像进行色彩分离处理，获得多个所述第一目标的轮廓及与所述第一目标对应的第一矩形区域；

在每个所述第一矩形区域中，将所述第一目标的轮廓以外的像素点的像素值置零，获得多个第一目标区域。

其中一种可能的实现方式中，所述第二图像中包含第二目标，所述对所述第二图像进行目标检测，获得第二目标区域，包括：

对所述第二图像进行霍夫圆检测处理，获得所述第二目标的轮廓及与所述第二目标对应的第二矩形区域；

在所述第二矩形区域中，将所述第二目标的轮廓以外的像素点的像素值置零，获得第二目标区域。

其中一种可能的实现方式中，在所述对所述第一图像进行目标检测，获得第一目标区域之后，还包括：

对所述第一目标区域进行变换处理，获得变换处理后的第一目标区域；

和/或，在所述对所述第二图像进行目标检测，获得第二目标区域之后，还包括：

对所述第二目标区域进行变换处理，获得变换处理后的第二目标区域。

其中一种可能的实现方式中，所述变换处理包括旋转、亮度调节、裁剪以及变形中的一种或多种。

其中一种可能的实现方式中，所述将所述第一目标区域、所述第二目标区域以及所述第二图像进行合并，获得第三图像，包括：

在所述第二图像中确定第一位置和第二位置；

获取所述第一目标区域中的第四图像以及所述第二目标区域中的第五图像；

使用所述第四图像覆盖所述第一位置，以及使用所述第五图像覆盖所述第二位置，得到第三图像。

其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行以下步骤：

输入第一图像和第二图像；

利用如图1所示方法实施例提供的所述方法，基于所述第一图像和所述第二图像，获得第三图像；

利用所述第三图像对图像识别模型进行训练。

其中一种可能的实现方式中，当上述指令被上述设备执行时，使得上述设备执行以下步骤：

获取待识别图像；

将所述待识别图像输入图像识别模型中进行目标识别，获得第一目标区域及其对应的第一标注和第二目标区域及其对应的第二标注，所述图像识别模型由如图6所示方法实施例所述的方法获得；

基于所述第一目标区域以及所述第二目标区域，获得识别结果。

其中一种可能的实现方式中，当所述指令被所述设备执行时，使得所述设备执行所述基于所述第一目标区域以及所述第二目标区域，获得识别结果，包括：

判断所述第一目标区域与所述第二目标区域的交并比是否等于预设阈值；

若所述第一目标区域与所述第二目标区域的交并比等于预设阈值，则发出提示信息。

图14所示的电子设备可以是终端设备也可以是内置于上述终端设备的电路设备。该设备可以用于执行本申请图1、图6或图8所示实施例提供的图像处理方法中的功能/步骤。

如图14所示，电子设备900包括处理器910和存储器920。其中，处理器910和存储器920之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器920用于存储计算机程序，该处理器910用于从该存储器920中调用并运行该计算机程序。

上述存储器920可以是只读存储器(read-only memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory，RAM)或可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。

上述处理器910可以和存储器920可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器920中存储的程序代码来实现上述功能。具体实现时，该存储器920也可以集成在处理器910中，或者，独立于处理器910。

除此之外，为了使得电子设备900的功能更加完善，该电子设备900还可以包括摄像头930、电源940、输入单元950等中的一个或多个。

可选地，电源950用于给电子设备中的各种器件或电路提供电源。

应理解，图14所示的电子设备900能够实现本申请图1、图6或图8所示实施例提供的方法的各个过程。电子设备900中的各个模块的操作和/或功能，分别为了实现上述方法实施例中的相应流程。具体可参见本申请图1、图6或图8所示方法实施例中的描述，为避免重复，此处适当省略详细描述。

应理解，图14所示的电子设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等。

总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器920中。

本申请还提供一种电子设备，所述设备包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现本申请图1、图6或图8所示实施例提供的方法。

以上各实施例中，涉及的处理器可以例如包括CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image Signal Processing；以下简称：ISP)，该处理器还可包括必要的硬件加速器或逻辑处理硬件电路，如ASIC，或一个或多个用于控制本申请技术方案程序执行的集成电路等。此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储介质中。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行本申请图1、图6或图8所示实施例提供的方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行本申请图1、图6或图8所示实施例提供的方法。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。