一种食材检测方法、装置、设备及存储介质

技术领域

本申请涉及图像识别领域，尤其涉及一种食材检测方法、装置、设备及存储介质。

背景技术

当前，智能冰箱逐渐进入广大用户的家庭生活中，其核心功能之一就是对食材信息的精确管理，而要实现食材信息精确管理前需要先对食材的种类进行准确识别。智能冰箱识别食材种类的方式之一就是通过自身摄像头抓拍食材图像，并通过食材检测模型对抓拍的食材图像进行识别得到食材的种类。

然而，目前抓取的用于训练食材检测模型的食材图像，其食材大多集中在食材图像的中心位置，不均衡的训练会导致训练得到食材检测模型对于输入的食材不在中心位置的食材图像，输出食材的种类不准确的问题，因此，如何提高食材检测模型输出的准确性是一个需要思考的问题。

发明内容

本申请提供了一种食材检测方法、装置、设备及存储介质，通过将融合了位置信息的图像输入到食材检测模型中，能够使食材检测模型对食材所在位置有针对地检测，提高食材检测模型输出的准确性。

第一方面，本申请提供了一种食材检测方法，该方法包括：

获取包含食材的第一图像特征；

确定所述第一图像特征中所述食材的第一位置信息特征；

将融合所述第一位置信息特征的所述第一图像特征输入到食材检测模型进行处理，得到食材信息，其中，所述食材信息包括所述食材的种类。

进一步地，所述确定所述第一图像特征中所述食材的第一位置信息特征包括：

将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征；

根据所述N个第二位置信息特征，确定所述食材的第一位置信息特征；

其中，将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征，包括：

将所述第一图像特征进行N次连续的降维处理，得到N个第二图像特征；

将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征，所述N个第二图像特征与所述N个第二位置信息特征一一对应；

其中，N为大于1的正整数。

进一步地，所述将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征，所述N个第二图像特征与所述N个第二位置信息特征一一对应，包括：

将融合有第M-1个第二位置信息特征的第M个第二图像特征通过所述食材位置检测模型进行处理，得到第M个第二位置信息特征；其中，所述M大于等于2、且小于或等于N。

进一步地，确定所述食材检测模型，包括：

获取设定数量的食材检测样本，其中每个所述食材检测样本包括标注有食材位置信息的食材图像以及所述食材的食材信息标签；

根据所述设定数量的食材检测样本对所述食材检测模型进行训练。

进一步地，所述方法还包括：

针对所述设定数量的食材检测样本中的每个食材检测样本，调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息，得到与所述食材检测样本对应的食材检测增广样本；

所述根据所述设定数量的食材检测样本对所述食材检测模型进行训练，包括：

根据所述设定数量的食材检测样本以及所述设定数量的食材检测样本对应的食材检测增广样本，对所述食材检测模型进行训练。

进一步地，所述调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息，包括：

确定所述食材检测样本的食材图像中的食材的第一中心位置；

根据所述第一中心位置与所述食材图像的中心位置之间距离，在所述食材图像中确定一个第二中心位置；

在所述食材图像的所述第二中心位置生成所述食材，并在所述食材图像中添加对应所述第二中心位置的食材位置信息；

其中，若所述第一中心位置与所述食材图像的中心位置之间横向距离大于等于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离小于所述第一长度阈值；

若所述第一中心位置与所述食材图像的中心位置之间纵向距离大于等于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离小于所述第二长度阈值；

若所述第一中心位置与所述食材图像的中心位置之间横向距离小于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离大于等于所述第一长度阈值；

若所述第一中心位置与所述食材图像的中心位置之间纵向距离小于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离大于等于所述第二长度阈值。

第二方面，本申请提供了一种食材检测装置，该装置包括：

获取模块，用于获取包含食材的第一图像特征；

处理模块，用于确定所述第一图像特征中所述食材的第一位置信息特征；

所述处理模块，还用于将融合所述第一位置信息特征的所述第一图像特征输入到食材检测模型进行处理，得到食材信息，其中，所述食材信息包括所述食材的种类。

进一步地，所述处理模块确定所述第一图像特征中所述食材的第一位置信息特征时，具体用于：将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征；根据所述N个第二位置信息特征，确定所述食材的第一位置信息特征；其中，将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征，包括：将所述第一图像特征进行N次连续的降维处理，得到N个第二图像特征；将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征，所述N个第二图像特征与所述N个第二位置信息特征一一对应；其中，N为大于1的正整数。

进一步地，所述处理模块将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征时，具体用于：将融合有第M-1个第二位置信息特征的第M个第二图像特征通过所述食材位置检测模型进行处理，得到第M个第二位置信息特征；其中，所述M大于等于2、且小于或等于N。

进一步地，所述处理模块确定所述食材检测模型时，具体用于：获取设定数量的食材检测样本，其中每个所述食材检测样本包括标注有食材位置信息的食材图像以及所述食材的食材信息标签；根据所述设定数量的食材检测样本对所述食材检测模型进行训练。

进一步地，所述处理模块还用于：针对所述设定数量的食材检测样本中的每个食材检测样本，调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息，得到与所述食材检测样本对应的食材检测增广样本；所述根据所述设定数量的食材检测样本对所述食材检测模型进行训练，包括：根据所述设定数量的食材检测样本以及所述设定数量的食材检测样本对应的食材检测增广样本，对所述食材检测模型进行训练。

进一步地，所述处理模块调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息时，具体用于：确定所述食材检测样本的食材图像中的食材的第一中心位置；根据所述第一中心位置与所述食材图像的中心位置之间距离，在所述食材图像中确定一个第二中心位置；在所述食材图像的所述第二中心位置生成所述食材，并在所述食材图像中添加对应所述第二中心位置的食材位置信息；其中，若所述第一中心位置与所述食材图像的中心位置之间横向距离大于等于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离小于所述第一长度阈值；若所述第一中心位置与所述食材图像的中心位置之间纵向距离大于等于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离小于所述第二长度阈值；若所述第一中心位置与所述食材图像的中心位置之间横向距离小于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离大于等于所述第一长度阈值；若所述第一中心位置与所述食材图像的中心位置之间纵向距离小于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离大于等于所述第二长度阈值。

第三方面，本申请提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器执行所述存储器中存储的计算机程序或指令时，实现上述第一方面的方法。

第四方面，本申请提供了一种计算机可读存储介质，其存储有计算机程序或指令，所述计算机程序或指令被处理器执行时，实现上述第一方面的方法。

本申请中，通过对输入食材检测模型进行处理的图像融合食材的位置信息，能够使食材检测模型对食材所在位置有针对地检测，避免食材检测模型对于输入的食材不在中心位置的食材图像，输出食材的种类不准确的问题，提高了食材检测模型输出的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种食材检测方法的流程图。

图2为本申请实施例提供的一种食材在图像中的位置权重矩阵示意图。

图3为本申请实施例提供的一种食材检测方法的框架图。

图4为本申请实施例提供的一种食材位置检测模型的框架示意图。

图5为本申请实施例提供的一种通过N个第二位置信息特征确定第一位置信息特征的结构示意图。

图6为本申请实施例提供的一种不同尺度下的位置标签示意图。

图7为本申请实施例提供的一种食材检测方法实施过程图。

图8为本申请实施例提供的一种食材检测装置的结构示意图。

图9为本申请实施例提供的一种电子设备结构示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

当前，智能冰箱因其便捷多样的智能化功能已逐渐走进广大用户的家庭生活中。在智能冰箱领域，食材信息的精准管理是冰箱智能化的核心功能。在应用中，食材种类的准确识别是实现食材信息精准管理的重要前提。在现有的智能冰箱中，食材种类的录入主要包括三种技术：第一类方法是通过用户的手动录入，即通过智能冰箱自带的大屏幕或者对应的手机应用程序(application，APP)录入食材种类，这类方法完全依赖于用户参与，用户体验很差。第二种技术是通过用户的语音录入，这类方法尽管不需要用户手动输入，但依旧需要用户的参与。随着食材种类数的增加，会逐渐降低用户体验。第三种技术是通过智能冰箱自带的摄像头进行视觉识别。这类方法可分为两种实现途径：静态识别方案和动态识别方案。静态识别方案是指在用户关闭冰箱门后通过冰箱内置的摄像头采集冰箱内部的图像，识别冰箱中现有的食材种类。这种方案的识别效果与食材在冰箱中摆放位置有很大影响，易因为食材之间的遮挡造成食材的漏识别。动态识别是指智能冰箱的摄像头在用户存取食材过程中至少抓取一帧食材图像进行识别。这类方法尽可能地避免了食材之间的遮挡，同时能够在用户存取食材的过程中基于识别得到的食材种类进行相应的指导或提醒，如推荐食材的存放位置及存放方式等。因此，食材种类的动态识别逐渐受到越来越多的关注。

而食材的动态识别是通过识别用户存取食材过程中的图像实现的，抓取的是一个时间序列下的多帧图像，利用图像分类/图像检测算法对抓取每一帧图像进行识别，从而确定本次存取食材的种类。这个过程食材往往会经历从边缘进入图像画面或离开图像画面的过程。但是在构建训练食材检测模型数据集的过程中，人工收集和拍摄的图像或视频数据集，由于人的主观因素，目标食材往往位于图像画面中心位置，导致数据集之中目标食材位置靠近图像画面边缘的样本数量不足，进而食材检测模型对于边缘位置存在目标食材的图像输出检测效果不好的问题。为了解决以上问题，本方案提出了一种食材检测方法、装置，设备及存储介质。

图1为本申请中实施例提供的一种食材检测方法的流程图，该方法可以应用于服务器、计算机终端、移动终端、智能冰箱等电子设备，该方法包括：

S101：获取包含食材的第一图像特征；

以智能冰箱抓拍到包含食材的图像为例，电子设备可以直接或通过无线通信等方式获取智能冰箱抓拍到的多帧包含食材的图像，并选取其中至少一帧作为第一图像。提取第一图像的特征图(即红绿蓝三原色(Red Green Blue，RGB)图，每个通道代表RGB图中的一种颜色)作为包含食材的第一图像特征。

S102：确定所述第一图像特征中所述食材的第一位置信息特征；

在一些实施中，电子设备可以通过将第一图像特征二值化后，基于灰度值阈值将食材位置信息与图像背景进行区分，进而得到食材的第一位置信息特征。还可以通过基于食材颜色与图像背景的色差来提取第一图像特征中食材的第一位置信息特征。

其中，第一图像特征中食材的第一位置信息特征，可以通过第一位置权重矩阵来表示。如图2所示，为一种食材在图像中的位置权重矩阵示意图。如图2所示，以3个尺度下，食材在图像中的位置权重矩阵为例。其中，在尺度1下，包含食材的图像大小设定为8×8大小，其对应的位置权重矩阵也为8×8大小，其64个图像块中包含食材的图像块在其对应的位置权重矩阵的点的值较大，不包含食材的图像块对应的位置权重矩阵的点的值相对较小。同样的，尺度2和尺度3分别是4×4大小和2×2大小，其对应的位置权重矩阵每个点的值为(0,1)之间中的任一值，位置权重矩阵对应于食材所在位置的每个点的值相对较大，对应于图像背景的每个点的值相对较小。

可选地，若第一图像中包含多个食材，可以随机选取或依次选取或按照其他规则选取的方式选取食材作为目标食材，并进行目标食材的第一位置信息特征的确定。

S103：将融合所述第一位置信息特征的所述第一图像特征输入到食材检测模型进行处理，得到食材信息。

电子设备可以将食材的第一位置信息特征融合到第一图像特征上。具体地，电子设备将第一位置信息特征中的位置权重矩阵与该第一图像特征进行矩阵点乘，得到新的第一图像特征，再将新的第一图像特征(即融合第一位置信息特征的第一图像特征)输入到食材检测模型进行处理，得到食材信息。

其中，食材信息包括所述食材的种类，还可以包括食材的检测位置、食材的数量等信息。

图3为本申请实施例提供的一种食材检测方法的框架图。如图3所示，电子设备可以先将第一图像特征输入到食材位置检测模型中得到第一位置信息特征，再将得到的第一位置信息特征融合到第一图像特征上，最后通过将融合第一位置信息特征的第一图像特征输入到食材检测模型中进行处理，得到第一图像特征中所包括的食材的食材信息。

在一种可能的实施方式中，食材检测模型可以采用以下方法确定：

获取设定数量的食材检测样本，其中每个所述食材检测样本包括标注有食材位置信息的食材图像以及所述食材的食材信息标签；

根据所述设定数量的食材检测样本对所述食材检测模型进行训练。

以电子设备获取设定数量的食材检测样本，对食材检测模型进行训练为例，电子设备可以先提取出食材检测样本中标注有食材位置信息的食材图像融合了位置信息特征的食材图像特征，再将融合了位置信息特征的食材图像特征输入到食材检测模型中(当然了，在第一次将食材检测样本输入到食材检测模型之前通常会有初始化的过程，即为食材检测模型对应的神经网络的各层配置参数，如随机配置参数等)，得到食材检测模型关于该食材的食材信息后，通过损失函数(loss function)，可以计算食材检测模型关于该食材的食材信息与该食材的食材信息标签的差异，损失函数的输出值(loss)越高表示差异越大，那么对食材检测模型的训练过程就变成了尽可能缩小这个loss的过程。具体地，根据损失函数的输出值来更新食材检测模型的每一个神经网络层的参数(如使用梯度下降法学习算法来更新食材检测模型的每一个神经网络层的参数)，不断的调整直至食材检测模型输出关于该食材的食材信息与该食材的食材信息标签相符，完成对食材检测模型的训练。

本申请中，通过对输入食材检测模型进行处理的图像特征融合食材的位置信息特征，能够使食材检测模型对食材所在位置有针对地检测，避免食材检测模型对于输入的食材不在中心位置的食材图像，输出食材的种类不准确的问题，提高了食材检测模型输出的准确性。

为了进一步提高融合的第一图像特征中食材的第一位置信息特征的准确性，进而提高食材检测模型输出的准确性。在本申请实施例中，可以通过对第一图像特征进行多次降维处理，分别提取食材的第二位置信息特征，并根据提取的多个第二位置信息特征，来确定食材在第一图像特征中的第一位置信息特征。具体地，确定所述第一图像特征中所述食材的第一位置信息特征包括：

将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征；

根据所述N个第二位置信息特征，确定所述食材的第一位置信息特征；

其中，将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征，包括：

将所述第一图像特征进行N次连续的降维处理，得到N个第二图像特征；

将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征，所述N个第二图像特征与所述N个第二位置信息特征一一对应；其中，N为大于1的正整数。

可选地，降维处理可以选择下采样、降维处理神经网络等方式来实现。

作为一种示例：食材位置检测模型可以有N条支路。N条支路中的每条支路可以有自己的神经网络层，并且每条支路对应于N个第二图像特征中的一个第二图像特征。N个第二图像特征输入到食材位置检测模型进行处理，得到N个第二位置信息特征。其中，每个第二位置信息特征，可以通过第二位置权重矩阵来表示。

为了更好地说明食材位置检测模型的结构，以三条支路为例，如图4所示，图4为一种食材位置检测模型的框架示意图。将宽度为W、高度为H以及通道数为3的第一图像特征的特征图(即第一图像特征的RGB图，每个通道代表RGB图中的一种颜色)进行设定次数下采样操作后输入到对应的食材位置检测模型支路中。其中BackBone表示主干网络，主干网络包括一个卷积块(Conv BatchNormalization LeakyRelu，CBL)和若干残差神经网络层，CBL＝conv→BN→Leaky Relu，conv为卷积层，BN(Batch Normalization)为批量标准化，LeakyRelu为激活函数，ResX为包含X个残差组件的残差神经网络层，Concat和add都表示特征图叠加，ω1、ω2和ω3分别表示第1个第二位置权重矩阵、第2个第二位置权重矩阵和第3个第二位置权重矩阵。

可选地，最后根据N个第二位置信息特征对应第二位置权重矩阵通过矩阵叠加的方式得到第一位置信息特征对应的第一位置权重矩阵。其中，不同大小的第二位置权重矩阵可以通过上采样的方式调整为与第一位置权重矩阵相同大小，再进行矩阵叠加得到第一位置权重矩阵。

例如：假设现在有两个支路，以矩阵叠加每个支路对应的第二位置权重矩阵分别为ω1和ω2，具体如下所示：

将ω2通过上采样操作，转换为ψ2

再将ω1和ψ2进行矩阵叠加得到第一位置权重矩阵ω

图5为通过N个第二位置信息特征确定第一位置信息特征的结构示意图，如图5所示，将第一图像特征输入到食材位置检测模型中，经过食材位置检测模型的每条支路都获得了一个第二位置权重矩阵，将N个第二位置权重矩阵通过上采样的方式调整为与第一位置权重矩阵相同大小，再进行矩阵叠加得到第一位置权重矩阵。进而可以将第一位置权重矩阵与第一图像特征的特征图进行矩阵点乘，得到融合第一位置信息特征的第一图像特征。

为了得到更准确第一位置信息特征，在一些实施中，所述将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征，所述N个第二图像特征与所述N个第二位置信息特征一一对应，包括：

将融合有第M-1个第二位置信息特征的第M个第二图像特征通过所述食材位置检测模型进行处理，得到第M个第二位置信息特征；

其中，所述M大于等于2、且小于或等于N。

作为一种示例：如图4所示，可以将N个第二图像特征中的第1个第二图像特征输入到食材位置检测模型得到第1个第二位置信息特征(也即第二位置权重矩阵)。之后再通过将第M-1个第二位置信息特征中的部分特征融合到第M个第二图像特征上，再将融合了第M-1个第二位置信息特征中的部分特征(即第M-1个部分特征)的第M个第二图像特征输入到食材位置检测模型中，可以将上一支路提取的部分特征传递到下一支路中，能够更准确地获取每个第二位置信息特征。其中，第M-1个部分特征由第M-1个第二图象特征经过食材位置检测模型的主干网络和一个CBL得到。

以电子设备通过食材位置检测样本对食材位置检测模型进行训练为例，其中食材位置检测样本包括包含食材的图像和该食材的位置标签。电子设备可以提取出食材位置检测样本中包含食材的图像的图像特征，再将该图像特征输入到食材位置检测模型中(通常在使用食材位置检测样本对食材位置检测模型进行预训练之前，会有初始化的过程，即为食材检测模型对应的神经网络的各层配置参数，如随机配置参数等)，得到食材位置检测模型关于该食材的位置信息后，通过损失函数(loss function)，可以计算食材位置检测模型关于该食材的位置信息与该食材的位置标签的差异，损失函数的输出值(loss)越高表示差异越大，那么对食材位置检测模型的训练过程就变成了尽可能缩小这个loss的过程。具体地，根据损失函数的输出值来更新食材位置检测模型的每一个神经网络层的参数(如使用梯度下降法学习算法来更新食材位置检测模型的每一个神经网络层的参数)，不断的调整直至食材位置检测模型输出关于该食材的位置信息与该食材的位置标签相符，完成对食材位置检测模型的训练。

其中，位置标签可以使用与包含食材的图像大小一致的位置标签矩阵来表示，将位置标签矩阵中对应于图像中食材的点的值置为1，对应于图像的背景的点置为0。为了更清楚地说明不同尺度下包含食材的图像对应的位置标签矩阵，以图6为例。图6为一种不同尺度下的位置标签示意图。如图6所示，在尺度1下，包含食材的图像为2×2大小，食材位于图像的上面两个图像块内，即对应的位置标签矩阵表示为

可选地，损失函数可以用L

其中，ω

为了使训练食材检测模型的数据集中的食材检测样本更加全面，还可以基于已有的食材检测样本，将食材检测样本的食材图像中食材的位置进行调整，并更新标注的食材位置信息获得食材检测增广样本，对食材检测模型进行训练。

具体的，可以针对所述设定数量的食材检测样本中的每个食材检测样本，调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息，得到与所述食材检测样本对应的食材检测增广样本。

上述根据所述设定数量的食材检测样本对所述食材检测模型进行训练，包括：

根据所述设定数量的食材检测样本以及所述设定数量的食材检测样本对应的食材检测增广样本，对所述食材检测模型进行训练。

具体地，将食材检测样本的食材图像中食材的位置进行调整可以基于食材在食材图像中的方位，在食材图像中生成新的食材。例如食材位于食材图像的右上角，则在食材图像的中心位置的左下方生成新的食材；食材位于食材图像的中心位置的左上方，就在食材图像的右下角生成新的食材。

通过基于已有食材检测样本，生成新的食材检测增广样本，改善食材检测样本中食材大多位于食材图像中心的情况，通过增加食材检测增广样本，能够使得食材检测模型训练的更全面，加强食材检测模型对食材位于边缘的图像的识别能力。

在上述各实施例的基础上，在本申请实施例中，所述调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息，包括：

确定所述食材检测样本的食材图像中的食材的第一中心位置；

根据所述第一中心位置与所述食材图像的中心位置之间距离，在所述图像中确定一个第二中心位置；

在所述食材图像的所述第二中心位置生成所述食材，并在所述食材图像中添加对应所述第二中心位置的食材位置信息；

其中，若所述第一中心位置与所述食材图像的中心位置之间横向距离大于等于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离小于所述第一长度阈值；

若所述第一中心位置与所述食材图像的中心位置之间纵向距离大于等于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离小于所述第二长度阈值；

若所述第一中心位置与所述食材图像的中心位置之间横向距离小于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离大于等于所述第一长度阈值；

若所述第一中心位置与所述食材图像的中心位置之间纵向距离小于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离大于等于所述第二长度阈值。

为了更便捷地调整食材的位置得到更加全面的食材检测样本，本申请实施例提供一种简单的调整食材检测样本的食材图像中食材的位置以及标注的食材位置信息，得到与食材检测样本对应的食材检测增广样本的方式。

具体地，可以首先确定食材检测样本的食材图像中的食材的第一中心位置，并确定食材的第一中心位置与食材图像的中心位置之间的第一横向距离。

若第一横向距离大于等于第一长度阈值，则在小于第一长度阈值的范围内随机确定食材的第二中心位置(也即满足食材的第二中心位置与食材图像的中心位置之间的第二横向距离小于第一横向距离)；

若第一横向距离小于第一长度阈值，则在大于等于第一长度阈值的范围内随机确定食材的第二中心位置(即第二横向距离大于第一横向距离)；

进一步，还可以确定食材的第一中心位置与食材图像的中心位置之间的第一横向距离。

若第一纵向距离大于等于第二长度阈值，则在小于第二长度阈值的范围内随机确定食材的第二中心位置(也即满足食材的第二中心位置与食材图像的中心位置之间的第二纵向距离小于第一纵向距离)；

若第一纵向距离小于第二长度阈值，则在大于等于第二长度阈值的范围内随机确定食材的第二中心位置(即第二纵向距离大于第一纵向距离)；

在第二中心位置生成与第一中心位置相对应的食材，并在所述食材图像中添加对应所述第二中心位置的食材位置信息。

例如，将该食材图像进行归一化，食材图像的长和宽都定义为1。以食材图像的中心位置建立坐标轴，将食材图像的中心点定义为(0,0)，图像的上、下边与x轴平行，左、右边与y轴平行，假设食材图像中的食材的第一中心位置的坐标为(x1，y1)，生成食材的第二中心位置的坐标为(x2，y2)；

若|x1|<0.25，则在(-0.5,-0.5+|x1|)或(0.5-|x1|，0.5)之间选一个点作为x2；

若|x1|>0.25，则在(|x1|-0.5,0.5-|x1|)之间选一个点作为x2；

若|y1|<0.25，则在(-0.5,-0.5+|y1|)或(0.5-|y1|，0.5)之间选一个点作为y2；

若|y1|>0.25，则在(|y1|-0.5,0.5-|y1|)之间选一个点作为y2。

图7为本申请实施例提供的一种食材检测方法实施过程图。如图7所示，本申请提供的食材检测方法主要分为两个方面，训练阶段和使用阶段。在食材检测模型训练阶段，通过调整食材检测样本的食材图像中食材的位置，获取食材检测增广样本，最后使用食材检测样本和食材检测增广样本一起训练食材检测模型。在食材检测模型使用阶段，通过将包含食材的第一图像特征输入到食材位置检测模型，获取第一图像特征中关于食材的第一位置信息特征，并将第一位置信息特征融合到第一图像特征上，最后将融合了第一位置信息特征的第一图像特征输入到食材检测模型中得到食材信息。

基于与上述食材检测方法相同的构思，本申请还提供了一种食材检测装置，图8为本申请实施例提供的一种食材检测装置的结构示意图，该装置包括：

获取模块801，用于获取包含食材的第一图像特征；

处理模块802，用于确定所述第一图像特征中所述食材的第一位置信息特征；

所述处理模块802，还用于将融合所述第一位置信息特征的所述第一图像特征输入到食材检测模型进行处理，得到食材信息，其中，所述食材信息包括所述食材的种类。

所述处理模块802确定所述第一图像特征中所述食材的第一位置信息特征时，具体用于：将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征；根据所述N个第二位置信息特征，确定所述食材的第一位置信息特征；其中，将所述第一图像特征输入到食材位置检测模型进行处理，得到所述第一图像特征中所述食材的N个第二位置信息特征，包括：将所述第一图像特征进行N次连续的降维处理，得到N个第二图像特征；将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征，所述N个第二图像特征与所述N个第二位置信息特征一一对应；其中，N为大于1的正整数。

所述处理模块802将所述N个第二图像特征分别通过所述食材位置检测模型进行处理，得到所述N个第二位置信息特征时，具体用于：将融合有第M-1个第二位置信息特征的第M个第二图像特征通过所述食材位置检测模型进行处理，得到第M个第二位置信息特征；其中，所述M大于等于2、且小于或等于N。

所述处理模块802确定所述食材检测模型时，具体用于：获取设定数量的食材检测样本，其中每个所述食材检测样本包括标注有食材位置信息的食材图像以及所述食材的食材信息标签；根据所述设定数量的食材检测样本对所述食材检测模型进行训练。

所述处理模块802还用于：针对所述设定数量的食材检测样本中的每个食材检测样本，调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息，得到与所述食材检测样本对应的食材检测增广样本；所述根据所述设定数量的食材检测样本对所述食材检测模型进行训练，包括：根据所述设定数量的食材检测样本以及所述设定数量的食材检测样本对应的食材检测增广样本，对所述食材检测模型进行训练。

所述处理模块802调整所述食材检测样本的食材图像中食材的位置以及标注的食材位置信息时，具体用于：确定所述食材检测样本的食材图像中的食材的第一中心位置；根据所述第一中心位置与所述食材图像的中心位置之间距离，在所述食材图像中确定一个第二中心位置；在所述食材图像的所述第二中心位置生成所述食材，并在所述食材图像中添加对应所述第二中心位置的食材位置信息；其中，若所述第一中心位置与所述食材图像的中心位置之间横向距离大于等于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离小于所述第一长度阈值；若所述第一中心位置与所述食材图像的中心位置之间纵向距离大于等于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离小于所述第二长度阈值；若所述第一中心位置与所述食材图像的中心位置之间横向距离小于第一长度阈值，则所述第二中心位置与所述食材图像的中心位置之间横向距离大于等于所述第一长度阈值；若所述第一中心位置与所述食材图像的中心位置之间纵向距离小于第二长度阈值，则所述第二中心位置与所述食材图像的中心位置之间纵向距离大于等于所述第二长度阈值。

图9为一种电子设备结构示意图。如图9所示，该电子设备包括：处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。

所述存储器903中存储有计算机程序，当所述程序被所述处理器901执行时，使得所述处理器901实现上述任一所述一种食材检测方法的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口902用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在上述各实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现上述任一所述一种食材检测方法的步骤。

上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。