冰箱内物品信息识别方法、冰箱和计算机存储介质

技术领域

本发明涉及制冷装置领域，具体地涉及一种冰箱内物品信息识别方法、冰箱和计算机存储介质。

背景技术

随着家用电器智能化的发展，对内部食材进行识别已经是只能冰箱所必需的功能。通常为了实现对冰箱内部食材的识别，冰箱的内部储存空间内都安装有一个或多个摄像头用于拍摄食材，并对拍摄的照片进行处理后生成识别结果发送到使用终端，以供用户查看。冰箱瓶座内通常用于存放酸奶等保质期较短的物品，对于食材信息识别的要求更高，目前已经提出拍摄瓶座内存放物品的鸟瞰图的方法，由于物品顶面图案内容相对固定，所受物品摆放角度影响较小，更加易于识别。

然而，拍摄瓶座内存放物品时，当存在部分高度较高的物品时，其上方的瓶座会遮挡住该物品的顶面而造成难以识别的情况。

发明内容

本发明的目的在于提供一种冰箱内物品信息识别方法、冰箱和计算机存储介质。

本发明提供一种冰箱内物品信息识别方法，包括步骤：

获取包括多个冰箱瓶座内空间的鸟瞰图像，

在所述鸟瞰图像内检测判断瓶座内物品是否被其上方的瓶座遮挡，当存在被遮挡物品时，调整所述物品上方的瓶座与存放所述物品的瓶座之间的位置关系，直至所述物品与其上方瓶座之间无遮挡；

再次获取包括多个冰箱瓶座内空间的鸟瞰图像，根据物品顶面图案识别物品信息。

作为本发明的进一步改进，“获取包括多个冰箱瓶座内空间的鸟瞰图像”具体包括步骤：

检测到冰箱门体运动至与冰箱箱体之间夹角呈预设角度，控制设于冰箱箱体顶部的摄像机拍摄得到瓶座内空间的鸟瞰图像。

作为本发明的进一步改进，在“获取包括多个冰箱瓶座内空间的鸟瞰图像”之后还包括步骤：

检测识别多个瓶座的边缘轮廓线；

至少将相邻瓶座之间的相邻边缘轮廓线之间的区域定义为识别区；

在所述识别区内进行物品图像进行检测识别。

作为本发明的进一步改进，“在所述鸟瞰图像内检测判断瓶座内物品是否被其上方的瓶座遮挡”具体包括步骤：

检测识别物品边缘轮廓线；

若所述物品边缘轮廓线与其上方的瓶座边缘轮廓线相交，则判断所述物品被遮挡。

作为本发明的进一步改进，“调整所述物品上方的瓶座与存放所述物品的瓶座之间的位置关系，直至所述物品与其上方瓶座之间无遮挡”具体包括：

控制所述物品上方的瓶座沿传动装置向上运动，或控制存放所述物品的瓶座眼传动装置向下运动，直至所述被遮挡物品的边缘轮廓线和其上方所述瓶座边缘轮廓线之间不存在重叠或相交部分。

作为本发明的进一步改进，还包括步骤：

当判断所述瓶座运动出现阻力时，停止所述瓶座运动。

作为本发明的进一步改进，还包括步骤：

于所述检测区内检测物品边缘轮廓线与其上方瓶座底部边缘轮廓线之间的最近距离；

当所述最近距离大于预设间隔距离时，调整所述物品上方的瓶座与存放所述物品的瓶座之间的位置关系，直至所述被遮挡物品的边缘轮廓线和其上方所述瓶座边缘轮廓线之间达到预设距离。

作为本发明的进一步改进，“在所述识别区内进行物品图像进行检测识别”具体包括：

通过深度学习识别算法识别物品顶面信息获得物品类别信息，并记录存放时间和统计同类物品数量。

本发明还提供一种冰箱，包括多个设于冰箱门体上的瓶座，所述瓶座通过传动装置滑动设于所述门体上，沿所述门体边框上下滑动运动；

所述冰箱箱体顶部设有朝向箱体外部设置的摄像机，用于拍摄所述瓶座内空间；

所述冰箱还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述冰箱内物品信息识别方法的步骤。

作为本发明的进一步改进，所述传动装置包括滑轨和驱动装置，所述瓶座通过所述滑轨设于冰箱门体边框上，并受驱动模块控制而沿所述滑轨运动。

本发明还提供一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行上述冰箱内物品信息识别方法的步骤。

本发明的有益效果是：通过对所拍摄图像内物品被瓶座遮挡的情况进行判断，来调整调整瓶座高度以在图像中完全暴露物品，从而提高对瓶座内存放物品信息识别的准确度，减少因物品被遮挡而无法识别的情况。

附图说明

图1是本发明一实施方式中的冰箱内物品信息识别方法流程示意图。

图2是本发明一实施方式中拍摄得到的瓶座区域示意简图。

图3是本发明一实施方式中的定义识别区相关流程示意图。

图4是本发明一实施方式中的冰箱内物品信息识别方法中步骤S2的具体流程示意图。

图5是本发明一实施方式中瓶座1b和瓶座1c调整位置后的示意简图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

为方便说明，本文使用表示空间相对位置的术语来进行描述，例如“上”、“下”、“后”、“前”等，用来描述附图中所示的一个单元或者特征相对于另一个单元或特征的关系。空间相对位置的术语可以包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的装置翻转，则被描述为位于其他单元或特征“下方”或“上方”的单元将位于其他单元或特征“下方”或“上方”。因此，示例性术语“下方”可以囊括下方和上方这两种空间方位。

如图1所示，本发明提供一种冰箱内物品信息识别方法，包括步骤：

S1：获取包括多个冰箱瓶座内空间的鸟瞰图像。

具体的，在本实施方中，获取鸟瞰图像具体包括步骤：

检测到冰箱门体运动至与冰箱箱体之间夹角呈预设角度，控制设于冰箱箱体顶部的摄像机拍摄得到瓶座内空间的鸟瞰图像。

示例性的，摄像机设于冰箱箱体顶部，冰箱门体上设有多排瓶座，用于放置诸如食材、药品等需要在低温下储存的物品，冰箱门体处设有角度传感器，在检测到冰箱门体运动至与冰箱箱体之间夹角呈预设角度时，控制摄像机拍摄得到鸟瞰图像。优选的，预设角度为30°，此时位于冰箱箱体顶部的摄像机拍摄位于门体上的瓶座区域时，以俯视角度能够单个摄像机拍摄到完整的多个瓶座区域内情况，并且可拍摄到瓶座内所存放物品的上端面图案，以方便后续对物品类别识别，而且在30°的位置进行拍摄时，物体之间的阻挡较小，易于识别，物品在图像中占比大，可以减少图像中的无效信息。

如图2所示，为拍摄得到的瓶座区域示意简图。

进一步的，如图3所示，在本发明的一些实施方式中，获得鸟瞰图像之后，还包括步骤：

S11：检测识别多个瓶座的边缘轮廓线。

通过边缘检测算法，识别瓶座边缘轮廓线，进一步的，在一些实施方式中，瓶座边缘设有用以加强识别效果的标示线。边缘检测算法可以采用诸如Roberts、Sobel、Prewitt、Canny、Log等目前常见的算法，具体算法内容再此不再赘述。

S12：至少将相邻瓶座之间的相邻边缘轮廓线之间的区域定义为识别区。

具体的，对轮廓线按照排布顺序进行编号，依照瓶座排布顺序选择相邻两瓶座之间相邻的边缘轮廓线之间的区域为识别区，比如，如图二所示，从下往上冰箱门体上依次设有第一瓶座1a、第二瓶座1b和第三瓶座1c，按从下往上的顺序额依次将识别到的边缘轮廓线编号为11、12、13、14、15、16，其中，边缘轮廓线11和边缘轮廓线12分别为第一瓶座1a的轮廓线，边缘轮廓线13和边缘轮廓线14分别为第二瓶座1b的轮廓线，边缘轮廓线15和边缘轮廓线16分别为第三瓶座1c的轮廓线，此时，分别将边缘轮廓线12和边缘轮廓线13、边缘轮廓线14和边缘轮廓线15，以及边缘轮廓线16至图像顶端区域之间的区域定义为识别区。

S13：在识别区内进行物品图像进行检测识别。

通过上述方法划分识别区，可以准确定义出所需识别物品在图像中的位置，减少识别区内的无效信息，提高后续对物品信息检测识别的速度和准确率。

于本发明的另一些实施方式中，也可将摄像机设于冰箱门体上，朝向冰箱箱体内设置，在检测到冰箱门体与冰箱箱体呈预设角度后，启动摄像机拍摄冷藏室和冷冻室内物品存放情况。

S2：在鸟瞰图像内检测判断瓶座内物品是否被其上方的瓶座遮挡，当存在被遮挡物品时，调整所述物品上方的瓶座与存放所述物品的瓶座之间的位置关系，直至所述物品与其上方瓶座之间无遮挡。

具体的，如图4所示，步骤S2包括步骤：

S21：检测识别物品边缘轮廓线。

S22：若物品边缘轮廓线与其上方的瓶座边缘轮廓线相交，则判断物品被遮挡。

由于物品在图像中若被其上方的瓶座遮挡，则其两者之间的边缘轮廓必定存在部分相交，通过判断两者的边缘轮廓线是否存在存在相交的部分即可准确判断物品是否被遮挡。

示例性的，如图2所示，冰箱内存放的物品2和物品3顶面图案分别被其上方的瓶座1b和瓶座1c所遮挡，此时物品2的边缘轮廓线和边缘轮廓线13存在部分重叠，物品3的边缘轮廓线和边缘轮廓线15存在部分重叠，此时无法对物品2和物品3进行准确的信息检测识别。

S23：控制所述物品上方的瓶座沿传动装置向上运动，或控制存放所述物品的瓶座沿传动装置向下运动，直至被遮挡物品的边缘轮廓线和其上方瓶座边缘轮廓线之间不存在重叠或相交部分。

进一步的，当设有多个瓶座时，依照从下往上的顺序或依照从上往下的顺序依次对瓶座位置进行调整。

具体的，可以通过摄像机实时监控及计算被遮挡物品与瓶座之间的关系，或者设置瓶座每次运动的固定距离，每进行一次运动，便重新拍照判断是否还存在被遮挡物品，直至不存在被遮挡物品。

更进一步的，在调整瓶座位置时，还包括步骤：当判断所述瓶座运动出现阻力时，停止所述瓶座运动。或者，针对每个瓶座设置一调整距离阈值，以避免调整中的瓶座内物品与其上方的瓶座之间发生碰撞而对冰箱结构及存放物品造成损坏。

示例性的，如图5所示，为瓶座1b和瓶座1c调整位置后的示意简图，此时，物品2和瓶座1b、以及物品3和瓶座1c在图像上刚好分别处于分隔开的状态。

更进一步的，在本发明的一些实施方式中，在进行步骤S23之后还包括步骤：

S24：于检测区内检测物品边缘轮廓线与其上方瓶座底部边缘轮廓线之间的最近距离。

S25：当最近距离大于预设间隔距离时，调整物品上方的瓶座与存放物品的瓶座之间的位置关系，直至被遮挡物品的边缘轮廓线和其上方瓶座边缘轮廓线之间达到预设距离。

上述两个步骤，适用于瓶座与其下方之间的物品间隔距离过大的情况。当物品边缘轮廓线与其上方瓶座底部边缘轮廓线之间的距离超过预设距离时，调整瓶座向下运动，从而减小识别区的大小，减少识别区内无效信息，提高后续识别检测的准确率，并且可以有效利用冰箱瓶座内空间。

通过调整调整瓶座高度以减少所拍摄的图像中物品被瓶座所遮挡的情况，从而提高后续对瓶座内存放物品信息识别的准确度，减少了物品因被遮挡而无法识别的情况，提高了用户体验。

S3：再次获取包括多个冰箱瓶座内空间的鸟瞰图像，根据物品顶面图案识别物品信息。

通过深度学习识别算法识别物品顶面信息检测识别物品类别信息，并记录存放时间和统计同类物品数量。

根据顶面图像信息检测识别物品种类信息，相比于识别物品侧面图案，顶部图案设别更加简便且识别准确率更高。

本发明还提供一种冰箱，包括多个设于冰箱门体上的瓶座，瓶座通过传动装置滑动设于门体上，沿门体边框上下滑动运动。

冰箱箱体顶部设有朝向箱体外部设置的摄像机，用于拍摄瓶座内空间；

冰箱还包括存储器和处理器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时实现上述的冰箱内物品信息识别方法的步骤。

进一步的，传动装置包括滑轨和驱动装置，瓶座通过滑轨设于冰箱门体边框上，并受驱动模块控制而沿滑轨运动。

进一步的，冰箱还设有角度传感装置，用以检测冰箱门第与冰箱箱体之间的夹角角度。

本发明还提供一种计算机存储介质，其中存储有计算机程序，并且计算机程序运行时导致计算机存储介质的所在设备执行根据权利要求1-7中任意一项冰箱内物品信息识别方法的步骤。

综上所述，本发明通过对所拍摄图像内物品被瓶座遮挡的情况进行判断，来调整调整瓶座高度以在图像中完全暴露物品，从而提高对瓶座内存放物品信息识别的准确度，减少因物品被遮挡而无法识别的情况，提高了用户体验。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。