用于抽屉内物品的识别方法、介质及存储装置

技术领域

本发明涉及家用电器领域,尤其涉及一种用于抽屉内物品的识别方法、介质及存储装置。

背景技术

随着科技的进步，用户对存储装置如家用制冷设备冰箱等的要求越来越高，智能化转型成为存储装置新的研发方向。现有技术中存储装置内物品的识别方法一般为：在存储装置上设置摄像头，当获取到关门信号时，控制摄像头拍摄存放于存储装置内物品的图像，然后通过识别该图像确定存储装置内存放的物品的信息。但是该种设计存在以下缺陷:由于关门时存储装置内抽屉往往是闭合状态，导致摄像头无法拍摄到抽屉内存放的物品，进而导致存储装置无法对抽屉内物品进行识别管理。

发明内容

本发明的目的在于提供一种用于抽屉内物品的识别方法、介质及存储装置，通过将获取到的图像与其前一图像进行物品信息比对，并根据每次比对结果确定是否更新所述抽屉的输出物品信息，能够实现准确获知抽屉内存放的物品。

为实现上述发明目的，本发明一实施方式提供一种用于抽屉内物品的识别方法，其中，包括：

在检测到打开后的抽屉朝向所述存储装置运动，且用于向所述抽屉内取放物品的取物口逐渐闭合的过程中，控制设置于所述抽屉上方的摄像头以预设频率持续拍摄并获取包含所述取物口的图像，并按时间顺序标记为图像T

每次获取到一所述图像T

将所述图像t

在所述图像t

当所述取物口完全闭合时，将根据最后一次所述比对结果确定的所述抽屉的输出物品信息作为所述抽屉的最终输出物品信息。

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，“在所述图像t

若所述图像t

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，“在所述图像t

若所述图像t

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，“在所述图像t

若所述图像t

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，“在所述图像t

若所述图像t

将所述叠覆图像与所述图像t

若是，则获取消失物品数量和消失物品名称，并将所述抽屉的输出物品信息的物品数量更新为减去所述消失物品数量后获得的物品数量，将所述抽屉的输出物品信息的物品名称更新为减去所述消失物品名称后获得的物品名称。

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，每一所述图像t

所述取物口包括垂直于所述抽屉移动方向的第一边缘和第二边缘，且所述第一边缘位于靠近所述存储装置的一侧；

所述叠覆图像的获取方法包括：

获取拍摄所述图像t

获取拍摄所述图像t

根据L1和L2获取拍摄所述图像t

获取所述图像t

将所述图像t

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，每一所述图像t

所述叠覆图像的获取方法包括：

将所述图像t

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，“将所述叠覆图像与所述图像t

获取所述图像t

对所述叠覆图像进行目标检测并获取所述叠覆图像生成的识别框rj，j＝{1，2，…,m2}，m2为所述叠覆图像中生成的识别框数量；

判断每一识别框Ri在所述叠覆图像的对应位置是否存在与其交并比IOU大于阈值的识别框rj，交并比

若否，则将所述识别框Ri对应的物品标注为所述消失物品。

作为本发明一实施方式的进一步改进，所述的用于抽屉内物品的识别方法，其中，所述阈值大于0.7且小于1，所述预设频率大于50帧每秒。

为实现上述发明目的，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一实施方式所述的用于抽屉内物品的识别方法中的步骤。

为实现上述发明目的，本发明一实施方式提供一种存储装置，其中，所述存储装置包括图像识别系统，所述图像识别系统包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式所述的用于抽屉内物品的识别方法中的步骤。

与现有技术相比，本发明通过将获取到的图像与其前一图像进行物品信息比对，并根据每次比对结果确定是否更新所述抽屉的输出物品信息，其有益效果在于：能够实现准确获知抽屉内存放的物品。

附图说明

图1是本发明一实施方式存储装置的结构示意图；

图2是本发明一实施方式用于抽屉内物品识别方法的流程图；

图3是本发明一实施方式图像t

图4是本发明一实施方式图像t

图5是本发明一实施方式图像t

图6是本发明一实施方式图像t

图7是本发明一实施方式图像t

图8是图6和图7所示图像的叠覆图像的示意图；

图9是图6和图7所示图像对应取物口及叠覆图像示意图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所作出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

参照图1，在本发明一实施方式中，提供一种存储装置1，存储装置1可以是具备冷藏、冷冻、保鲜等功能的制冷设备，如冰箱、冷柜等。当然，存储装置也可以是不具备制冷功能的用于存储物品的展示柜、收纳柜等。

所述存储装置1包括箱体2和可枢转的设置于箱体2上的门体3。箱体2内部可以形成有用于存放物品的储物间室4。储物间室4内可以设置有抽屉5。。进一步的，抽屉5可以包括底壁、从底壁四周向上垂直延伸形成的前侧壁、后侧壁、左侧壁、右侧壁。抽屉5上端呈开口设置。储物间室4可以包括固定设置且用于覆盖抽屉5上端开口的隔板6。

当用户不需要使用抽屉5的时候，抽屉5闭合于存储装置1上，隔板6完全遮挡抽屉5的上端开口。当用户需要使用抽屉5的时候，可以拉动抽屉5，使抽屉5朝向远离存储装置1的方向运动，抽屉5的前侧壁、抽屉5的左右侧壁以及隔板6共同围成用于从抽屉5内取放物品的取物口7。相应的，抽屉5朝向远离存储装置1的方向运动的距离越远，取物口7越大，抽屉5朝向远离存储装置1的方向运动的距离越近，取物口7越小。

存储装置1可以包括图像识别系统，图像识别系统可以包括图像采集模块和图像识别模块。图像采集模块可以包括摄像头，摄像头可以设置于抽屉5的上方，当用户向外拉动抽屉5，取物口7打开时，摄像头可以拍摄取物口7处抽屉5内的物品的图像。图像识别模块可以用于识别图像中物品的物品信息，以便冰箱能够根据物品信息对存储于抽屉5内的物品进行智能化管理。

在本实施方式中，存储装置1还可以包括用于实时检测抽屉5相对于存储装置1的移动距离大小的距离传感器。距离传感器可以设置于箱体2上，也可以设置于抽屉5上，例如可以设置于抽屉5的前侧壁上。

另外，还可以通过距离传感器获知抽屉5的使用情况。例如，当距离传感器检测到抽屉5相对于存储装置1的距离随时间逐渐变大时，可以判定取物口7逐渐打开，用户正在拉开抽屉5；当距离传感器检测到抽屉5相对于存储装置1的距离随时间逐渐变小时，可以判定取物口7逐渐闭合，用户正在关闭抽屉5；当距离传感器检测到抽屉5相对于存储装置1的距离不随时间变化时，可以判定取物口7的大小没有变动，用户没有推或拉抽屉5，用户可能正在向抽屉5内取或放物品。

参照图1-图3，进一步的，在本实施方式中，提供一种用于抽屉5内物品的识别方法，其中，包括：

在检测到打开后的抽屉5朝向所述存储装置1运动，且用于向所述抽屉5内取放物品的取物口7逐渐闭合的过程中，控制设置于所述抽屉5上方的摄像头以预设频率持续拍摄并获取包含所述取物口7的图像，并按时间顺序标记为图像T

每次获取到一所述图像T

将所述图像t

在所述图像t

当所述取物口7完全闭合时，将根据最后一次所述比对结果确定的所述抽屉5的输出物品信息作为所述抽屉5的最终输出物品信息。

在实际使用过程中，用户往往是先向外拉动抽屉5，打开取物口7，当取物口7打开到一定程度后，用户停止拉动抽屉5，并取走抽屉5内的物品或向抽屉5内放入物品，在完成物品取放的动作后，用户就会关闭抽屉5。

但在用户关闭抽屉5的过程中，可能存在以下情形：用户中途停止关闭抽屉5，从取物口7取走一些物品后，继续关闭抽屉5；或用户中途停止关闭抽屉5，向取物口7内放入了一些物品后，继续关闭抽屉5。

如果仅控制摄像头拍摄抽屉5打开后且开始朝向存储装置1运动时的那一时刻的图像，虽然此时取物口7开口最大，图像涵盖的物品最全，但无法获知抽屉5关闭的过程中物品的变动情况，导致无法准确获知抽屉5内存放的物品信息。

为了克服上述缺陷，本实施方式抽屉5物品识别的过程可以是：

当距离传感器检测到打开后的抽屉5开始朝向存储装置1移动的那一时刻，控制摄像头拍摄并获取图像T

在通过图像T

当距离传感器检测到抽屉5完全闭合时，便可以控制摄像头停止拍摄图像，并将根据最后一次所述比对结果确定的所述抽屉5的输出物品信息作为所述抽屉5的最终输出物品信息。

进一步的，本发明另一实施方式中，所述预设频率大于50帧每秒。

如此设置，能够通过在抽屉5闭合的过程中连续采集多张图像，并通过前后图像比对的方式获知抽屉5闭合过程中物品的变动情况，能够实现更加全面、充分、准确的获知抽屉5内存放的物品以及物品的取放情况，从而提高存储装置1对抽屉5内物品的管理效果。

参照图3和图4，进一步的，本发明另一实施方式中，所述的用于抽屉5内物品的识别方法，其中，“在所述图像t

以图3和图4为例，图像t

如此设置，通过在抽屉5闭合的过程中连续采集多张图像，并通过前后图像比对的方式获知抽屉5闭合过程中物品的变动情况，能够实现更加全面、充分、准确的获知抽屉5内存放的物品以及物品的取放情况，从而提高存储装置1对抽屉5内物品的管理效果。

参照图4和图5，进一步的，本发明另一实施方式中，所述的用于抽屉5内物品的识别方法，其中，“在所述图像t

若所述图像t

以图4和图5为例，图像t

由于在对图像中的物品进行分类识别时，基于现有的图像识别算法的缺陷，无法保证百分之百正确，因而对某些物品可能存在识别错误的情形。因而当后一张图像相对于前一张图像物品数量相同而物品名称不同时，说明前一张图像可能对某些物品识别错误，可以通过后一张图像的识别结果对前一张图像的识别结果进行修正，即可以将所述抽屉5的输出物品信息中的物品名称苹果更新为以所述图像t

如此设置，能够利用在后拍摄图像的识别结果对在前拍摄的图像的识别结果进行修正，保证物品信息的准确性和可靠性，通过在抽屉5闭合的过程中连续采集多张图像，并通过前后图像比对的方式获知抽屉5闭合过程中物品的变动情况，能够实现更加全面、充分、准确的获知抽屉5内存放的物品以及物品的取放情况，从而提高存储装置1对抽屉5内物品的管理效果。

参照图5和图6，进一步的，本发明另一实施方式中，所述的用于抽屉5内物品的识别方法，其中，“在所述图像t

若所述图像t

以图5和图6为例，图像t

图像t

如此设置，能够利用在后拍摄的图像获知的物品信息更新、补全抽屉5的输出物品信息，通过在抽屉5闭合的过程中连续采集多张图像，并通过前后图像比对的方式获知抽屉5闭合过程中物品的变动情况，能够实现更加全面、充分、准确的获知抽屉5内存放的物品以及物品的取放情况，从而提高存储装置1对抽屉5内物品的管理效果。

参照图6-图8，进一步的，本发明另一实施方式中，所述的用于抽屉5内物品的识别方法，其中，“在所述图像t

若所述图像t

将所述叠覆图像与所述图像t

若是，则获取消失物品数量和消失物品名称，并将所述抽屉5的输出物品信息的物品数量更新为减去所述消失物品数量后获得的物品数量，将所述抽屉5的输出物品信息的物品名称更新为减去所述消失物品名称后获得的物品名称。

以图6-图8为例，图像t

所述图像t

将所述图像t

如此设置，能够通过前后图像叠覆的方式准确获知抽屉5内是否存在物品被取走，方法简单，准确性高，通过在抽屉5闭合的过程中连续采集多张图像，并通过前后图像比对的方式获知抽屉5闭合过程中物品的变动情况，能够实现更加全面、充分、准确的获知抽屉5内存放的物品以及物品的取放情况，从而提高存储装置1对抽屉5内物品的管理效果。

参照图9，进一步的，本发明另一实施方式中，所述的用于抽屉5内物品的识别方法，其中，每一所述图像t

所述取物口7包括垂直于所述抽屉5移动方向的第一边缘51和第二边缘52，且所述第一边缘51位于靠近所述存储装置1的一侧；

所述叠覆图像的获取方法包括：

获取拍摄所述图像t

获取拍摄所述图像t

根据L1和L2获取拍摄所述图像t

获取所述图像t

将所述图像t

以图9为例，可以通过距离传感器获取拍摄所述图像t

如此设置，能够利用取物口7尺寸、抽屉5移动距离与取物口7对应的图像尺寸成比例的关系准确获知将后一图像叠覆于前一图像的移动距离，从而将后一图像准确的叠覆于前一图像中的对应位置，方法简单，准确性高，以保证能够准确获知抽屉5内是否存在物品被取走。

参照图9，进一步的，本发明另一实施方式中，所述的用于抽屉5内物品的识别方法，其中，每一所述图像t

所述叠覆图像的获取方法包括：

将所述图像t

如此设置，能够利用前一图像和后一图像的对应关系将后一图像直接叠覆于前一图像上，方法简单，准确性高，以准确获知抽屉5内是否存在物品被取走。

进一步的，本发明另一实施方式中，所述的用于抽屉5内物品的识别方法，其中，“将所述叠覆图像与所述图像t

获取所述图像t

对所述叠覆图像进行目标检测并获取所述叠覆图像生成的识别框rj，j＝{1，2，…,m2}，m2为所述叠覆图像中生成的识别框数量；

判断每一识别框Ri在所述叠覆图像的对应位置是否存在与其交并比IOU大于阈值的识别框rj，交并比

若否，则将所述识别框Ri对应的物品标注为所述消失物品。

在实际比对过程中，可以直接识别叠覆图像，获取叠覆图像的物品信息，通过将叠覆图像的物品信息与图像t

在本实施方式中，可以采取无需识别叠覆图像的物品信息的方式，直接对叠覆图像进行目标检测，在叠覆图像中每一物品周围生成相对应的识别框，然后通过计算交并比的方式分别判断图像t

进一步的，本发明另一实施方式中，所述阈值大于0.7且小于1。

如此设置，无需识别叠覆图像中的物品信息，只需通过比对叠覆图像和前一图像的识别框，就能够准确判断出后一图像相对于前一图像是否存在物品被取走，方法简单，准确性高，避免因识别错误造成比对不准确。

进一步的，本发明另一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一实施方式所述的用于抽屉5内物品的识别方法中的步骤。

进一步的，本发明另一实施方式中，所述存储装置1包括图像识别系统，所述图像识别系统包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式所述的用于抽屉5内物品的识别方法中的步骤。

综上所述，本发明中的一种用于抽屉5内物品的识别方法、介质及存储装置1，能够通过将获取到的图像与其前一图像进行物品信息比对，并根据每次比对结果确定是否更新所述抽屉5的输出物品信息，解决现有技术中由于关门时存储装置1内抽屉5往往是闭合状态，导致摄像头无法拍摄到抽屉5内存放的物品，进而导致存储装置1无法对抽屉5内物品进行识别管理的问题。

采用本申请中的技术方案能够实现全面、充分、准确的获知抽屉5内存放的物品以及物品的取放情况，从而提高存储装置1对抽屉5内物品的管理效果。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。