用于制冷设备的物品识别训练方法、介质及制冷设备

技术领域

本发明涉及家用电器领域,尤其涉及一种用于制冷设备的物品识别训练方法、介质及制冷设备。

背景技术

随着科技的进步，用户对制冷设备的要求越来越高，智能化转型成为制冷设备新的研发方向。制冷设备如冰箱，一般设置有物品识别系统。物品识别系统通常包括设置在冰箱内的摄像头，通过识别摄像头拍摄的储物间室内物品的照片来识别冰箱内存储的物品，以便对冰箱内物品进行智能化管理。现有技术中的冰箱的物品识别系统，通常需要在出厂前预先做特定种类物品的识别训练，以便冰箱能够识别出该种类的物品。但是，该种设计存在以下缺陷：用户使用冰箱的过程中可能存放的物品是多种多样的，如新出现的产品等，因而无法在出厂前的物品种类识别训练中确保覆盖所有品类的物品,导致冰箱无法识别和管理某些种类的物品。

发明内容

本发明的目的在于提供一种制冷设备，通过至少两个摄像头拍摄放置在容置空间内待训练物品的图像，能够实现使投入使用后的制冷设备能够训练识别新的种类的物品，拓展制冷设备的物品识别范围。

为实现上述发明目的，本发明一实施方式提供一种用于制冷设备的物品识别训练方法，其中，包括：

获取输入的训练待训练物品的指令信息；

输出将所述待训练物品放置在容置空间内的提示信息；

当所述待训练物品放置在所述容置空间内后，控制至少两个摄像头拍摄所述待训练物品的图像；

输出改变物品放置状态的提示信息，当所述待训练物品放置状态改变后，控制至少两个所述摄像头拍摄所述待训练物品的图像；

从所述图像中获取所述待训练物品的物品种类特征；

获取输入的所述待训练物品的物品种类名称，将所述待训练物品的所述物品种类名称与所述物品种类特征建立映射关系并存入所述制冷设备的数据库。

作为本发明一实施方式的进一步改进，其中，

“输出将所述待训练物品放置在容置空间内的提示信息；当所述待训练物品放置在所述容置空间内后，控制至少两个摄像头拍摄所述待训练物品的图像”包括：

输出清空所述容置空间并将所述待训练物品放置在所述容置空间中间位置提示信息；

当获取到输入的物品放置完毕的确认信息，及用于开闭所述容置空间的门体的闭合信息后，控制至少两个所述摄像头拍摄所述待训练物品处于所述容置空间中间位置的图像。

作为本发明一实施方式的进一步改进，其中，“输出改变物品放置状态的提示信息，当所述待训练物品放置状态改变后，控制至少两个所述摄像头拍摄所述待训练物品的图像”包括：

当所述摄像头拍摄完毕后，依次输出将所述待训练物品水平移动并放置在所述容置空间内第n指定位置的提示信息，所述第n指定位置为靠近所述容置空间侧壁的位置，1≤n≤4；

当获取到输入的物品放置完毕的确认信息，及用于开闭所述容置空间的门体的闭合信息后，控制所述摄像头依次拍摄所述待训练物品处于所述第n指定位置的图像。

作为本发明一实施方式的进一步改进，其中，“输出改变物品放置状态的提示信息，当所述待训练物品放置状态改变后，控制至少两个所述摄像头拍摄所述待训练物品的图像”包括：

当所述摄像头拍摄完毕后，依次输出将放置在所述容置空间内的所述待训练物品水平旋转第m预设角度的提示信息，1≤m≤3；

当获取到输入的物品放置完毕的确认信息，及用于开闭所述容置空间的门体的闭合信息后，控制至少两个所述摄像头依次拍摄所述待训练物品旋转第m预设角度后的图像。

作为本发明一实施方式的进一步改进，其中，

“从所述物品图像中获取所述待训练物品的物品种类特征”包括：

将所述图像输入目标检测算法，通过所述目标检测算法从所述图像中获取沿所述待训练物品的最大轮廓处生成的所述待训练物品矩形的物品图像；

将所述物品图像直接标记为所述待训练物品的物品种类特征，或从所述物品图像中提取N维特征数据并标记为所述待训练物品的物品种类特征。

作为本发明一实施方式的进一步改进，其中，

获取存入所述制冷设备内的物品图像；

获取所述物品图像中无法识别的待确认物品；

输出是否需要管理所述待确认物品的提示信息；

若获取到输入的需要管理所述待确认物品的指令信息，则将所述待确认物品标记为所述待训练物品。

作为本发明一实施方式的进一步改进，其中，

获取输入的所述待训练物品的物品种类名称，若所述数据库内存储有与输入的所述物品种类名称相同的已存物品种类名称，则将所述待训练物品的物品种类特征与所述已存物品种类名称建立映射关系并存入所述数据库。

为实现上述发明目的，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一实施方式所述的用于制冷设备的物品识别训练方法中的步骤。

为实现上述发明目的，本发明一实施方式提供一种制冷设备，所述制冷设备包括物品识别系统，所述物品识别系统包括控制模块、物品识别模块，其中，所述物品识别系统还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式所述的用于制冷设备的物品识别训练方法中的步骤。

作为本发明一实施方式的进一步改进，所述制冷设备包括内部形成有储物间室的箱体、用于开闭所述储物间室的间室门，所述间室门内部形成所述容置空间，所述容置空间包括顶壁、左侧壁和右侧壁，所述摄像头包括设置于所述顶壁的第一摄像头、设置于所述左侧壁的第二摄像头、设置于所述右侧壁的第三摄像头。

与现有技术相比，本发明通过至少两个摄像头拍摄放置在容置空间内所述待训练物品的图像，其有益效果在于：能够实现使投入使用后的制冷设备能够训练识别新的种类的物品，拓展制冷设备的物品识别范围。

附图说明

图1是本发明一实施方式制冷设备的结构示意图；

图2是图1所示制冷设备容置空间相关结构示意图；

图3是本发明一实施方式用于制冷设备的物品识别训练方法的流程图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所作出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

本发明的制冷设备可以是冰箱、冷柜、商用展示柜等。本实施例的制冷设备以冰箱为例进行说明。

参照图1和图2，所述冰箱100可以包括内部形成有储物间室的箱体1、用于开闭所述储物间室的间室门2，所述间室门2内部形成所述容置空间4。

储物间室可以包括用于存放物品的冷藏室、冷冻室等。储物间室内可以设置有用于盛放物品的置物架。容置空间4可以用于存放物品，间室门2还可以设置有用于开闭容置空间4的门体6。

冰箱100内可以设置有图像采集模块和图像识别模块。图像采集模块可以包括摄像头5，摄像头5可以用于采集存放于冰箱100内的物品的图像。图像识别模块可以用于识别图像中的物品信息，以便冰箱100能够根据采集到的图像获取存储于冰箱100内的物品信息，并可以根据物品信息对存储于冰箱100内的物品进行智能化管理，例如告知用户冰箱100内现有物品，提醒用户物品的保质期等。

冰箱100可以设置有数据库。数据库内可以存放有预先存储的各种物品的特征信息。图像识别模块可以从摄像头5拍摄的图像中提取特征并和数据库中的特征进行一一比对，从而识别图像中物品。

冰箱100内可以设置有多个摄像头5。摄像头5可以设置于储物间室内，也可以设置于容置空间4内。

所述容置空间4可以包括顶壁、左侧壁和右侧壁，所述摄像头5可以包括设置于所述顶壁的第一摄像头5、设置于所述左侧壁的第二摄像头5、设置于所述右侧壁的第三摄像头5。可以通过第一摄像头5、第二摄像头5、第三摄像头5分别采集放置于容置空间4内物品的上侧、左侧、右侧图像。

参照图3，进一步的，本实施方式中，提供一种用于制冷设备的物品识别训练方法，其中，可以包括：

获取输入的训练待训练物品3的指令信息；

输出将所述待训练物品3放置在容置空间4内的提示信息；

当所述待训练物品3放置在所述容置空间4内后，控制至少两个摄像头5拍摄所述待训练物品3的图像；

输出改变物品放置状态的提示信息，当所述待训练物品3放置状态改变后，控制至少两个所述摄像头5拍摄所述待训练物品3的图像；

从所述图像中获取所述待训练物品3的物品种类特征；

获取输入的所述待训练物品3的物品种类名称，将所述待训练物品3的所述物品种类名称与所述物品种类特征建立映射关系并存入所述冰箱100的数据库。

在本实施方式中，指令信息可以是用户向冰箱100下达的信息。冰箱100可以包括用于向用户发出信息和用于接收用户信息的交互模块。交互模块可以是语音交互，也可以是通过设置于冰箱上的显示屏操作界面等方式进行交互。

在本实施方式中，待训练物品3可以是冰箱100当前无法识别而用户想要训练冰箱100自动识别物品。物品种类特征可以是特定物品的外观图像信息。物品种类特征可以是特定物品的若干图像，可以是特定物品的图像中提取的特征数据。

物品种类名称可以是特定物品的名称，例如苹果、芒果、葡萄等。

虽然冰箱100在出厂前可以通过预先训练的方式训练直冷式设备能够识别大部分的物品。但由于物品不断迭代更新，因而不能保证冰箱100能够识别所有物品。且不同的冰箱100基于其功能不同，数据库内可能仅存储的有某种物品的特征信息，导致冰箱100对其他种类物品无法识别。

例如，冰箱的数据库内往往只存储有和食材相关的物品信息，如果用户想要在冰箱内存放药品，并希望药品存储到冰箱后冰箱能够自动识别，就可以向冰箱发出训练识别该药品的指令信息，并按冰箱的提示信息，辅助冰箱采集该药品多角度、多位置图像，以及向冰箱发送该药品的名称。当冰箱完成对该药品的训练识别后，下次用户将同种药品存放于冰箱内时，冰箱便可以对该药品进行自动识别。

如此设置，能够实现使投入使用后的冰箱100能够训练识别新的种类的物品，拓展冰箱100的物品识别范围，提高冰箱100物品管理的能力，满足用户个性化的需求，结构简单，控制方便。

参照图1和图2，进一步的，本发明另一实施方式中，所述的用于冰箱100的物品识别训练方法，其中，

“输出将所述待训练物品3放置在容置空间4内的提示信息；当所述待训练物品3放置在所述容置空间4内后，控制至少两个摄像头5拍摄所述待训练物品3的图像”可以包括：

输出清空所述容置空间4并将所述待训练物品3放置在所述容置空间4中间位置提示信息；

当获取到输入的物品放置完毕的确认信息，及用于开闭所述容置空间4的门体6的闭合信息后，控制至少两个所述摄像头5拍摄所述待训练物品3处于所述容置空间4中间位置的图像。

在本实施方式中，当不需要训练识别物品时，容置空间4可以用于存放物品；当需要训练识别待训练物品3时，冰箱100可以提示用户将容置空间4清空，并可以在容置空间4关门后采集待训练物品3图像，以免其他物品影响待训练物品3图像的采集。

如此设置，能够实现待训练识别物品在容置空间4中间位置时多角度图像的采集，同时避免其他物品影响待训练物品3图像的采集，此外，还能够实现容置空间4的充分利用。

参照图1和图2，进一步的，本发明另一实施方式中，所述的用于制冷设备的物品识别训练方法，其中，“输出改变物品放置状态的提示信息，当所述待训练物品3放置状态改变后，控制至少两个所述摄像头5拍摄所述待训练物品3的图像”可以包括：

当所述摄像头5拍摄完毕后，依次输出将所述待训练物品3水平移动并放置在所述容置空间4内第n指定位置的提示信息，所述第n指定位置为靠近所述容置空间4侧壁的位置，1≤n≤4；

当获取到输入的物品放置完毕的确认信息，及用于开闭所述容置空间4的门体6的闭合信息后，控制所述摄像头5依次拍摄所述待训练物品3处于所述第n指定位置的图像。

在本实施方式中，各个指定位置各不相同，以便能够更加全面采集到待训练识别物品的图像。例如第一指定位置可以是靠近容置空间4左侧壁和后壁拐角处的位置，第二指定位置可以是靠近容置空间4后壁和右侧壁拐角处的位置等。

每次拍摄时，第一摄像头5、第二摄像头5、第三摄像头5可以同时启动拍摄，也可以仅启动其中任意两个进行拍摄。摄像头的两两组合方式有以下三种：第一摄像头+第二摄像头，第一摄像头+第三摄像头，第二摄像头+第三摄像头，前两种组合方式适用于立体产品的拍摄，比如瓶装、罐装或者盒装产品，第三种方式适合顶部信息极少的扁平物品的拍摄，比如袋装产品。

当待训练识别物品放置在中间位置时，所有的摄像头5均可以拍摄，获取物品上侧和左右两侧三张图像；当待训练识别物品放置在某一指定位置时，比如靠近容置空间4左侧壁和后壁拐角处的第一指定位置时，启动第一摄像头和远离左侧壁的第三摄像头，获取顶部和右侧两张图像；当待训练识别物品放置在靠近容置空间4后壁和右侧壁拐角处的第二指定位置时，启动第一摄像头和远离右侧壁的第二摄像头，获取顶部和左侧两张图像。

如此设置，能够实现待训练识别物品在容置空间4多位置图像的采集，保证待训练物品3图像采集的全面性，以便冰箱100在训练之后能够快速、精准的识别出同种物品，操作简单，易于实现。

参照图1和图2，进一步的，本发明另一实施方式中，所述的用于制冷设备的物品识别训练方法，其中，“输出改变物品放置状态的提示信息，当所述待训练物品3放置状态改变后，控制至少两个所述摄像头5拍摄所述待训练物品3的图像”可以包括：

当所述摄像头5拍摄完毕后，依次输出将放置在所述容置空间4内的所述待训练物品3水平旋转第m预设角度的提示信息，1≤m≤3；

当获取到输入的物品放置完毕的确认信息，及用于开闭所述容置空间4的门体6的闭合信息后，控制至少两个所述摄像头5依次拍摄所述待训练物品3旋转第m预设角度后的图像。

在本实施方式中，各个预设角度可以相同，也可以不同，通过让待训练识别物品旋转多次，以便能够更加全面采集到待训练识别物品的图像。例如第一预设角度可以是旋转60度，第二预设角度也可以是旋转60度。

进一步的，本发明另一实施方式中，所述的用于制冷设备100的物品识别训练方法，其中，所述第m预设角度为0-90度，最佳角度为45度或90度。

如此设置，能够实现待训练识别物品在容置空间4多角度图像的采集，保证待训练物品3图像采集的全面性，以便冰箱100在训练之后能够快速、精准的识别出同种物品，操作简单，易于实现。

进一步的，本发明另一实施方式中，所述的用于制冷设备的物品识别训练方法，其中，

“从所述物品图像中获取所述待训练物品3的物品种类特征”可以包括：

将所述图像输入目标检测算法，通过所述目标检测算法从所述图像中获取沿所述待训练物品3的最大轮廓处生成的所述待训练物品3矩形的物品图像；

将所述物品图像直接标记为所述待训练物品3的物品种类特征，或从所述物品图像中提取N维特征数据并标记为所述待训练物品3的物品种类特征。

在本实施方式中，目标检测算法可以是利用卷积神经网络建立的算法模型。目标检测算法可以通过预先的训练在识别过程中先将图像中物品初步划分为两大类，一类是将容置空间4自身的固有结构，如容置空间4的侧壁，统一划分为背景类，对背景类不执行目标检测操作，另一类是将不属于容置空间4自身固有结构的部分划分为前景类，对前景类进行目标检测，以获取待训练物品3的单独图像。

在本实施方式中，N维特征数据可以是256维或512维或1024维特征向量。

如此设置，能够保证获取的待训练物品3的物品种类特征的纯净度，防止其他物品的特征信息混入待训练物品3的物品种类特征中，保证冰箱100在训练之后识别的准确性。

进一步的，本发明另一实施方式中，所述的用于制冷设备的物品识别训练方法，其中，

获取存入所述冰箱100内的物品图像；

获取所述物品图像中无法识别的待确认物品；

输出是否需要管理所述待确认物品的提示信息；

若获取到输入的需要管理所述待确认物品的指令信息，则将所述待确认物品标记为所述待训练物品3。

在本实施方式中，当用户将某一物品放置在冰箱100中后，冰箱100在识别过程中发现无法准确识别出该物品时，冰箱100便可以主动提示用户是否需要对该物品进行识别训练，如果用户需要，冰箱100便可以将该物品标记为带训练物品，在用户的辅助下实现该物品的训练识别。

如此设置，能够实现主动提示用户对无法识别的物品进行识别训练，使投入使用后的冰箱100能够训练识别新的种类的物品，拓展冰箱100的物品识别范围，提高冰箱100物品管理的能力，满足用户个性化的需求，结构简单，控制方便。

进一步的，本发明另一实施方式中，所述的用于制冷设备的物品识别训练方法，其中，获取输入的所述待训练物品3的物品种类名称，若所述数据库内存储有与输入的所述物品种类名称相同的已存物品种类名称，则将所述待训练物品3的物品种类特征与所述已存物品种类名称建立映射关系并存入所述数据库。

在本实施方式中，当数据库内存储有与用户输入的物品种类名称相同的已存物品种类名称时，例如用户输入的物品种类名称是苹果，而冰箱100数据库内已存储有苹果相关特征信息，说明冰箱100存储的该物品的特征信息可能不全面，造成无法识别出该物品，因而可以将最新获取的物品种类特征存入数据库对应物品名下，以便扩充和更新数据库内的数据信息。

如此设置，能够实现冰箱100数据库内的数据信息的更新和扩充，保证数据库内存储的物品特征信息的全面性，以便冰箱100在训练之后能够快速、精准的识别出同种物品，操作简单，易于实现。

进一步的，本发明另一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一实施方式中所述的用于冰箱100的物品识别训练方法中的步骤。

进一步的，本发明另一实施方式中，所述冰箱100可以包括物品识别系统，所述物品识别系统可以包括控制模块、物品识别模块，其中，所述物品识别系统还可以包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式中所述的用于制冷设备的物品识别训练方法中的步骤。

综上所述，本发明中的一种用于制冷设备的物品识别训练方法、介质及制冷设备，能够通过至少两个摄像头5拍摄放置在容置空间4内所述待训练物品3的图像，解决现有技术中制冷设备无法在出厂前的物品种类识别训练中确保覆盖所有品类的物品,导致制冷设备无法识别和管理某些种类的物品的问题。

采用本申请中的技术方案能够实现使投入使用后的制冷设备能够训练识别新的种类的物品，拓展制冷设备的物品识别范围，提高制冷设备物品管理的能力，满足用户个性化的需求，结构简单，控制方便。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。