食材的确定方法、装置、电子设备、冰箱及存储介质

技术领域

本申请涉及家用电器计算领域，特别地涉及一种食材的确定方法、装置、电子设备、冰箱及存储介质。

背景技术

随着社会的发展和生活水平不断提高，人们不断追求更高的生活品质，尤其是在饮食方面，追求荤素搭配，营养均衡。冰箱作为一种食材保鲜储存设备早已经走入了千家万户，不仅可储存各种各样的食材，还可以长时间保存。这样可以让人们在长时间内都吃到新鲜的多种食材。虽然冰箱可以长时间储存食材，但是这并不意味着冰箱中的食材不会发生腐烂或变质，尤其是一些水果蔬菜，长时间的保存，不仅会失去新鲜感，而且还会腐败变质，已经出现了可识别确定冰箱内食材的的方法，比如通过条码扫描、RFID识别等方式实现对存入冰箱的食材进行录入与管理，但是这种方式或者需要人工参与，还可以通过按键手动记录信息，信息记录后通过显示屏显示出来，但是该方法复杂，需要用户手动输入，并不能够很好的推广普及。为了改进，出现了采用图像识别技术识别冰箱内食材的方法，通过采集存储腔内物品的图片进行图像识别以确定其物品种类，虽然有了识别食材的功能，但是识别困难，准确率低。

发明内容

针对上述问题，本申请提供一种食材的确定方法、装置、电子设备、冰箱及存储介质。

本申请提供了一种食材的确定方法，包括：

采集用户在冰箱中放入和/或取出食材的视频流信息；

采集放入和/或取出食材后所述冰箱中的食材的图像信息；

基于所述视频流信息确定所述冰箱中的食材的第一变化信息；

基于所述图像信息确定放入和/或取出食材后所述冰箱中的第一食材信息；

至少基于所述第一变化信息和所述第一食材信息确定所述冰箱中的第二食材信息。

在一些实施例中，所述方法还包括：

获取所述第二食材信息中目标食材被放入所述冰箱的第一时间，所述第一时间是基于所述目标食材对应的的视频流信息确定的；

基于所述第一时间确定所述目标食材的新鲜度；

显示所述目标食材和所述目标食材对应的新鲜度。

在一些实施例中，所述方法还包括：

基于所述第二食材信息，生成菜谱；

在达到预设时间的情况下，向用户推荐所述菜谱。

在一些实施例中，所述基于所述视频流信息确定所述冰箱中的食材的第一变化信息，包括：

将所述视频流信息输入至训练好的视频流检测算法模型中，确定放入和/或取出的食材的种类；

基于所述视频流信息确定放入和/或取出食材后的食材的移动信息；

基于放入和/或取出食材的食材的种类和对应的移动信息，确定所述冰箱中的食材的第一变化信息。

在一些实施例中，所述基于所述图像信息确定放入和/或取出食材后所述冰箱中的第一食材信息，包括：

将所述图像信息输入至训练的检测算法模型中确定放入和/或取出食材后所述冰箱中的第一食材信息。

在一些实施例中，所述方法还包括：

获取放入和/或取出食材前所述冰箱中的第三食材信息；

所述至少基于所述第一变化信息和所述第一食材信息确定所述冰箱中的第二食材信息，包括：

基于第三食材信息和所述第一食材信息，确定所述冰箱中的食材的第二变化信息；

基于所述第一变化信息和所述第二变化信息确定目标变化信息；

基于目标变化信息和所述第三食材信息确定所述冰箱中的第二食材信息。

在一些实施例中，所述采集用户在冰箱中放入和/或取出食材的视频流信息，包括：

在所述冰箱的门体打开的情况下，采集用户在冰箱中放入和/或取出食材的视频流信息；

所述采集放入和/或取出食材后所述冰箱中的食材的图像信息，包括：

在放入和/或取出食材后，在所述门体关闭的情况下，采集所述冰箱中食材的图像信息。

在一些实施例中，所述冰箱包括冰箱本体和与所述冰箱本体连接的门体，所述冰箱本体内设有第一采集模块，所述门体上设有第二采集模块，所述方法还包括：

确定所述门体是否开启；

其中，在所述门体打开的情况下，控制所述第一采集模块采集用户在冰箱中放入和/或取出食材的视频流信息，并控制所述第二采集模块停止工作；

在所述门体关闭的情况下，控制所述第一采集模块停止工作，并控制采集所述冰箱中食材的图像信息。

本申请实施例提供一种食材的确定装置，包括：

第一采集模块，用于采集用户在冰箱中放入和/或取出食材的视频流信息；

第二采集模块，用于采集放入和/或取出食材后所述冰箱中的食材的图像信息；

第一确定模块，用于基于所述视频流信息确定所述冰箱中的食材的第一变化信息；

第二确定模块，用于基于所述图像信息确定放入和/或取出食材后所述冰箱中的第一食材信息；

第三确定模块，用于至少基于所述第一变化信息和所述第一食材信息确定所述冰箱中的第二食材信息。

本申请实施例提供一种电子设备，包括：存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行上述任意一项所述的食材的确定方法。

本申请实施例提供一种冰箱，所述冰箱包括：冰箱本体、与所述冰箱本体连接的门体、第一采集模块、第二采集模块以及上述所述的电子设备，所述第一采集模块设置在所述冰箱本体内，所述第二采集模块设置在所述门体上。

在一些实施例中，所述冰箱本体内具有N个储层，所述第二采集模块具有N个，每个储层对应一个所述第二采集模块，每个第二采集模块用于采集对应储层中的食材的图像信息，其中，N为正整数。

本申请实施例提供一种存储介质，该存储介质存储的计算机程序，可被一个或多个处理器执行，可用来实现上述任一项所述的食材的确定方法。

本申请提供的一种食材的确定方法、装置、电子设备、冰箱及存储介质，通过采集用户在冰箱中放入和/或取出食材的视频流信息确定冰箱中的食材的第一变化信息，并通过放入和/或取出食材后所述冰箱中的食材的图像信息确定第一食材信息基于第一变化信息和第一食材信息确定冰箱中的第二食材信息，通过结合视频流信息和图像信息来确定冰箱中的第二食材信息，能够使识别出的第二食材信息更准确。

附图说明

在下文中将基于实施例并参考附图来对本申请进行更详细的描述。

图1为本申请实施例提供的一种食材的确定方法的实现流程示意图；

图2为本申请实施例提供的一种第一采集模块的安装位置示意图；

图3为本申请实施例提供的一种第二采集模块的安装位置示意图；

图4为本申请实施例提供的一种视频流信息的识别流程示意图；

图5为本申请实施例提供的一种图像识别的流程示意图；

图6为本申请实施例提供的一种食材的确定方法；

图7为本申请实施例提供的一种食材的确定装置的结构示意图；

图8为本申请实施例提供的电子设备的组成结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

基于相关技术中存在的问题，本申请实施例提供一种食材的确定方法，所述方法应用于电子设备，电子设备可以是冰箱、冰柜等设备等。本申请实施例提供的食材的确定方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质。

本申请实施例提供一种食材的确定方法，图1为本申请实施例提供的一种食材的确定方法的实现流程示意图，如图1所示，包括：

步骤S101，采集用户在冰箱中放入和/或取出食材的视频流信息。

本申请实施例中，当用户在冰箱中放入和/或取出食材时，冰箱的门体处于打开的情况，所以，可以检测冰箱的门体是否处于打开状态，如果冰箱的门体处于打开状态，即采集用户在冰箱中放入和/或取出食材的视频流信息。

本申请实施例中，电子设备可以通过安装在门体或冰箱本体上的压力传感器确定冰箱门体的是否打开。在打开冰箱的门体的情况下，可以通过第一采集模块来采集用户在所述冰箱中放入和/或取出食材的视频流信息。图2为本申请实施例提供的一种第一采集模块的安装位置示意图，如图2所示，第一采集模块101可以设置于冰箱的冰箱本体100内，示例性地，将第一采集模块101设置于冰箱本体100内的中部，可以使采集的范围更大。当电子设备检测到冰箱的门体打开，可以启用第一采集模块进行视频流信息的采集，以采集用户在冰箱中放入和/或取出食材的视频流信息。

步骤S102，采集放入和/或取出食材后所述冰箱中的食材的图像信息。

本申请实施例中，当用户放入和/或取出食材后，通常需要关闭冰箱的门体，电子设备可以通过压力传感器检测门体与冰箱本体之间的压力，从而确定是门体是否关闭。在关闭所述门体的情况下，电子设备可以控制第二采集模块来采集放入和/或取出食材后冰箱中的食材的图像信息。图3为本申请实施例提供的一种第二采集模块的安装位置示意图，如图3所示，第二采集模块102可以设置在门体200上，用于采集冰箱中的食材的图像信息，第二采集模块102可以根据冰箱中储层的数量进行设置，第二采集模块102的数量可以比储层的数量大，也可以相等，也可以小于储层的数量。示例性地，当第二采集模块的数量与存储层的数量相等时，每个第二采集模块对应与一个储层。继续参见图3，冰箱有三个存储层，每个存储层对应一个第二采集模块102，第二采集模块102设置于冰箱的门体200上。本申请实施例中，冰箱内食材的图像信息可以包括多个储层的图像信息。

步骤S103，基于所述视频流信息确定所述冰箱中的食材的第一变化信息。

本申请实施例中，电子设备中可以预先存储视频流检测算法模型，该视频流检测算法是预先训练好的，可以将所述视频流信息输入至训练好的视频流检测算法模型中，确定放入和/或取出的食材的种类。电子设备还可以基于所述视频流信息确定放入和/或取出的食材的移动信息；基于放取的食材的种类和对应的移动信息，确定所述冰箱中的食材的第一变化信息。

本申请实施例中，所述第一变化信息可以包括：冰箱中增多食材，冰箱中减少食材，还可以是冰箱中的食材没有变化。

步骤S104，基于所述图像信息确定放入和/或取出食材后所述冰箱中的第一食材信息。

本申请实施例中，电子设备中可以与预先存储检测算法模型，通过将图像信息输入至检测算法模型中，从而确定放入和/或取出食材后冰箱中的第一食材信息。

步骤S105，至少基于所述第一变化信息和所述第一食材信息确定所述冰箱中的第二食材信息。

本申请实施例中，当仅仅为放入食材时，可以基于第一食材信息和第一变化信息就可以确定冰箱中的第二食材信息，例如，第一食材信息为食材ABCDE，第一变化信息为冰箱中增加了食材EF，第二食材信息可以确定为食材ABCDEF。

在一些实施例中，可以基于第三食材信息和所述第一食材信息，确定所述冰箱中的食材的第二变化信息；基于所述第一变化信息和所述第二变化信息确定目标变化信息；基于目标变化信息和所述第三食材信息确定所述冰箱中的第二食材信息，其中，所述第三食材信息为放入和/或取出食材前所述冰箱中的食材信息。

本申请实施例中，所述第二食材信息放入和/或取出食材后冰箱内的最终食材，第二食材信息与所述第一食材信息可以相同，也可以不同。

本申请提供的一种食材的确定方法，通过采集用户在冰箱中放入和/或取出食材的视频流信息确定冰箱中的食材的第一变化信息，并通过放入和/或取出食材后所述冰箱中的食材的图像信息确定第一食材信息基于第一变化信息和第一食材信息确定冰箱中的第二食材信息，通过结合视频流信息和图像信息来确定冰箱中的第二食材信息，能够使识别出的第二食材信息更准确。

在一些实施例中，在步骤S105之后，所述方法还包括：

步骤S106，获取所述第二食材信息中目标食材被放入所述冰箱的第一时间，所述第一时间是基于所述目标食材对应的的视频流信息确定的。

本申请实施例中，所述目标食材可以是第二食材信息中的任意一个食材，也可以是第二食材信息中的所有食材，被放入所述冰箱的第一时间基于放入目标食材的视频流信息来确定的。通过目标食材的视频流信息来确定第一时间可以更准确的记录食材的放入时间。例如，目标食材为苹果，用户将一个已经放入一段时间的苹果从冰箱中的第一层放入了第三层，如果只有图像识别，则会将这个苹果确定为最新放入的，导致新鲜度计算错误，而有了视频流识别后，可以判断出这个苹果只是从第一层放到了第三层，放入时间不需要重新计算，新鲜度的计算也更加准确。

步骤S107，基于所述第一时间确定所述目标食材的新鲜度。

步骤S108，显示所述目标食材和所述目标食材对应的新鲜度。

本申请实施例中，可以通过冰箱上的显示屏显示目标食材和所述目标食材对应的新鲜度。

在一些实施例中，在步骤S108之后，所述方法还包括：基于新鲜度确定目标食材的放入时间是否超过时间阈值，当放入时间超过时间阈值的情况下，发出提示信息，该提示信息可以显示在冰箱门上，用于提醒人们新鲜度下降，及时清理。

在一些实施例中，在步骤S108“显显示所述目标食材和所述目标食材对应的新鲜度”之后，所述方法还包括：

步骤S109，基于所述第二食材信息，生成菜谱。

本申请实施例中，可以从网上获取到菜谱，基于第二食材信息和菜谱，可以确定能做什么菜，从而可以生成菜谱。

步骤S110，在达到预设时间的情况下，向用户推荐所述菜谱。

本申请实施例中，所述预设时间可以试试每天的做饭时间，预设时间也可以是用户自己设定的。电子设备可以持续监测时间，当时间达到预设时间，即向用户进行菜谱推荐。

本申请实施例中，在进行菜谱推荐时，可以通过冰箱的显示屏进行显示，在一些实施例中，电子设备可以与用户的移动终端连接，将菜谱发送至移动终端上，以向用户进行菜谱推荐。

本申请实施例提供的冰箱中的食材的确定方法，通过目标食材生成菜谱，并在做饭前进行菜谱推荐，由于识别出的冰箱内的目标食材更准确，使得生成的菜谱更准确。

在一些实施例中，步骤S103“基于所述视频流信息确定所述冰箱中的食材的第一变化信息”可以通过以下步骤实现：

步骤S1031，将所述视频流信息输入至训练好的视频流检测算法模型中，确定放入和/或取出的食材的种类。

本申请实施例中，可以基于初始视频流检测算法模型进行训练得到训练好的视频流检测算法模型，该初始视频流检测算法可以采用深度学习CNN算法，在进行训练时，可以先得到样本视频流，该样本视频流中标注有食材的种类。将样本视频流输入至初始视频流检测算法模型，以得到训练好的视频流检测算法模型。本申请实施例中，将视频流信息输入至训练好的视频流检测算法模型中时，可以依次提取视频流信息的各个视频帧，将视频帧依次输入至训练好的视频流检测算法模型中，图4为本申请实施例提供的一种视频流信息的识别流程示意图，如图4所示，包括：

步骤S401，拍摄视频流。

步骤S402，基于视频流确定视频流信息的各个视频帧；

步骤S403，确定各个视频帧的CNN feature，

步骤S404，基于各个CNN feature确定视频检测结果。

本申请实施例中，视频检测结果即为放入和/或取出的食材的种类。

示例性地，将视频流输入至训练好的视频流检测算法模型中，确定放入和/或取出的食材的种类包括：食材A和食材B。

步骤S1032，基于所述视频流信息确定放入和/或取出食材后的食材的移动信息。

本申请实施例中，可以基于视频流信息确定各个食材的移动信息，该移动信息可以是外部移入到冰箱内部，也可以是从冰箱内移出至冰箱外，还可以是从冰箱的不同储层之间的移动信息。承接上面的示例，移动信息为食材A和食材B从外部移入到冰箱内部。

步骤S1033，基于放入和/或取出食材后的食材的种类和对应的移动信息，确定所述冰箱中的食材的第一变化信息。

承接上面的示例，可以确定第一变化信息为冰箱中增加了食材A和食材B。

本申请实施例提供的食材的确定方法，通过视频流信息来确定放取的食材的种类和移动信息，通过移动信息可以确定是从冰箱中取出了食材还是放入了食材，还可以确定是否将食材在冰箱内移动，使得在进行目标食材确定时，得到的目标食材更准确。

在一些实施例中，步骤S104“基于所述图像信息确定放入和/或取出食材后所述冰箱中的第一食材信息”可以通过以下步骤实现：

将所述图像信息输入至训练的检测算法模型中确定确定放入和/或取出食材后所述冰箱中的第一食材信息。

本申请实施例中，检测算法模型中的检测算法可以是深度学习CNN算法。可以基于大量的样本图像来对检测算法模型进行训练，得到训练好的检测算法模型。图5为本申请实施例提供的一种图像识别的流程示意图，如图5所示，包括:

步骤S501，获取图像信息。

步骤S502，基于图像信息确定CNN block。

步骤S503，基于CNN block确定各个CNN feature。

步骤S504，基于各个CNN feature确定第一食材信息。

在一些实施例中，步骤S105之前，所述方法还包括：获取放入和/或取出食材前所述冰箱中的第三食材信息。

步骤S105“所述至少基于所述第一变化信息和所述第一食材信息确定所述冰箱中的目标食材”可以通过以下步骤实现：

步骤S1051，基于第三食材信息和所述第一食材信息，确定所述冰箱中的食材的第二变化信息。

示例性地，第三食材信息包括：食材C、D、E，而第一食材信息为食材A、B、C、D、E、F，则可以确定食材F为冰箱中增加的食材，则第二变化信息为冰箱内增加了食材ABF。

步骤S1052，基于所述第一变化信息和所述第二变化信息确定目标变化信息。

承接上面的示例，第一变化信息为冰箱中增加了食材AB，而第二变化信息为冰箱内增加了食材ABF，则可以确定目标变化信息为：增加了食材ABF。

步骤S1053，基于目标变化信息和所述第三食材信息确定所述冰箱中的第二食材信息。

承接上面的示例，可以得到冰箱内的第二食材信息为食材ABCDEF。

本申请实施例中，在确定了目标食材后，可以将目标食材放入表格中。

本申请实施例中，在确定目标变化信息时，将食材最多变化信息确定为目标变化信息，例如，如果基于视频流信息确定放入了食材AB，基于图像放入了ABC，那么ABC都记录。如果基于视频流信息确定放入了食材AB，基于图像放入了AC，则目标变化信息为：冰箱中增加了食材ABC。基于视频流信息确定取出了食材AB，而基于图像确定取出了食材BC，则目标变化信息为：冰箱中减少了食材ABC。因为，拿取的速度和手部的遮挡，可能会导致部分拿取过程识别不到，而单纯的图像信息的识别，由于冰箱内的食材相互遮挡，也会有识别不到的食材，所以用图像和视频结合，就是为了提高识别的准确率。

在一些实施例中，步骤S101“所述采集用户在冰箱中放入和/或取出食材的视频流信息”可以通过以下方式实现：在所述冰箱的门体打开的情况下，采集用户在冰箱中放入和/或取出食材的视频流信息。在一些实施例中，步骤S102“所述采集放入和/或取出食材后所述冰箱中的食材的图像信息”可以通过以下方式实现：在放入和/或取出食材后，在所述门体关闭的情况下，采集所述冰箱中食材的图像信息。

在一些实施例中，所述冰箱包括冰箱本体和与所述冰箱本体连接的门体，所述冰箱本体内设有第一采集模块，所述门体上设有第二采集模块。在步骤S101之前，所述方法还包括：

步骤S100，确定所述门体的是否开启；

其中，在所述门体打开的情况下，控制所述第一采集模块采集用户在冰箱中放入和/或取出食材的视频流信息，并控制所述第二采集模块停止工作。

在所述门体关闭的情况下，控制所述第一采集模块停止工作，并控制所述第二采集模块采集所述冰箱中食材的图像信息。

本申请实施例中，通过确定门体是否开启来控制第一采集模块工作或控制第二采集模块工作，可以节省耗电量。

基于前述的各个实施例，本申请实施例再提供一种食材的确定方法，图6为本申请实施例提供的一种食材的确定方法，如图6所示，所述方法包括：

步骤S601，食材数据采集。

本申请实施例中，所述食材数据包括：图像信息和视频流信息。

步骤S602，图像识别。

本申请实施例中，基于图像信息进行图像识别得到第一食材信息。

步骤S603，视频流识别。

本申请实施例中，基于视频流信息进行视频流识别得到第一变化信息。

步骤S604，确定食材的识别结果。

本申请实施例中，可以基于第一食材信息和第一变化信息确定食材识别结果，即第二食材信息。

步骤S605，菜谱推荐。

可以基于目标食材进行菜谱推荐。

本申请实施例提供的食材的确定方法，利用深度学习CNN算法，结合图像识别和视频流识别方法，不仅可以自动检测识别食材，识别准确率高，还可以自动记录食材的放入冰箱的时间，监测食材的的新鲜程度。

本申请实施例中，在每一次用户打开冰箱门后，视频流摄像头(同上述实施例中的第一采集模块)启动，开始拍摄人们的拿取食材的过程，识别拿取的食材种类，和放入的层数，例如放入第二层一个苹果。在拿取完成关闭冰箱门后，启动图像摄像头(同上述实施例中的第二采集模块)，图像识别摄像头分别拍摄不同的储层中食材的图像，例如，三个摄像头分别拍摄对应的层内食材，进行识别。冰箱关门一段时间后，将视频流和图像信息进行结合处理，在冰箱门上的显示面板上显示冰箱内的食材，最后在每天做饭前一段时间根据冰箱内食材进行菜谱推荐。

用户每次打开冰箱进行拿取食材，图像摄像头在冰箱门关闭后进行拍摄，图像摄像头摆放在冰箱门上，关门后可以正对冰箱内部进行拍摄，每一个摄像头正对着对应储层进行拍摄。在拍摄完成后，将图像信息送入训练好的CNN检测算法模型中，进行特征提取，根据提取的特征进行食材种类判断。

视频流摄像头主要摆放在冰箱内部中间位置，在打开冰箱门后，立刻对拿取的过程进行拍摄视频，将拍摄到的视频按照逐帧的送入视频流识别CNN算法中，主要用于识别拿取的食材种类，和放入拿出的食材位于哪一层。在关闭冰箱门后，摄像头停止工作。

最后在图像识别和视频流识别均完成后，将识别到的食材种类和已放入的时间显示在冰箱门上的可视面板上，在每天的做饭时间前对用户进行菜谱推荐。

本申请实施例提供的食材的确定方法，采用图像识别和视频流识别结合的智能冰箱，识别准确率高，菜谱推荐合理。图像识别主要用于识别冰箱内的食材，但是单纯的图像识别无法准确识别，由于冰箱内可能相互遮挡，所以可能导致部分食材识别不到，而加入视频流识别，就可以使人们在拿取食材的过程中识别到食材，提高识别的准确率。同时可以更准确记录食材的放入时间，例如用户将一个已经放入一段时间的苹果从第一层放入了第三层，如果只有图像识别，则会将这个苹果确定为最新放入的，导致新鲜度计算错误，而有了视频流识别后，可以判断出这个苹果只是从第一层放到了第三层，放入时间不需要重新计算，新鲜度的计算也更加准确。所以本发明的结合图像识别和视频流识别的可以进行菜谱推荐的智能冰箱，识别准确率更高，新鲜度计算更准确，菜谱推荐更合理。

基于前述的实施例，本申请实施例提供一种食材的确定装置，该食材的确定装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，CentralProcessing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，DigitalSignal Processing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

本申请实施例提供一种食材的确定装置，图7为本申请实施例提供的一种食材的确定装置的结构示意图，如图7所示，食材的确定装置700包括：

第一采集模块701，用于采集用户在冰箱中放入和/或取出食材的视频流信息；

第二采集模块702，用于采集放入和/或取出食材后所述冰箱中的食材的图像信息；

第一确定模块703，用于基于所述视频流信息确定所述冰箱中的食材的第一变化信息；

第二确定模块704，用于基于所述图像信息确定放入和/或取出食材后所述冰箱中的第一食材信息；

第三确定模块705，用于至少基于所述第一变化信息和所述第一食材信息确定所述冰箱中的第二食材信息。

在一些实施例中，食材的确定装置700还包括：

第一获取模块，用于获取所述第二食材信息中目标食材被放入所述冰箱的第一时间，所述第一时间是基于所述目标食材对应的的视频流信息确定的；

第四确定模块，用于基于所述第一时间确定所述目标食材的新鲜度；

显示模块，用于显示所述目标食材和所述目标食材对应的新鲜度。

在一些实施例中，食材的确定装置700还包括：

生成模块，用于基于所述第二食材信息，生成菜谱；

推荐模块，用于在达到预设时间的情况下，向用户推荐所述菜谱。

在一些实施例中，在一些实施例中，食材的确定装置700还包括：

第二获取模块，用于获取放入和/或取出食材前所述冰箱中的第三食材信息；

所述第一确定模块703，包括：

第一确定单元，用于将所述视频流信息输入至训练好的视频流检测算法模型中，确定放入和/或取出的食材的种类；

第二确定单元，用于基于所述视频流信息确定各个放入和/或取出的食材的移动信息；

第三确定单元，用于基于放入和/或取出的食材的种类和对应的移动信息，确定所述冰箱中的食材的第一变化信息。

在一些实施例中，第二确定模块704包括：

第四确定单元，用于将所述图像信息输入至训练的检测算法模型中确定放入和/或取出食材后所述冰箱中的第一食材信息。

在一些实施例中，第三确定模块705，包括：

第五确定单元，用于基于第三食材信息和所述第一食材信息，确定所述冰箱中的食材的第二变化信息；

第六确定单元，用于基于所述第一变化信息和所述第二变化信息确定目标变化信息；

第七确定单元，用于基于目标变化信息和所述第三食材信息确定所述冰箱中的第二食材信息。

在一些实施例中，所述第一采集模块701用于在所述冰箱的门体打开的情况下，采集用户在冰箱中放入和/或取出食材的视频流信息；

所述第二采集模块702用于在放入和/或取出食材后，在所述门体关闭的情况下，采集所述冰箱中食材的图像信息。

在一些实施例中，所述冰箱包括冰箱本体和与所述冰箱本体连接的门体，所述冰箱本体内的设有第一采集模块，所述门体上设有第二采集模块，食材的确定装置700还包括：

第五确定模块，用于确定所述门体的是否开启；其中，在所述门体开启的情况下，控制所述第一采集模块采集用户在所述冰箱中放取食材的视频流信息，并控制所述第二采集模块停止工作；在所述门体关闭的情况下，控制所述第一采集模块停止工作，并控制所述第二采集模块采集所述冰箱中的食材的图像信息。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的食材的确定方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

相应地，本申请实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述实施例中提供的食材的确定方法中的步骤。

本申请实施例提供一种电子设备；图8为本申请实施例提供的电子设备的组成结构示意图，如图8所示，所述电子设备800包括：一个处理器801、至少一个通信总线802、用户接口803、至少一个外部通信接口804、存储器805。其中，通信总线802配置为实现这些组件之间的连接通信。其中，用户接口803可以包括显示屏，外部通信接口804可以包括标准的有线接口和无线接口。所述处理器801配置为执行存储器中存储的食材的确定方法的程序，以实现以上述实施例提供的食材的确定方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

基于前述的各个实施例，本申请实施例提供一种冰箱，所述冰箱包括：冰箱本体、与所述冰箱本体连接的门体、第一采集模块、第二采集模块以及权利要求9所述的电子设备，所述第一采集模块设置在所述冰箱本体内，所述第二采集模块设置在所述门体上。

在一些实施例中，所述冰箱本体内具有N个储层，所述第二采集模块具有N个，每个储层对应一个所述第二采集模块，每个第二采集模块用于采集对应储层中的食材的图像信息，其中，N为正整数。

以上电子设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。