摄入食物能量的检测方法、装置、计算机设备和存储介质

技术领域

本发明实施例涉及智能数据分析技术领域，尤其涉及一种摄入食物能量的检测方法、装置、计算机设备和存储介质。

背景技术

随着生活水平的提高，现代人们的健康意识也不断增强，越来越注重在保证营养的同时，控制饮食摄入的热量，以避免暴饮暴食等不健康的饮食习惯导致的肥胖甚至疾病等问题。

现有的饮食类型和饮食量摄入检测，都需要依赖于一定程度上的用户操作或用户活动，或通过用户对饮食进行称重后，手动输入饮食类型和饮食量，计算用户摄入食物的能量，或通过用户拍摄食物图像，对用户摄入食物的能量进行估算。现有的这种用户摄入食物能量的检测方式，自动化程度不高，用户体验较差。

发明内容

本发明实施例提供一种摄入食物能量的检测方法、装置、计算机设备和存储介质，以实现自动检测用户摄入的食物的能量。

第一方面，本发明实施例提供了一种摄入食物能量的检测方法，该方法包括：

获取摄入食物的检测信息，所述检测信息包括：咀嚼信息、气味信息、吞咽信息以及图像信息；

根据所述检测信息中的至少一项，确定摄入食物的食物种类以及食物摄入量；

根据所述食物种类和所述食物摄入量，确定摄入食物的能量。

第二方面，本发明实施例还提供了一种摄入食物能量的检测装置，该装置包括：

数据获取模块，用于获取摄入食物的检测信息，所述检测信息包括：咀嚼信息、气味信息、吞咽信息以及图像信息；

信息确定模块，用于根据所述检测信息中的至少一项，确定摄入食物的食物种类以及食物摄入量；

摄入食物能量确定模块，用于根据所述食物种类和所述食物摄入量，确定摄入食物的能量。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的摄入食物能量的检测方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的摄入食物能量的检测方法。

本发明实施例通过获取用户摄入食物时的吞咽信息、咀嚼信息、气味信息或者图像信息等检测信息，根据一项或多项检测信息确定食物种类和摄入量，从而根据食物种类和摄入量确定摄入食物能量。解决了现有技术中用户摄入食物能量的检测方式，自动化程度不高，用户体验较差的问题，实现了自动检测用户摄入的食物的能量。

附图说明

图1是本发明实施例一中的一种摄入食物能量的检测方法的流程图；

图2是本发明实施例二中的一种摄入食物能量的检测方法的流程图；

图3是本发明实施例三中的一种摄入食物能量的检测装置的结构示意图；

图4是本发明实施例四中的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种摄入食物能量的检测方法的流程图，本实施例可适用于在用户进食时，自动检测用户摄入食物的能量的情况，该方法可以由摄入食物能量的检测装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备中，典型的，可以集成在可穿戴设备中，并与多种不同类型的传感器配合使用。

如图1所示，本发明实施例的技术方案，具体包括如下步骤：

S110、获取摄入食物的检测信息，所述检测信息包括：咀嚼信息、气味信息、吞咽信息以及图像信息。

其中，摄入食物是用户正在摄入的食物，检测信息是用户在摄入食物过程中检测到的食物相关信息，用于确定食物种类。

咀嚼信息是用户咀嚼摄入食物时的声音信息，在咀嚼过程中，由于食物的破碎、牙齿与食物之间以及牙齿之间的挤压碰撞，会产生咀嚼声音，不同种类、不同质感的食物的咀嚼声音具有一定差异。

气味信息是摄入食物的气味信息，不同种类的食物或者同种食物采用不同类型的烹饪方式，都会产生不同的气味。食物种类是摄入食物所属的种类，例如米饭、面条、牛肉等。

具体的，可以通过声音传感器采集咀嚼信息，通过气味识别传感器采集气味信息，也可以通过集成传感器同时采集咀嚼信息和气味信息。进一步的，由于用户进食时所处环境存在杂音，可以对声音传感器采集的咀嚼信息进行去除噪声的处理。

吞咽信息是用户对摄入食物进行吞咽动作时的相关数据，示例性的，吞咽信息可以是用户的吞咽动作的次数，也可以是用户吞咽时的脸颊肌肉群的肌电信号等，本实施例对此不进行限制。

图像信息是用户进食过程中或进食前拍摄的包含摄入食物的图像，图像信息可以通过微型摄像装置进行采集，由于图像中除摄入食物外，可能还包括用户的隐私信息，可选的，可以对拍摄得到的图像进行特征提取，并将特征数据发送至云端服务器进行食物种类识别，从而在防止隐私泄露的同时，进行食物种类的确定。

S120、根据所述检测信息中的至少一项，确定摄入食物的食物种类以及食物摄入量。

在本发明实施例中，在用户进食的过程中，根据采集到的摄入食物的咀嚼信息、气味信息、吞咽信息或者图像信息中的一种或多种，确定食物种类，本实施例对信息的数量、类型和具体的确定方式不进行限制。

根据吞咽信息确定摄入食物的摄入量，示例性的，当吞咽信息是用户的吞咽动作的次数时，可以预先根据用户的性别、年龄、体重或者口腔容量大小等因素，确定用户的单次吞咽摄入量，并根据吞咽动作的次数和单次吞咽摄入量，确定食物的摄入量。当吞咽信息是用户吞咽时的脸颊肌肉群的肌电信号或者形变数据时，可以根据吞咽信息生成波动曲线，并根据波动曲线的波峰数量以及峰值，确定食物的摄入量，本实施例对根据吞咽信息确定摄入量的具体实现方式不进行限制。

根据图像信息确定食物摄入量，具体的，可以将图像输入摄入量计算模型中，获取模型输出的摄入量。摄入量计算模型可以为预先根据标注实际摄入量的食物图像，对预设的机器学习模型进行训练得到。还可以对图像进行特征提取，对于一些特征较为突出的食物，可以直接根据图像的特征数据计算摄入量。示例性的，如果当前摄入的食物为虾仁，对拍摄的图像进行特征提取，可以直接确定当前摄入的虾仁数量。

S130、根据所述食物种类和所述食物摄入量，确定摄入食物的能量。

获取摄入食物的食物种类和摄入量之后，即可根据食物种类对应的单位能量值和摄入量，计算摄入食物的能量。

可选的，在计算得到摄入食物的能量之后，还可以采集并记录用户进食的时间、地点以及进食时长等信息，并可以根据用户的吞咽信息、摄入食物的能量以及进食时长等信息，对用户的进食方式进行评估。示例性的，如果用户的摄入食物的能量较高，进食时长较短，则可以判定用户存在暴饮暴食等不健康的饮食方式。还可以根据用户摄入食物的能量、进食的时间、地点、进食时长以及进食方式，生成用户的饮食评估报告，从而使用户了解自己的饮食习惯，并针对性的进行改进。

本实施例的技术方案，通过获取用户摄入食物时的吞咽信息、咀嚼信息、气味信息或者图像信息等检测信息，根据一项或多项检测信息确定食物种类和摄入量，从而根据食物种类和摄入量确定摄入食物能量。解决了现有技术中用户摄入食物能量的检测方式，自动化程度不高，用户体验较差的问题，实现了自动检测用户摄入的食物的能量。

实施例二

图2是本发明实施例二提供的一种摄入食物能量的检测方法的流程图，本发明实施例在上述实施例的基础上，对确定摄入食物的食物种类的过程、确定摄入量的过程进行了进一步的具体化，并加入了在用户的总摄入能量超标时触发食欲抑制操作的步骤。相应的，如图2所示，本发明实施例的技术方案，具体包括如下步骤：

S210、获取用户的标准摄入能量。

获取标准摄入能量的目的在于，可以通过用户已摄入能量和标准摄入能量的比对，判断用户饮食量是否超标。具体的，可以获取用户的体重数据，根据用户的体重计算标准摄入能量。还可以获取用户输入的目标摄入能量作为标准摄入能量。

可选的，还可以通过体重秤或者人体扫描仪等装置，获取用户的身体数据。示例性的，可以通过体重秤获得体重数据，可以通过体脂秤获得体重、体脂数据，可以通过人体扫描仪获得腰围、臀围、腰臀比、3D模型等数据。获取用户身体数据之后，可以生成体重评价报告，对用户进行体重管理的建议。还可以生成体重管理计划，对用户进行饮食建议。

本实施例的方法可以由可穿戴设备执行，该可穿戴设备可以穿戴在脖子或其他躯干区域，该可穿戴设备预先与体重秤或者人体扫描仪等装置建立连接，获取用户的体重数据，从而根据用户的体重计算标准摄入能量。

S220、获取摄入食物的检测信息，所述检测信息包括：咀嚼信息、气味信息、吞咽信息以及图像信息。

可选的，执行本实施例方法的可穿戴设备可以采用项圈或者安装在衣领上等形式。进一步的，当本实施例应用于辅助用户进行饮食监控或者体重控制等时，可以在可穿戴设备上进行拆除条件的设置，以避免用户为逃避摄入食物的检测而随意拆除可穿戴设备。

本实施例以通过咀嚼信息和气味信息，综合确定食物种类为例，可选的，还可以仅使用咀嚼信息、气味信息或者图像信息中的一种，确定食物种类，或者根据咀嚼信息和图像信息、气味信息或者图像信息，或者咀嚼信息、气味信息和图像信息综合确定食物种类。

示例性的，当通过咀嚼信息确定食物种类时，若确定咀嚼信息，与食物数据库中目标食物种类的预存咀嚼信息相匹配，则确定摄入食物为目标食物种类。

示例性的，可以计算咀嚼信息与各预存咀嚼信息之间的相似度，如果目标食物种类的预存咀嚼信息与摄入食物的咀嚼信息相似度最高，并且该相似度超过预设数值，则说明咀嚼信息与目标食物种类的预存咀嚼信息相匹配。

示例性的，当通过图像信息确定食物种类时，对拍摄得到的图像进行特征提取，并将特征数据发送至云端服务器进行食物种类识别，云端服务器接收到特征数据之后，将该特征数据与食物数据库中各食物种类的特征数据进行比对，若确定该特征数据与食物数据库中目标食物种类的特征数据相匹配，则确定摄入食物为目标食物种类。

在本发明实施例中，吞咽信息可以为肌电信号数据或者体表形变数据，肌电信号数据是肌肉收缩时的电信号，可以通过肌电信号采集板进行采集。体表形变数据是用户吞咽食物时皮肤的形变数据，可以通过压力传感器进行采集。

S230、根据所述吞咽信息，确定摄入食物的食物形态，所述食物形态为液体或者固体。

确定摄入食物为液体或者固体的原因在于，吞咽液体的速度一般要快于吞咽固体的速度，摄入食物的食物形态不同，根据吞咽信息确定食物摄入量的方式也不相同。并且，当食物为液体时，无需进行咀嚼，无法获取咀嚼信息。

S240、对至少两项检测信息进行数据融合，获取融合信息。

数据融合是指将多个传感器的观测数据依据某种准则来进行组合,以获得被测对象的一致性解释或描述。数据融合的原理为，对多个传感器的观测数据分别进行特征提取，提取得到多个特征矢量，对特征矢量分别进行模式识别处理，获取各传感器对被测对象的说明数据，将各传感器的说明数据进行关联，并利用融合算法将各传感器的说明数据进行合成，得到被测对象的一致性解释或描述。

在本发明实施例中，数据融合是指将至少两项检测信息合成成为融合信息的过程。

本实施例以通过咀嚼信息和气味信息综合确定食物种类时，对咀嚼信息和气味信息进行数据融合，并根据融合后的融合信息确定食物种类为例。可选的，还可以不进行数据融合，若确定咀嚼信息和气味信息，分别与食物数据库中目标食物种类的预存咀嚼信息和预存气味信息相匹配，则确定摄入食物为目标食物种类。本实施例对根据咀嚼信息和气味信息综合确定食物种类时的确定方式不进行限制，根据咀嚼信息和图像信息、气味信息或者图像信息，或者咀嚼信息、气味信息和图像信息综合确定食物种类时的确定方式同理。

示例性的，可以分别计算咀嚼信息与各预存咀嚼信息之间的相似度，以及气味信息与各预存气味信息之间的相似度。如果目标食物种类的预存咀嚼信息与摄入食物的咀嚼信息相似度超过第一预设数值，并且目标食物种类的预存气味信息与摄入食物的气味信息相似度超过第二预设数值，则说明咀嚼信息和气味信息与目标食物种类的预存咀嚼信息和预存气味信息相匹配。其中，第一预设数值和第二预设数值可以相同或者不同。

S250、判断是否所述融合信息与食物数据库中目标食物种类的预存融合信息相匹配，如果是，则执行S260，否则执行S2120。

相应的，S250又可以包括：

S251、分别计算所述融合信息与食物数据库中各食物种类的预存融合信息的相似度，并获取相似度最大值。

在本发明实施例中，预先采集大量不同种类食物的咀嚼声音信息和食物气味信息，并分别对各食物的咀嚼声音信息和食物气味信息进行数据融合，并建立食物数据库。食物数据库中存储有大量不同种类食物的照片、单位重量或体积的能量值、单位重量或体积的各营养素含量、咀嚼声音信息、食物气味信息以及融合信息等数据。

分别计算融合信息与食物数据库中各预存融合信息的相似度，如果相似度最大值大于或者等于预设相似度阈值，则相似度最大值对应的目标食物种类的融合信息与摄入食物的融合信息相匹配，可以确定摄入食物的种类为目标食物种类。

可选的，还可以依次计算融合信息与食物数据库中各预存融合信息的相似度，如果确定融合信息与目标食物种类的预存融合信息的相似度大于或者等于预设相似度阈值，则停止继续计算相似度，直接确定目标食物种类的融合信息与摄入食物的融合信息相匹配，摄入食物的种类为目标食物种类。

S252、判断所述相似度最大值是否大于或者等于预设相似度阈值，如果是，则执行S253，否则执行S2120。

S253、确定所述融合信息与所述相似度最大值对应的目标食物种类的预存融合信息相匹配。

S260、确定摄入食物为目标食物种类。

确定摄入食物的食物种类之后，既可以确定摄入食物的食物形态，以及摄入食物的单位重量或者单位体积的能量值。

S270、根据肌电信号数据生成肌电波动曲线，并根据摄入食物的食物形态、所述肌电波动曲线的波峰数量以及峰值，确定摄入量。

本实施例中以根据吞咽信息确定食物摄入量，并且吞咽信息为肌电信号数据时为例，还可以根据体表形变数据确定食物摄入量，或者根据图像信息确定食物摄入量。

具体的，可以通过肌电信号采集板采集肌电信号，并对获取的一系列肌电信号进行插值和拟合，生成肌电波动曲线。

在本发明实施例中，预先设置曲线的不同波峰数量以及不同峰值与摄入量之间的对应关系，液体和固体的对应关系不同。获取肌电波动曲线之后，即可确定摄入食物的波峰数量以及峰值，根据摄入食物的食物形态和预设的对应关系，即可确定摄入量。当摄入食物为液态时，摄入量的表现形式为体积，当摄入食物为固态时，摄入量的表现形式为重量。

S280、根据所述食物种类和所述食物摄入量，确定摄入食物的能量。

根据摄入食物的种类和摄入量，计算摄入食物的能量值，进一步的，还可以计算摄入食物中各营养素的含量。

S290、根据摄入食物的能量计算用户的总摄入能量。

获取摄入食物的能量之后，还可以计算用户在当天累加的总摄入能量。计算用户当天的总摄入能量的目的在于，可以判断用户当天的饮食摄入量是否超标，从而辅助用户进行饮食控制。

S2100、判断所述总摄入能量减去标准摄入能量的差值是否大于或者等于预设能量值，如果是，则执行S2110，否则返回执行S220。

当用户当天的总摄入能量超过标准摄入能量较多时，判定用户饮食摄入量超标，此时可以对用户进行健康提示，还可以触发执行食欲抑制操作。

S2110、触发执行食欲抑制操作。

食欲抑制操作可以是可穿戴设备或者移动终端上与可穿戴设备配套使用的应用软件发出警报，提醒用户饮食摄入量超标。还可以是由气味散发装置散发难闻气味，从而抑制用户食欲。

触发执行食欲抑制操作，可以通过向食欲抑制操作的执行主体发送操作指令来实现。

S2120、结束。

实施例三

图3是本发明实施例三中的一种摄入食物能量的检测装置的结构示意图，该装置包括：数据获取模块310、信息确定模块320以及摄入食物能量确定模块330。其中：

数据获取模块310，用于获取摄入食物的检测信息，所述检测信息包括：咀嚼信息、气味信息、吞咽信息以及图像信息；

信息确定模块320，用于根据所述检测信息中的至少一项，确定摄入食物的食物种类以及食物摄入量；

摄入食物能量确定模块330，用于根据所述食物种类和所述食物摄入量，确定摄入食物的能量。

本实施例的技术方案，通过获取用户摄入食物时的吞咽信息、咀嚼信息、气味信息或者图像信息等检测信息，根据一项或多项检测信息确定食物种类和摄入量，从而根据食物种类和摄入量确定摄入食物能量。解决了现有技术中用户摄入食物能量的检测方式，自动化程度不高，用户体验较差的问题，实现了自动检测用户摄入的食物的能量。

在上述实施例的基础上，所述信息确定模块320，包括：

第一食物种类确定单元，用于若确定所述检测信息，与食物数据库中目标食物种类的预存检测信息相匹配，则确定摄入食物为目标食物种类。

在上述实施例的基础上，所述装置，还包括：

数据融合模块，用于对至少两项检测信息进行数据融合，获取融合信息；

所述信息确定模块320，包括：

第二食物种类确定单元，用于若确定所述融合信息与食物数据库中目标食物种类的预存融合信息相匹配，则确定摄入食物为目标食物种类。

在上述实施例的基础上，所述第二食物种类确定单元，具体用于：

分别计算所述融合信息与食物数据库中各食物种类的预存融合信息的相似度，并获取相似度最大值；

若所述相似度最大值大于或者等于预设相似度阈值，则确定所述融合信息与所述相似度最大值对应的目标食物种类的预存融合信息相匹配。

在上述实施例的基础上，所述吞咽信息为肌电信号数据或者体表形变数据；

所述信息确定模块320，包括：

肌电信号摄入量确定单元，用于根据肌电信号数据生成肌电波动曲线，并根据所述肌电波动曲线的波峰数量以及峰值，确定摄入量；

体表形变摄入量确定单元，用于根据体表形变数据生成形变波动曲线，并根据所述形变波动曲线的波峰数量以及峰值，确定摄入量。

在上述实施例的基础上，所述装置，还包括：

食物形态确定模块，用于根据所述吞咽信息，确定摄入食物的食物形态，所述食物形态为液体或者固体；

所述信息确定模块320，具体用于：

根据肌电信号数据生成肌电波动曲线，并根据摄入食物的食物形态、所述肌电波动曲线的波峰数量以及峰值，确定摄入量；或者，

根据体表形变数据生成形变波动曲线，并根据摄入食物的食物形态、所述形变波动曲线的波峰数量以及峰值，确定摄入量。

在上述实施例的基础上，所述装置，还包括：

标准摄入能量计算模块，用于获取用户的标准摄入能量；

总摄入能量计算模块，用于根据摄入食物的能量计算用户的总摄入能量；

食欲抑制操作触发模块，用于若确定所述总摄入能量减去标准摄入能量的差值大于或者等于预设能量值，则触发执行食欲抑制操作。

本发明实施例所提供的摄入食物能量的检测装置可执行本发明任意实施例所提供的摄入食物能量的检测方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器70、存储器71、输入装置72和输出装置73；计算机设备中处理器70的数量可以是一个或多个，图4中以一个处理器70为例；计算机设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的摄入食物能量的检测方法对应的模块(例如，摄入食物能量的检测装置中的数据获取模块310、信息确定模块320以及摄入食物能量确定模块330)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的摄入食物能量的检测方法。该方法包括：

获取摄入食物的检测信息，所述检测信息包括：咀嚼信息、气味信息、吞咽信息以及图像信息；

根据所述检测信息中的至少一项，确定摄入食物的食物种类以及食物摄入量；

根据所述食物种类和所述食物摄入量，确定摄入食物的能量。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种摄入食物能量的检测方法，该方法包括：

获取摄入食物的检测信息，所述检测信息包括：咀嚼信息、气味信息、吞咽信息以及图像信息；

根据所述检测信息中的至少一项，确定摄入食物的食物种类以及食物摄入量；

根据所述食物种类和所述食物摄入量，确定摄入食物的能量。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的摄入食物能量的检测方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述摄入食物能量的检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。