用于与婴儿交互的基于计算机的系统及其使用方法

相关申请

本申请要求2021年4月20日提交美国临时申请号63/177,171、2021年5月11日提交的美国临时申请号63/186,869和2021年7月15日提交的美国临时申请号63/222,001的权益，所有的临时申请都以全文引用方式并入本文以用于所有目的。

技术领域

本公开涉及一种用于与婴儿交互的基于计算机的系统及其使用方法。

背景技术

婴儿监视系统已经从简单设备(诸如仅具有录音系统)逐步发展成可提供婴儿的实时视频馈送的复杂设备。婴儿监视器可连接到移动设备，因此，看护人可经由移动设备远程监视婴儿。

发明内容

在一些实施方案中，本公开提供了一种示例性技术改进的基于计算机的系统，该基于计算机的系统至少包括以下部件：

非易失性存储器；

至少一个电子资源，所述至少一个电子资源可包括数据库；

其中所述数据库可包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)所述多个婴儿中的每个婴儿的婴儿特定个人数据；

光学子系统，所述光学子系统可包括成像设备、投影设备或两者；

其中所述光学子系统可被配置为执行以下项中的至少一者：

(i)从所述成像设备获取来自所述多个婴儿的至少一个婴儿的图像的图像数据，或者

(ii)由所述投影设备投影至少一个视觉图像以供所述至少一个婴儿观看；

音频系统，所述音频系统可包括麦克风、扬声器或两者；

其中所述音频系统被配置为执行以下项中的至少一者：

(i)由所述麦克风接收来自所述至少一个婴儿的音频信号数据，或者

(ii)由所述扬声器为所述至少一个婴儿生成至少一个声音；

多个传感器，所述多个传感器输出传感器数据；

通信电路，所述通信电路可被配置为通过通信网络和与所述至少一个婴儿相关联的至少一个用户的至少一个通信设备进行通信；以及

至少一个处理器，所述至少一个处理器被配置为执行存储在所述非易失性存储器中的代码，所述代码致使所述至少一个处理器：

接收与所述至少一个婴儿相关联的所述图像数据、所述音频信号数据和所述传感器数据；

基于所述图像数据、所述传感器数据和所述音频信号数据来确定所述至少一个婴儿的婴儿特定生理数据；

其中所述婴儿特定生理数据包括：

(i)所述至少一个婴儿的呼吸率信号数据，

(ii)所述至少一个婴儿的空间体温分布数据，

(iii)所述至少一个婴儿的心跳信号数据，

(iv)所述至少一个婴儿的婴儿运动数据，以及

(v)所述至少一个婴儿的婴儿语音分类数据；

向至少一个婴儿特定行为状态检测机器学习模型输入与所述至少一个婴儿相关联的所述图像数据、所述音频信号数据、所述传感器数据、所述婴儿特定生理数据和所述婴儿特定个人数据；

其中所述至少一个婴儿特定行为状态检测机器学习模型可使用至少部分地基于与所述多个婴儿相关联的所述婴儿特定刺激数据、所述婴儿特定响应数据和所述婴儿特定个人数据的数据集进行训练；

从所述至少一个婴儿特定行为状态检测机器学习模型接收所述至少一个婴儿焦虑不安、即将醒来或两者的输出；

通过所述通信网络向所述至少一个用户的所述至少一个通信设备传输所述传感器数据、所述至少一个婴儿焦虑不安的提醒、所述至少一个婴儿即将醒来的提醒或它们的任何组合；

基于所述输出来传输指令，所述指令致使所述音频系统、所述光学子系统或两者执行以下项中的至少一者：

(i)当所述至少一个婴儿焦虑不安时，由所述扬声器生成安抚声音，

(ii)当所述至少一个婴儿即将醒来时，由所述扬声器生成助眠声音，或者

(iii)当所述至少一个婴儿焦虑不安时，由所述投影设备投影令人放松的图像以供所述至少一个婴儿观看。

在一些实施方案中，本公开提供了一种示例性技术改进的基于计算机的系统，该基于计算机的系统至少包括以下部件：

非易失性存储器；

至少一个电子资源，所述至少一个电子资源包括至少一个数据库；

其中所述至少一个数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)所述多个婴儿中的每个婴儿的婴儿特定个人数据；

成像设备，所述成像设备被配置为获取来自所述多个婴儿的至少一个婴儿的图像的图像数据；

麦克风，所述麦克风被配置为接收来自所述至少一个婴儿的音频信号数据；

多个传感器，所述多个传感器输出传感器数据；

通信电路，所述通信电路被配置为通过通信网络和与所述至少一个婴儿相关联的至少一个用户的至少一个通信设备进行通信；

温度控制器；以及

至少一个处理器，所述至少一个处理器被配置为执行存储在所述非易失性存储器中的代码，所述代码致使所述至少一个处理器：

接收与所述至少一个婴儿相关联的所述图像数据、所述音频信号数据和所述传感器数据；

基于所述图像数据、所述传感器数据和所述音频信号数据来确定所述至少一个婴儿的婴儿特定生理数据；

其中所述婴儿特定生理数据包括：

(i)所述至少一个婴儿的呼吸率信号数据，

(ii)所述至少一个婴儿的空间体温分布数据，

(iii)所述至少一个婴儿的心跳信号数据，

(iv)所述至少一个婴儿的婴儿运动数据，以及

(v)所述至少一个婴儿的婴儿语音分类数据；

向至少一个婴儿特定行为状态检测机器学习模型输入与所述至少一个婴儿相关联的所述图像数据、所述音频信号数据、所述传感器数据、所述婴儿特定生理数据和所述婴儿特定个人数据；

其中所述至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与所述多个婴儿的相关联的所述婴儿特定刺激数据、所述婴儿特定响应数据和所述婴儿特定个人数据的数据集进行训练；

从所述至少一个婴儿特定行为状态检测机器学习模型接收所述至少一个婴儿饥饿的至少一个指示；

通过所述通信网络向所述至少一个用户的所述至少一个通信设备传输给所述至少一个婴儿喂食的提醒、所述传感器数据或两者；以及

传输指令，所述指令致使所述温度控制器改变至少一种食品的预定义温度以准备给所述至少一个婴儿喂食。

在一些实施方案中，本公开提供了一种示例性技术改进的基于计算机的系统，该基于计算机的系统至少包括以下部件：

非易失性存储器；

至少一个电子资源，所述至少一个电子资源可包括至少一个数据库；

其中所述至少一个数据库可包括：

(i)针对多个婴儿的多个婴儿特定教育计划，

(ii)基于所述多个婴儿特定教育计划提供给所述多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(iii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iv)所述多个婴儿中的每个婴儿的婴儿特定个人数据；

光学子系统，所述光学子系统可包括成像设备、投影设备或两者；

其中所述光学子系统被配置为执行以下项中的至少一者：

(i)从所述成像设备获取来自所述多个婴儿的至少一个婴儿的图像的图像数据，或者

(ii)由所述投影设备投影至少一个视觉图像以供所述至少一个婴儿观看；

其中所述光学子系统被配置为执行以下项中的至少一者：

其中所述音频系统被配置为执行以下项中的至少一者：

(i)由所述麦克风接收来自所述至少一个婴儿的音频信号数据，或者

(ii)由所述扬声器为所述至少一个婴儿生成至少一个声音；

多个传感器，所述多个传感器输出传感器数据；

通信电路，所述通信电路被配置为通过通信网络和与所述至少一个婴儿相关联的至少一个用户的至少一个通信设备进行通信；以及

至少一个处理器，所述至少一个处理器被配置为执行存储在所述非易失性存储器中的代码，所述代码致使所述至少一个处理器：

由所述投影设备基于来自针对所述至少一个婴儿的所述多个婴儿特定教育计划的婴儿特定教育计划来向所述至少一个婴儿投影所述至少一个视觉图像；

由所述音频系统生成与所述至少一个视觉图像相关联的所述至少一个声音；

接收与所述至少一个婴儿相关联的所述图像数据、所述音频信号数据、所述传感器数据或它们的任何组合；

基于所述图像数据、所述传感器数据和所述音频信号数据来确定所述至少一个婴儿的婴儿特定生理数据；

其中所述婴儿特定生理数据包括：

(i)所述至少一个婴儿的呼吸率信号数据，

(ii)所述至少一个婴儿的空间体温分布数据，

(iii)所述至少一个婴儿的心跳信号数据，

(iv)所述至少一个婴儿的婴儿运动数据，以及

(v)所述至少一个婴儿的婴儿语音分类数据；

向至少一个婴儿特定教育机器学习模型输入与所述至少一个婴儿相关联的所述图像数据、所述音频信号数据、所述传感器数据、所述至少一个视觉图像、所述至少一个声音、所述婴儿特定生理数据、所述婴儿特定个人数据；

其中所述至少一个婴儿特定教育机器学习模型可使用至少部分地基于与所述多个婴儿相关联的所述婴儿特定刺激数据、所述婴儿特定响应数据、所述婴儿特定个人数据、所述多个婴儿特定教育计划或它们的任何组合的数据集进行训练；

从所述至少一个婴儿特定教育机器学习模型接收输出；

其中所述输出可包括：

(i)所述至少一个婴儿理解或不理解根据针对所述至少一个婴儿的所述至少一个婴儿特定教育计划的所述至少一个视觉图像和与所述至少一个视觉图像相关联的所述至少一个声音的至少一个指示；

(ii)至少部分地基于所述至少一个指示的至少一个婴儿特定教育推荐；

通过所述通信网络向所述至少一个用户的所述至少一个通信设备传输所述至少一个指示、所述至少一个婴儿特定教育推荐、所述传感器数据或它们的任何组合；以及

基于所述至少一个婴儿特定教育推荐来执行以下项中的至少一者：

(i)当所述至少一个指示表明所述至少一个婴儿不理解时，修改所述至少一个婴儿特定教育计划，或者

(ii)继续执行针对所述至少一个婴儿的所述婴儿特定教育计划。

附图说明

可参考附图进一步解释本公开的各个实施方案，其中贯穿若干视图，相同结构由相同数字指称。所示的附图不一定按比例绘制，而是通常将重点放在说明本公开的原理上。因此，本文公开的具体的结构细节和功能细节不应当被解释为是限制性的，而是仅作为教导本领域技术人员以不同方式采用一个或多个说明性实施方案的代表性基础。

图1示出了根据本公开的一个或多个实施方案的用于监视婴儿并与之交互的基于计算机的系统的第一示例性实施方案；

图2A是根据本公开的一个或多个实施方案的被配置为安抚婴儿的系统中的移动设备的图形用户界面的第一示例性屏幕截图；

图2B是根据本公开的一个或多个实施方案的被配置为准备食品来给婴儿喂食的系统中的移动设备的图形用户界面的第二示例性屏幕截图；

图2C是根据本公开的一个或多个实施方案的提醒用户给婴儿喂食的移动设备的图形用户界面的第三示例性屏幕截图；

图2D是根据本公开的一个或多个实施方案的用于通过投影图像来教育婴儿的系统中的移动设备的图形用户界面的第四示例性屏幕截图；

图3是根据本公开的一个或多个实施方案的由系统使用来实施如下三个用例的输入数据源和输出外围/IoT设备的表：喂食用例、安抚用例和教育用例；

图4A是根据本公开的一个或多个实施方案的用于训练婴儿特定行为状态检测机器学习模型和/或婴儿特定教育机器学习模型的数据集中的输入-输出数据特征的第一示例性列表；

图4B是根据本公开的一个或多个实施方案的用于训练婴儿特定行为状态检测机器学习模型的数据集中的输入-输出数据特征的第二示例性列表；

图5A是根据本公开的一个或多个实施方案的用于监视婴儿并与之交互的基于计算机的系统的算法流程图；

图5B示出了根据本公开的一个或多个实施方案的用于对婴儿的微笑率建模的示例性宽度和深度神经网络模型；

图6A是根据本公开的一个或多个实施方案的用于安抚婴儿的方法的流程图；

图6B是根据本公开的一个或多个实施方案的用于给婴儿喂食的方法的流程图；

图6C是根据本公开的一个或多个实施方案的用于教育婴儿的方法的流程图；

图7A示出了根据本公开的一个或多个实施方案的用于监视婴儿并与之交互的基于计算机的系统的第二示例性实施方案；

图7B示出了根据本公开的一个或多个实施方案的婴幼儿状况描述向量(ICDV)的数据元素的图；

图7C和图7D示出了根据本公开的一个或多个实施方案的用于安抚婴儿的检测反应环路的示例性实施方案；

图7E示意性地示出了根据本公开的一个或多个实施方案的反应安抚环路的音频生成器响应代理的实施方案；

图8A示出了根据本公开的一个或多个实施方案的婴儿监视和交互(BMID)设备的第二实施方案；

图8B示出了根据本公开的一个或多个实施方案的婴儿监视和交互(BMID)设备的第三实施方案；

图9A是根据本公开的一个或多个实施方案的用于教育婴儿的方法的流程图。

图9B是根据本公开的一个或多个实施方案的用于测试婴儿以评估婴儿学习情况的方法的流程图；

图10A是根据本公开的一个或多个实施方案的示出心率估计系统的图；

图10B是根据本公开的一个或多个实施方案的示出在主体身上的感兴趣对象(OOI)和感兴趣区域(ROI)的图；

图10C是根据本公开的一个或多个实施方案的示出视频数据的示意性框图；

图10D是根据本公开的一个或多个实施方案的示出超像素时间序列的示意性框图；

图11A是根据本公开的一个或多个实施方案的示出视频数据的示意性框图；

图11B是根据本公开的一个或多个实施方案的示出数据的示意性框图；

图11C是根据本公开的一个或多个实施方案的示出ROI数据的示意性框图；

图11D是根据本公开的一个或多个实施方案的示出超像素数据的示意性框图；

图11E是根据本公开的一个或多个实施方案的示出超像素模型的示意性框图；

图12是根据本公开的一个或多个实施方案的示出心率估计过程的流程图；

图13是根据本公开的一个或多个实施方案的示出计算机的示意性框图；

图14是根据本公开的一个或多个实施方案的心脏特性估计方法的流程图；

图15A是根据本公开的一个或多个实施方案的呼吸事件识别系统的示意性框图；

图15B是根据本公开的一个或多个实施方案的呼吸报告的示意性框图；

图15C是根据本公开的一个或多个实施方案的运动报告的示意性框图；

图15D是根据本公开的一个或多个实施方案的呼吸数据的示意性框图；

图16A是根据本公开的一个或多个实施方案的示出图像帧中的区域的示意图；

图16B是根据本公开的一个或多个实施方案的示出图像帧中的区域的示意图；

图16C是根据本公开的一个或多个实施方案的示出图像帧中的区域的示意图；

图16D是根据本公开的一个或多个实施方案的示出图像帧中的用户选择的区域的示意图；

图16E是根据本公开的一个或多个实施方案的呼吸事件识别状态的示意性框图；

图17A是根据本公开的一个或多个实施方案的呼吸事件识别过程的示意性框图；

图17B是根据本公开的一个或多个实施方案的呼吸事件识别过程的示意性框图；

图17C是根据本公开的一个或多个实施方案的运动对象生成过程的视频流的示意图；

图18A是根据本公开的一个或多个实施方案的示出热图的图；

图18B是根据本公开的一个或多个实施方案的示出热图的图；

图18C是根据本公开的一个或多个实施方案的计算机的示意性框图；

图18D是根据本公开的一个或多个实施方案的神经网络的示意性框图；

图19A是根据本公开的一个或多个实施方案的呼吸信号估计方法的流程图；

图19B是根据本公开的一个或多个实施方案的呼吸事件识别方法的流程图；并且

图19C是根据本公开的一个或多个实施方案的呼吸事件通信方法的流程图。

具体实施方式

结合附图，本文公开了本公开的各个详细实施方案；然而，将理解，所公开的实施方案仅是说明性的。另外，结合本公开的各个实施方案给出的示例中的每一者旨在是说明性的，而不是限制性的。

下文中的术语“婴儿”可指该系统的主体。术语婴儿可指新生儿、婴幼儿或学步儿，但是婴儿可能是需要看护或刺激的儿童、成年人或老年人，或者婴儿可能是动物，诸如当无聊时可能变得吵闹的宠物或在兽医看护设施中的动物。

下文的术语“用户”可指使用系统来监视和看护婴儿并还为婴儿提供刺激、指导或发育工具的人。

本公开的实施方案描述了一种用于监视婴儿并与之交互的基于计算机的系统及其使用方法。该系统可用人工智能(例如，机器学习模型)实施，该人工智能可收集数据并可在数据收集功能性和反馈方面个性化完整的协同生态系统，从而提供个性化护理系统。该系统可被配置用于照顾新生儿、婴幼儿和学步儿。该系统可被配置用于与人类一起使用并可被配置用于与一组儿童、青少年、成年人、老年人或它们的任何组合的成员一起使用。在其他实施方案中，该系统可被配置用于与动物一起使用，诸如实验室动物、宠物、农场动物、动物园动物、在兽医看护下的动物和它们的任何组合。

本文公开的实施方案解决了在不将感测设备连接到婴儿的身体的情况下监视婴儿并与之交互的技术问题。使用应用于针对具体用例训练的机器学习模型的来自成像设备(相机)、音频设备(声音换能器，诸如麦克风)、多个传感器中的任一者或全部的输出数据，该系统可根据用例来确定婴儿是否饥饿、焦虑不安或理解投影给婴儿的图像和/或声音。机器学习模型被训练为输出环境参数以改变婴儿所处的环境，以便根据用例优化特定行为。因此，可以特定方式安抚婴儿、给婴儿喂食或向婴儿呈现图像和声音以增强对婴儿的教育，所有这些都无需任何感测设备、换能器等与婴儿的物理连接。

在一些实施方案中，该系统可针对如下至少三个用例监视婴儿并与之交互：安抚婴儿、给婴儿喂食和帮助婴儿的发育或教育。

在一些实施方案中，该系统的用户可以是父母或看护人、保健工作者或儿童保育工作者。用户可以是在婴儿身边(例如，物理上靠近婴儿)或离婴儿很远。该系统可用于保健设施、婴儿保育设施和其他远程使用选项。

图1示出了根据本公开的一个或多个实施方案的用于监视婴儿并与之交互的基于计算机的系统5的第一示例性实施方案。系统5可包括用于监视婴儿15并与之交互的婴儿监视和交互设备(BMID)10的第一实施方案。婴儿15可躺在床或婴儿床上的床垫37上，该床垫可包括用于向婴儿15施加振动刺激的振动单元40。在其他实施方案中，振动单元40可放置在可操作地联接到婴儿的任何合适的位置，并且/或者可放置在婴儿玩具(诸如泰迪熊)中。BMID 10可包括传感器14，该传感器被配置为监视位于感测区域12内的婴儿15。BMID 10可包括扬声器16以生成音频信号供婴儿15收听。BMID 10可包括投影设备18以投影22图像25供婴儿观看。

在一些实施方案中，BMID 10可包括处理器、多个传感器80、模数(A/D)电路75、存储器95、通信电路98、外围/IoT(物联网)控制电路70和外围/IoT设备71。外围/IoT设备71可包括但不限于扬声器16、投影仪18、振动单元40、照明灯27、IoT设备76和食品温度控制器35。外围/IoT设备71中的任一者可位于BMID 10中、在位于婴儿15附近或位于婴儿15远处的BMID 10外部，但是经由任何合适的有线或无线通信协议保持与BMID 10通信耦合。

在一些实施方案中，多个传感器和/或外围/IoT设备71(例如，扬声器16、投影仪18、振动单元40、照明灯27和/或IoT设备76)中的任一者可位于BMID 10设备内或在BMID 10外部，被实施为具有外围/IoT设备71的任何合适的组合但由外围/IoT控制电路70控制的独立单元。

在一些实施方案中，处理器60可执行可存储在存储器95中的软件模块，该软件模块在由处理器60执行时致使处理器执行如本文所述的功能。软件模块可包括传感器处理管理器62、三维(3D)图生成器61、外围/IoT控制管理器模块63、GUI管理器64和/或机器学习模型(MLM)/算法模块65。MLM/算法模块65可包括可基于机器学习的以下算法块中的任一者：物理算法66、时间驱动流水线67、行为模型68和/或反馈环境生成器69。

在一些实施方案中，传感器处理管理器62可用于处理来自A/D电路75的数字输出信号数据，该A/D电路可接收来自多个传感器80中的任一者的模拟信号输入。在其他实施方案中，多个传感器80中的任一者可包括直接地输出数字传感器数据的A/D功能性。

通信电路98可被配置为使得BMID 10能够通过通信网络30进行通信31和/或经由任何合适的有线和/或无线通信协议(诸如蓝牙和/或无线保真(WiFi))例如与外围/IoT设备(例如，扬声器16、投影仪18、振动单元40、照明灯27和/或IoT设备76)中的任一者和/或与用户45(诸如婴儿15的看护人和/或父母)相关联的移动设备50进行通信31。例如，投影仪18可位于第一单元中，并且婴儿15的成像设备可位于与第一单元分离的第二单元中。

在一些实施方案中，移动设备50可向用户45显示图形用户界面(GUI)55，该GUI可由GUI管理器64远程控制和/或经由移动设备50的移动设备GUI 55向用户40发送提醒。BMID10可被配置为评价婴儿15与用户45之间的距离D 52以基于距离D来确定用户45是在婴儿15附近还是远离婴儿15。

在一些实施方案中，BMID 10可包括用于产生婴儿15的静态图像数据和/或视频数据(例如，具有在预定义时间线中的图像帧的视频数据)的任何合适的声音换能器(诸如麦克风82)和/或成像设备(诸如成像相机81)。多个传感器80中的其他传感器可包括热设备83(诸如红外(IR)相机)、激光雷达设备84和/或射频(RF)设备85。来自成像相机81、热成像器83、激光雷达设备84和/或RF设备85的输出数据可由3D图生成模块61使用以生成感测区域12内的婴儿15的时域三维(3D)图。婴儿15的时域三维(3D)图可由MLM/算法65使用以检测婴儿15在任何时间间隔内的位置和运动。

例如，系统5可包括外围设备和IoT设备，诸如扬声器16、投影仪18、振动单元40、照明灯27和/或IoT设备(诸如食品温度控制器35)以维持婴儿奶瓶32的温度。外围设备和IoT设备可由外围/IoT控制电路70控制。

食品温度控制器35可由BMID 10控制以控制放置在食品温度控制器35中的婴儿奶瓶32或任何合适的婴儿食品的温度。例如，如果食品是婴儿奶，则婴儿奶的温度可在例如4℃的预定义存储温度下存储。当BMID 10检测到婴儿饥饿时，系统5可向食品温度控制器传输指令以将预定义温度从预定义存储温度改变为例如37℃的预定义喂食温度。在其他实施方案中，食品准备控制器(未示出)可以任何合适的方式用于为婴儿准备餐食，并且不限于食品温度控制。然而，食品准备控制器可包括例如用于加温奶瓶的食品温度控制器35的功能性。

在一些实施方案中，照明灯27(例如，室内灯)可由BMID 10控制以例如以不同光频率(例如，颜色)和/或光照明水平照明28婴儿10。BMID 10可控制照明灯27，该照明灯可动态地改变以在任何时间间隔内向婴儿15提供不同颜色和/或照明水平。

在一些实施方案中，系统5可包括多个电子资源110，表示为N个电子资源：ELECTRRESR1 110A、……、ELECTR RESRN 110B，其中N是整数，这些电子资源可分别包括表示为DB1112A、……、DBN 112B的N个数据库。存储器95还可包括本地数据库96。

在一些实施方案中，光学子系统可指成像相机81、投影仪18或两者。音频系统可指麦克风82、扬声器16或两者。

在一些实施方案中，系统5可包括服务器100，该服务器通过通信网络30与图1所示的任何元件进行通信31。服务器100可包括处理器105、通信电路106、存储器107和/或输入/输出(I/O)设备108(诸如显示器、键盘、鼠标等)。服务器100的处理器105可被配置为执行由BMID 10执行的任何或所有功能，诸如控制与和多个婴儿相关联的多个用户相关联的移动设备的GUI管理器101和/或用于处理多个婴儿的数据的MLM/算法模块102。另外，在其他实施方案中，服务器100可控制多个婴儿监视和交互设备(BMID)以用于与使用系统5的多个婴儿中的不同婴儿一起使用。

在一些实施方案中，系统5可提供移动和个性化系统，该移动和个性化系统可包括经由多个传感器80和/或外围/IoT设备、基于人工智能(AI)的婴幼儿和学步儿发育系统、基于AI的婴幼儿和学步儿教育系统、基于AI的婴幼儿和学步儿娱乐系统或它们的任何组合与婴儿15的进行安抚的双向视频通信。基于AI是指使用机器学习模型和算法。

在一些实施方案中，物理算法模块66可处理来自多个传感器80的输出数据以实施呼吸检测器、温度检测器、心率检测器、其他生命体征检测器或它们的任何组合的功能性。物理算法模块66可使用呼吸监视算法和心率监视算法来分别根据输出传感器数据实施呼吸检测和心率检测，如下文将描述的。

图2A是根据本公开的一个或多个实施方案的被配置为安抚婴儿15的系统5中的移动设备50的图形用户界面55的第一示例性屏幕截图。GUI 55的第一示例性屏幕截图可在安抚用例中使用。GUI 55可包括婴儿的睡眠状态120、心率122(以每分钟心跳BPM为单位)和经由扬声器16向婴儿15播放的音频信号的音量水平124的标记。GUI 55可包括供用户45激活来执行与婴儿15的不同交互功能的图形对象125(例如，要按下的图标)。GUI 55在区域57中可向用户45显示婴儿15的实时图像和/或视频。

图2B是根据本公开的一个或多个实施方案的被配置为准备食品来给婴儿喂食15的系统5中的移动设备50的图形用户界面55的第二示例性屏幕截图。GUI 55的第二示例性屏幕截图可在喂食用例中使用。GUI 55可包括诸如食品(例如，母乳)的营养源130、食品温度控制器35的设定状态132(例如，用户可按下图形对象“立即加温”)和可允许用户45输入加温时间的设定状态134字段的标记。

图2C是根据本公开的一个或多个实施方案的提醒用户45给婴儿15喂食的移动设备50的图形用户界面55的第三示例性屏幕截图。GUI 55的第三示例性屏幕截图可在喂食用例中使用。GUI可包括诸如食品(例如，母乳)将准备好喂给婴儿15时的时间140、在喂食完成之后记录喂食142的按钮和食品准备状态指示器144字段(例如，奶瓶准备状态-关闭/加温)的标记。

图2D是根据本公开的一个或多个实施方案的用于通过投影22图像25来教育婴儿15的系统5中的移动设备50的图形用户界面55的第四示例性屏幕截图。GUI 55的第四示例性屏幕截图可在教育用例中使用。GUI 55可包括诸如用于向用户45通知BMID 10正在将兔子投影给婴儿15的兔子图标145、用于改变图像的图像换图按钮146、BMID 10的扬声器16正在播放与兔子的图像25相关联的音频信号18的音频波形指示器147和用户45要激活的其他图形对象148(例如，用户要按下的图标)的标记。GUI还可包括婴儿15的实时视频馈送。

图3是根据本公开的一个或多个实施方案的由系统5使用来实施如下三个用例的输入数据源和输出外围设备/IoT设备的表150：喂食用例152、安抚用例154和教育用例156。

在一些实施方案中，尽管系统5可包括来自相同多个传感器80的相同输入数据源，但是MLM/算法65可不同(例如，以不同方式训练)以用于实施三个不同用例：喂食用例152、安抚用例154和教育用例156。在其他实施方案中，MLM/算法65可针对系统5进行训练以实施所有用例。

在一些实施方案中，对于喂食用例152和安抚用例154，MLM/算法65可包括婴儿特定行为状态检测机器学习模型，该婴儿特定行为状态检测机器学习模型接收来自麦克风82的音频信号数据、从成像相机81生成的图像数据和来自热成像器83、激光雷达设备84和RF设备85的传感器数据以及对婴儿15唯一的婴儿特定个人数据作为输入。传感器数据可在算法上被处理成例如婴儿15的呼吸波形信号数据、婴儿15的空间体温分布数据、心率波形信号数据和/或从多个传感器80中的任一者的输出数据导出的任何合适的信号数据。

在喂食用例152中，可训练婴儿特定行为状态检测机器学习模型以输出婴儿饥饿的指示、经由移动设备50向用户45传输婴儿饥饿的提醒(参见图2B和图2C)，以及将指令传输到食品温度控制器35以设定改变食品的预定义温度来给婴儿喂食15。

在安抚用例154中，可训练婴儿特定行为状态检测机器学习模型以输出婴儿饥饿的指示、经由移动设备50向用户45传输表明婴儿焦虑不安、即将醒来或两者的提醒(参见图2A)，以及向音频系统、光学子系统或两者传输指令以执行动作来减少婴儿的焦虑不安(诸如婴儿哭泣)。这些动作可包括但不限于：(1)致使音频系统生成并为婴儿15播放安抚声音，该安抚声音降低婴儿15焦虑不安或恼怒的程度，(2)致使音频系统生成并为婴儿15播放助眠声音，该助眠声音致使婴儿15入睡和/或防止婴儿醒来，以及/或者(3)致使光学子系统向婴儿投影令人放松的图像，这在当婴儿15观看用于安抚用例的令人放松的图像时降低婴儿15焦虑不安或恼怒的程度。

在一些实施方案中，对于教育用例156，MLM/算法65可包括婴儿特定教育机器学习模型，该婴儿特定教育机器学习模型接收来自麦克风82的音频信号数据、从成像相机81生成的图像数据和来自热成像器83、激光雷达设备84和RF设备85的传感器数据以及对婴儿15唯一的婴儿特定个人数据作为输入。传感器数据可包括例如婴儿15的呼吸波形信号数据、婴儿15的空间体温分布数据、心率波形信号数据和/或从多个传感器80中的任一者导出的任何合适的信号数据。

在教育用例156中，可训练婴儿特定教育机器学习模型以输出(1)婴儿理解或不理解视觉图像和与视觉图像相关联的音频输出的指示(参见图2D)，以及(2)基于理解指示的婴儿特定教育推荐。响应于婴儿特定教育机器学习模型的输出，例如，处理器60然后可基于婴儿特定教育推荐来执行以下项中的至少一者：(1)当至少一个指示表明至少一个婴儿不理解时，修改至少一个婴儿特定教育计划，或者(2)继续执行针对至少一个婴儿的婴儿特定教育计划。

图4A是根据本公开的一个或多个实施方案的用于训练婴儿特定行为状态检测机器学习模型和/或婴儿特定教育机器学习模型的数据集中的输入-输出数据特征的第一示例性列表160。图4A所示的表中的输入特征类别162的输入特征163和输出特征类别164的输出特征165是针对安抚用例154和教育用例156。尽管第一示例性输入-输出数据集160可示出例如30个不同特征，但是这仅是为了概念上清楚而不是限制本文公开的实施方案。输入-输出训练集可包括1000个特征、10,000个特征或100,000个特征。

图4B是根据本公开的一个或多个实施方案的用于训练婴儿特定行为状态检测机器学习模型的数据集中的输入-输出数据特征的第二示例性列表170。图4B所示的表中的输入特征类别173的输入特征174和输出特征类别175的输出特征176是针对喂食用例152。尽管第二示例性列表160可示出例如20个不同特征，但是这仅是为了概念上清楚而不是限制本文公开的实施方案。输入-输出训练集可包括1000个特征、10,000个特征或100,000个。

关于在图4A至图4B的表中示出的输入(刺激)特征数据和输出(响应)特征数据的列表，输入163和174示出了但不限于以下项的示例：婴儿特定刺激数据，包括但不限于环境数据，诸如天气、当日时间、室内光强、温度、湿度等；婴儿特定生理数据，诸如但不限于呼吸率、运动热图、奶嘴存在等。这些输入可包括婴儿特定个人数据，诸如例如但不限于年龄、身高、体重、妊娠期长度等。

在一些实施方案中，婴儿特定响应数据或输出特征165和176可包括例如什么都不做、通知用户、停止当前动作、在投影仪18上播放视频文件、增加/减少光、提高/降低温度、改变气味、改变振动节奏等。

在一些实施方案中，来自多个电子资源110的任何电子资源可存储在N个数据库112中的任一者中：(1)针对多个婴儿的多个婴儿特定教育计划，(2)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，(3)响应于提供给多个婴儿的多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及(4)多个婴儿中的每个婴儿的婴儿特定个人数据。

应注意，系统5可查询电子资源以检索来自多个婴儿的数据。来自多个婴儿的婴儿特定刺激数据和婴儿特定响应数据在本文中也可被称为众包数据或婴幼儿众包数据，其可以是经由服务器100与使用系统5的其他婴儿相关联的数据、来自实验室实验的数据或它们的任何组合。

在一些实施方案中，来自电子资源110的数据可用于创建用于训练本文所讨论的机器学习模型和/或算法中的任一者的数据集。因此，当将与特定婴儿相关联的数据输入本文讨论的机器学习模型中的每一者中时，来自机器学习模式中的每一者的输出数据结合有来自大约100个婴儿、1,000个婴儿、10,000个婴儿或100,000个婴儿量的大量婴儿的数据(例如，学习)。

在一些实施方案中，来自多个婴儿的婴儿特定刺激数据还可包括多个婴儿的模拟婴儿特定生理数据。例如，来自对婴儿成像的图像相机的图像数据和来自麦克风或声音换能器的对婴儿的语音和/或从婴儿发出的声音进行采样的音频数据可被处理以模拟或计算婴儿特定生理数据，诸如例如心跳数据(参见例如与图10至图14相关联的算法)和/或呼吸数据(参见例如与图15至图19相关联的算法)。该模拟数据也可包括在数据集中。

在一些实施方案中，为了生成来自多个婴儿的每个婴儿的训练数据集、婴儿特定刺激数据和婴儿特定响应数据，电子资源中的数据存储数据库可包括与图4A至图4B的示例性列表中示出的数据相同的数据，从中可提取每个婴儿的图像数据和/或音频数据特征以训练机器学习模型。

在一些实施方案中，可使用与图15至图19相关联的算法来模拟呼吸率信号数据。总之，婴儿的图像(视频)数据和/或音频数据可用于识别与婴儿的胸部区域相关联的图像中的像素和及时监视那些识别的像素的特性周期性呼吸运动。根据该像素变化分析，可计算呼吸率。如果未检测到特性周期性呼吸运动，则系统5可在GUI 55上生成婴儿不呼吸的通知，诸如提醒。

在一些实施方案中，空间体温分布数据可从IR阵列热成像相机获取，诸如例如来自中国深圳市福田区福虹路世界贸易广场南侧微雪电子有限公司，邮编518033(WaveshareElectronics World Trade Plaza south side,Fuhong Rd,Futian District,Shenzhen,518033,China)的MLX90640 IR阵列热成象相机，32×24像素，110°FOV。当热成像相机被定位成对婴儿成像并还可捕获婴儿的即时环境中的对象(例如，婴儿的毯子)时，来自相机的输出数据可以是沿婴儿的身体轮廓的不同位置处的婴儿的外部体温和沿婴儿的环境中的对象轮廓的某些空间点处的温度的空间映射。

在一些实施方案中，心跳信号数据可通过将下文所述的与图10至图14相关的算法应用于婴儿的图像(视频)数据来计算。婴儿心跳信号数据可以是例如计算出的心跳信号h

在一些实施方案中，婴儿运动数据(例如，婴儿的运动的运动热图和/或运动能力)可从图像(视频)数据和/或空间体温分布数据导出。像素改变算法可应用于视频数据，例如，其可用于及时跟踪像素以识别运动能力，例如，其中低能力运动被定义为婴儿的小幅运动，而高能力运动被定义为婴儿的大幅运动，诸如婴儿翻身。在其他实施方案中，也被称为婴儿的骨骼检测算法的婴儿的解剖学运动(头部、肩部等)可用于检测婴儿的运动。

在一些实施方案中，婴儿语音分类数据可包括婴儿的语音速率、语音大小、语音类型(哭泣、在饥饿时的哭泣、寻求关注的哭泣、咕哝、哽咽、咳嗽、吞咽等)和语音音高，例如，这可通过将分类模型和/或遗传分类应用于原始音频数据来确定。

应注意，图4A和图4B中关于每个用例的婴儿特定特征和环境特定特征的输入-输出数据特征与电子资源的数据库中存储的婴儿特定刺激数据和婴儿特定响应数据相关。例如，婴儿特定刺激数据(例如，婴儿特定特征225)可包括婴儿特定个人数据、呼吸检测数据、心率检测数据、婴儿语音数据、可表示婴儿的行为状态的婴儿温度数据以及在任何时刻都可输入机器学习模型中的环境特定特征230。因此，婴儿特定响应数据可指示婴儿的改变婴儿行为状态的响应或动作。当使用该数据来训练机器学习模型时，机器学习模型可将环境刺激和婴儿的行为状态结合在多个婴儿中的每个婴儿的婴儿特定刺激数据中，以便输出用于改变多个婴儿中的每个婴儿的婴儿行为状态的动作、推荐、通知和/或行为状态指示。

在一些实施方案中，可使用不同预处理算法来预处理从多个传感器80生成的输出数据以生成用于训练机器学习模型的输入数据特征。例如，图像相机81、热成像器83、激光雷达设备84和/或RF设备85的输出数据可用于下文公开的算法中，该算法可确定婴儿15随时间推移的呼吸率和心率。处理器60可使用来自3D图生成模块61中的多个传感器80的输出数据以生成婴儿15的随时间变化的3D图，以便生成运动热图和/或运动能力。可训练机器学习模型以输出不同动作并向不同的外围/IoT设备传输指令。这些动作可包括但不限于播放具有诸如变化音量、音频信号的频率等时变参数的音频文件(例如，均衡器)、播放视频文件以及改变投影亮度，例如，经由振动单元40将振动强度和振动模式施加于婴儿15，改变室内光28(例如，控制照明灯27以改变光颜色和照明强度)，以及/或者通过BMID 10改变不同IoT设备状态以控制恒温器、加湿器、用于打开/关闭窗户、激活风扇、食品温度控制器35和/或婴儿房内的香薰设备的致动器来改变感测区域12中的室内温度、湿度、气压、气味变化。

在一些实施方案中，系统5可通过多个传感器80从婴儿收集数据，诸如例如行为数据，并且可在由MLM/算法模块65处理行为数据之后通过外围/IoT设备提供刺激或安抚。例如，可确定婴儿的呼吸率的变化或婴儿的哭泣、婴儿的睡着和醒来模式的变化。然后，系统可对婴儿的行为模式做出反应，从而在适当时提供刺激和在适当时提供安抚(例如，降低婴儿的焦虑不安或恼怒的程度)。在一些实施方案中，系统5可检测到婴儿饥饿。系统5可准备食品(例如，由温度控制器35加温婴儿奶瓶32)，然后可经由移动设备50提醒用户45，使得当用户45到达婴儿15处时，食品准备好喂给婴儿15(例如，处于正确的预定义温度)。

在一些实施方案中，如果系统5基于视频和音频分析两者检测到婴儿疲劳或不适，则系统5可被配置为使用基于AI的安抚系统通过播放安抚音乐、提供振动和/或向婴儿投影图像来安抚婴儿。在其他实施方案中，系统5可确定婴儿的不适的程度是否可仅通过安抚来降低。在其他实施方案中，系统5可使用基于AI的算法来确定经由GUI 55向用户45发送需要关注婴儿的提醒。

在一些实施方案中，如果系统5评价仅需要安抚，则系统5可自动地开始播放安慰声音。可选择对该婴儿最佳的安慰声音，即，曲调、音量和/或播放持续时间例如可针对婴儿进行AI调节。在其他实施方案中，基于婴儿的响应，可根据需要调整安慰声音和音量。声音可以是曲调、白噪声、哼声、父母、祖父母或看护人的预录声音或它们的任何组合。在其他实施方案中，机器学习模型可向婴儿15输出将由扬声器生成的安抚声音。

在一些实施方案中，系统5可实施婴儿特定安抚程序(例如，经调节适于特定婴儿)，该程序可包括以下步骤：

1.可检测哭泣(经由音频和/或视频)。

2.可传输声音、视频、图像或振动中的至少一者来使婴儿安静、。在一些实施方案中，可继续播放声音、视频、图像或振动，直到婴儿睡着。

3.可由系统5诸如例如以预定义时间间隔对婴儿的行为进行采样。

4.如果系统5检测到婴儿尚未安静下来(或没有睡着)，则系统5可改变以下至少一者：播放给婴儿的声音、投影供婴儿观看的视频或图像和/或经由振动单元(诸如振动垫)施加的振动。例如，可添加一个或多个附加的声音、视频、图像和/或振动。可使声音的音量更大或更柔。可改变声音的类型(改变曲调、改变看护人录制的声音、改变看护人所说的内容、改变为白噪声、改变为哼声等)。相似地，可使施加给婴儿的振动更强或更弱，或者可改变振动的类型。可改变显示给婴儿的视频或图像。可使视频或图像的显示更亮、更淡、更强或更弱。彩色图像可重新着色。

5.系统可对婴儿的行为(哭泣噪声/呼吸率等的变化)进行重新检查或重新采样。

6.重复步骤4至6，直到婴儿安静下来(或入睡)。

在一些实施方案中，系统5可通过对机器学习模型/算法65进行重新训练来改进它们，以便对特定婴儿的实时行为建模。因此，当需要再次安抚婴儿时，系统5可从已知起点开始未来安抚过程，因为经重新训练的模型已经捕获到哪种动作(诸如声音、照明、投影的图像、振动等)先前对安抚特定婴儿有效。

在一些实施方案中，系统5可从至少一个电子资源存储110查询数据，即，提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据以及响应于提供给多个婴儿的婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据。因此，该系统可使用来自多个婴儿的数据来训练机器学习模型，这些机器学习模型可捕获例如对与特定婴儿具有相似特性的婴儿更有效的数据。系统可被配置为动态地调适解决方案以适于每个儿童。

在一些实施方案中，系统5可被配置为预测婴儿的应激水平增加并且自动地执行由机器学习模型输出的解决方案以减轻婴儿的应激。

在一些实施方案中，监视子系统(例如，可包括双向音频系统)可与主系统(例如BMID 10)分离，并且可以是便携式的，使得当婴儿不在主系统所在的地方时，诸如例如当婴儿在婴儿车中或车辆中但经由有线或无线通信协议通信耦合时，可使用安抚系统。在其他实施方案中，监视子系统可包括电池或任何合适的电力存储设备。在其他实施方案中，监视子系统可对接到主系统来进行再充电，并且/或者可连接到至少一个常规供电系统。

在一些实施方案中，系统5可包括双向视频系统，该双向视频系统可使得用户45(诸如与婴儿15相关联的父母、家庭成员和/或看护人)能够与婴儿15进行双向通信。双向视频系统可将用户45的视频图像投影在婴儿附近的任何方便的平坦表面上。婴儿的视频图像可经由任何方便的屏幕(诸如例如计算机显示器(例如，笔记本电脑、台式电脑和/或平板电脑)或移动电话50的GUI 55)显示给用户。

在一些实施方案中，系统5可被配置为向婴儿提供刺激和教育。可例如经由扬声器16用语音告诉婴儿图像是什么来示出图像。监视系统(例如，BMID 10)可被配置为根据婴儿的反应(诸如例如其眼睛运动、身体运动和/或婴儿的语音)来确定婴儿15是否正在关注显示的图像或声音以及婴儿15是否理解婴儿15所看到的内容。系统5还可被配置为例如通过婴儿的眼睛运动和/或身体运动来确定婴儿是否感到无聊，并且BMID 10可中断婴儿15的婴儿特定教育计划，直到婴儿15再次对投影的图像25表现出兴趣。在一些实施方案中，可经由移动设备50的GUI 55向用户45提醒例如婴儿已经学习了新字词或新概念。因此，基于AI，可为婴儿15提供个性化婴儿特定教育计划。在其他实施方案中，用户45经由GUI 55可能够实时改变或调节个性化婴儿特定教育计划。

在一些实施方案中，个性化婴儿特定教育计划可使用许多年，例如，其中教育和安抚用例随着儿童发育而做出变更。这些阶段可与例如服务提供商、订户、交互式游戏、用户或它们的任何组合协作。

在一些实施方案中，基于个性化婴儿特定教育计划的教育、发育和娱乐系统可被视为婴儿的“大学”。针对婴儿15的个性化婴儿特定教育计划的使用可以是免费的或基于订阅的。基于订阅的系统可使用娱乐和大众媒体市场的企业对企业模型或企业对消费者模型。

图5A是根据本公开的一个或多个实施方案的用于监视婴儿并与之交互的基于计算机的系统的算法流程图200。该算法流程图可用于针对每个用例生成本文公开的机器学习模型的训练数据集。一旦经过训练，机器学习模型就可将算法流程图200中的一个或多个算法框的功能结合到机器学习模型中。

在一些实施方案中，关于物理算法220数据流水线，处理器60可被配置为处理与婴儿205和/或婴儿205所处的环境210相关的原始传感器数据215(例如，视频、音频、温度、光、RF等)。应注意，图1的物理算法模块66等效于图5A的物理算法220框。传感器数据215可被输入物理算法220中。物理算法220被配置为输出婴儿元数据和环境元数据，从中可提取表征婴儿205和环境条件210的特征。婴儿特定特征可包括例如婴儿特定生理数据(诸如婴儿心率、婴儿心率变化性、婴儿身体上的不同位置处的婴儿温度)、婴儿语音分类数据(诸如婴儿的语音速率、语音大小和语音音高)、婴儿运动速率、运动部位等。环境特定特征可包括光强度、声音、室温等。

在一些实施方案中，物理算法220可通过例如对传感器数据应用滤波、抽取和校准操作来预处理传感器数据以生成时间波形和/或图像(视频)。可通过针对每个传感器对婴儿的相关频带进行滤波来改进时间波形和/或图像的信噪比。可使用传感器融合算法(例如，定向在不同位置处的声音换能器的互相关)来实施环境数据与婴儿数据之间的区分。然后，例如通过应用使用1D傅立叶变换、2D频谱图、小波、用于图像和视频的2D/3D快速傅立叶变换、希尔伯特变换(用于包络信号)、倒频谱(例如，自相关信号平衡)等来生成信号变换。

在一些实施方案中，可将特征提取算法应用于相关向量来进行诊断以使用基本数学运算(诸如例如声音和光均值和均方根、概率密度函数、波形矩等)来提取特征(诸如例如婴儿特定特征225和环境特征230)。还可使用高级算法来提取其他婴儿特定特征，诸如例如可使用FFT相位的欧拉放大来提取婴儿心率以识别重复的变化并使用下文公开的(智能心跳)心跳检测算法来量化其心率。

在一些实施方案中，可使用模式辨识算法从来自成像相机81的视频图像数据提取婴儿微笑率，该模式辨识算法识别针对各种面部大小的微笑分割并量化其比率。也可使用无监督深度学习方法(如卷积自动编码器)来提取其他特征，该无监督深度学习方法可提取描述婴儿在测量时的状态的潜在特征。这些自动编码器可在例如从存储在一个或多个电子资源110中的一个或多个数据库112查询的多婴儿婴儿数据集、具有表征多个婴儿中的每个婴儿的具体元特征的来自多个婴儿的数据上进行预训练。

在关于时间驱动数据流水线250的一些实施方案中，处理器60可使用由物理算法流水线生成的特征(诸如婴儿特定元特征225和环境特定元特征230)和与环境相关的动作来收集特征(例如，一般环境特征255)。时间驱动数据流水线250可生成每个特征X_(i)的时间序列X_(i-n)、X_(i-n+1)、……、X_(i)，其中n表示在测量i之前的第n次测量。(应注意，图1的时间驱动流水线模块67等效于图5A的时间驱动数据流水线250框。)对于每个特征的时间序列，时间驱动流水线250可计算表征随时间推移的特征统计以及特征进展的的时间相关(TD)特征270。时间相关婴儿特定特征可包括表现出时间依赖性的婴儿特定特征，诸如呼吸率、心率等，而图5A中的婴儿静态特征245除外。相似地，时间相关环境特定特征可包括表现出时间依赖性的环境特定特特征(例如，当日时间、天气、湿度、空气压力等)。可使用基本算术运算来计算TD特征，如特征在k个记录的窗口上的均值、方差、最大值、最小值或百分位数(x)。TD特征270可使用高级信号处理函数来计算，如计算n个时间窗口的概率梯度并取最大(或最小)梯度。TD特征也可使用传感器融合算法来计算，例如相对于环境特定特征(诸如环境声音、光等)的婴儿运动特征。

在一些实施方案中，可生成基线265，该基线在给定可用信息的情况下表征婴儿状态，该可用信息包括应用于婴儿的环境的动作(例如，反映特定时间窗口的特征240和245、TD特征270、动作235和环境特定特征255的集合)。该基线265可使用参数配置(诸如使用特定窗口的k个特征和TD特征270)来计算，或者基线265可使用高级ML方法(诸如将k个特征和TD特征编码到特定窗口的特定状态的深度自动编码器或学习每特定窗口的基线概率密度函数的变分自动编码器)来计算。时间驱动流水线250的输出然后可被中继到行为模型流水线275并另外存储在历史桶(例如，特征历史260)中。

在一些实施方案中，行为模型275流水线可收集先前数据流水线的输出数据(特征、TD特征270、基线265签名、元数据和对环境采取的动作)以对婴儿15的行为建模。应注意，图1的行为模型68模块等效于图5A的行为模型275框。行为模型275可生成描述在给定外部条件(诸如环境状态、电影、声音、光或其他外部状态，诸如所食用的食物、母乳喂养时间等)的情况下婴儿15的心理、情绪和行为状态的模型。

在一些实施方案中，行为模型可包括子模型，诸如应激水平模型(基于婴儿的运动、心率(HR)、心率变化性(HRV)、哭声等)、幸福感特性模型(基于微笑模式、HR、HRV和声音)、睡眠特性模型(总睡眠时间、在每个睡眠模式期间的时间、醒来的次数等)等。行为模型275可使用流水线的输入数据和来自具有相似婴儿特定特性(诸如相似年龄、性别、相似环境特性等)的多个婴儿的数据进行训练。行为模型275可使用其中相对于行为特性来训练数据的监督方法或使用其中将所有特征编码为定义婴儿行为的单个状态的无监督方法来构建。

图5B示出了根据本公开的一个或多个实施方案的用于对婴儿的微笑率(节点317)建模的示例性宽度340和深度330神经网络模型315。这种模型的开发的示例是采用宽度和深度神经网络315，其中用于训练网络的数据集是特征、时间相关特征、环境元特征和采取的动作，并且然后以针对婴儿的微笑率的监督方法(例如，用均方误差(MSE)损失函数)训练宽度和深度模型。以这种方式，模型可在环境状态(节点332、334和336)与幸福感特性(例如，节点317的微笑率)之间进行相关，因此稍后可调谐环境状态以提高幸福感。使用宽度和深度架构315可捕获环境参数对婴儿行为状态的重要性。由于婴儿15不断地生长和变化，训练数据的一部分可包括特定婴儿数据和来自多个婴儿的相似婴儿的数据，这些数据随时间推移而改变以最大化婴儿的行为和/或情绪状态。

在关于反馈环境生成器300的一些实施方案中，反馈环境生成器300可用数字孪生婴儿290编译可例如由用户45经由移动设备的GUI 55输入(例如，设定用例，诸如安抚、喂食和/或教育)的用户配置309。数字孪生婴儿290可捕获所有行为模型275和婴儿环境配置以基于婴儿的环境来提供动作。数字孪生婴儿290可以是表示当婴儿处于以不同时间间隔拍摄的不同行为状态时婴儿对不同刺激的不同响应的一组参数。数字孪生婴儿和用户配置309可输入到反馈环境生成器300

在一些实施方案中，反馈环境生成器300可输出通知、动作、推荐或它们的任何组合，以便基于用例来将婴儿的行为状态随时间推移改变为期望行为状态(预定义行为状态)。行为状态可包括例如焦虑不安状态、安静状态、睡眠状态、饥饿状态、饱腹状态、应激状态、嬉戏状态、对特定主体的未受教育状态、对特定主体的受教育状态等。对于安抚用例，婴儿的行为状态可从焦虑不安状态改变为安静状态(期望行为状态)。对于喂食用例，婴儿的行为状态可经由用户响应于系统自动地准备食品(例如，加温婴儿奶)而给婴儿喂食时的动作从饥饿状态改变为饱腹状态(期望行为状态)。对于教育用例，婴儿的行为状态可从对特定主体的未受教育状态改变为对特定主体的受教育状态(期望行为状态)。

在一些实施方案中，从反馈环境生成器300输出的动作的示例可以是例如降低/提高光强度、改变光的颜色、播放声音(如母亲、家人、女性、男性或歌曲的声音，或者任何其他数字声音源)、在天花板上投影电影、什么都不做、停止当前动作等。输出的通知可包括在GUI55上向用户45发送例如婴儿饥饿的通知，诸如提醒。输出的推荐可包括什么都不做、停止当前动作或改变婴儿的教育课程。这可通过使用行为模型功能并将其优化到用户请求的状态(例如，安抚婴儿)来实施。可使用对婴儿哭泣特征、或婴儿运动特征、或由行为模型275生成的任何其他行为特征的损失函数的最小化来进行优化。可重复和迭代地进行实施动作以便改变婴儿的状态的该过程，直到损失函数达到均衡(如模型所定义)。迭代处理可使用算术函数、ML模型或添加有随机参数的强化学习技术来应用以产生用于最小化的两条路径。

在一些实施方案中，用于监视婴儿并与之交互的基于计算机的系统的算法流程图200可针对本文所述的用例中的每一者进行调节，诸如基于使用具有例如在图4A至图4B的示例性实施方案中所示的用例中的每一者的输入-输出数据特征的训练数据集训练不同模型来给婴儿喂食、安抚婴儿或教育婴儿。输入数据特征可以是图5A的婴儿特定特征225和环境特定特征230，它们基于反馈环境生成器302的输出而映射到动作302和/或IoT激活308。如图5A所示的婴儿特定特征225的示例可包括但不限于如图4A和图4B的输入163和174所示的呼吸检测(呼吸率)、心率(心跳信号数据)、婴儿语音(婴儿语音分类数据)、婴儿温度。

在一些实施方案中，婴儿特定行为状态检测机器学习模型和/或婴儿特定教育机器学习模型可以是可使用如例如图4A和图4B所示的数据集针对具体用例进行训练的任何合适的机器学习模型。

在一些实施方案中，婴儿特定行为状态检测机器学习模型和/或婴儿特定教育机器学习模型可结合时间驱动流水线250、行为模型275和反馈环境生成器300的功能性，使得婴儿特定特征225和环境特定特征230映射到特定于每个用例的动作302。换句话说，对于每个用例(例如，安抚、喂食和教育)，算法流程200中所示的框可用于生成用例特定训练数据集以用于训练婴儿特定行为状态检测器机器学习模型和/或婴儿特定教育机器学习模型。

在一些实施方案中，婴儿特定行为状态检测器机器学习模型和/或婴儿特定教育机器学习模型可使用任何合适的机器学习模型(诸如分类神经网络模型、长短期记忆(LSTM)模型、卷积神经网络和/或多类神经网络)来实施。这些机器学习模型可用训练数据集针对特定用例进行训练。

在一些实施方案中，婴儿特定行为状态检测器机器学习模型可用于安抚和喂食用例。在安抚用例中的婴儿特定行为状态检测机器学习模型可将婴儿特定和环境特定特征映射到动作，诸如例如但不限于当确定婴儿焦虑不安时由扬声器16为婴儿生成安抚声音、当系统检测到婴儿即将醒来时由扬声器16生成助眠声音(以便致使婴儿重新入睡)和/或经由投影设备(例如，投影仪18)投影令人放松的图像以供婴儿观看。对于喂食用例，在喂食用例中的婴儿特定行为状态检测机器学习模型可将婴儿特定特征和环境特定特征映射到动作，诸如例如但不限于当检测到婴儿15饥饿时改变食品温度控制器35的温度以便准备食品(诸如奶瓶32中的婴儿奶)来给婴儿喂食。

在一些实施方案中，确定婴儿饥饿可包括考虑婴儿进食的时间段(例如，每三个小时)、婴儿最后一次进食的时间，以及观察到在婴儿被喂食之前的时间间隔内，婴儿可能表现出某些运动。该数据可例如在多个婴儿中并针对可用于训练AI模型的婴儿15获取，使得当婴儿15在婴儿最后一次进食之后的预定义时间内表现出相似运动时，AI模型的动作176可以是例如在用户45的移动设备50上的GUI 55上发送婴儿的食物正在准备中(图2B和图2C)或仅是婴儿饥饿的提醒140(用户通知)。例如，确定婴儿饥饿的可包括考虑运动率、呼吸率、当日时间、用户配置(用户反馈)(诸如用户在GUI 55上指示婴儿在2小时前已被喂食或婴儿需要增重)、婴儿年龄、体重、身高。

在一些实施方案中，系统5对婴儿正在睡觉和/或可能即将醒来和/或已经醒来的识别可包括获取婴儿15和/或多个婴儿中的每个婴儿的运动和/或骨骼检测和/或语音分类的图像和/或音频数据。该数据可用于训练AI模型以识别婴儿焦虑不安和/或即将醒来。

在一些实施方案中，可使用来自多个婴儿的关于哪个音频流(曲调)、音频音量、均衡器参数成功地安抚了婴儿的数据来训练反馈环境生成器69。如本文提到的安抚婴儿可以是向婴儿播放安抚声音或音频流和/或向婴儿投影令人放松的图像(例如，兔子的视觉图像25)的迭代过程，该过程使婴儿安静下来和/或重新入睡。例如，这可由AI模型根据从指示较小运动的图像相机的图像数据检测到的运动数据和/或指示未哭泣和/或可确定婴儿已经入睡的音频数据来进行评价。在其他实施方案中，同样地，助眠声音可以是确定在婴儿醒着或如任何AI模型所预测的即将醒来时致使婴儿重新入睡的任何音频流。可训练AI模型以输出在输出特征165中示出的任何投影特征。

在一些实施方案中，可训练AI模型以输出振动单元40施加于婴儿的振动类型(振动强度和/或振动节奏)，以便安抚婴儿，如上所述。

在一些实施方案中，当使婴儿经受婴儿特定教育计划时用于教育用例的婴儿特定教育机器学习模型可将婴儿特定特征和环境特定特征映射到动作，诸如输出婴儿理解或不理解基于婴儿特定教育计划的视觉图像和与视觉图像相关联的声音的指示，如例如针对图2D所示的兔子图像所示，或者可输出婴儿特定教育推荐，诸如以在婴儿特定教育计划对婴儿来说太难或婴儿感到无聊(当婴儿可能被检测到无聊时)的情况下修改婴儿特定教育计划。

在一些实施方案中，可迭代地执行在用如在图5A的算法流程中生成的训练数据集进行训练之后由婴儿特定行为状态检测机器学习模型和/或婴儿特定教育机器学习模型预测的动作302(例如，图4A和图4B的输出165和176中所示的婴儿15所经历的环境变化)，以便根据特定用例的目标来改变婴儿的行为状态。例如，对于安抚用例，婴儿可在预定义时间间隔内经历由系统5执行如例如在图4A中的输出165的列表中所示的任何动作引起的一个或多个环境变化，直到婴儿的行为状态从焦虑不安状态改变为安静状态(或重新入睡)。

在一些实施方案中，机器学习模型可动态地改变动作中的参数，直到婴儿的行为状态从焦虑不安状态改变为安静状态(或重新入睡)。例如，基于婴儿特定行为状态检测机器学习模型的变化输出，动作(诸如改变音频文件、改变音频中的BPM、改变音量、改变音频流和/或改变均衡器参数)的参数(例如，安抚声音)可在预定义间隔内发生多次。

图6A是根据本公开的一个或多个实施方案的用于安抚婴儿15的方法350的流程图。方法350可由处理器60和系统5中的BMID 10的元件执行。

方法350可包括接收355与至少一个婴儿相关联的图像数据、音频信号数据和传感器数据。

方法350可包括向至少一个婴儿特定行为状态检测机器学习模型输入360与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据和婴儿特定个人数据，其中至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与多个婴儿相关联的婴儿特定刺激数据、婴儿特定响应数据、婴儿特定个人数据的数据集进行训练。

方法350可包括从至少一个婴儿特定行为状态检测机器学习模型接收365至少一个婴儿焦虑不安、即将醒来或两者的输出。

方法350可包括通过通信网络向至少一个用户的至少一个通信设备传输370传感器数据、至少一个婴儿焦虑不安的提醒、至少一个婴儿即将醒来的提醒或它们的任何组合。

方法350可包括基于输出来传输375指令，该指令致使音频系统、光学子系统或两者执行以下项中的至少一者：

(i)当至少一个婴儿焦虑不安时，由扬声器生成安抚声音，

(ii)当至少一个婴儿即将醒来时，由扬声器生成助眠声音，或者

(iii)当至少一个婴儿焦虑不安时，由投影设备投影令人放松的图像以供至少一个婴儿观看。

图6B是根据本公开的一个或多个实施方案的用于给婴儿15喂食的方法380的流程图。方法380可由处理器60和系统5中的BMID 10的元件执行。

方法380可包括接收385与至少一个婴儿相关联的图像数据、音频信号数据和传感器数据。

方法380可包括向至少一个婴儿特定行为状态检测机器学习模型输入390与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据和婴儿特定个人数据，其中至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与多个婴儿相关联的婴儿特定刺激数据、婴儿特定响应数据、婴儿特定个人数据的数据集来进行训练。

方法380可包括从至少一个婴儿特定行为状态检测机器学习模型接收395至少一个婴儿饥饿的至少一个指示。

方法380可包括通过通信网络30向至少一个用户的至少一个通信设备50(例如，移动通信设备50)传输400给至少一个婴儿喂食的提醒、传感器数据或两者。

方法380可包括传输405指令，该指令致使温度控制系统35改变至少一种食品的预定义温度以准备给至少一个婴儿喂食。

图6C是根据本公开的一个或多个实施方案的用于教育婴儿15的方法410的流程图。方法410可由处理器60和系统5中的BMID 10的元件执行。

方法410可包括由投影设备基于来自针对至少一个婴儿的多个婴儿特定教育计划的婴儿特定教育计划来向至少一个婴儿投影415至少一个视觉图像。

方法410可包括由音频系统生成420与至少一个视觉图像相关联的至少一个声音。

方法410可包括接收425与至少一个婴儿相关联的图像数据、音频信号数据和传感器数据。

方法410可包括向至少一个婴儿特定教育机器学习模型输入430与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、至少一个视觉图像、至少一个声音和婴儿特定个人数据，其中至少一个婴儿特定教育机器学习模型使用至少部分地基于与多个婴儿相关联的婴儿特定刺激数据、婴儿特定响应数据、婴儿特定个人数据、多个婴儿特定教育计划的数据集进行训练。由扬声器生成的至少一个声音可以是安抚声音、助眠声音或与投影的视觉图像相关联的声音，诸如针对猫的视觉图像的猫的叫声、说出“猫”一词的人的语音。

方法410可包括从至少一个婴儿特定教育机器学习模型接收435输出，其中该输出包括：

(i)至少一个婴儿理解或不理解根据针对至少一个婴儿的至少一个婴儿特定教育计划的至少一个视觉图像和与至少一个视觉图像相关联的至少一个声音的至少一个指示，以及

(ii)至少部分地基于至少一个指示的至少一个婴儿特定教育推荐。

方法410可包括通过通信网络向至少一个用户的至少一个通信设备传输440至少一个指示、至少一个婴儿特定教育推荐、传感器数据或它们的任何组合。

方法410可包括基于至少一个婴儿特定教育推荐来执行以下项中的至少一者：

(i)当至少一个指示表明至少一个婴儿不理解时，修改至少一个婴儿特定教育计划，或者

(ii)继续执行针对至少一个婴儿的婴儿特定教育计划。

图7A示出了根据本公开的一个或多个实施方案的用于监视婴儿并与之交互的基于计算机的系统480的第二示例性实施方案。系统480可包括监视器482、处理单元481、移动应用程序(用户接口)486和温度控制子系统485。监视器482可安装在墙壁或天花板上，或者它例如可安装在家具(诸如婴儿床)上。应注意，系统480的元件与图2的系统5的元件可互换使用

在一些实施方案中，监视器482可包括用于连接(490，双头箭头)到附件的基站入口。在其他实施方案中，可不存在基站入口。典型地，监视单元包括处理单元。通信连接可以是有线的或无线的。

在一些实施方案中，监视器482可连接到设备，诸如光学子系统482a、双向音频系统484、投影仪483、麦克风和声学/音频检测器484a、呼吸检测器482d、温度检测器482b、心率检测器482c、用户接口486、温度控制器485、处理单元481、计重秤(未示出)、激光雷达传感器(未示出)或它们的任何组合。

在一些实施方案中，处理单元481可位于监视器482内、在与监视器482分离的单元中、在云中或它们的任何组合。处理单元可包括被配置为存储数据、将传感器信号转换为传感器信号数据、从视觉模式提取视觉数据、从听觉模式提取音频数据、使用视觉和/或音频数据作为输入来执行机器学习模型或它们的任何组合的软件、硬件或它们的任何组合。

图7B示出了根据本公开的一个或多个实施方案的婴幼儿状况描述向量(ICDV)的数据元素的图。ICDV可以是行为模型275的输出，如图5A所示。

在一些实施方案中，基于AI的系统可生成婴儿状况描述向量(ICDV)。ICDV可包括婴儿的情绪状态的历史和当前表现。ICDV可包括当前传感器数据以及婴幼儿的历史(IH)。当前传感器数据可包括来自许多传感器的数据，可被处理或可以是原始数据，可以是即时历史数据的延续，或它们的任何组合。典型地，传感器数据可被处理成不同的感兴趣信号，诸如例如心跳信号。新数据可级联到先前数据，由此形成即时历史数据的延续。

婴幼儿历史(IH)可包括3个部分：

a.生物历史(IBH)数据，其可包括婴儿特定个人数据，诸如婴儿的年龄、身体特性(诸如例如身高、体重、头围等)和发育阶段(诸如例如运动能力、沟通水平、睡眠能力、褪黑激素状态估计等)

b.婴幼儿个人历史数据(IPH)可包括对反应环路的婴儿特定历史响应，其从特定于该婴儿的历史数据生成。

c.婴儿众包历史数据(ICH)可包括考虑到其他婴幼儿的IBH和IPH的其他婴儿的响应(例如，来自多个婴儿的数据)的历史加权平均值。婴儿众包数据可来自使用该系统的其他婴儿、来自实验室实验和它们的任何组合。

在一些实施方案中，ICH可包括响应于提供给多个婴儿的多个婴儿特定刺激而获取的多个婴儿特定响应的婴儿响应数据。ICH可包括提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据。ICH可包括多个婴儿中的每个婴儿的婴儿特定个人数据。

图7B示出了ICDV的示例性实施方案，其中可对当前传感器数据进行算法处理以生成呼吸波形521、温度图522、睡眠状态523(例如，睡着、醒来、瞌睡、清醒等)、哭泣水平524(不哭泣、呜咽、一直哭泣、间歇哭泣、大声哭泣、轻轻哭泣等)、心率525和如本文所公开的其他婴儿特定历史响应526。

在一些实施方案中，IBH可包括婴儿15的运动水平531、通信水平532和更多533婴儿特定数据。

在一些实施方案中，IPH可包括音频响应历史541、可包括婴儿对投影的图像和/或声音的响应的投影仪响应历史542以及婴儿15的更多543婴儿特定数据。

在一些实施方案中，ICH可包括与IPH相同类型的数，即，音频响应历史551、可包括婴儿对投影的图像和/或声音的响应的投影仪响应历史552以及多个婴儿中的每个婴儿的更多553婴儿特定数据(例如，众包婴儿特定数据)。

图7C和图7D示出了根据本公开的一个或多个实施方案的用于安抚婴儿的检测反应环路的示例性实施方案。检测反应环路可由系统480或BMID 10执行。

用于安抚婴儿的检测反应环路可包括以下步骤：

I检测

A.建立包括安抚方法决策部件(AI/机器学习)的系统480的实施方案。安抚方法决策部件可被预加载到系统中并仅本地使用，或可包括来自众包安抚方法服务器611的至少一个参数。换句话说，系统480可使用已经针对安抚用例进行训练的至少一个机器学习模型(诸如在例如图5A的算法流程图200中)。

B.从多个传感器612(诸如例如光学子系统、麦克风、声学/音频检测器、温度检测器、用户接口、温度控制器和/或激光雷达)收集数据。应注意，可根据来自图像相机、RF传感器和/或热传感器的传感器数据来确定呼吸检测和心率检测以使用算法来评价婴儿是否正在呼吸和/或检测婴儿的心率。下文将讨论呼吸和心率算法。

C.将数据传输到计算单元613，该计算单元可以是相机计算处理器的一部分，可以是单独处理器的一部分和它们的任何组合，以分析数据并确定婴儿是否没有得到安抚或即将醒来。

D.然后，计算单元可执行以下步骤(参见图7D)：

i.从先验数据门620接收历史数据。

ii.从传感器数据门622接收传感器数据并分析原始数据。

iii.在ICDV计算器621中，根据经分析的数据来生成所有响应系统(音频、视频、提醒等)的输入

iv.将结果传输到ICDV响应代理池624。ICDV响应代理池624可包括计算代理，该计算代理可以是每响应系统一个代理、用于多个响应系统的一个代理、用于至少一个响应系统的多个代理或它们的任何组合。ICDV响应代理池624可从经分析的传感器数据生成多个ICDV值，这些ICDV值可使用预定义或AI生成的权重来进行加权以确定生成的ICDV值的相对重要性。

v.来自每个代理的结果可中继到响应方案计算器625以生成每个响应系统的动作列表并通过响应API池626传输该动作列表，以及通过先验数据门620更新动作、IPH和ICH。

II反应/安抚

E.激活以下功能中的至少一者：

a.激活安抚方法614

i.通过来自扬声器的声音进行安抚，诸如例如音乐、白/粉红噪声、用户的语音或它们的任何组合。虽然典型地可使用录制的语音消息，但是语音可以是录制的、实时的或两者。取决于婴儿的反应，音量、声音类型和发出声音的时间长度可不同。

ii.激活投影仪并显示安抚视频。

iii.激活振动单元。

b.激活功能IoT设备615

i.激活食品温度控制器35以加温例如食品，典型地是一瓶奶。

ii.控制环境光(例如，照明灯27)，诸如例如开灯或关灯、调整照明水平和/或改变光的颜色。

iii.激活另一个IoT设备。

c.向用户发送通知616

i.经由移动应用程序(例如，显示在移动设备50的GUI 55上)(例如，应用、内置OS通知或它们的任何组合)发送通知。

ii.通过电话呼叫(例如，向移动设备50)发送通知。

iii.通过来自扬声器系统(例如，扬声器16)的声音发送通知。

F.从多个传感器612(诸如例如光学子系统、麦克风、声学/音频检测器、呼吸检测器、温度检测器、心率检测器、用户接口、温度控制器、激光雷达或它们的任何组合)收集数据

G.基于来自步骤E的传感器数据，使用AI自动地修改安抚方法617。

H.基于步骤(E)的经修改参数和步骤(F)的结果，重复步骤D。

I.将经修改参数发送到众包安抚方法服务器611以用于修改通用安抚方法决策部件(AI机器学习)。

在一些实施方案中，光学子系统482a可包括可见光谱成像检测器(供白天使用)和用于夜视的红外成像检测器。在其他实施方案中，计算机视觉运动检测也可与光学系统一体地使用、用作处理单元的一部分或它们的任何组合。

在一些实施方案中，双向音频系统484可集成到监视器、可移除地连接到监视器或可以是与监视器分离的单元。

在一些实施方案中，投影仪483可集成到监视器、可移除地连接到监视器或可以是与监视器分离的单元。

在一些实施方案中，可移除扬声器和可移除投影仪在连接到监视器时可被充电(例如，对电池充电)或可被单独地充电。

在一些实施方案中，用户接口486可与监视器集成、可以是单独单元或它们的任何组合。在其他实施方案中，至少一个用户接口可以是移动的。用户接口可以是例如智能电话应用、电话消息传递系统、计算机消息传递系统、GUI 55或它们的任何组合。计算机消息传递系统的示例可包括电子邮件消息传递系统、听觉提醒、视觉提醒和/或基于计算机的接口。智能电话应用和电话消息传递系统可使用听觉提醒、视觉提醒、触觉提醒或它们的任何组合来向用户告知传入消息、提供消息或它们的任何组合。

在一些实施方案中，温度控制器485(例如，图1中的食品温度控制器35)可被配置为存储喂食品并将喂食品保持在预定义温度。喂食品可以是奶、母乳或准备制作的婴儿奶(配方奶)或奶替代品、用于准备配方奶或奶替代品的水和/或食品。喂食品可保持低温直到使用，并且可在使用时加热到适当温度。

在一些实施方案中，温度控制器485或处理单元481可根据被监视人(例如，婴儿)的行为来确定喂食时间即将到来，并且可提供用于将奶加温到适当温度以供使用的机制。在其他实施方案中，系统可包括用于诸如经由移动设备50上的GUI 55提醒用户45(例如，父母或其他看护人)喂食时间即将到来的机制。在其他实施方案中，系统可包括用于确定父母或其他看护人可能正在接近被监视人(例如，婴儿)以给被监视人喂食的机制。换句话说，系统5可监视用户45可能正在接近婴儿15的距离D，如图1所示。

在一些实施方案中，温度控制器485可包括加热和冷却机构两者，诸如例如用于加热和冷却两者的珀耳帖设备，但是可使用单独的加热设备和冷却设备。加热设备可包括例如珀耳帖系统、红外加热器、加热罩、加热带、微波、热空气或它们的任何组合。冷却设备可包括例如珀耳帖系统、冷却罩、冷空气、循环冷液体、蒸发冷却或它们的任何组合。

在一些实施方案中，处理单元481可与监视器集成、可以是与该单元分离的部件、可以是云的一部分或它们的任何组合。处理单元可收集、处理数据并可将收集到的数据的反馈提供给子系统，诸如温度控制器(例如，来自图5A中的IoT激活308)和用户(例如，来自图5A的用户310)。

在一些实施方案中，通过从婴儿及其环境收集各种数据，系统480可向用户提供关于婴儿的个性化反馈。由监视器482和/或由其他源(例如，扬声器484、麦克风484a、温度计482b和用户输入)执行的数据收集可包括例如监视呼吸、声学和视觉监视、心率和温度监视、喂食时间表、睡眠例程、哭泣信号等。根据这些，处理器可确定例如呼吸模式和呼吸模式的变化、声学模式和声学模式的变化、运动模式和模式和运动模式的变化、体温和其中的变化、心率和其中的变化或它们的任何组合。

在一些实施方案中，处理单元481可持续地收集和处理数据以获得反馈，以便生成自动化个性化解决方案。从用户收集的信息可用于激活各种系统功能以提供用于实施喂食、安抚、诱导睡眠和/或教育用例的多种目的的定制解决方案。系统480可连接到用户友好的用户接口486。

在一些实施方案中，经由监视器从用户收集的信息可经由机器学习模型/算法(例如，图1的MLM/算法65)来处理。经处理信息可用于激活各种系统功能，这些系统功能可提供用于例如喂食、安抚、促成睡眠和/或教育用例的定制解决方案。

图7E示意性地示出了根据本公开的一个或多个实施方案的反应安抚环路的音频生成器响应代理的实施方案。

在一些实施方案中，音频生成器响应代理可生成要播放给婴儿的声音。系统可执行以下步骤：

A.从ICDV接收数据。

B.根据来自变换器651、652、653、654的数据并至少部分地基于以下项来构建ICDV的表示：

1.婴儿的响应历史和在婴儿的响应历史中发现的适当波形。

2.多个婴儿中的其他婴儿的响应历史，该响应历史具有近似相同的IBH并具有在其他婴儿的响应历史中发现的相似音频波形。

3.从该安抚会话开始起婴儿的当前响应历史。

4.来自预定数量的安抚会话历史的响应。预定数量可在从0至100的范围内、在从5至20的范围内或是最后10次安抚会话。

5.在当前时间之前的预定时间内的传感器数据。预定时间可在从0小时至2小时、从1分钟至20分钟的范围内或是先前5分钟数据。典型地，从输出传感器数据导出的婴儿特定参数可包括以下项的任何组合：

1.呼吸率

2.心率

3.温度

4.运动图

5.音频波形，或者

6.哭泣状态

C.通过以下步骤从ICDV表示655生成声音波形：

a.基于传感器数据和IPH数据，选择将具有最佳安抚效果的基本波形。

b.将基本波形与ICH数据中的安抚波形进行比较，并且如果需要，根据ICH中的波形历史执行对波形的小改变。

D.将步骤C中生成的波形发送到扬声器656，该扬声器可向婴儿播放该波形，例如，如果婴儿在预定时间之后仍未入睡(在这种情况下，可向用户发送提醒)或如果发出手动“停止”命令的话。

E.测量婴儿的响应(重复步骤A和B)。

F.如果婴儿处于稳定睡眠状态，停止该过程。

G.如果婴儿正在接近稳定睡眠状态但尚未达到该状态，则基于传感器数据的变化和传感器数据的变化如何影响该婴儿(IPH)和多个婴儿中的其他婴儿(ICH)对波形657进行小改变。

H.迭代地执行步骤D至G，直到过程停止。

应注意，以上过程是示例性的而不是限制性的，使得步骤可以不同次序进行和/或可使用更多或更少的步骤。

喂食/奶瓶准备

在一些实施方案中，可根据婴儿的呼吸和睡眠模式、心率和其他因素来确定婴儿的喂食例程的行为模式和参数。这些可根据传送到处理单元的监视数据和由用户经由用户接口486提供的数据来确定。在处理单元中，系统(实施机器学习)可学习如何检测喂食时间、检测喂食时间并提醒用户到了喂食时间或独立地激活温度控制器485的加热特征以准备奶瓶来给婴儿喂食。

安抚/睡眠支持

在一些实施方案中，一旦系统通过检测到增加的呼吸率482d、改变的生命体征482b和482c或预学习的信号而检测到婴儿即将醒来或经由声音检测分析检测到哭泣，系统就可模仿婴儿在子宫中听到的声音以安抚婴儿并使之安静和/或使婴儿重新入睡，从而减少父母在夜间醒来的需要。安抚系统可个性化以提高安抚声音对婴儿的有效性。安抚声音可包括例如音调、节奏、音效等。扬声器系统可连接到监视器或可以是单独的个性化安抚物。扬声器系统可位于监视器附近，或者可远离监视器但靠近婴儿以供白天使用。除了扬声器之外，投影仪也可增加安抚系统的视觉维度，其中收集的个性化数据可显示对婴儿最具安抚性的图像。这可手动地或自动地提供。扬声器和投影仪两者都可在连接到监视器时充电或单独地进行充电(例如，扬声器和/或投影仪可包括电池)。

在一些实施方案中，生命体征可包括平均心率、最大心率、最小心率、心率不一致、心脏已经停止的指示、平均呼吸率、最大呼吸率、最小呼吸率、呼吸率不一致、呼吸已经停止的指示、心率的变化率大于预定量、呼吸率的变化率大于预定量或它们的任何组合。不一致心率可能是例如心脏周期性地错过一次跳动或者心脏在一段时间内以一个速率跳动然后切换到第二速率的情况。不一致呼吸率可能是例如存在短时段的呼吸暂停或者婴儿在一段时间内以一个速率呼吸然后切换到第二呼吸率的情况。

在一些实施方案中，反应体征可包括来自生命体征、眼睛的运动、身体部位的运动、由婴儿发出的声音、对排定的事件的反应、对安抚方法的反应、行为随时间推移的变化或它们的任何组合的数据。由婴儿发出的声音可包括哭泣、咕哝、喋喋不休、说话、呼吸、尖叫或它们的任何组合。对安抚方法的反应可包括躺下、闭上眼睛、眨眼、停止哭泣、进入预定睡姿或它们的任何组合。当婴儿睡着时，可从根据先前事件数据训练的机器学习算法确定预定睡姿。

教育/沟通

在一些实施方案中，利用2D或3D(例如，全息图)的投影仪483并基于经训练以评价根据婴儿的眼睛运动、身体运动和身体位置、眼睛运动的类型(自愿或非自愿)、生命体征(诸如但不限于心率、心率变化、呼吸率、呼吸率变化和温度)、反应(诸如但不限于惊吓反应、对不适或疼痛的反应、使视线朝向某人或某物、将视线从某人或某物移开、快乐反应和它们的任何组合)和发育阶段确定的婴儿注意力和兴趣的机器学习模型，系统可允许婴儿与远程家庭进行沟通并培养教育技能，诸如例如理解形状、动物、物体等。

在一些实施方案中，一种类型的眼睛运动可以是例如扫视、平滑追踪运动、眼转向运动和/或前庭眼运动。

在一些实施方案中，投影仪483、监视器482和扬声器(声学音频检测器/麦克风484a)也可被配置为用作主动式训练系统。基于接收到的生命体征、反应、视频(运动和眼睛运动检测)和音频信息，可使用机器学习模型和算法来收集和分析数据以使不同训练程序个性化并向用户(父母或看护人)提供关于婴儿的正在进行的发育的反馈。

非接触式心率和血氧测量

在一些实施方案中，可通过光电体积描记术(PPG)来确定血氧水平和心率，该PPG使用光和光学器件来测量血液的性质。当血液进入和离开皮肤的毛细血管时，血红蛋白可能吸收不同量的光。处理器可使用来自婴儿皮肤的反射光的变化量来确定血氧水平并使用血红蛋白水平的变化周期来测量心脏进行泵血的速率。可在大距离上测量反射模式PPG。用于该类型的测量的基本光学检测设备可以是简单的网络摄像头或成像设备，诸如移动设备上的相机。光源可以是在室内的环境光。

在一些实施方案中，心率可根据婴儿面部的图像数据的皮肤像素来确定。在其他实施方案中，可使用来自身体的其他部位的PPG测量。在又其他实施方案中，可使用具有机器学习的梯度下降算法来找到心率。

在一些实施方案中，心率确定算法可首先区分皮肤像素和非皮肤像素，非皮肤像素可以是例如头发、眼睛、衣服和饰品，或者背景对象，诸如例如床上用品、地板、墙壁、门或家具。可分析来自跟踪器的输出并可估计背景信号。

在一些实施方案中，在下一处理阶段中，信号可通过具有40次至180次/分钟的带通的零相位巴特沃斯带通滤波器。傅立叶变换可应用于经滤波信号以确定心率。典型地，该过程可约每秒重复一次。确定频率可在每0.1s一次至每20s一次的范围内。在其他实施方案中，当发生可能无法由跟踪器或背景信号去除充分地补偿的运动时，状态机可暂停算法的操作，并且然后当非期望运动已经停止时，状态机可重新开始操作。

在一些实施方案中，例如，当系统480可检测到危险状况(诸如呼吸异常)时，该系统可确定该状况的严重性并可相应地经由GUI 55提醒用户45，例如，在系统进行评价时传输由严重性级别决策触发的提醒。图像处理技术可实现根据图像准确且及时地检测心率和呼吸。这些检测可在婴幼儿睡眠情景中实现强力的监视和提醒。负误识可保持尽可能低，同时避免正误识(误警报)。

在一些实施方案中，系统可检测婴儿的姿势。

在一些实施方案中，如果呼吸或心跳率超出预定范围，则该系统可提醒用户。

在一些实施方案中，相机可包括附加特征，诸如夜视、视频和照片的存储以及数字变焦。夜视特征可允许用户(诸如看护人)即使在黑暗中也能获得婴儿的清晰视图，该视图可在移动设备50的GUI 55的区域57中看到。数字变焦可允许在GUI 55中的区域57中近距离观察婴儿和该婴儿的附近。

在一些实施方案中，系统还可包括热相机，该热相机能够检测婴儿的头部是否被盖住并向用户的移动设备50(例如，看护人移动设备)发送警报。

在一些实施方案中，系统还可包括传感器以用于监视婴儿和该婴儿的环境。这些传感器可包括热传感器、运动传感器和声音传感器。从这些传感器获取的数据可传递到用户的移动设备50(例如，看护人移动设备)。

图8A示出了根据本公开的一个或多个实施方案的婴儿监视和交互(BMID)设备1000的第二实施方案。BMID 1000可包括监视器1010、智能对象1020和用于安装该设备的支架1030。监视器可包括光学子系统、双向扬声器或双向音频系统(其可包括麦克风和声学/音频检测器，或者任何其他双向音频通信系统)、投影仪、麦克风、声学/音频检测器、呼吸检测器、温度检测器、心率检测器、用户接口、处理单元、电磁检测器或它们的任何组合。

图8B示出了根据本公开的一个或多个实施方案的婴儿监视和交互设备(BMID)2000的第三实施方案。BMID 2000可包括相机/投影仪2020、至少一个传感器2030和麦克风/扬声器2040。未示出用于设备的支架。

图9A是根据本公开的一个或多个实施方案的用于教育婴儿的方法的流程图2200。用户可从建议的课程选择课程2201。该课程在本文中也可被称为婴儿特定教育计划。可从由系统经由与用户相关联的移动设备50的GUI 55提供的可能的课程选择适当的课程。对课程的选择可基于婴儿的年龄以及认知能力，如由用户(例如，看护人)所估计。基于选择的课程，用户可将相关智能对象(例如，智能对象1020)附接到BMID设备2202的臂。可基于婴儿的年龄来选择课程。因此，例如，可为新生儿选择黑色和白色对象，并且可为更大的婴儿选择彩色对象。

在一些实施方案中，婴儿特定教育计划或课程的示例可包括将特定视觉图像按不同类别投影给婴儿，诸如不同动物(狗、猫、兔子25)、不同人物(母亲、父亲、兄弟姐妹、朋友等的图片)、不同对象(汽车、微波炉、蛋糕搅拌机等)、自然事件(例如，风、水和火)并将视觉图像与在播放与投影的视觉对象相关联的声音一起投影。然后，在从扬声器播放与第一图像相关联的声音时，可使婴儿观看两个投影的视觉图像，即，第一视觉图像和第二视觉图像。系统5可通过评估婴儿进行朝向第一视觉图像的眼睛运动和/或头部运动的图像数据来评价婴儿理解声音与第一视觉图像之间的相关性。相似地，可播放与第二图像相关联的声音。

在一些实施方案中，在婴儿经历每个视觉图像和相关联的声音之后，系统5可投影汽车的视觉图像并确定婴儿是否发出汽车的声音以确定婴儿是否理解。

在一些实施方案中，AI模型(例如，婴儿特定教育机器学习模型)可通过跟踪婴儿的眼睛和/或头部运动来在GUI 55上输出婴儿理解与投影的视觉图像相关联的声音的指示或通知。系统5可在GUI 55上向用户45发出继续当前课程或将课程修改到更高级阶段的推荐。如果系统评价婴儿不理解，则婴儿特定教育机器学习模型可在GUI 55上向用户45输出继续当前课程的推荐。

在一些实施方案中，婴儿特定教育机器学习模型可自动地修改婴儿特定教育计划或课程。例如，该修改可包括AI模型(例如，婴儿特定教育机器学习模型)输出婴儿理解呈现给婴儿的图像-声音对并可改变图像类别(例如，从动物改变为家庭用品)，并且/或者该修改可以是插入视频来代替静态视觉图像，该修改可以是当系统5投影猫和狗的图像时说出与投影的图像相关联的字词来看看婴儿是否理解字词“猫”。

在一些实施方案中，要附接到设备的智能对象1020可包括不同颜色的对象、形状、动物和其他合适形状的对象。在其他实施方案中，智能对象1020可包括用于处理数据、存储数据和通信的处理器。然后，可由BMID设备1000或由用户的移动设备50(例如，看护人的移动设备)上的应用程序识别2203附接的智能对象。经由移动设备上的应用程序，用户可选择2204附接的对象中的一者来向婴儿介绍。基于该选择，该设备可发送2205视觉和听觉信号，从而向婴儿清楚地标识对象。视觉信号可包括对象的运动和/或点亮对象。音频信号可包括与对象相关联的声音(例如，动物的动物声音)和语音信号，从而向婴儿标识对象。该系统可向婴儿重复2206视觉和/或听觉信号至少一次。在学习课程后，对婴儿进行测试，以便评估婴儿学习情况。

图9B是根据本公开的一个或多个实施方案的用于测试婴儿以评估婴儿学习情况的方法的流程图2300。第一步骤可包括由设备2301激活声音信号。可不提供视觉信号。婴儿响应于音频信号的运动而可由设备2302的相机捕获。然后可使用监视软件2303通过视频分析来分析获得的数据。监视软件可使用机器学习以便评价婴儿的心理和认知发育2304。可从远程平台获得用于分析的比较数据。基于该分析，可调节基于评价的定制课程2305以适合婴儿的能力，该定制课程可被发送到用户的移动设备50。

在一些实施方案中，该系统可包括投影仪以用于将图像投影到远离婴儿的表面上。投影仪可包括具有麦克风和扬声器的双向视频系统以用于与婴儿进行音频通信。利用上文所述的相机和视频分析软件，可评价婴儿识别图像的能力，以便提供被调节成适合婴儿的发育能力的课程(例如，基于婴儿的认知发育的机器学习评价来修改婴儿特定教育计划)。

在一些实施方案中，该系统可包括呼吸监视功能性。呼吸监视器可包括计算机视觉技术、运动传感器、声音传感器或它们的任何组合以用于检测婴儿进行的运动或发出的声音。如果在预确定时间段内未检测到婴儿的运动，则将向用户发送提醒。呼吸监视器可包括用于检测婴儿的运动的雷达或声纳部件。雷达或声纳系统可记录心率和呼吸率，并且如果呼吸或心跳率超出预定范围，则可向用户发送提醒。雷达系统可以是连续波(CW)雷达、roi雷达、单脉冲雷达或无源雷达。可提供雷达或声纳检测系统，以便在检测到运动停止或呼吸率降低时提供第二警报。第二警报的目的是避免误警报，因为计算机化视觉系统和婴儿呼吸监视器通常可能容易出现误警报。

心率

图10A是根据本公开的一个或多个实施方案的示出心率估计系统3100的图。本文所示的心率估计系统3100可例如用于确定如在用于监视婴儿并与之交互的基于计算机的系统的算法流程图200中所用的婴儿特定特征225的心率或用于确定如本文所公开的任何其他婴儿监视和交互过程所需的心率。系统3100可包括一个或多个电子设备3105A、3105B和一个或多个主体3115。电子设备3105A、3105B可以是移动电话、平板计算机、膝上型计算机、计算机工作站、摄像机等。电子设备3105A、3105B可使用相机来捕获3110主体3115的视频数据的视频剪辑。

在一些实施方案中，视频数据可由多种相机(例如，3色通道相机、多光谱n通道相机、红外相机、深度相机、1像素传感器、伺服控制相机或它们的任何组合)中的一者或多者捕获。3色通道相机可以是红/绿/蓝(RGB)3色通道相机。为了简单起见，电子设备3105A、3105B和相机在下文中可以单数指称或被称为成像设备或成像相机，但是可使用任何数量的电子设备3105和相机。

在过去，由于电子设备3105的运动、主体3115的运动和/或照明的变化，根据主体3115的视频数据来计算心率是不切实际的。本文所述的实施方案可根据视频数据来生成超像素模型并可计算心跳信号和心脏特性，如将在下文所述。因此，电子设备3105A、3105B可准确地估计主体3115的心率。

在一些实施方案中，主体3115可以是人或动物。可根据视频数据来估计一个或多个主体3115的心率。可从主体3115的面部或其他身体部位捕获3110视频数据。可从反射自然光、环境中的反射电照明、由例如由系统通过激光器或红外发光二极管(LED)提供的反射照明和/或长波热红外发射中的一者或多者捕获3110视频数据。

在一些实施方案中，视频数据可以是运动稳定的感兴趣区域(ROI)。ROI可以是皮肤的任何暴露部分，诸如主体3115的前额的至少一部分、主体3115的颈部的至少一部、主体3115的臂的至少一部份、主体3115的背部的至少一份、主体3115的胸部的至少一分、主体3115的腹部的至少一部分、主体3115的臀部的至少一部分、主体3115的腿的至少一部分、主体3115的手的至少一部分、主体3115的脚的至少一部分或它们的任何组合。在其他实施方案中，像素可包括ROI以形成主体3115的连续部分。

图10B是根据本公开的一个或多个实施方案的示出在主体3115身上的感兴趣对象(OOI)3285和感兴趣区域(ROI)3250的图。在一些实施方案中，电子设备3105可接收视频数据并从视频数据检测OOI 3285。电子设备3105可将面部、面部的一部分(诸如前额、颈部、臂和/或其他身体部位)检测为OOI 3285。

在一些实施方案中，电子设备3105还可检测和/或跟踪OOI 3285。在其他实施方案中，可使用对视频数据的RGB像素的级联对象检测来检测OOI 3285。还可使用基于空间相关的方法以亚像素分辨率跟踪OOI 3285。替代地，可使用红外波段信息来检测和跟踪OOI3285。例如，可从红外热点识别主体3115的前额OOI 3285。也可使用多光谱信息来检测和跟踪OOI 3285。

在一些实施方案中，可使用面部标志来从视频数据的RGB像素跟踪OOI 3285。例如，典型地经由AI，但是也可使用其他光学分析方法，电子设备3105可典型地经由AI从RGB像素识别主体3115的眼睛和嘴巴并可相对于眼睛和嘴巴检测OOI 3285。替代地，可使用空间相关滤波器从视频数据的RGB像素跟踪OOI 3285。

在一些实施方案中，可使用来自深度相机的信息来检测和跟踪OOI 3285。例如，深度相机电子设备3105可识别主体3115的轮廓并可从轮廓检测面部OOI 3285。

在一些实施方案中，可在OOI 3285内识别出ROI 3250。ROI 3250可以是OOI 3285内的指定区域。例如，ROI 3250可以是头部OOI 3285的前额或脸颊。在一些实施方案中，可根据图像分割来识别OOI 3285和/或ROI 3250。例如，电子设备3105可将视频数据分割成多个图像片段并可从图像片段识别OOI 3285和/或ROI 3250。

在一些实施方案中，可使用边界框来检测OOI 3285和/或ROI 3250。边界框可包括亮度分量、蓝色差分色度、红色差分色度(YCbCr)颜色空间。例如，OOI 3285和/或ROI 3250可被识别为由YCbCr边界框界定的区域。在一些实施方案中，电子设备3115可检测和跟踪一个或多个OOI 3285并可检测和跟踪每个OOI 3285内的一个或多个ROI 3250。

图10C是根据本公开的一个或多个实施方案的示出视频数据3120的示意性框图。视频数据3120可包括多个时间序列3125的像素3225。时间序列3125的像素3225可形成图像。视频数据3120可在存储器中组织数据结构。时间序列3125可以是顺序的。时间序列3125可从视频数据随机采样。数据结构可以是图像的随机样本或它们的任何组合。像素3225可以是RGB、YCbCr、确定颜色的任何其他手段、热像素、UV像素或它们的任何组合。

图10D是根据本公开的一个或多个实施方案的示出超像素时间序列3195的示意性框图。超像素时间序列3195可被组织为存储器中的数据结构。在所绘的实施方案中，如图10C所示的像素组3225可被组织成超像素3240。下文在图14中描述了超像素3240的生成。可从视频数据3120的每个超像素3240生成多个时间序列3125。

图11A是根据本公开的一个或多个实施方案的示出视频数据3120的示意性框图。视频数据3120可被组织为存储器中的数据结构。在所绘的实施方案中，视频数据3120可包括多个像素数据3205。像素数据3205可被组织成阵列并可存储亮度数据、对比度数据、颜色数据等。另外，像素数据3205的每个实例可包括像素标识符。像素标识符可以是存储器地址、矩阵索引等。

图11B是根据本公开的一个或多个实施方案的示出数据3440的示意性框图。OOI数据3440可被组织为存储器中的数据结构。OOI数据3440可描述OOI 285。在所绘的实施方案中，OOI数据3440可包括OOI标识符3430和/或多个像素标识符3435。OOI标识符3430可唯一地标识OOI 3285。像素标识符3435可参考可包括OOI 3285的像素3225的像素数据3205。

图11C是根据本公开的一个或多个实施方案的示出ROI数据3425的示意性框图。ROI数据3425可被组织为存储器中的数据结构。ROI数据3425可描述ROI 3250。在所绘的实施方案中，ROI数据3425可包括ROI标识符3445和多个像素标识符3435。ROI标识符3445可唯一地标识ROI 3250。像素标识符3435可参考可包括ROI 3250的像素3225的像素数据3205。

图11D是根据本公开的一个或多个实施方案的示出超像素数据3255的示意性框图。超像素数据3255可描述超像素3240。在所绘的实施方案中，超像素数据3255可包括超像素标识符3215、时间序列标识符3220、测量的像素值3265和多个像素标识符3435。

在一些实施方案中，超像素数据3255可被组织为存储器中的数据结构，并且可包括来自任何传感器数据的像素，如本文所述。

在一些实施方案中，超像素标识符3215可唯一地标识超像素3240。时间序列标识符3220可标识超像素3240的时间序列3125。在一些实施方案中，时间序列标识符3220指示序列中的位置。替代地，时间序列标识符3220可指示绝对和/或相对时间。像素标识符3435可参考可包括超像素3240的像素3225的像素数据3205。

在一些实施方案中，测量的像素值3265可包括表示ROI 3250中的像素的平均值的一个或多个值。这些值可以是一个或多个颜色值，诸如RGB值。另外，这些值可包括亮度值、对比度值等。

图11E是根据本公开的一个或多个实施方案的示出超像素模型3270的示意性框图。超像素模型3270可被组织为存储器中的数据结构。在所绘的实施方案中，模型3270可包括超像素标识符3215、时间序列标识符3220、测量的像素值3265、背景信号3460、心跳信号3465、呼吸率信号3467和传感器噪声信号3470。可包括的传感器信号是作为机器学习的结果的信号，诸如但不限于类概率图、特征图或它们的任何组合。如本文所述，其他传感器信号也可包括在超像素模型中。超像素模型还可包括作为机器学习的结果的信号，诸如但不限于类概率图、特征图、热图或它们的任何组合。

在一些实施方案中，超像素标识符3215可标识由模型3270表示的一个或多个超像素3240。时间序列标识符3220可标识由模型3270表示的一个或多个时间序列t 3125。例如，时间序列标识符3220可标识在两秒视频剪辑期间捕获的48个时间序列3125。测量的像素值y

在一些实施方案中，对于每个时间序列t 3125中的每个像素3225i，心跳信号h

1. y

在一些实施方案中，可假定传感器噪声信号3470是独立的、相同分布的高斯噪声。另外，可假定背景信号3460是平滑的。例如，可假定时间序列3125之间的背景信号3460的变化小于背景阈值。在一些实施方案中，可将背景信号3460建模为一阶马尔可夫随机过程。可使用一阶马尔可夫随机过程的自回归模型对背景信号3460建模。在一些实施方案中，可假定心跳信号3465在每个超像素3240中是相同的。例如，可假定h

图12是根据本公开的一个或多个实施方案的示出心率估计过程3101的流程图。过程3101可由电子设备3105执行。图14中更详细地描述了过程3101。在所绘的实施方案中，OOI模块3320、ROI模块3325、超像素计算器3330、预处理器3335、建模器3340、优化器3345和/或心率检测器3350可执行过程3101。OOI模块3320、ROI模块3325、超像素计算器3330、预处理器3335、建模器3340、优化器3345、心率检测器3350、呼吸率检测器3355和/或任何其他检测器可在半导体硬件和/或由处理器执行的代码中实施。

在一些实施方案中，OOI模块3320可从电子设备3105的相机接收视频数据3120并检测OOI 3285。OOI模块3320可使用相机来跟踪OOI 3285并生成描述OOI 3285的OOI数据3440。ROI模块3325可接收OOI数据3440并识别OOI 3285内的ROI 3250。ROI模块3325可生成描述ROI 3250的ROI数据3425。

在一些实施方案中，超像素计算器3330可接收ROI数据3425并生成超像素时间序列3195中的超像素3240。预处理器3335可对超像素时间序列3195进行预处理以从超像素时间序列3195去除干扰信号并生成经预处理的超像素时间序列3290。

在一些实施方案中，建模器3340可根据超像素时间序列3195和/或经预处理的超像素时间序列3290来生成超像素模型3270。优化器3345可根据超像素模型3270来计算心跳信号3255。在一些实施方案中，优化器3345可根据超像素模型3270和经预处理的超像素时间序列3290来计算心跳信号3465。心率检测器3350可根据心跳信号3465来计算心脏特性，诸如但不限于心率3480、心跳间间隔3475和/或心率变化性3490。呼吸率检测器3355可根据呼吸信号来计算呼吸特性，诸如但不限于呼吸率3367、呼吸率变化性和它们的任何组合。

图13是根据本公开的一个或多个实施方案的示出计算机3400的示意性框图。计算机3400可体现在电子设备3105中。计算机3400可包括处理器3405、存储器3410和通信硬件3415。存储器3410可以是计算机可读存储介质，诸如半导体存储设备、硬盘驱动器、全息存储设备、微机械存储设备或它们的组合。存储器3410可存储代码。处理器3405可执行代码。通信硬件3415可与其他设备进行通信。

图14是根据本公开的一个或多个实施方案的心脏特性估计方法3500的流程图。方法3500可远程估计心脏特性，诸如但不限于心率、心跳间间隔和心率变化性。方法3500可由电子设备3105中的处理器3405和/或OOI模块3320、ROI模块3325、超像素计算器3330、预处理器3335、建模器3340、优化器3345和心率检测器3350执行。

在一些实施方案中，当电子设备3105从电子设备的相机接收3505视频数据3120时，在一些实施方案中，方法3500可开始。在一些实施方案中，可接收视频数据3120作为像素3225的一个或多个时间序列3125。

在一些实施方案中，电子设备3105还可检测3510视频数据3120的每个图像中的OOI 3285。该图像可包括时间序列3125的像素3225。OOI 3285可以是主体和/或主体3115的身体部位，诸如头部、颈部以及臂、腿等。在一些实施方案中，可使用对视频数据3120的RGB像素的级联对象检测来检测OOI 3285。

在一些实施方案中，电子设备3105还可跟踪3515视频数据3120的每个图像中的OOI 3285。在一些实施方案中，可使用来自红外相机和/或多光谱相机的红外波段信息来跟踪OOI 3285。电子设备3105可生成表示OOI 3285的OOI数据3440

在一些实施方案中，电子设备3105可识别3520OOI 3285内的一个或多个ROI3250。ROI 3250可以是身体部位的区域，诸如前额、手腕等。在一些实施方案中，使用图像分割来识别ROI 3250。电子设备3105可生成表示ROI 3250的ROI数据3425。

在一些实施方案中，电子设备3105可根据视频数据3120和ROI数据3425在每个ROI3250中生成3525超像素3240。在一些实施方案中，每个超像素3240可包括指定数量的像素3225。替代地，每个超像素3240可由具有在值范围内的测量的像素值3265的相邻像素3225形成。

在一些实施方案中，电子设备3105还可生成3530视频数据3120的每个图像中的多个超像素3240的超像素时间序列3195。在一些实施方案中，一个或多个顺序超像素3240可级联以形成超像素时间序列3195。替代地，可选择一个或多个非顺序超像素3240并将其级联以形成超像素时间序列3195。

在一些实施方案中，电子设备3105可从超像素时间序列3195去除3535干扰信号。干扰信号的去除可以是预处理。在一些实施方案中，可使用去趋势来去除3535干扰信号。可通过将背景信号3460建模为高斯过程来执行去趋势。替代地，可通过将超像素时间序列3195与从界定主体3115的面部的面部框的位置和从视频数据3120中的其他区域导出的辅助信号去相关来执行去趋势。在一些实施方案中，从超像素时间序列3195去除3535干扰信号可包括进行带通滤波以去除超出正常心率的频带的信号。例如，可从超像素时间序列3195过滤掉频率低于40次/分钟(bpm)且高于170bpm的信号。

在一些实施方案中，电子设备3105可将超像素时间序列3195建模3540为超像素模型3270。在一些实施方案中，以等式1的形式对超像素时间序列3195建模。

在一些实施方案中，电子设备3105可使用超像素模型3270来计算3545心跳信号3465。在一些实施方案中，可通过受制于等式3和4优化等式2来计算3545心跳信号3465和背景信号3460。在一些实施方案中，在时间序列3125中，关于i的和可在多个超像素3240上，并且关于t的和可在多个超像素3240上，λ

[H]

[h]

在一些实施方案中，替代地，可通过优化等式5来计算3545心跳信号3465和背景信号3460，其中D由等式6给出，并且P由等式7给出，并且α和β是用户可选择常数，其可生成背景信号3460的平滑度和/或心跳信号3465的可预测性。向量u可包括背景信号的样本，并且向量h可包括心跳信号的样本。预测系数p

/>

在一些实施方案中，电子设备3105可根据心跳信号3465来计算3550心跳特性，并且方法3500结束。心跳特性可包括心率3480、心跳间间隔3475和/或心率变化性3490。电子设备3105可使用心跳信号3465的机器学习分析、心跳信号3465的傅立叶变换的峰、心跳信号3465的功率谱密度、心跳信号3465的过零率和/或心跳信号3465的滑动相关分析中的一者或多者来计算3550心率3480。

本文公开的实施方案可根据视频数据来检测OOI 3285，可跟踪OOI 3285，并且可识别OOI 3285中的ROI 3250。本文公开的实施方案还可根据ROI 3250内的像素3225来生成超像素3240。另外，本文的实施方案可用于生成超像素时间序列3195和将超像素时间序列3195建模为超像素模型3270。超像素模型3270可用于计算心跳信号3265和其他心脏特性。因此，实施方案可远程估计一个或多个主体3115的心率3480。实施方案可允许例如远程估计动物的心率3480、在人类主体3115可能活动的情况下估计主体3115的心率3480，以及快速地确定心率3480。因此，本文所述的实施方案可提供用于远程估计心率3480的实际且有效的方式。

呼吸率

图15A是根据本公开的一个或多个实施方案的呼吸事件识别系统4100的示意性框图。本文所示的呼吸事件识别系统3100可例如用于确定如在用于监视婴儿并与之交互的基于计算机的系统的算法流程图200中所用的婴儿特定特征225的呼吸检测或用于检测如本文所公开的其他婴儿监视和交互过程中的任一者所需的婴儿呼吸率。系统4100可根据由相机4105捕获的主体4110的视频流来识别主体4110的呼吸事件和/或大范围运动。另外，如果未识别出呼吸事件并且未识别出大范围运动，则系统4100可生成提醒。在一些实施方案中，系统4100还可包括监视设备4123。监视设备4123可包括相机4105、麦克风4115、硬件模块4116和/或运动检测器4117。另外，监视设备4123可包括显示器4119和/或扬声器4121。在一些实施方案中，硬件模块4116可包括专用半导体电路。专用半导体电路可包括存储器。另外，硬件模块4116可包括计算机。

在一些实施方案中，相机4105可捕获主体4110的视频流4120。相机4105可采用在0.8微米至2.5微米的范围内的带通滤波器。另外，相机4105可采用调谐到1.5微米的电荷耦合器件(CCD)。相机4105可捕获视频流作为红外图像帧。

在一些实施方案中，当主体4110可能有停止呼吸的风险时，可监视主体4110以识别呼吸率和/或检测呼吸停止，使得可给予及时帮助。此外，可使用非入侵性监视来识别呼吸事件，因此主体4110不受干扰。

在一些实施方案中，可光学地和可听地检测呼吸事件。例如，可使用婴儿监视器以通过由相机4105捕获的婴儿的视频(图像序列)和/或由麦克风4115捕获的婴儿的呼吸的声音来监视婴儿的呼吸。不幸地，在识别呼吸事件时，正误识和负误识的影响可能很大，因此监视可能需要极其准确地检测呼吸事件。

本文所述的实施方案基于视频流来识别呼吸事件和/或大范围运动，如下文将描述。实施方案还基于呼吸事件来生成提醒、呈现显示和呈现统计。

图15B是根据本公开的一个或多个实施方案的呼吸报告4165的示意性框图。呼吸报告4165可被组织为存储器中的数据结构。在所绘的实施方案中，呼吸报告4165可包括呼吸率4231、最大呼吸间间隔4233、最小呼吸间间隔4235、呼吸间间隔统计4237、呼吸间间隔直方图4239和/或呼吸暂停事件数据4241。

在一些实施方案中，呼吸率4231可表示呼吸频率。最大呼吸间间隔4233可指定呼吸事件之间的最长间隔。最小呼吸间间隔4235可指定呼吸事件之间的最短间隔。呼吸间间隔统计4237可指定呼吸事件之间的间隔的均值、平均值和模式中的一者或多者。呼吸间间隔直方图4239可描述呼吸事件之间的呼吸间隔的相对频率。呼吸间隔可被组织成一个或多个范围。

在一些实施方案中，呼吸暂停事件数据4241可根据呼吸率4231、最大呼吸间间隔4233、最小呼吸间间隔4235、呼吸间间隔统计4237和呼吸间间隔直方图4239来计算。呼吸暂停事件数据4241可用于识别睡眠呼吸暂停事件。

图15C是根据本公开的一个或多个实施方案的运动报告4160的示意性框图。运动报告4160可被组织为存储器中的数据结构。在所绘的实施方案中，运动报告4160可包括运动频率4243、运动幅度4245、运动持续时间4247、睡眠长度4249、睡眠质量4251和睡眠间隔4253。

在一些实施方案中，运动频率4243可描述主体4110的大范围运动的频率。运动幅度4245可描述受每个运动影响的像素的数量。运动持续时间4247可描述主体4110从每个大范围运动的开始到结束的持续时间。

在一些实施方案中，睡眠长度4249可描述主体4110在此期间睡着的时间间隔的长度。睡眠质量4251可估计主体4110的睡眠的安宁度。睡眠间隔4253可描述主体4110在此期间睡着的每个间隔。

图15D是根据本公开的一个或多个实施方案的呼吸数据的示意性框图。呼吸数据可被组织为存储器中的数据结构。在所绘的实施方案中，呼吸数据可包括视场策略4261、事件时间间隔4263、呼吸事件4265和大范围运动4267。

在一些实施方案中，视场策略4261可指定何时可通过相机4105令人满意地观看主体4110。事件时间间隔4263可指定在此期间可识别主体4110的呼吸事件4265和/或大范围运动4267以免生成提醒的时间间隔。呼吸事件4265可以是主体4110的识别的呼吸。大范围运动4267可指示主体4110的运动。运动可使确定呼吸事件4265变得不可能。

图16A是根据本公开的一个或多个实施方案的示出图像帧4005中的区域4003的示意图。在所绘的实施方案中，图像帧4005被划分为一个或多个区域4003的矩形网格。在一些实施方案中，所有区域4003可具有矩形形状并可在大小上相等。

图16B是根据本公开的一个或多个实施方案的示出图像帧4005中的区域4003的示意图。在所绘的实施方案中，图像帧4005可被划分为圆形区域4003。区域4003不重叠，并且图像帧4005的一些像素不包括在任何区域4003中。

图16C是根据本公开的一个或多个实施方案的示出图像帧4005中的区域4003的示意图。在所绘的实施方案中，图像帧4005可被划分为圆形区域4003。区域4003可重叠，使得图像帧4005的一些像素包括在两个或更多个区域4003中，而其他像素不包括在任何区域4003中。

图16D是根据本公开的一个或多个实施方案的示出图像帧4005中的用户选择的区域4003的示意图。使用接口，用户可用定义用户选择区域4217的用户输入来识别图像帧4005中可能被主体4110占据的像素。当提供用户输入时，可通过划分用户选择区域4217来获得区域4003。

图16E是根据本公开的一个或多个实施方案的呼吸事件识别状态的示意性框图。所绘的实施方案可包括状态机的正常呼吸状态4201、警报状态4203和运动状态4205。当由监视设备4123在警报状态4203或运动状态4205下检测到正常呼吸时，状态机转变到正常呼吸状态4201。正常呼吸可由事件时间间隔4263内的呼吸事件4265指示。当由监视设备4123在警报状态4203或正常呼吸状态4201下检测到大范围运动4267时，状态机转变到运动状态4205。在一些实施方案中，在事件时间间隔4263内检测到大范围运动4267。如果监视设备4123在正常呼吸状态4201或运动状态4205下未检测到正常呼吸和运动，则状态机转变到警报状态4203。在一些实施方案中，需要在事件时间间隔4263内检测到正常呼吸和/或大范围运动4267，否则状态机转变到警报状态4203。图17A中更详细地描述了呼吸事件识别状态的使用。

图17A是根据本公开的一个或多个实施方案的呼吸事件识别过程4103的示意性框图。主体的视频流4120可包括可由相机4105捕获的图像帧4005。相机4105可输出图像帧4005。图像帧4005可以许多不同格式产生，包括具有红色、绿色和蓝色通道的彩色图像、灰度图像、红外图像、深度图像。某些格式可能衍生自其他格式。例如，灰度图像帧4005可根据红色、绿色和/或蓝色图像来计算。

在一些实施方案中，可应用一系列操作来提取呼吸信号4183。操作可执行的次序可变化。区域和操作4170可计算区域和4002。区域和操作4170可将位于图像帧4005的区域4003中的所有像素强度相加在一起。区域4003可具有不同形状。例如，图像帧4005可被划分为区域的矩形网格，如图16A所示。区域可以是圆形的，如图16B至图16D所示。区域可以是跨图像的竖直线或水平线。也可使用除直线之外的其他轮廓。区域可如图16C所示那样重叠或如图16B所示那样不重叠。并非图像帧4005中的每个像素都需要被包括在如图16B至图16C所示的区域中。

在一些实施方案中，对区域4003的选择可由用户通过图形用户界面的输入来引导，如图16D所示。一旦执行具有用户输入的区域选择，区域4003就可在处理的剩余部分期间保持固定。在一些实施方案中，可不需要计算区域和4002。在一些实施方案中，可直接地对像素强度执行后续操作。

在一些实施方案中，区域和操作4170的输出可以是向量时间序列4006，其中每个区域的向量中有一个元素。当不计算区域和4002时，向量可包括图像帧中的每个像素的一个元素。

在所绘的实施方案中，可在计算区域和4002之后应用去趋势操作4175。然而，区域和操作4170和去趋势操作4175可按相反次序执行，如图17B所示。去趋势操作4175可去除区域4003中的信号均值。去趋势操作4175还可对区域4003的信号的振幅进行归一化。由于区域和操作4170可在空间上跨一个图像帧4005组合像素，去趋势操作4175可在时间维度上对信号进行操作。可不需要去趋势操作4175。在一些实施方案中，可不执行去趋势操作4175。由去趋势操作4175输出的向量时间序列4006的维度可与其对去趋势操作4175的输入相同。

在一些实施方案中，呼吸信号操作4185可估计呼吸信号4183。在一些实施方案中，可使用稀疏加低秩分解，如下文在图17C中所示。在一些实施方案中，呼吸信号操作4185可使用子空间跟踪。呼吸可导致可集中在图像帧4005的先验未知的区域中的像素强度发生小变化。呼吸自身表现为某些区域和4002的准周期性变化。并非所有区域和4002都受呼吸影响。在存在呼吸的区域中，呼吸信号4183的相位可与其他区域中的呼吸信号4183的相位相反。呼吸信号操作4185可自动地组合表现出呼吸的区域和4002并忽略未表现出呼吸的那些区域和4002。该自动呼吸信号操作4185还可考虑存在呼吸的区域4003中的呼吸信号4183的相位。

在一些实施方案中，用于组合区域和4002的一个过程可以是使用线性组合。线性组合中的系数可被设定为包括存在呼吸的区域4003并排除不存在呼吸的区域4003。当系数被设定为零时，对应区域和4002可不包括在呼吸信号的最终估计中。当系数为非零时，对应区域和4002可包括在线性组合中。系数的代数符号(正或负)可用于相干地组合区域和4002并考虑在每个区域和4002中的呼吸信号4183的相位。可自动地选择区域和4002的线性组合中的权重和/或系数以包括存在呼吸的区域4003并可排除不存在呼吸的区域4003。所得的线性组合可以是标量值时间序列，其是最终呼吸信号4183。子空间跟踪可用于自动地调整线性组合中的系数。在一些实施方案中，奇异值分解可用于子空间跟踪。

在一些实施方案中，可使用自适应子空间算法，诸如适于图像处理的投影近似子空间跟踪(PAST)。自适应子空间算法可自适应地更新传入像素向量所跨越的像素向量空间的正交基的估计。通过自适应子空间算法学习的主基向量可用作线性组合中的系数。另外，自适应子空间算法中的步骤中的一者可以是计算线性组合。因此，自适应子空间算法可计算呼吸信号4183的估计。

在一些实施方案中，自适应子空间算法可应用于区域和的向量4002。该自适应子空间算法也可应用于原始图像帧4005中的原始像素。自适应子空间算法也可应用于从稀疏加低秩分解获得的运动对象的视频流。也可使用用于子空间跟踪和子空间更新的替代算法。

在一些实施方案中，在估计呼吸信号4183之后，可执行呼吸分析操作4195并可产生呼吸报告4165。呼吸报告4165可包括多种信息，包括当前呼吸率4231。呼吸率4231可在呼吸报告4165中保存一段时间，使得可分析和报告呼吸历史。还可能报告呼吸变化性。不规律呼吸和呼吸异常可能是令人感兴趣的。呼吸分析可包括最小呼吸间间隔4233、最大呼吸间间隔4235和/或呼吸间间隔统计4237，诸如均值、中值、模式、标准差等。可计算呼吸间间隔直方图4239。可对呼吸暂停事件进行计数并加时间戳作为呼吸暂停事件数据4241。

在一些实施方案中，运动操作4190可生成运动报告4160。运动操作4190可采用图16E的呼吸事件识别状态。只有当主体相对静止时才能准确地测量呼吸。当例如正在睡觉的婴幼儿在婴儿床上翻身时，大范围运动4267导致图像像素的高强度变化，从而产生大区域和值。这掩蔽了呼吸信号4183。因此，可检测到大范围运动4267。如果主体的呼吸停止，看护人将期望得到提醒，以便做出响应并将儿童救醒。关于运动的信息可包括在区域和4002中。可使用经典校假设检验来检测运动。零假设是指不存在运动的情况。另一种选择是存在运动。运动可能导致区域和的方差显著增加，从而检测到运动。可应用经典检测方法。也可应用机器学习技术。

在一些实施方案中，大范围运动4267和呼吸事件265两者的不存在可指示应当生成提醒。可分析区域和4002以检测所有运动和呼吸何时停止。估计的呼吸信号4183可提供附加信息。区域和4002和呼吸信号4183可被馈送到运动操作4190中。运动操作4190可采用图16E的呼吸事件识别状态。在正常呼吸状态4201与运动状态4205之间的转变可由硬件模块4116检测。当所有大范围运动4267趋于零时和当呼吸信号4183下降到低于规定水平和/或未检测到呼吸事件4265时，可进入警报状态4203。

在一些实施方案中，可生成运动报告4160并向用户提供信息。运动和呼吸信息可用于评估睡眠长度4249和睡眠质量4251。睡眠间隔4253的开始和结束可加时间戳。

图17B是根据本公开的一个或多个实施方案的呼吸事件识别过程4103的示意性框图。图17A的过程4103被示出为具有在区域和操作4170之前执行的去趋势操作4175。

图17C是根据本公开的一个或多个实施方案的运动对象生成过程4101的视频流的示意图。过程4101可根据可包括对象4110的图像帧4005的视频流4120来生成运动对象4150的视频流。过程4101可从相机4105接收视频流4120。视频流4120可包括由光标t索引的图像帧序列I(t)4005。另外，视频流4120可包括一个或多个通道，该一个或多个通道可包括但不限于光学彩色图像通道，诸如红-绿-蓝(RGB)通道、灰度图像通道和红外图像通道。

在一些实施方案中，过程4101可定义窗口长度N。该过程还可从视频流4120提取窗口化视频子序列4145作为序列I(t-N+1)、I(t-N+2)、I(t-N+3)、……、I(t-2)、I(t-1)、I(t)。过程4101可将窗口化视频序列组织成矩阵X 4125。在一些实施方案中，X 4125可以是M×N的矩阵，并且可包括M个行和N个列。

在一些实施方案中，M可被计算为视频流4120的图像帧4005的高度(以像素为单位)、视频流4120的图像帧4005的宽度(以像素为单位)和视频流4120的图像帧中的通道数量的积。因此，矩阵X 4125可组织为多个向量，其中窗口化视频序列4145中的每个图像帧I有一个向量。矩阵X 4125的组织可简化和增强对呼吸事件4265的计算。

在一些实施方案中，过程4101可将矩阵X 4125分解为表示运动对象的稀疏矩阵S4130和表示非运动对象的低秩矩阵L 4135，如下文将描述。在一些实施方案中，矩阵X 4125的分解可包括加性噪声矩阵N 4140。

在一些实施方案中，过程4101可从稀疏矩阵S130重建运动对象4150的视频流。在一些实施方案中，运动对象4150的重建的视频流的每个像素可包括缩放器时间序列。替代地，运动对象4150的重建的视频流的每个像素可包括向量时间序列。在一些实施方案中，可从运动对象4150的视频流提取对应于窗口化视频序列4145的滑动稀疏子序列4155。

图18A是根据本公开的一个或多个实施方案的示出热图4363的图。在所绘的实施方案中，主体4110的视频流4120被示出为具有叠加在视频流4120上的热图4363。在一些实施方案中，来自多个呼吸事件4265的呼吸率4231可被编码为热图4363。热图4363可叠加在视频流4120上以显示给用户。

图18B是根据本公开的一个或多个实施方案的示出热图4363的图。在所绘的实施方案中，主体4110的视频流4120(诸如主体4110的胸部区域)被示出为具有叠加在视频流4120上的热图4363。热图4363可用主体4110的大范围运动4267编码。在一些实施方案中，热图4363可对主体4110的运动幅度4245进行编码。

图18C是根据本公开的一个或多个实施方案的计算机4400的示意性框图。计算机4400可体现在硬件模块4116中。在所绘的实施方案中，计算机可包括处理器4405、存储器4410和通信硬件4415。存储器4410可包括半导体存储设备。存储器4410可存储代码。处理器4405可执行代码。通信硬件4415可与监视设备4123的其他元件和/或其他设备(诸如移动电话网络或Wi-Fi网络)通信。

图18D是根据本公开的一个或多个实施方案的神经网络4475的示意性框图。在所绘的实施方案中，神经网络4475可包括一个或多个隐藏神经元4455。隐藏神经元4455可从一个或多个输入神经元4450接收输入并可与一个或多个输出神经元4460通信。输出神经元4460可指示预测，诸如正常呼吸和/或运动。神经网络4475可用一个或多个视频流4120和对应于一个或多个视频流4120的一个或多个运动报告4160和/或呼吸报告4165进行训练。另外，实时视频流4120可呈现给经训练神经网络4475的输入神经元4450，并且输出神经元4460可生成当前运动报告4160和/或当前呼吸报告4165。

图19A是根据本公开的一个或多个实施方案的呼吸信号估计方法4500的流程图。方法4500可生成呼吸报告4165、运动报告4160和/或生成提醒。方法4500可由监视设备4123执行。

在一些实施方案中，方法4500开始于相机4105可捕获4505主体4110的视频流4120。可在不干扰主体4110的情况下捕获4505视频流4120。在一些实施方案中，可在红外光谱中捕获4505视频流4120。

在一些实施方案中，硬件模块4116可检验4515相机4105的视场满足视场策略4261。在一些实施方案中，如果主体4110占据相机4105的视场的至少10％，则可满足视场策略4261。硬件模块4515可调整相机4105的视场，直到可满足视场策略4261。

在一些实施方案中，硬件模块4116可为视频流4120生成4525向量时间序列4006。时间向量序列4006可包括视频流4120的每个图像帧4005的向量。硬件模块4116可将每个图像帧4005分为区域4003。另外，硬件模块4116可对每个区域4003中的像素值求和以作为像素和，如图17A至图17B所述。

在一些实施方案中，硬件模块4116可通过将每个图像帧4005分为区域4003并去除每个区域4003中的信号均值来生成4525向量时间序列4006，如图17A至图17B所述。在一些实施方案中，可从像素和去除信号均值。

在一些实施方案中，硬件模块4116可根据向量时间序列4006来估计4530呼吸信号4183。可根据重建的视频流来估计4530呼吸信号4183，如下文在图19B中所述。另外，可通过将自适应子空间算法应用于向量时间序列4006的每个向量来估计4530呼吸信号4183。硬件模块4116还可根据呼吸信号4183来估计呼吸事件4265。

在一些实施方案中，硬件模块4116可生成4535呼吸报告4165。可基于呼吸信号4183和/或呼吸事件4265来生成4535呼吸报告4165。

在一些实施方案中，硬件模块4116可基于向量时间序列4006和/或呼吸信号4183来确定4540主体4110的大范围运动4267和呼吸事件4265中的一者。硬件模块4116还可基于大范围运动4267来生成4545运动报告4160。

在一些实施方案中，硬件模块4116可生成4550提醒，并且方法4500结束。可通过扬声器4121传递提醒。另外，可通过显示器4119传递提醒。替代地，可通过另一种设备(诸如移动电话)传递提醒。

在一些实施方案中，如果在事件时间间隔4263内未识别出呼吸事件4265并且未识别出主体4110的大范围运动4267，则可生成4550提醒。例如，如果在事件时间间隔4263期间未从呼吸信号4183识别出呼吸事件4265并且在事件时间间隔4263内未识别出主体4110的大范围运动4267，则呼吸事件识别状态可转变到警报状态4203，从而生成提醒。

图19B是根据本公开的一个或多个实施方案的呼吸事件识别方法4600的流程图。方法4600可从视频流4120中识别呼吸事件4265。方法4600可由相机4105、硬件模块4116和/或存储代码的存储器4420中的一者或多者执行。

在一些实施方案中，方法4600开始并且硬件模块4116可从视频流4120提取4605窗口化视频子序列4145。另外，硬件模块4116可将窗口化视频子序列4145组织4610成矩阵X4125，如在图16A至图16C中所述。

在一些实施方案中，硬件模块4116可将矩阵X 4125分解4615为稀疏矩阵S 4130和低秩矩阵L 4135。在一些实施方案中，可使用等式1来分解4615矩阵X 4125。

X＝S+L+N 等式8

在一些实施方案中，硬件模块4116还可将矩阵S 4130初始化为S＝0。另外，硬件模块4116可使用等式2来计算低秩矩阵L 4135。

L＝mean(X-S) 等式9

在一些实施方案中，“mean”运算符可返回与输入X-S具有相同维度的矩阵L，其中L的第i行上的每个元素是输入X-S的对应行的均值(平均值)。

在一些实施方案中，硬件模块4116可使用等式3来计算矩阵S4130的每个像素，其中S

硬件模块4116可迭代地重复等式2和等式3的计算，直到满足停止条件，从而产生稀疏矩阵S 4130。

在一些实施方案中，硬件模块4116还可根据稀疏矩阵S 4130来重建4620运动对象4150的视频流。在一些实施方案中，可将稀疏矩阵S 4130的每个列向量重建4620为运动对象4150的视频流的视频帧。

在一些实施方案中，硬件模块4116可针对多个窗口化视频序列4145根据多个稀疏矩阵S 4130来重建4620运动对象4150的视频流，并且方法4600结束。硬件模块4116可组合每个稀疏矩阵S 4130的对应向量以重建4620运动对象4150的视频流。

在一些实施方案中，硬件模块4116可计算625运动对象4150的重建的视频流的每个像素时间序列的归一化自相关。硬件模块4116可响应于在指定数量的连续时间段上持续的运动对象4150的重建的视频流的给定像素的自相关峰而识别4630呼吸事件4265，并且方法4600结束。自相关峰的时滞可指示呼吸周期。时滞的倒数可指示呼吸率。

在一些实施方案中，使用运动对象4150的重建的视频流会减少计算呼吸信号4183的计算开销。因此，可使用有限的处理能力来计算呼吸信号4183。因此，可以显著降低的成本制造监视设备4123。另外，监视设备4123可消耗更少的电力，并且可由电池供电。因此，可显著提高监视设备4123的效用。

图19C是根据本公开的一个或多个实施方案的呼吸事件通信方法4700的流程图。方法4700可基于呼吸事件对信息进行编码并传递该信息。方法4700可由监视设备4123执行。

在一些实施方案中，方法4700开始，并且硬件模块4116可对来自多个呼吸事件的呼吸率4231进行编码4705。在其他实施方案中，呼吸率4231可被计算为多个呼吸事件4265中的每一者之间的平均时间间隔的函数。硬件模块4116还可将呼吸率4231编码4705为热图4363。在一些实施方案中，可向在正常范围内的呼吸率4231指派第一热图值，而可向在正常范围外的呼吸率指派第二热图值。替代地，热图值可等于呼吸率4231的函数。

在一些实施方案中，硬件模块4116还可将运动对象4150的视频流的运动对象编码4710为热图4363。每个像素的运动对象值可被计算为包括运动对象的滑动稀疏子序列4155中的对应像素的数量的函数。每个像素的热图值可以是运动对象值。

在一些实施方案中，硬件模块4116可将热图4363叠加4715在视频流4120上以显示给用户。热图可叠加在视频流4120的通道(诸如α通道)中。例如，图像帧和/或像素的α通道可作为图像帧的和/或像素的热图值的函数进行修改。

在一些实施方案中，硬件模块4116可使用显示器4119向用户呈现4720统计，并且方法4700结束。可通过r:4视频流4120呈现4620统计。统计可包括运动报告4160和/或呼吸报告4165的信息。

在一些实施方案中，一种用于监视婴儿的系统可包括：

光学子系统；

双向音频系统；

传感器，该传感器选自由以下项组成的组：呼吸检测器、心率检测器和它们的任何组合；

用户接口，该用户接口被配置为提供由以下项组成的组的成员：对至少一个用户的提醒、与用户的单向通信、与至少一个用户的双向通信；

温度控制子系统，该温度控制子系统用于将至少一种食品维持在至少一个预定温度；以及

处理单元，该处理单元与成像设备、双向音频系统、用户接口和温度控制子系统通信，该处理单元被配置为根据由成像设备生成的婴儿的图像来确定婴儿的至少一个行为状态并根据该行为状态来生成至少一个响应；

其中至少一个响应选自由以下项组成的组：向婴儿提供音频、向婴儿提供视频、向用户提供提醒、提供婴儿与用户之间的双向通信、变更至少一种食品的温度或它们的任何组合。

在一些实施方案中，该系统可包括至少一个投影仪以用于生成视觉信号。

在一些实施方案中，该系统可被配置为经由用户接口接收音频信号和视觉信号中的至少一者，以及向婴儿显示音频信号和视觉信号中的至少一者。

在一些实施方案中，该系统可被配置为向婴儿显示预录制的音频信号和视觉信号中的至少一者。

在一些实施方案中，该系统可被配置为向婴儿显示交互式的音频信号和视觉信号中的至少一者。

在一些实施方案中，婴儿的呼吸率和婴儿的至少一个心跳率中的至少一者可在系统与婴儿之间没有接触的情况下确定。

在一些实施方案中，该系统可被配置为根据婴儿的图像来确定婴儿的呼吸率和婴儿的心跳率中的至少一者。

在一些实施方案中，婴儿的呼吸率和婴儿的心跳率中的至少一者可经由光电体积描记术(PPG)来测量。

在一些实施方案中，该系统可被配置为当心跳率超出40次至180次/分钟的范围时生成提醒。

在一些实施方案中，该系统可被配置为当对婴儿的呼吸率和婴儿的心跳率中的至少一者的确定频率在每0.1s一次与每20s一次之间的范围内时生成提醒。

在一些实施方案中，该系统可被配置为根据身体的一部分(诸如面部、颈部、躯干、臂、手、腿和/或脚)的暴露皮肤的皮肤像素来确定心跳率。

在一些实施方案中，婴儿的行为状态可包括睡着状态、清醒状态、醒来状态、疲劳状态、警觉状态、无聊状态、痛苦状态、入睡状态和/或饥饿状态。

在一些实施方案中，该系统可被配置为实现婴儿与用户之间的双向通信。

在一些实施方案中，该系统可被配置用于多个用户。

在一些实施方案中，温度控制器可包括珀耳帖设备、红外加热器、加热罩、加热带、微波源、热空气源、冷却罩、冷空气源、循环冷液体源和/或蒸发冷却源。

在一些实施方案中，温度控制器可经由提供加热和冷却的单个设备来控制温度。

在一些实施方案中，温度控制器可经由用于加热和冷却的不同设备来控制温度。

在一些实施方案中，该系统还可包括温度检测器以用于检测婴儿的温度。

在一些实施方案中，温度检测器可以是非接触式温度检测器。

在一些实施方案中，温度检测器可选自由以下项组成的组：红外温度计、红外温度传感器、热成像系统、红外热像系统、热成像相机和辐射热计。

在一些实施方案中，该系统可被配置为测量血氧水平。

在一些实施方案中，血氧水平可经由光电体积描记术(PPG)来测量。

在一些实施方案中，该系统可被配置为经由包括以下项的步骤来确定心跳率：

根据视频数据检测感兴趣对象(OOI)；

跟踪OOI；

识别OOI内的感兴趣区域(ROI)；

根据ROI内的像素生成超像素；

生成超像素时间序列；

将超像素时间序列建模为超像素模型；

使用超像素模型来计算心跳信号和另一个心脏特性中的至少一者；以及

根据心跳信号远程估计心跳率。

在一些实施方案中，处理器可被配置为经由包括以下项的步骤来确定呼吸率：

根据视频数据检测感兴趣对象(OOI)；

跟踪OOI；

识别OOI内的感兴趣区域(ROI)；

根据ROI内的像素生成超像素；

生成超像素时间序列；

将超像素时间序列建模为超像素模型；

使用超像素模型来计算呼吸信号和另一个呼吸特性中的至少一者；以及

根据呼吸信号远程估计呼吸率。

在一些实施方案中，可经由人工智能(AI)(例如，机器学习模型)自动地确定婴儿的至少一个行为状态。

在一些实施方案中，可经由AI自动地生成对至少一个行为状态的响应。

在一些实施方案中，用于安抚婴儿的检测反应环路可被配置为：

(1)提供安抚方法决策部件；

(2)从多个传感器收集数据；

(3)将数据传送到计算单元以创建每个响应系统的动作列表；

(4)使用动作列表，激活选自由以下项组成的组的安抚方法：通过声音进行安抚、投影仪显示安抚视频；以及激活振动单元；激活功能IoT设备；激活温度控制设备以更改食品的温度；控制环境光；激活IoT设备；向用户发送通知；

(5)重复从多个传感器收集数据；

(6)自动地修改安抚方法；以及

(7)重复第二步骤至第六步骤，直到婴儿得到安抚。

在一些实施方案中，用于安抚婴儿的检测反应环路还可包括以下步骤：将修改的安抚方法发送到众包安抚方法服务器来修改通用安抚方法决策部件。

在一些实施方案中，用于安抚婴儿的检测反应环路还可包括以下步骤：存储修改的安抚方法；

在一些实施方案中，安抚方法决策部件可预加载到系统中。

在一些实施方案中，安抚方法决策部件可仅本地使用。

在一些实施方案中，安抚方法决策部件可包括来自众包安抚方法服务器的至少一个参数。

在一些实施方案中，传感器选自由以下项组成的组：光学子系统、麦克风、声学/音频检测器和激光雷达。

在一些实施方案中，来自传感器的传感器输出数据可用于实施呼吸检测器、温度检测器和心率检测器。

在一些实施方案中，计算单元可位于作为相机计算处理器和/或单独处理器的部件中。

在一些实施方案中，计算单元可被配置为进行以下步骤：

从先验数据门取得历史数据；

从传感器数据门取得传感器数据；

分析传感器数据；

在ICDV计算器中，根据经分析的数据来生成所有响应系统的输入；

将所有响应系统的输入发送到ICDV响应代理池，该ICDV-响应代理池为每个计算代理生成ICVD值；

将ICVD值发送到响应方案计算器并为每个响应系统创建动作列表；

通过响应API池广播每个响应系统的动作列表；以及

通过先验数据门来更新动作、IPH和ICH。

在一些实施方案中，响应系统可包括音频、视频和提醒。

在一些实施方案中，ICDV响应代理池是计算代理。

在一些实施方案中，计算代理可包括由以下项组成的组的成员：每响应系统一个代理、用于多个响应系统的一个代理和/或用于至少一个系统的多个代理。

在一些实施方案中，ICDV响应代理池可根据经分析的传感器数据来生成至少一个ICDV值。

在一些实施方案中，可对多个至少一个ICDV值进行加权以确定ICDV值的相对重要性。

在一些实施方案中，加权可以是预定义的和/或AI生成的。

在一些实施方案中，用于安抚的声音可包括音乐、白/粉红噪声和/或用户的语音。

在一些实施方案中，用户的语音可以是记录的或实时的。

在一些实施方案中，安抚声音可表征为声音音量、声音类型和/或发出声音的时间长度。

在一些实施方案中，可通过开灯、关灯、调整照明水平和/或改变光的颜色来实施环境光水平变化。

在一些实施方案中，可经由移动应用程序、经由应用、经由内置OS通知、经由电话、经由电话呼叫、经由来自扬声器系统的声音和/或经由光信号向用户发送提醒通知。

在一些实施方案中，一种监视婴儿的方法可包括以下步骤：

提供用于监视婴儿的系统，该系统包括：

i.光学子系统；

ii.双向音频系统；

iii.多个传感器，该多个传感器输出传感器数据，该多个传感器被配置为实施呼吸检测和/或心率检测；

iv.用户接口，该用户接口被配置为提供由以下项组成的组的成员：对至少一个用户的提醒、与用户的单向通信、与至少一个用户的双向通信；

v.温度控制子系统，该温度控制子系统用于将至少一种食品维持在至少一个预定温度；以及

vi.处理单元，该处理单元与成像设备、双向音频系统、传感器、用户接口和温度控制子系统通信，该处理单元被配置为根据选自由以下项组成的组的婴儿信号来确定婴儿的至少一个行为状态并根据该行为状态生成至少一个响应：由成像设备生成的婴儿的图像、来自传感器的信号和它们的任何组合；

将光学子系统安放在婴儿的视觉范围内；

将双向扬声器安放在婴儿的听觉范围内；

将双向音频系统安放在婴儿的听觉范围内；

将传感器安放在婴儿的感测范围内；

激活用于监视婴儿的系统，从而生成婴儿信号；

根据婴儿信号确定婴儿的行为状态；

根据行为状态生成至少一个响应；以及

从由以下项组成的组选择至少一个响应：向婴儿提供音频、向婴儿提供视频、向用户提供提醒、提供婴儿与用户之间的双向通信和变更至少一种食品的温度。

在一些实施方案中，该方法可包括提供至少一个投影仪以用于生成视觉信号。

在一些实施方案中，该方法可包括经由用户接口接收音频信号和视觉信号中的至少一者，以及向婴儿显示音频信号和视觉信号中的至少一者。

在一些实施方案中，该方法可包括向婴儿显示预录制的音频信号和视觉信号中的至少一者。

在一些实施方案中，该方法可包括向婴儿显示交互式的音频信号和视觉信号中的至少一者。

在一些实施方案中，该方法可包括在系统与婴儿之间没有接触的情况下确定婴儿的呼吸率和婴儿的心跳率中的至少一者。

在一些实施方案中，该方法可包括根据婴儿的图像来确定婴儿的呼吸率和婴儿的心跳率中的至少一者。

在一些实施方案中，该方法可包括经由光电体积描记术(PPG)来测量婴儿的呼吸率和婴儿的心跳率中的至少一者。

在一些实施方案中，该方法可包括当心跳率超出40次至180次/分钟的范围时发送提醒。

在一些实施方案中，该方法可包括以下步骤中的至少一者：

以在每0.1s一次与每20s一次之间的范围内的频率确定婴儿的呼吸率和婴儿的心跳率中的至少一者；

根据选自由以下项组成的组的身体的一部分的暴露皮肤的皮肤像素来确定心跳率：面部、颈部、躯干、臂、手、腿和脚；

从由以下项组成的组选择婴儿的行为状态：睡着状态、清醒状态、醒来状态、疲劳状态、警觉状态、无聊状态、痛苦状态、入睡状态和饥饿状态。

在一些实施方案中，该方法可包括提供婴儿与用户之间的双向通信。

在一些实施方案中，该方法可包括为多个用户配置系统。

在一些实施方案中，该方法可包括提供温度控制器，该温度控制器可包括珀耳帖设备、红外加热器、加热罩、加热带、微波源、热空气源、冷却罩、冷空气源、循环冷液体源和/或蒸发冷却源。

在一些实施方案中，温度控制器可经由提供热和冷却的单个设备来控制温度。

在一些实施方案中，温度控制器可经由用于加热和冷却的不同设备来控制温度。

在一些实施方案中，该方法可包括提供温度检测器以用于检测婴儿的温度。

在一些实施方案中，该方法可包括提供温度检测器作为非接触式温度检测器。

在一些实施方案中，该方法可包括从由以下项组成的组选择温度检测器：红外温度计、红外温度传感器、热成像系统、红外热像系统、热成像相机和辐射热计。

在一些实施方案中，该方法可包括测量血氧水平。

在一些实施方案中，该方法可包括经由光电体积描记术(PPG)来测量血氧水平。

在一些实施方案中，该方法可包括经由以下步骤来确定心跳率：

根据视频数据检测感兴趣对象(OOI)；

跟踪OOI；

识别OOI内的感兴趣区域(ROI)；

根据ROI内的像素生成超像素；

生成超像素时间序列；

将超像素时间序列建模为超像素模型；

使用超像素模型来计算心跳信号和另一个心脏特性中的至少一者；以及

根据心跳信号远程估计心跳率。

在一些实施方案中，该方法可包括经由以下步骤来确定呼吸率：

根据视频数据检测感兴趣对象(OOI)；

跟踪OOI；

识别OOI内的感兴趣区域(ROI)；

根据ROI内的像素生成超像素；

生成超像素时间序列；

将超像素时间序列建模为超像素模型；

使用超像素模型来计算呼吸信号和另一个呼吸特性中的至少一者；以及

根据呼吸信号远程估计呼吸率。

在一些实施方案中，该方法可包括经由AI自动地确定婴儿的至少一个行为状态。

在一些实施方案中，该方法可包括经由AI自动地生成对行为状态的响应。

在一些实施方案中，该方法可包括提供检测反应环路以用于安抚婴儿，包括以下步骤：

(1)提供安抚方法决策部件；

(2)从多个传感器收集数据；

(3)将数据传送到计算单元以创建每个响应系统的动作列表；

(4)使用动作列表，激活选自由以下项组成的组的安抚方法：通过声音进行安抚、投影仪显示安抚视频；以及激活振动单元；激活功能IoT设备；激活温度控制设备以更改食品的温度；控制环境光；激活IoT设备；向用户发送通知；

(5)重复从多个传感器收集数据；

(6)自动地修改安抚方法；以及

(7)重复第二步骤至第六步骤，直到婴儿得到安抚。

在一些实施方案中，该方法可包括将修改的安抚方法发送到众包安抚方法服务器来修改通用安抚方法决策部件。

在一些实施方案中，该方法可包括以下步骤：

存储修改的安抚方法；

将安抚方法决策部件预加载到系统中；

仅本地使用安抚方法决策部件；

其中安抚方法决策部件可包括来自众包安抚方法服务器的至少一个参数；

从由以下项组成的组选择传感器：光学子系统、麦克风、声学/音频检测器、温度检测器和激光雷达；

使用传感器输出数据来实施呼吸检测和心率检测；

使计算单元位于选自相机计算处理器或单独处理器的部件中。

在一些实施方案中，该方法可包括计算单元附加地进行以下步骤：

从先验数据门取得历史数据；

从传感器数据门取得传感器数据；

分析传感器数据；

在ICDV计算器中，根据经分析的数据来生成所有响应系统的输入；

将所有响应系统的输入发送到ICDV响应代理池，该ICDV-响应代理池为每个计算代理生成ICVD值；

将ICVD值发送到响应方案计算器并为每个响应系统创建动作列表；

通过响应API池广播每个响应系统的动作列表；以及

通过先验数据门来更新动作、IPH和ICH。

在一些实施方案中，该方法可包括选择具有音频、视频和/或提醒的响应系统。

在一些实施方案中，ICDV响应代理池可包括计算代理。

在一些实施方案中，计算代理可包括每响应系统一个代理、用于多个响应系统的一个代理和/或用于至少一种方法的多个代理。

在一些实施方案中，该方法可包括ICDV响应代理池根据经分析的传感器数据来生成至少一个ICDV值。

在一些实施方案中，该方法可包括对多个至少一个ICDV值进行加权以确定ICDV值的相对重要性。

在一些实施方案中，该方法可包括从由以下项组成的组选择权重：预定义权重和AI生成的权重。

在一些实施方案中，该方法可包括从由以下项组成的组选择安抚声音：音乐、白/粉红噪声和用户的语音。

在一些实施方案中，该方法可包括提供录制语音和实时语音中的至少一者。

在一些实施方案中，该方法可包括改变安抚声音的特性，其中安抚声音的特性可包括声音音量、声音类型和/或发出声音的时间长度。

在一些实施方案中，该方法可包括从由以下项组成的组选择环境光水平变化：开灯、关灯、调整照明水平和改变光的颜色。

在一些实施方案中，该方法可包括经由移动应用程序、应用、内置OS通知、电话、电话呼叫、来自扬声器系统的声音和/或光信号发送提醒通知。

在一些实施方案中，一种系统可包括：

非易失性存储器；

至少一个电子资源，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

光学子系统，该光学子系统包括成像设备、投影设备或两者。

其中该光学子系统被配置为执行以下项中的至少一者：

(i)从成像设备获取来自多个婴儿的至少一个婴儿的图像的图像数据，或者

(ii)由投影设备投影至少一个视觉图像以供至少一个婴儿观看；

音频系统，该音频系统包括麦克风、扬声器或两者；

其中音频系统被配置为执行以下项中的至少一者：

(i)由麦克风接收来自至少一个婴儿的音频信号数据，或者

(ii)由扬声器为至少一个婴儿生成至少一个声音；

多个传感器，该多个传感器输出传感器数据；

通信电路，该通信电路被配置为通过通信网络和与至少一个婴儿相关联的至少一个用户的至少一个通信设备进行通信；以及

至少一个处理器，该至少一个处理器被配置为执行存储在非易失性存储器中的代码，该代码致使至少一个处理器：

接收与至少一个婴儿相关联的图像数据、音频信号数据和传感器数据；

基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

向至少一个婴儿特定行为状态检测机器学习模型输入指示至少一个婴儿的当前行为状态的图像数据、音频信号数据、传感器数据、婴儿特定生理数据和婴儿特定个人数据；

其中至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与多个婴儿的相关联的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据的数据集进行训练；

从至少一个婴儿特定行为状态检测机器学习模型接收具有至少一个环境动作的输出；

其中该输出包括将至少一个婴儿的当前行为状态改变为预定义行为状态的至少一个环境动作、至少一个行为推荐或两者；以及

基于输出来执行以下项中的至少一者：

(i)向投影设备、扬声器、至少一个外围设备、至少一个物联网(IoT)设备或它们的任何组合传输指令以实施至少一个环境动作，以及

(ii)在与至少一个婴儿相关联的至少一个用户的至少一个通信设备的图形用户界面上显示至少一个行为推荐。

在一些实施方案中，一种方法可包括：

由处理器从至少一个电子资源接收，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

由处理器从成像设备接收来自多个图像的至少一个婴儿的图像的图像数据；

由处理器从麦克风接收至少一个婴儿的音频信号数据；

由处理器从多个传感器接收与至少一个婴儿相关联的传感器数据；

由处理器基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

由处理器向至少一个婴儿特定行为状态检测机器学习模型输入与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、婴儿特定生理数据和婴儿特定个人数据；

其中至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与多个婴儿的相关联的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据的数据集进行训练；

由处理器从至少一个婴儿特定行为状态检测机器学习模型接收具有至少一个环境动作的输出；

其中该输出包括将至少一个婴儿的当前行为状态改变为预定义行为状态的至少一个环境动作、至少一个行为推荐或两者；以及

由处理器基于输出来执行以下项中的至少一者：

(i)由处理器向投影设备、扬声器、至少一个外围设备、至少一个物联网(IoT)设备或它们的任何组合传输指令以实施至少一个环境动作，以及

(ii)由处理器在与至少一个婴儿相关联的至少一个用户的至少一个通信设备的图形用户界面上显示至少一个行为推荐。

在一些实施方案中，一种系统可包括：

非易失性存储器；

至少一个电子资源，该至少一个电子资源可包括数据库；

其中该数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

光学子系统，该光学子系统可包括成像设备、投影设备或两者；

其中该光学子系统被配置为执行以下项中的至少一者：

(i)从成像设备获取来自多个婴儿的至少一个婴儿的图像的图像数据，或者

(ii)由投影设备投影至少一个视觉图像以供至少一个婴儿观看；

音频系统，该音频系统可包括麦克风、扬声器或两者；

其中音频系统被配置为执行以下项中的至少一者：

(i)由麦克风接收来自至少一个婴儿的音频信号数据，或者

(ii)由扬声器为至少一个婴儿生成至少一个声音；

多个传感器，该多个传感器输出传感器数据；

通信电路，该通信电路被配置为通过通信网络和与至少一个婴儿相关联的至少一个用户的至少一个通信设备进行通信；以及

至少一个处理器，该至少一个处理器被配置为执行存储在非易失性存储器中的代码，该代码致使至少一个处理器：

接收与至少一个婴儿相关联的图像数据、音频信号数据和传感器数据；

基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

向至少一个婴儿特定行为状态检测机器学习模型输入与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、婴儿特定生理数据和婴儿特定个人数据；

其中所述至少一个婴儿特定行为状态检测机器学习模型可使用至少部分地基于与所述多个婴儿相关联的所述婴儿特定刺激数据、所述婴儿特定响应数据和所述婴儿特定个人数据的数据集进行训练；

从至少一个婴儿特定行为状态检测机器学习模型接收至少一个婴儿焦虑不安、即将醒来或两者的输出；

通过通信网络向至少一个用户的至少一个通信设备传输传感器数据、至少一个婴儿焦虑不安的提醒、至少一个婴儿即将醒来的提醒或它们的任何组合；

基于输出来传输指令，该指令致使音频系统、光学子系统或两者执行以下项中的至少一者：

(i)当至少一个婴儿焦虑不安时，由扬声器生成安抚声音，

(ii)当至少一个婴儿即将醒来时，由扬声器生成助眠声音，或者

(iii)当至少一个婴儿焦虑不安时，由投影设备投影令人放松的图像以供至少一个婴儿观看。

在一些实施方案中，至少一个处理器可还被配置为迭代地传输指令，直到婴儿得到安抚或重新入睡。

在一些实施方案中，至少一个处理器可还被配置为通过与至少一个用户相关联的至少一个通信设备上的图形用户界面从至少一个用户接收用户指令。

在一些实施方案中，至少一个处理器可还被配置为基于输出和来自图形用户界面的用户指令来传输指令。

在一些实施方案中，多个传感器中的传感器可选自由以下项组成的组：热成像器、红外(IR)相机、激光雷达设备和射频(RF)设备。

在一些实施方案中，该系统还可包括振动单元，该振动单元可操作地联接到至少一个婴儿，并且其中至少一个处理器可还被配置为向振动单元传输指令，该指令致使振动单元在至少一个婴儿焦虑不安时向该婴儿施加振动。

在一些实施方案中，至少一个处理器可还被配置为基于输出和来自图形用户界面的用户指令来传输指令。

在一些实施方案中，多个传感器中的传感器可选自由以下项组成的组：热成像设备、红外(IR)相机、激光雷达设备和射频(RF)设备。

在一些实施方案中，一种方法可包括：

由处理器从至少一个电子资源接收，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

由处理器从成像设备接收来自多个图像的至少一个婴儿的图像的图像数据；

由处理器从麦克风接收至少一个婴儿的音频信号数据；

由处理器从多个传感器接收与至少一个婴儿相关联的传感器数据；

由处理器基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

由处理器向至少一个婴儿特定行为状态检测机器学习模型输入与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、婴儿特定生理数据和婴儿特定个人数据；

其中至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与多个婴儿的相关联的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据的数据集进行训练；

由处理器从至少一个婴儿特定行为状态检测机器学习模型接收至少一个婴儿焦虑不安、即将醒来或两者的输出；

由处理器通过通信网络向与至少一个婴儿相关联的至少一个用户的至少一个通信设备传输传感器数据、至少一个婴儿焦虑不安的提醒、至少一个婴儿即将醒来的提醒或它们的任何组合；以及

由处理器基于输出来传输指令，该指令致使扬声器、投影设备或两者执行以下项中的至少一者：

(i)当至少一个婴儿焦虑不安时，由扬声器生成安抚声音，

(ii)当至少一个婴儿即将醒来时，由扬声器生成助眠声音，或者

(iii)当至少一个婴儿焦虑不安时，由投影设备投影令人放松的图像以供至少一个婴儿观看。

在一些实施方案中，该方法包括由处理器迭代地传输指令，直到婴儿得到安抚或重新入睡。

在一些实施方案中，该方法包括由处理器通过与至少一个用户相关联的至少一个通信设备上的图形用户界面从至少一个用户接收用户指令。

在一些实施方案中，该方法包括由处理器基于输出和来自图形用户界面的用户指令来传输指令。

在一些实施方案中，多个传感器的传感器选自由以下项组成的组：摄像机、热成像器、红外(IR)相机、激光雷达设备和射频(RF)设备。

在一些实施方案中，该方法包括由处理器向振动单元传输指令，该指令致使振动单元在至少一个婴儿焦虑不安时向该婴儿施加振动，其中振动单元可操作地联接到至少一个婴儿。

在一些实施方案中，一种方法包括：

由处理器从至少一个电子资源接收，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)提供给多个婴儿中的每个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给每个婴儿的婴儿特定刺激数据获取的每个婴儿的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

由处理器根据每个婴儿的婴儿特定刺激数据和婴儿特定响应数据来确定在监视多个婴儿中的每个婴儿时获取的来自多个传感器的传感器数据、来自图像设备的图像数据和来自麦克风的音频数据；

由处理器基于图像数据、传感器数据和音频信号数据来确定每个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)每个婴儿的呼吸率信号数据，

(ii)每个婴儿的空间体温分布数据，

(iii)每个婴儿的心跳信号数据，

(iv)每个婴儿的婴儿运动数据，以及

(v)每个婴儿的婴儿语音分类数据；

由处理器执行物理算法模块，该物理算法模块根据每个婴儿的婴儿特定生理数据、图像数据、音频信号数据、传感器数据和婴儿特定个人数据来生成对婴儿安抚用例唯一的多个婴儿中的每个婴儿的婴儿特定特征和环境特定特征；

由处理器执行时间驱动流水线软件模块，该时间驱动流水线软件模块被配置为根据对婴儿安抚用例唯一的每个婴儿的婴儿特定特征和环境特定特征至少部分地基于根据婴儿特定特征和环境特定特征生成的时间序列来计算表征随时间推移的特征进展的每个婴儿的时间相关婴儿特定特征和时间相关环境特定特征；

由处理器执行行为模型，该行为模型被配置为至少部分地基于以下项来生成多个婴儿中的每个婴儿的数字孪生模型：

(1)来自每个婴儿的婴儿特定特征和环境特定特征的婴儿特定行为特征之间的相关性，以及

(2)每个婴儿的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据，

由处理器使用每个婴儿的数字孪生模型来执行反馈环境生成器以根据每个婴儿的婴儿安抚用例输出至少一个推荐、至少一个动作或两者来改变每个婴儿的行为状态；以及

由处理器至少部分地基于以下项来生成婴儿安抚用例的训练数据集：

(1)来自多个婴儿的每个婴儿的输入特征，包括：

(A)每个婴儿的婴儿特定特征，

(B)每个婴儿的环境特定特征，

(C)每个婴儿的时间相关婴儿特定特征，以及

(D)每个婴儿的时间相关环境特定特征，以及

(2)针对来自多个婴儿的每个婴儿的输出特征，包括：

(A)针对每个婴儿的至少一个推荐，

(B)针对每个婴儿的至少一个动作，或者

(C)两者。

在一些实施方案中，该方法包括由处理器用对婴儿安抚用例唯一的训练数据集来训练至少一个婴儿特定行为状态检测机器学习模型。

在一些实施方案中，用于安抚每个婴儿的至少一个动作选自由以下项组成的组：播放安抚音乐、经由振动单元施加振动、投影安抚图像和播放助眠音乐。

在一些实施方案中，一种系统可包括：

非易失性存储器；

至少一个电子资源，该至少一个电子资源包括至少一个数据库；

其中该至少一个数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

成像设备，该成像设备被配置为获取来自多个婴儿的至少一个婴儿的图像的图像数据；

麦克风，该麦克风被配置为接收来自至少一个婴儿的音频信号数据；

多个传感器，该多个传感器输出传感器数据；

通信电路，该通信电路被配置为通过通信网络与与至少一个婴儿相关联的至少一个用户的至少一个通信设备通信；

温度控制器；以及

至少一个处理器，该至少一个处理器被配置为执行存储在非易失性存储器中的代码，该代码致使至少一个处理器：

接收与至少一个婴儿相关联的图像数据、音频信号数据和传感器数据；

基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

向至少一个婴儿特定行为状态检测机器学习模型输入与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、婴儿特定生理数据和婴儿特定个人数据；

其中所述至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与所述多个婴儿的相关联的所述婴儿特定刺激数据、所述婴儿特定响应数据和所述婴儿特定个人数据的数据集进行训练；

从至少一个婴儿特定行为状态检测机器学习模型接收至少一个婴儿饥饿的至少一个指示；

通过通信网络向至少一个用户的至少一个通信设备传输给至少一个婴儿喂食的提醒、传感器数据或两者；以及

传输指令，该指令致使温度控制器改变至少一种食品的预定义温度以准备给至少一个婴儿喂食。

在一些实施方案中，至少一个处理器还被配置为通过与至少一个用户相关联的至少一个通信设备上的图形用户界面从至少一个用户接收用户指令。

在一些实施方案中，至少一个处理器还被配置为基于至少一个指示和来自图形用户界面的用户指令来传输指令。

在一些实施方案中，来自多个传感器的传感器选自由以下项组成的组：热成像器、红外(IR)相机、激光雷达设备和射频(RF)设备。

在一些实施方案中，振动单元可操作地联接到至少一个婴儿，并且其中至少一个处理器还被配置为向振动单元传输指令，该指令致使振动单元在至少一个婴儿饥饿时向该婴儿施加振动。

一种方法可包括：

由处理器从至少一个电子资源接收，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

由处理器从成像设备接收来自多个图像的至少一个婴儿的图像的图像数据；

由处理器从麦克风接收至少一个婴儿的音频信号数据；

由处理器从多个传感器接收与至少一个婴儿相关联的传感器数据；

由处理器基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

由处理器向至少一个婴儿特定行为状态检测机器学习模型输入与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、婴儿特定生理数据和婴儿特定个人数据；

其中至少一个婴儿特定行为状态检测机器学习模型使用至少部分地基于与多个婴儿的相关联的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据的数据集进行训练；

由处理器从至少一个婴儿特定行为状态检测机器学习模型接收来自至少一个婴儿特定行为状态检测机器学习模型的表明至少一个婴儿饥饿的至少一个指示的输出；

由处理器通过通信网络向与至少一个婴儿相关联的至少一个用户的至少一个通信设备传输传感器数据、至少一个婴儿焦虑不安的提醒、给至少一个婴儿喂食的提醒、传感器数据或两者；以及

由处理器传输指令，该指令致使温度控制器改变至少一种食品的预定义温度以准备给至少一个婴儿喂食。

在一些实施方案中，该方法包括由处理器通过与至少一个用户相关联的至少一个通信设备上的图形用户界面从至少一个用户接收用户指令。

在一些实施方案中，该方法包括由处理器基于至少一个指示和来自图形用户界面的用户指令来传输指令。

在一些实施方案中，来自多个传感器的传感器选自由以下项组成的组：热成像器、红外(IR)相机、激光雷达设备和射频(RF)设备。

在一些实施方案中，一种方法可包括：

由处理器从至少一个电子资源接收，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)提供给多个婴儿中的每个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给每个婴儿的婴儿特定刺激数据获取的每个婴儿的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

由处理器根据每个婴儿的婴儿特定刺激数据和婴儿特定响应数据来确定在监视多个婴儿中的每个婴儿时获取的来自多个传感器的传感器数据、来自图像设备的图像数据和来自麦克风的音频数据；

由处理器基于图像数据、传感器数据和音频信号数据来确定每个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)每个婴儿的呼吸率信号数据，

(ii)每个婴儿的空间体温分布数据，

(iii)每个婴儿的心跳信号数据，

(iv)每个婴儿的婴儿运动数据，以及

(v)每个婴儿的婴儿语音分类数据；

由处理器执行物理算法模块，该物理算法模块根据每个婴儿的婴儿特定生理数据、图像数据、音频信号数据、传感器数据和婴儿特定个人数据来生成对婴儿喂食用例唯一的多个婴儿中的每个婴儿的婴儿特定特征和环境特定特征；

由处理器执行时间驱动流水线软件模块，该时间驱动流水线软件模块被配置为根据对婴儿喂食用例唯一的每个婴儿的婴儿特定特征和环境特定特征至少部分地基于根据婴儿特定特征和环境特定特征生成的时间序列来计算表征随时间推移的特征进展的每个婴儿的时间相关婴儿特定特征和时间相关环境特定特征；

由处理器执行行为模型，该行为模型被配置为至少部分地基于以下项来生成多个婴儿中的每个婴儿的数字孪生模型：

(1)来自每个婴儿的婴儿特定特征和环境特定特征的婴儿特定行为特征之间的相关性，以及

(2)每个婴儿的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据，

由处理器使用每个婴儿的数字孪生模型来执行反馈环境生成器以根据每个婴儿的婴儿喂食用例输出至少一个推荐、至少一个动作或两者来改变每个婴儿的行为状态；以及

由处理器至少部分地基于以下项来生成婴儿喂食用例的训练数据集：

(1)来自多个婴儿的每个婴儿的输入特征，包括：

(A)每个婴儿的婴儿特定特征，

(B)每个婴儿的环境特定特征，

(C)每个婴儿的时间相关婴儿特定特征，以及

(D)每个婴儿的时间相关环境特定特征，以及

(2)针对来自多个婴儿的每个婴儿的输出特征，包括：

(A)针对每个婴儿的至少一个推荐，

(B)针对每个婴儿的至少一个动作，或者

(C)两者。

在一些实施方案中，该方法包括由处理器用对婴儿喂食用例唯一的训练数据集来训练至少一个婴儿特定行为状态检测机器学习模型。

在一些实施方案中，针对至少一个婴儿的至少一个动作包括加温至少一种食品。

在一些实施方案中，一种系统包括：

非易失性存储器；

至少一个电子资源，该至少一个电子资源包括至少一个数据库；

其中该至少一个数据库包括：

(i)针对多个婴儿的多个婴儿特定教育计划，

(ii)基于多个婴儿特定教育计划提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(iii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iv)多个婴儿中的每个婴儿的婴儿特定个人数据；

光学子系统，该光学子系统包括成像设备、投影设备或两者；

其中该光学子系统被配置为执行以下项中的至少一者：

(i)从成像设备获取来自多个婴儿的至少一个婴儿的图像的图像数据，或者

(ii)由投影设备投影至少一个视觉图像以供至少一个婴儿观看；

音频系统，该音频系统包括麦克风、扬声器或两者；

其中该音频系统被配置为执行以下项中的至少一者：

(i)由麦克风接收来自至少一个婴儿的音频信号数据，或者

(ii)由扬声器为至少一个婴儿生成至少一个声音；

多个传感器，该多个传感器输出传感器数据；

通信电路，该通信电路被配置为通过通信网络和与至少一个婴儿相关联的至少一个用户的至少一个通信设备进行通信；以及

至少一个处理器，该至少一个处理器被配置为执行存储在非易失性存储器中的代码，该代码致使至少一个处理器：

由投影设备基于来自针对至少一个婴儿的多个婴儿特定教育计划的婴儿特定教育计划来向至少一个婴儿投影至少一个视觉图像；

由音频系统生成与至少一个视觉图像相关联的至少一个声音；

接收与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据或它们的任何组合；

基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

向至少一个婴儿特定教育机器学习模型输入与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、至少一个视觉图像、至少一个声音、婴儿特定生理数据、婴儿特定个人数据；

其中至少一个婴儿特定教育机器学习模型使用至少部分地基于与多个婴儿相关联的婴儿特定刺激数据、婴儿特定响应数据、婴儿特定个人数据、多个婴儿特定教育计划或它们的任何组合的数据集进行训练；

从至少一个婴儿特定教育机器学习模型接收输出；

其中该输出包括：

(i)至少一个婴儿理解或不理解根据针对至少一个婴儿的至少一个婴儿特定教育计划的至少一个视觉图像和与至少一个视觉图像相关联的至少一个声音的至少一个指示，以及

(ii)至少部分地基于至少一个指示的至少一个婴儿特定教育推荐；

通过通信网络向至少一个用户的至少一个通信设备传输至少一个指示、至少一个婴儿特定教育推荐、传感器数据或它们的任何组合；以及

基于至少一个婴儿特定教育推荐来执行以下项中的至少一者：

(i)当至少一个指示表明至少一个婴儿不理解时，修改至少一个婴儿特定教育计划，或者

(ii)继续执行针对至少一个婴儿的婴儿特定教育计划。

在一些实施方案中，至少一个处理器还被配置为通过与至少一个用户相关联的至少一个通信设备上的图形用户界面从至少一个用户接收用户指令。

在一些实施方案中，至少一个处理器还被配置为基于至少一个指示、至少一个婴儿特定教育推荐和用户指令来执行以下项中的至少一者：

(i)当至少一个指示表明至少一个婴儿不理解时，修改至少一个婴儿特定教育计划，或者

(ii)继续执行针对至少一个婴儿的婴儿特定教育计划。

在一些实施方案中，来自多个传感器的传感器选自由以下项组成的组：热成像器、红外(IR)相机、激光雷达设备和射频(RF)设备。

在一些实施方案中，一种方法可包括：

由处理器从至少一个电子资源接收，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)提供给多个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(ii)响应于提供给所述多个婴儿的所述多个婴儿特定刺激获取的多个婴儿特定响应的婴儿特定响应数据，以及

(iii)多个婴儿中的每个婴儿的婴儿特定个人数据；

由处理器向投影设备传输指令以基于来自针对至少一个婴儿的多个婴儿特定教育计划的婴儿特定教育计划来向至少一个婴儿投影至少一个视觉图像；

由处理器向音频系统传输指令以生成与至少一个视觉图像相关联的至少一个声音；

由处理器从成像设备接收来自多个图像的至少一个婴儿的图像的图像数据；

由处理器从麦克风接收至少一个婴儿的音频信号数据；

由处理器从多个传感器接收与至少一个婴儿相关联的传感器数据；

由处理器基于图像数据、传感器数据和音频信号数据来确定至少一个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)至少一个婴儿的呼吸率信号数据，

(ii)至少一个婴儿的空间体温分布数据，

(iii)至少一个婴儿的心跳信号数据，

(iv)至少一个婴儿的婴儿运动数据，以及

(v)至少一个婴儿的婴儿语音分类数据；

由处理器向至少一个婴儿特定教育机器学习模型输入与至少一个婴儿相关联的图像数据、音频信号数据、传感器数据、至少一个视觉图像、至少一个声音、婴儿特定生理数据、婴儿特定个人数据；

其中至少一个婴儿特定教育机器学习模型使用至少部分地基于与多个婴儿相关联的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据的数据集进行训练；

由处理器从至少一个婴儿特定教育机器学习模型接收输出；

其中该输出包括：

(i)至少一个婴儿理解或不理解根据针对至少一个婴儿的至少一个婴儿特定教育计划的至少一个视觉图像和与至少一个视觉图像相关联的至少一个声音的至少一个指示，以及

(ii)至少部分地基于至少一个指示的至少一个婴儿特定教育推荐；

由处理器通过通信网络向与至少一个婴儿相关联的至少一个用户的至少一个通信设备传输至少一个指示、至少一个婴儿特定教育推荐、传感器数据或它们的任何组合；以及

由处理器基于至少一个婴儿特定教育推荐来执行以下项中的至少一者：

(i)当至少一个指示表明至少一个婴儿不理解时，修改至少一个婴儿特定教育计划，或者

(ii)继续执行针对至少一个婴儿的婴儿特定教育计划。

在一些实施方案中，该方法包括由处理器通过与至少一个用户相关联的至少一个通信设备上的图形用户界面从至少一个用户接收用户指令。

在一些实施方案中，该方法包括由处理器基于至少一个指示、至少一个婴儿特定教育推荐和用户指令来执行以下项中的至少一者：

当至少一个指示表明至少一个婴儿不理解时，修改至少一个婴儿特定教育计划，或者

继续执行针对至少一个婴儿的婴儿特定教育计划。

在一些实施方案中，来自多个传感器的传感器选自由以下项组成的组：热成像器、红外(IR)相机、激光雷达设备和射频(RF)设备。

在一些实施方案中，一种方法包括：

由处理器从至少一个电子资源接收，该至少一个电子资源包括数据库；

其中该数据库包括：

(i)来自针对多个婴儿中的每个婴儿的多个婴儿特定教育计划的婴儿特定教育计划，

(ii)提供给多个婴儿中的每个婴儿的多个婴儿特定刺激的婴儿特定刺激数据，

(iii)响应于提供给每个婴儿的婴儿特定刺激数据获取的每个婴儿的多个婴儿特定响应的婴儿特定响应数据，以及

(iv)多个婴儿中的每个婴儿的婴儿特定个人数据；

由处理器从每个婴儿的婴儿特定刺激数据和婴儿特定响应数据确定：

(i)在监视多个婴儿中的每个婴儿时获取的来自多个传感器的传感器数据，

(ii)在监视每个婴儿时获取的来自图像设备的图像数据，

(iii)基于婴儿特定教育计划向每个婴儿呈现的至少一个视觉图像，

(iv)向每个婴儿播放的与至少一个视觉图像相关联的至少一个声音，以及

(v)在监视每个婴儿时获取的来自麦克风的音频数据；

由处理器基于图像数据、传感器数据和音频信号数据来确定每个婴儿的婴儿特定生理数据；

其中该婴儿特定生理数据包括：

(i)每个婴儿的呼吸率信号数据，

(ii)每个婴儿的空间体温分布数据，

(iii)每个婴儿的心跳信号数据，

(iv)每个婴儿的婴儿运动数据，以及

(v)每个婴儿的婴儿语音分类数据；

由处理器执行物理算法模块，该物理算法模块根据每个婴儿的婴儿特定生理数据、图像数据、音频数据、传感器数据、至少一个视觉图像、至少一个声音和婴儿特定个人数据来生成对婴儿教育用例唯一的多个婴儿中的每个婴儿的婴儿特定特征和环境特定特征；

由处理器执行时间驱动流水线软件模块，该时间驱动流水线软件模块被配置为根据对婴儿教育用例唯一的每个婴儿的婴儿特定特征和环境特定特征至少部分地基于根据婴儿特定特征和环境特定特征生成的时间序列来计算表征随时间推移的特征进展的每个婴儿的时间相关婴儿特定特征和时间相关环境特定特征；

由处理器执行行为模型，该行为模型被配置为至少部分地基于以下项来生成多个婴儿中的每个婴儿的数字孪生模型：

(1)来自每个婴儿的婴儿特定特征和环境特定特征的婴儿特定行为特征之间的相关性，以及

(2)每个婴儿的婴儿特定刺激数据、婴儿特定响应数据和婴儿特定个人数据，

由处理器使用每个婴儿的数字孪生模型来执行反馈环境生成器以根据每个婴儿的婴儿教育用例输出至少一个推荐、至少一个动作或两者来改变每个婴儿的行为状态；以及

由处理器至少部分地基于以下项来生成婴儿教育用例的训练数据集：

(1)来自多个婴儿的每个婴儿的输入特征，包括：

(A)每个婴儿的婴儿特定特征，

(B)每个婴儿的环境特定特征，

(C)每个婴儿的时间相关婴儿特定特征，以及

(D)每个婴儿的时间相关环境特定特征，以及

(2)针对来自多个婴儿的每个婴儿的输出特征，包括：

(A)针对每个婴儿的至少一个推荐，

(B)针对每个婴儿的至少一个动作，或者

(C)两者。

在一些实施方案中，该方法包括由处理器用对婴儿教育用例唯一的训练数据集来训练至少一个婴儿特定行为状态检测机器学习模型。

在一些实施方案中，针对至少一个婴儿的至少一个推荐选自由以下项组成的组：改变至少一个视觉图像、改变至少一个声音、修改至少一个婴儿特定教育计划和继续执行婴儿特定教育计划。

本文公开的材料可以软件或固件或它们的组合实施或作为可由一个或多个处理器读取和执行的存储在机器可读介质上的指令实施。机器可读介质可包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可包括：只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；快闪存储器设备；电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等等。

如本文所用，术语“计算机引擎”和“引擎”标识至少一个软件部件和/或至少一个软部件和至少一个硬件部件的组合，其被设计/编程/配置为管理/控制其他软件和/或硬件部件(诸如库、软件开发工具包(SDK)、对象等)。

硬件元素的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。在一些实施方案中，一个或多个处理器可实施为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器；x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元(CPU)。在各个实现方式中，一个或多个处理器可以是双核处理器、双核移动处理器等。

如本文所用的计算机相关系统、计算机系统和系统包括硬件和软件的任何组合。软件的示例可包括软件部件、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算机代码、计算机代码段、字、值、符号或它们的任何组合。确定是否使用硬件元素和/或软件元素来实现实施方案可根据任意数量的因素而变化，诸如期望的计算速率、功率水平、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其他设计或性能约束。

至少一个实施方案的一个或多个方面可通过存储在机器可读介质上的代表性指令来实现，该代表性指令表示处理器内的各种逻辑，该代表性指令在由机器读取时致使机器制造逻辑以执行本文所述的技术。被称为“IP核”的此类表示可存储在有形机器可读介质上并供应到各种客户或制造设施以加载到制造逻辑或处理器的制造机器中。需注意，本文所述的各个实施方案当然可使用任何适当的硬件和/或计算软件语言(例如，C++、Objective-C、Swift、Java、JavaScript、Python、Perl、QT等)来实现。

在一些实施方案中，本公开的示例性本发明的基于计算机的系统/平台、示例性本发明的基于计算机的设备和/或示例性本发明的基于计算机的部件中的一者或多者可部分地或完全地包括或并入至少一个个人计算机(PC)、膝上型计算机、超膝上型计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能电话、智能平板电脑或智能电视机)、移动互联网设备(MID)、消息传递设备、数据通信设备等。

如本文所用，术语“服务器”应当被理解为是指提供处理、数据库和通信设施的服务点。作为示例而非限制，术语“服务器”可指具有相关联的通信和数据存储和数据库设施的单个物理处理器，或者它可指处理器和相关联的网络和存储设备、以及支持由服务器提供的服务的操作软件和一个或多个数据库系统和应用软件的联网或集群复合体。云服务器是示例。

在一些实施方案中，如本文详述，本公开的示例性本发明的基于计算机的系统/平台、示例性本发明的基于计算机的设备和/或示例性本发明的基于计算机的部件中的一者或多者可获得、操纵、传送、存储、变换、生成和/或输出任何数字对象和/或数据单元(例如，来自特定应用程序的内部和/或外部)，该数字对象和/或数据单元可以是任何合适的形式，诸如但不限于文件、联系人、任务、电子邮件、社交媒体帖子、地图、整个应用程序(例如，计算器)等。在一些实施方案中，如本文详述，本公开的示例性本发明的基于计算机的系统/平台、示例性本发明的基于计算机的设备和/或示例性本发明的基于计算机的部件可跨各种计算机平台中的一者或多者来实现，诸如但不限于：(1)FreeBSD、NetBSD、OpenBSD；(2)Linux；(3)Microsoft Windows；(4)OS X(MacOS)；(5)MacOS11；(6)Solaris；(7)Android；(8)iOS；(9)嵌入式Linux；(10)Tizen；(11)WebOS；(12)IBM i；(13)IBM AIX；(14)无线二进制运行环境(BREW)；(15)Cocoa(API)；(16)Cocoa Touch；(17)Java平台；(18)JavaFX；(19)JavaFX Mobile；(20)Microsoft DirectX；(21).NET框架；(22)Silverlight；(23)开放式Web平台；(24)Oracle数据库；(25)Qt；(26)Eclipse富客户端平台；(27)SAP NetWeaver；(28)Smartface；以及/或者(29)Windows运行时。

在一些实施方案中，本公开的示例性本发明的基于计算机的系统/平台、示例性本发明的基于计算机的设备和/或示例性本发明的基于计算机的部件可被配置为利用硬接线电路，该硬接线电路可代替软件指令或与之组合使用以实现与本公开的原理一致的特征。因此，与本公开的原理一致的实现方式不限于硬件电路和软件的任何具体组合。例如，各个实施方案可以许多不同方式体现为软件部件，诸如但不限于独立软件包、软件包的组合，或者它可以是作为“工具”结合在更大的软件产品中的软件包。

例如，根据本公开的一个或多个原理专门地编程的示例性软件可作为独立产品或作为用于安装在现有软件应用程序中的插件包从网络(例如，网站)下载。例如，根据本公开的一个或多个原理专门地编程的示例性软件也可作为客户端-服务器软件应用程序或作为支持web的软件应用程序。例如，根据本公开的一个或多个原理专门地编程的示例性软件也可体现为安装在硬件设备上的软件包。

在一些实施方案中，本公开的示例性本发明的基于计算机的系统/平台、示例性本发明的基于计算机的设备和/或示例性本发明的基于计算机的部件可被配置为处理众多并发用户，所述并发用户可以是但不限于至少100个(例如但不限于100个至999个)、至少1,000个(例如但不限于1,000个至9,999个)、至少10,000个(例如但不限于10,000个至99,999个)、至少100,000个(例如但不限于100,000个至999,999个)、至少1,000,000个(例如但不限于1,000,000个至9,999,999个)、至少10,000,000个(例如但不限于10,000,000个至99,999,999个)、至少100,000,000个(例如但不限于100,000,000个至999,999,999个)、至少1,000,000,000个(例如但不限于1,000,000,000个至999,999,999,999个)等等。

在一些实施方案中，本公开的示例性本发明的基于计算机的系统/平台、示例性本发明的基于计算机的设备和/或示例性本发明的基于计算机的部件可被配置为向本公开的不同的、专门编程的图形用户界面实现方式(例如，桌面、web应用程序等)进行输出。在本公开的各个实现方式中，最终输出可显示在显示屏上，该显示屏可以是但不限于计算机的屏幕、移动设备的屏幕等。在各个实现方式中，显示器可以是全息显示器。在各个实现方式中，显示器可以是可接收视觉投影的透明表面。此类投影可传达各种形式的信息、图像和/或对象。例如，此类投影可以是用于移动增强现实(MAR)应用的视觉叠加。

如本文所用，术语“移动电子设备”等可指可启用或不启用位置跟踪功能性(例如，MAC地址、互联网协议(IP)地址等)的任何便携式电子设备。例如，移动电子设备可包括但不限于移动电话、个人数字助理(PDA)、黑莓

如本文所用，术语“云”、“互联网云”、“云计算”、“云架构”和相似术语对应于以下项中的至少一者：(1)通过实时通信网络(例如，互联网)连接的大量计算机；(2)提供同时在许多连接的计算机(例如，物理机、虚拟机(VM))上运行程序或应用程序的能力；(3)基于网络的服务，其看起来由真实服务器硬件提供而实际上由在一个或多个真实机器上运行的软件所模拟(例如，从而允许在不影响最终用户的情况下即时四处移动和向上扩展(或向下扩展))的虚拟硬件(例如，虚拟服务器)提供。

当然，前述示例是说明性的而不是限制性的。

如本文所用，术语“用户”应当具有至少一个用户的含义。在一些实施方案中，术语“用户”、“订户”、“消费者”或“客户”应当被理解为是指如本文所述的一个或多个应用程序的用户和/或由数据提供商供应的数据的消费者。作为示例而非限制，术语“用户”或“订户”可指在浏览器会话中通过互联网接收由数据或服务提供商提供的数据的人，或者可指接收数据并存储或处理数据的自动化软件应用程序。

在一些实施方案中，本公开的示例性本发明的基于计算机的系统/平台、示例性本发明的基于计算机的设备和/或示例性本发明的基于计算机的部件可被配置为利用一个或多个示例性AI/机器学习技术，该AI/机器学习技术选自但不限于决策树、提升(boosting)、支持向量机、神经网络、最近邻算法、朴素贝叶斯、装袋(bagging)、随机森林等。在一些实施方案中，并且任选地，结合上文或下文所述的任何实施方案，示例性神经网络技术可以是但不限于前馈神经网络、径向基函数网络、循环神经网络、卷积网络(例如，U-net)或其他合适的网络中的一者。在一些实施方案中，并且任选地，结合上文或下文所述的任何实施方案，神经网络的示例性实现方式可如下执行：

i)定义神经网络架构/模型，

ii)将输入数据传送到示例性神经网络模型，

iii)递增地训练示例性模型，

iv)确定具体数目的时间步长的准确度，

v)应用示例性经训练模型来处理新接收的输入数据，

vi)任选地且并行地，以预确定周期性继续训练示例性经训练模型。

在一些实施方案中，并且任选地，结合上文或下文所述的任何实施方案，示例性经训练神经网络模型可至少通过神经网络拓扑、一系列激活函数和连接权重来指定神经网络。例如，神经网络的拓扑可包括神经网络的节点的配置和在此类节点之间的连接。在一些实施方案中，并且任选地，结合上文或下文所述的任何实施方案，示例性经训练神经网络模型也可被指定为包括其他参数，包括但不限于偏置值/函数和/或聚合函数。例如，节点的激活函数可以是阶跃函数、正弦函数、连续或分段线性函数、S形函数、双曲正切函数或表示激活节点的阈值的其他类型的数学函数。在一些实施方案中，并且任选地，结合上文或下文所述的任何实施方案，示例性聚合函数可以是将对节点的输入信号进行组合(例如，和、积等)的数学函数。在一些实施方案中，并且任选地，结合上文或下文所述的任何实施方案，示例性聚合函数的输出可用作示例性激活函数的输入。在一些实施方案中，并且任选地，结合上文或下文所述的任何实施方案，偏置可以是可由聚合函数和/或激活函数使用以使节点或多或少可能被激活的常数值或函数。

贯穿本文档引用的出版物全文以引用方式并入本文。虽然已经描述本公开的一个或多个实施方案，但是应当理解，这些实施方案仅是说明性的，而不是限制性的，并且许多修改对本领域普通技术人员可变得显而易见，包括本发明方法、本发明系统/平台的各个实施方案，并且本文所述的本发明设备可彼此以任何组合加以利用。此外，各个步骤可以任何期望次序进行(并且可添加任何期望步骤和/或可消除任何期望步骤)。