用于确定车辆内部的人员的状态的方法和装置

技术领域

本公开涉及车辆技术领域，特别是涉及一种用于确定车辆内部的人员的状态的方法、装置、计算机设备、车辆、存储介质。

背景技术

汽车的智能座舱功能日益丰富。设置于汽车座舱内的各类功能满足了人们对安全性、舒适性、便捷性的需求。目前大多数智能座舱致力于提升驾驶行为和生活娱乐的体验。可以通过智能座舱内设置的各种传感器和输入/输出设备接收驾驶者和乘客的语音指令和/或触摸指令，以提供娱乐或舒适性功能。

发明内容

根据本公开的一方面，提供了一种用于确定车辆内部的人员的状态的方法，包括：从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第一车内图像，其中所述车内图像序列中的至少一个车内图像包含与所述车辆内的第一座位的标识相关联的人员对象，所述多个第一车内图像彼此时间上相隔第二时间间隔，并且所述第二时间间隔大于所述第一时间间隔；在每次获取第一车内图像时，对该第一车内图像进行人脸识别；响应于在第一持续时间期间每次人脸识别的结果指示所述第一座位处存在的人员是所述人员对象，利用所述第一持续时间内所述车内摄像头以所述第一时间间隔采集的连续图像确定所述人员对象的状态。

根据本公开的另一方面，提供了一种用于确定车辆内部的人员的状态的装置，包括：图像获取单元，被配置成从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第一车内图像，其中所述车内图像序列中的至少一个车内图像包含与所述车辆内的第一座位的标识相关联的人员对象，所述多个第一车内图像彼此时间上相隔第二时间间隔，并且所述第二时间间隔大于所述第一时间间隔；人脸识别单元，被配置成在每次获取第一车内图像时，对该第一车内图像进行人脸识别；状态确定单元，被配置成响应于在第一持续时间期间每次人脸识别的结果指示所述第一座位处存在的人员是所述人员对象，利用所述第一持续时间内所述车内摄像头以所述第一时间间隔采集的连续图像确定所述人员对象的状态。

根据本公开的又另一方面，提供了一种计算机设备，包括：至少一个处理器；以及至少一个存储器，其上存储有计算机程序，其中，所述计算机程序在被所述至少一个处理器执行时，使所述至少一个处理器执行前述方法。

根据本公开的再另一方面，提供了一种车辆，包括前述装置或前述计算机设备。

根据本公开的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行前述方法。

根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，使所述处理器执行前述方法。

根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；

图2是图示出根据示例性实施例的用于确定车辆内部的人员的状态的方法的流程图；

图3是图示出根据另一示例性实施例的用于确定车辆内部的人员的状态的方法的流程图；

图4是图示出根据示例性实施例用于将人员对象与座位标识相关联的方法的流程图；

图5是图示出根据示例性实施例的用于对车辆内的人员对象进行监控的方法的流程图；

图6是图示出根据示例性实施例的用于确定车辆内部的人员的状态的装置的示意性框图；

图7是图示出能够应用于示例性实施例的示例性计算机设备的框图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

在相关技术中，可以利用汽车座舱内设置的传感器(如RGB摄像头、红外摄像头等)采集车内图像来对驾驶员的生理状态进行监控。通过监控可以了解驾驶员针对驾驶过程的注意力情况、疲倦程度、身体状态等信息。利用监控获取的上述信息，可以在汽车座舱内提供提示信息以提高车辆的驾驶安全。例如，可以在检测到驾驶员注意力不够集中时提醒驾驶员集中注意力，或者在检测到驾驶员过于疲倦或身体状态不佳时提示驾驶员注意休息。

为了丰富汽车座舱的感知能力，可以将上述状态监控应用于车辆内包括驾驶员在内的所有驾乘人员。这将有助于提升所有驾乘人员的安全体验。通过

下面结合附图详细描述本公开的示例性实施例。

图1是图示出根据示例性实施例的可以在其中实施本文描述的各种方法的示例系统100的示意图。

参考图1，该系统100包括车载系统110、服务器120、以及将车载系统110与服务器120通信地耦合的网络130。

车载系统110包括显示器114和可经由显示器114显示的应用程序(APP)112。应用程序112可以为车载系统110默认安装的或由用户102下载和安装的应用程序，或者作为轻量化应用程序的小程序。在应用程序112为小程序的情况下，用户102可以通过在宿主应用中搜索应用程序112(例如，通过应用程序112的名称等)或扫描应用程序112的图形码(例如，条形码、二维码等)等方式，在车载系统110上直接运行应用程序112，而无需安装应用程序112。在一些实施例中，车载系统110可以包括一个或多个处理器和一个或多个存储器(未示出)，并且车载系统110被实现为车载计算机。在一些实施例中，车载系统110可以包括更多或更少的显示屏114(例如，不包括显示屏114)，和/或一个或多个扬声器或其他人机交互设备。在一些实施例中，车载系统110可以不与服务器120通信。

服务器120可以代表单台服务器、多台服务器的集群、分布式系统、或者提供基础云服务(诸如云数据库、云计算、云存储、云通信)的云服务器。将理解的是，虽然图1中示出服务器120与仅一个车载系统110通信，但是服务器120可以同时为多个车载系统提供后台服务。

网络130允许按照约定的通信协议和数据交互标准，在车-X(“X”意指车、路、行人或互联网等)之间，进行无线通讯和信息交换。网络130的示例包括局域网(LAN)、广域网(WAN)、个域网(PAN)、和/或诸如互联网之类的通信网络的组合。网络130可以是有线或无线网络。在一个示例中，网络130可以是车内网、车际网和/或车载移动互联网。

图2是图示出根据示例性实施例的用于确定车辆内部的人员的状态的方法200的流程图。方法200可以在车载系统(例如，图1中所示的车载系统110)处执行，也即，方法200的各个步骤的执行主体可以是图1中所示的车载系统110。在一些实施例中，方法200可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法200可以由车载系统(例如，车载系统110)和服务器(例如，服务器120)相组合地执行。在下文中，以执行主体为车载系统110为例，详细描述方法200的各个步骤。

参考图2，在步骤210中，从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第一车内图像。其中，车内图像序列中的至少一个车内图像包含与车辆内的第一座位的标识相关联的人员对象。多个第一车内图像彼此时间上相隔第二时间间隔，并且第二时间间隔大于第一时间间隔。

在步骤220中，在每次获取第一车内图像时，对该第一车内图像进行人脸识别。

在步骤230中，响应于在第一持续时间期间每次人脸识别的结果指示第一座位处存在的人员是人员对象，利用第一持续时间内车内摄像头以第一时间间隔采集的连续图像确定人员对象的状态。

在本公开的实施例中，车内摄像头以较高的频率对车内图像进行采集，以得到车内的至少一个人员对象的图像信息。为了确定图像中存在的人员对象的身份，以低于摄像头图像采集频率的另一较低频率对图像中的人员对象进行人脸识别。由此，根据本公开的实施例，可以以较低频率的人脸识别过程代替计算量庞大的人脸跟踪算法，从而减少在确定车内人员状态的过程中需要的计算量。在人脸识别的基础上，可以利用较高频率采集的车内图像确定属于该人员对象的状态信息。

下面将结合图3-图5详细描述本公开的原理。

图3是图示出根据另一示例性实施例的用于确定车辆内部的人员的状态的方法300的流程图。方法300可以在车载系统(例如，图1中所示的车载系统110)处执行，也即，方法300的各个步骤的执行主体可以是图1中所示的车载系统110。在一些实施例中，方法300可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法300可以由车载系统(例如，车载系统110)和服务器(例如，服务器120)相组合地执行。在下文中，以执行主体为车载系统110为例，详细描述方法300的各个步骤。其中，可以利用方法200中的步骤210、220、230分别实现方法300中的步骤350、360、370。

参考图3，在步骤310中，车内摄像头可以以第一时间间隔采集车内图像序列。其中，车内摄像头指的是在车辆座舱内能够采集到车内图像的图像采集装置。在一些示例中，车内摄像头可以是RGB摄像头。在另一些示例中，车内摄像头也可以是红外摄像头。在此不限制车内摄像头的具体类型。进一步地，车辆座舱内可以安装有一个或多个车内摄像头。在此也不限制车内摄像头的具体数量。在一些实施例中，可以为座舱内的每一排座位设置一个摄像头，用于采集该排座位处的图像。这里所说的第一时间间隔可以取决于摄像头的图像采集频率。例如，当摄像头的采集频率是50赫兹时，第一时间间隔可以是20ms。

在步骤320中，可以从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第二车内图像，其中多个第二车内图像彼此时间上相隔第三时间间隔。其中，第三时间间隔可以等于第一时间间隔。其中，第二车内图像可以用于对车内的人员对象进行身份识别。

在步骤330中，可以在每次获取第二车内图像时，对该第二车内图像进行人脸识别。在一些实施例中，可以将第二车内图像中识别到的人脸特征与服务器中存储的已知的身份信息的人脸特征进行比对，以确定第二车内图像中识别到的人员对象的身份。在另一些实施例中，如果在第二车内图像中识别到的人脸特征不与任何已知的身份信息相匹配，可以将所识别到的人脸特征进行存储并标识为新的身份信息。在一些示例中，可以提示用户提供与新识别到的人脸特征对应的身份标识的具体内容(如姓名、年龄等)。在另一些示例中，也可以在服务器内为新识别到的人脸特征分配身份标识的具体内容(如随机生成的身份代码)。

在步骤340中，响应于在第二持续时间期间每次人脸识别的结果指示第一座位处存在的人员是同一人员对象，可以将上述识别到的人员对象与第一座位的标识相关联。

利用步骤310-340，通过将第三时间间隔设置成等于用于图像采集的第一时间间隔，可以以较高的频率对车内图像进行初步的人脸识别，以确定车内图像中存在的人员对象及其身份标识。当在一定持续时间期间(如第二持续时间期间)内识别到第一座位处存在的人员是同一人员对象时，可以认为该人员对象已经坐定在该第一座位处。可以理解的是，根据不同的应用场景，第三时间间隔也可以被设置成大于第一时间间隔。例如，当第一时间间隔是20ms时，也可以将第三时间间隔设置成40ms、60ms等数值。也就是说，用于关联人员对象和座位标识的人脸识别的频率可以低于图像采集的频率。即，无需针对车内图像序列中的每个车内图像执行人脸识别。这可以减少用于执行方法300所需的计算量。

考虑到车辆座舱内部的空间限制，车内落座的人员通常在短时间之内不会出现位置变化。因此，在将识别到的人员对象与第一座位的标识相关联后，对于第一座位处存在的人员对象可以以较低的频率实行人脸识别，而无需采用计算量更大的人脸跟踪方法对该人员对象进行跟踪。

在一些实施例中，通过人脸识别可以检测到在第一座位处存在多个人员对象。响应于人脸识别的结果指示第一座位处存在多个人员对象，可以将识别到的多个人员对象中的至少一个人员对象与第一座位的冗余标识相关联。在一些示例中，针对车辆座舱中的第一排座位，可以分别设置主驾驶、副驾驶的座位标识。在此基础上，还可以为第一排座位设置冗余标识“一排未知”。例如，当检测到在副驾驶位上存在两个人员对象时(例如，副驾驶上落座的成年人抱着一个孩子)，可以将识别到的两个人员对象中的一个与副驾驶位相关联，另一个与“一排未知”的冗余标识相关联，从而使得本实施例中的方法能够处理在同一座位上出现多于一个人员对象的情况。可以理解的是，冗余标识的数量可以是本领域技术人员根据实际情况来设置的。尽管上文中描述了为一排座位设置一个冗余标识的情况，本公开的实施例事实上并不限制冗余标识的具体数量。针对车辆后排座位(如二排座位、三排座位)，也可以相应设置至少一个冗余标识(如“二排未知”、“三排未知”)。

在步骤350中，在将识别到的人员对象与第一座位的标识相关联之后，从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第一车内图像。其中，车内图像序列中的至少一个车内图像包含与车辆内的第一座位的标识相关联的人员对象。多个第一车内图像彼此时间上相隔第二时间间隔。其中，第二时间间隔大于第一时间间隔，第二时间间隔也大于第三时间间隔。在一些示例中，第二时间间隔可以是1分钟或其它任何合适的时间长度。

在步骤360中，在每次获取第一车内图像时，对该第一车内图像进行人脸识别。可以看出，在步骤360中以大于第一时间间隔和大于第三时间间隔的第二时间间隔对第一车内图像进行人脸识别。

在车辆内的人员对象已经被确定为在第一座位落座并与第一座位相关联的情况下，可以以低于步骤340中使用的人脸识别频率的频率对第一车内图像进行人脸识别。如果相隔第二时间间隔的两次人脸识别得到的结果是相同的，可以认为在第二时间间隔期间第一座位处落座的人员对象始终没有发生变化。也就是说，在第二时间间隔期间车内摄像头所采集到的连续的车内图像序列都可以用于反映与第一座位相关联的人员对象的状态。

在步骤370中，响应于在第一持续时间期间每次人脸识别的结果指示第一座位处存在的人员是人员对象，利用第一持续时间内车内摄像头以第一时间间隔采集的连续图像确定人员对象的状态。

在与第一座位关联的人员对象在第一持续时间期间都不发生变化的情况下，可以采用第一持续时间期间车内摄像头采集到的车内图像中的信息来确定第一座位处的人员对象的状态。在一些示例中，人员对象的状态可以包括人员对象的心率、心率变异性、呼吸率、体温、血氧含量、血压、动作、语言中的至少一项。根据实际应用的需要，本领域技术人员可以对车内摄像头的类型和数量进行配置来获取用于确定上述人员对象的状态的信息。在一些情况下，还可以通过车内设置的麦克风、温湿度计等任何其他类型的传感器获取用于辅助确定人员对象的状态的其他信息。

图4是图示出根据示例性实施例用于将人员对象与座位标识相关联的方法400的流程图。方法400可以在车载系统(例如，图1中所示的车载系统110)处执行，也即，方法400的各个步骤的执行主体可以是图1中所示的车载系统110。在一些实施例中，方法400可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法400可以由车载系统(例如，车载系统110)和服务器(例如，服务器120)相组合地执行。在下文中，以执行主体为车载系统110为例，详细描述方法400的各个步骤。

在步骤410中，可以对第一车内图像进行人脸识别。其中，在先前的人脸识别过程中，人脸识别的结果指示车内图像中包括与车辆内的第一座位的标识相关联的人员对象。

在步骤420中，响应于步骤410中的人脸识别的结果指示第一座位处存在的人员是与先前识别的与车辆内的第一座位的标识相关联的人员对象不同的另一人员对象，或者步骤410中的人脸识别的结果指示第一座位处不存在任何人员对象，可以取消将先前识别的与车辆内的第一座位的标识相关联的人员对象与第一座位的标识相关联。

在这种情况下，由于人脸识别的结果指示第一位置处的人员对象发生了变化，可以取消人员对象与第一座位的标识的关联。在后续的过程中，将不再认为车内图像中第一座位处的图像信息能够反映先前与第一座位的标识相关联的人员对象的状态。

在步骤430中，在步骤410中的人脸识别的结果指示第一座位处存在的人员是与先前识别的与车辆内的第一座位的标识相关联的人员对象不同的另一人员对象的情况下，响应于在第三持续时间期间每次人脸识别的结果指示第一座位处存在的人员是上述另一人员对象，可以将另一人员对象与第一座位的标识相关联。例如，第三持续时间期间可以是30秒。在这种情况下，由于在第三持续时间期间持续识别到另一人员对象存在于第一座位处，可以认为第一座位处的人员从先前的人员对象改变为上述另一人员对象。因此，可以通过将另一人员对象与第一座位的标识相关联，使得在后续的方法过程中，可以利用车内图像中第一座位处的图像信息确定另一人员对象的状态。

利用结合图2-图3描述的方法，可以确定车辆内至少一个人员对象的状态。当车辆内存在多个人员对象时，可以分别对与不同座位相关联的不同人员对象分别应用方法200或方法300来确定不同人员对象的状态。基于所获取的不同人员对象的状态可以为不同的人员对象应用不同的监控策略。

图5是图示出根据示例性实施例的用于对车辆内的人员对象进行监控的方法500的流程图。方法500可以在车载系统(例如，图1中所示的车载系统110)处执行，也即，方法500的各个步骤的执行主体可以是图1中所示的车载系统110。在一些实施例中，方法500可以在服务器(例如，图1中所示的服务器120)处执行。在一些实施例中，方法500可以由车载系统(例如，车载系统110)和服务器(例如，服务器120)相组合地执行。在下文中，以执行主体为车载系统110为例，详细描述方法500的各个步骤。

其中，车内摄像头采集到的车内图像可以包括与车辆内的第一座位的标识相关联的人员对象，以及与车辆内的第二座位的标识相关联的人员对象。其中，第一座位和第二座位可以是车辆中任一位置的座位。

在步骤510中，可以对与第一座位的标识相关联的人员对象和与第二座位的标识相关联的人员对象应用不同的监控策略。

其中，第一座位可以是驾驶位。与第一座位的标识相关联的人员对象可以是驾驶员。第二座位可以是车辆内除了驾驶位以外的其他座位，如副驾驶位或乘客座位。与第二座位的标识相关联的人员对象可以是车内除驾驶员以外的其他人员。在一些示例中，可以对与驾驶位的标识相关联的人员对象(即车辆驾驶员)应用包括监控与所述驾驶位的标识相关联的人员对象在驾驶过程中的注意力的监控策略。进一步地，也可以对与驾驶位的标识相关联的人员对象同时应用与身体状态有关的监控策略，如监控人员对象的体温、心跳、呼吸等生理状态是否正常。同时，对与其他座位的标识相关联的车内其他人员应用的监控策略可以不包括对驾驶过程的注意力监控，而仅进行与身体状态有关的监控策略。

可以理解的是，本领域技术人员可以根据实际情况，以其他的方式对车内的人员对象应用不同的监控策略。例如，可以基于车内人员对象的年龄应用不同的监控策略。在一些示例中，当检测到车内的人员包括(如60岁以上的)老年人时，可以为该老年人应用针对心率和血压的身体状态的监控，以防止车内的老年人突发身体不适。当检测到车内的人员包括未成年人时，可以为未成年人应用针对情绪状态的监控，以防止未成年人情绪失控而导致影响驾驶员的注意力。

在步骤520中，可以基于步骤510中应用的监控策略，并且基于与第一座位的标识相关联的人员对象的状态和与第二座位的标识相关联的人员对象的状态生成车内提示。

其中，人员对象的状态可以包括人员对象的心率、心率变异性、呼吸率、体温、血氧含量、血压、动作、语言中的至少一项。

在一些实施例中，第一座位是驾驶位，第二座位是车辆内除驾驶位以外的其他座位。步骤520可以包括：至少基于与第一座位的标识相关联的人员对象的语言和与第二座位的标识相关联的人员对象的语言确定时间窗口内的对话参与人。响应于确定对话参与人包括与驾驶位的标识相关联的人员对象，生成提醒驾驶员注意驾驶安全的车内提示。在此实施例中，可以基于检测到的驾驶员的动作、眼神、车辆内部的对话参与情况确定驾驶员的注意力是否集中在驾驶过程中。例如，当检测到在时间窗口内驾驶员参与对话的时间高于预定的时间阈值或参与对话的比例高于预定的比例阈值时，可以认为驾驶员的注意力集中于对话而非驾驶过程。在这种情况下，可以生成提醒驾驶员减少对话并注意驾驶安全的车内提示。

在一些实施例中，步骤520可以包括：确定与第一座位的标识相关联的人员对象和与第二座位的标识相关联的人员对象中的至少一个精神状态不佳，生成询问是否开启用改善用户精神状态的相应功能的车内提示。这里所说的改善用户精神状态的相应功能可以包括开窗通风、开启座椅按摩、调整空调温度、开启车内香氛等功能中的一个或多个。在一些示例中，可以基于人员对象的眨眼次数、心率变异性等状态确定人员对象的精神状态。当人员的眨眼次数增加或心率变异性指标降低时，可以认为对应人员的精神状态不佳。在这种情况下，可以生成询问是否开窗通风的车内提示。这样，即使车内人员没有意识到由于通风不佳导致精神状态不佳，车辆也可以及时检测到车内人员的精神状态的变化，从而提供提示以帮助包括驾驶员在内的车内人员恢复状态。通过维持车内人员的精神状态处于良好状态，可以提高乘客的乘坐体验，也可以避免驾驶员精神状态不佳从而影响驾驶安全。

在一些实施例中，步骤520可以包括：确定与第一座位的标识相关联的人员对象和与第二座位的标识相关联的人员对象中的至少一个情绪不稳定，生成用于提醒车内人员注意驾驶安全的车内提示。在一些示例中，可以基于人员对象的语言、动作等状态信息确定车内有人员处于情绪激动的状态，例如生气、过于兴奋等状态。在此情况下，当情绪不稳定的人员是驾驶员时，这样的状态可能会导致驾驶员无法将注意力集中于驾驶过程。当情绪不稳定的人员是除驾驶员以外的其他乘客时，其他乘客的情绪也可能会影响驾驶员将注意力集中在驾驶过程。因此，在这种情况下，可以生成车内提示来提醒车内人员控制自己的情绪，避免影响驾驶安全。在一些示例中，可以通过播放舒缓音乐等方式对车内人员的情绪进行安抚。

在一些示例中，也可以结合驾驶员和其他人员的状态信息生成车内提示。例如，可以基于副驾驶位的人员状态确定副驾驶位的乘客正在参与对话。同时，可以基于驾驶位的人员状态确定驾驶员正在关注副驾驶位乘客的对话(例如，基于驾驶位的人员状态确定驾驶员的正在看向副驾驶位的乘客)。在这种情况下，也可以生成提醒驾驶员注意驾驶安全的车内提示。

利用本公开的实施例提供的监控方法，可以综合车内多个人员的状态信息提供多样化的监控策略并为不同的情况提供有针对性的车内提示。这有助于提高车内乘客的乘坐体验并改善驾驶安全。

图6是图示出根据示例性实施例的用于确定车辆内部的人员的状态的装置600的示意性框图。

如图6所示，装置600可以包括图像获取单元610、人脸识别单元620以及状态确定单元630。

图像获取单元610可以被配置成从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第一车内图像，其中所述车内图像序列中的至少一个车内图像包含与所述车辆内的第一座位的标识相关联的人员对象，所述多个第一车内图像彼此时间上相隔第二时间间隔，并且所述第二时间间隔大于所述第一时间间隔。

人脸识别单元620可以被配置成在每次获取第一车内图像时，对该第一车内图像进行人脸识别。

状态确定单元630可以被配置成响应于在第一持续时间期间每次人脸识别的结果指示所述第一座位处存在的人员是所述人员对象，利用所述第一持续时间内所述车内摄像头以所述第一时间间隔采集的连续图像确定所述人员对象的状态。

在本公开的实施例中，车内摄像头以较高的频率对车内图像进行采集，以得到车内的至少一个人员对象的图像信息。为了确定图像中存在的人员对象的身份，以低于摄像头图像采集频率的另一较低频率对图像中的人员对象进行人脸识别。由此，根据本公开的实施例，可以以较低频率的人脸识别过程代替计算量庞大的人脸跟踪算法，从而减少在确定车内人员状态的过程中需要的计算量。

应当理解，图6中所示装置600的各个模块可以与参考图2描述的方法200中的各个步骤相对应。由此，上面针对方法200描述的操作、特征和优点同样适用于装置600及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。

虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的特定模块执行动作包括该特定模块本身执行该动作，或者替换地该特定模块调用或以其他方式访问执行该动作(或结合该特定模块一起执行该动作)的另一个组件或模块。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。

还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图6描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，图像获取单元610、人脸识别单元620以及状态确定单元630中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。

根据本公开的一方面，提供了一种计算机设备，其包括至少一个存储器、至少一个处理器以及存储在至少一个存储器上的计算机程序。该至少一个处理器被配置为执行计算机程序以实现上文描述的任一方法实施例的步骤。

根据本公开的一方面，提供了一种车辆，其包括如上所述的装置或计算机设备。

根据本公开的一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。

根据本公开的一方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。

在下文中，结合图7描述这样的计算机设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。

图7示出了可以被用来实施本文所描述的方法的计算机设备700的示例配置。举例来说，图1中所示的服务器120和/或车载系统110可以包括类似于计算机设备700的架构。上述用于确定车辆内部的人员的状态的装置600也可以全部或至少部分地由计算机设备700或类似设备或系统实现。

计算机设备700可以包括能够诸如通过系统总线714或其他适当的连接彼此通信的至少一个处理器702、存储器704、(多个)通信接口706、显示设备708、其他输入/输出(I/O)设备710以及一个或更多大容量存储设备712。

处理器702可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器702可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器702可以被配置成获取并且执行存储在存储器704、大容量存储设备712或者其他计算机可读介质中的计算机可读指令，诸如操作系统716的程序代码、应用程序718的程序代码、其他程序720的程序代码等。

存储器704和大容量存储设备712是用于存储指令的计算机可读存储介质的示例，所述指令由处理器702执行来实施前面所描述的各种功能。举例来说，存储器704一般可以包括易失性存储器和非易失性存储器二者(例如RAM、ROM等等)。此外，大容量存储设备712一般可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如CD、DVD)、存储阵列、网络附属存储、存储区域网等等。存储器704和大容量存储设备712在本文中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，所述计算机程序代码可以由处理器702作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。

多个程序可以存储在大容量存储设备712上。这些程序包括操作系统716、一个或多个应用程序718、其他程序720和程序数据722，并且它们可以被加载到存储器704以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑(例如，计算机程序代码或指令)：方法200、方法300、方法400、方法500(包括方法200、300、400、500的任何合适的步骤)、和/或本文描述的另外的实施例。

虽然在图7中被图示成存储在计算机设备700的存储器704中，但是模块716、718、720和722或者其部分可以使用可由计算机设备700访问的任何形式的计算机可读介质来实施。如本文所使用的，“计算机可读介质”至少包括两种类型的计算机可读介质，也就是计算机可读存储介质和通信介质。

计算机可读存储介质包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息诸如是计算机可读指令、数据结构、程序模块或者其他数据。计算机可读存储介质包括而不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘(DVD)、或其他光学存储装置，磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储信息以供计算机设备访问的任何其他非传送介质。与此相对，通信介质可以在诸如载波或其他传送机制之类的已调制数据信号中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文所定义的计算机可读存储介质不包括通信介质。

一个或更多通信接口706用于诸如通过网络、直接连接等等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口(例如，网络接口卡(NIC))、有线或无线(诸如IEEE 802.11无线LAN(WLAN))无线接口、全球微波接入互操作(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、Bluetooth

在一些示例中，可以包括诸如监视器之类的显示设备708，以用于向用户显示信息和图像。其他I/O设备710可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等等。

本文描述的技术可以由计算机设备700的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。例如，该功能还可以通过使用分布式系统在“云”上全部或部分地实现。云包括和/或代表用于资源的平台。平台抽象云的硬件(例如，服务器)和软件资源的底层功能。资源可以包括在远离计算机设备700的服务器上执行计算处理时可以使用的应用和/或数据。资源还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的订户网络提供的服务。平台可以抽象资源和功能以将计算机设备700与其他计算机设备连接。因此，本文描述的功能的实现可以分布在整个云内。例如，功能可以部分地在计算机设备700上以及部分地通过抽象云的功能的平台来实现。

以下描述本公开的一些示例性方面。

方面1.一种用于确定车辆内部的人员的状态的方法，包括：

从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第一车内图像，其中所述车内图像序列中的至少一个车内图像包含与所述车辆内的第一座位的标识相关联的人员对象，所述多个第一车内图像彼此时间上相隔第二时间间隔，并且所述第二时间间隔大于所述第一时间间隔；

在每次获取第一车内图像时，对该第一车内图像进行人脸识别；

响应于在第一持续时间期间每次人脸识别的结果指示所述第一座位处存在的人员是所述人员对象，利用所述第一持续时间内所述车内摄像头以所述第一时间间隔采集的连续图像确定所述人员对象的状态。

方面2.根据方面1所述的方法，还包括，在依次获取所述多个第一车内图像之前：

从所述车内图像序列中依次获取多个第二车内图像，其中所述多个第二车内图像彼此时间上相隔第三时间间隔，所述第三时间间隔小于所述第二时间间隔；

在每次获取第二车内图像时，对该第二车内图像进行人脸识别；

响应于在第二持续时间期间每次人脸识别的结果指示所述第一座位处存在的人员是所述人员对象，将所述人员对象与所述第一座位的标识相关联。

方面3.根据方面2所述的方法，还包括：

响应于人脸识别的结果指示所述第一座位处存在的人员是与所述人员对象不同的另一人员对象或在所述第一座位处不存在任何人员对象，取消将所述人员对象与所述第一座位的标识相关联。

方面4.根据方面3所述的方法，还包括：

响应于在第三持续时间期间每次人脸识别的结果指示所述第一座位处存在的人员是所述另一人员对象，将所述另一人员对象与所述第一座位的标识相关联。

方面5.根据方面2所述的方法，还包括：

响应于人脸识别的结果指示所述第一座位处存在多个人员对象，将所述多个人员对象中的至少一个人员对象与所述第一座位的冗余标识相关联。

方面6.根据方面1至5中任一项所述的方法，其中，所述车内图像还包括与所述车辆内的第二座位的标识相关联的人员对象，所述方法还包括：

对与所述第一座位的标识相关联的人员对象和与所述第二座位的标识相关联的人员对象应用不同的监控策略。

方面7.根据方面6所述的方法，其中，所述第一座位是驾驶位，所述第二座位是所述车辆内除驾驶位以外的其他座位，并且对与所述驾驶位的标识相关联的人员对象应用的监控策略包括监控与所述驾驶位的标识相关联的人员对象在驾驶过程中的注意力。

方面8.根据方面6所述的方法，还包括：

基于所述监控策略，并且基于与所述第一座位的标识相关联的人员对象的状态和与所述第二座位的标识相关联的人员对象的状态生成车内提示。

方面9.根据方面8所述的方法，其中所述人员对象的状态包括所述人员对象的心率、心率变异性、呼吸率、体温、血氧含量、血压、动作、语言中的至少一项。

方面10.根据方面9所述的方法，其中，所述第一座位是驾驶位，所述第二座位是所述车辆内除驾驶位以外的其他座位，并且

其中，基于与所述第一座位的标识相关联的人员对象的状态和与所述第二座位的标识相关联的人员对象的状态生成车内提示包括：

至少基于与所述第一座位的标识相关联的人员对象的语言和与所述第二座位的标识相关联的人员对象的语言确定时间窗口内的对话参与人；

响应于确定所述对话参与人包括与所述驾驶位的标识相关联的人员对象，生成提醒驾驶员注意驾驶安全的车内提示。

方面11.根据方面8所述的方法，其中，基于与所述第一座位的标识相关联的人员对象的状态和与所述第二座位的标识相关联的人员对象的状态生成车内提示包括：

确定与所述第一座位的标识相关联的人员对象和与所述第二座位的标识相关联的人员对象中的至少一个精神状态不佳；

生成询问是否启用改善用户精神状态的相应功能的车内提示。

方面12.根据方面8所述的方法，其中，基于与所述第一座位的标识相关联的人员对象的状态和与所述第二座位的标识相关联的人员对象的状态生成车内提示包括：

确定与所述第一座位的标识相关联的人员对象和与所述第二座位的标识相关联的人员对象中的至少一个情绪不稳定；

生成用于提醒车内人员注意驾驶安全的车内提示。

方面13.一种用于确定车辆内部的人员的状态的装置，包括：

图像获取单元，被配置成从车内摄像头以第一时间间隔采集的车内图像序列中依次获取多个第一车内图像，其中所述车内图像序列中的至少一个车内图像包含与所述车辆内的第一座位的标识相关联的人员对象，所述多个第一车内图像彼此时间上相隔第二时间间隔，并且所述第二时间间隔大于所述第一时间间隔；

人脸识别单元，被配置成在每次获取第一车内图像时，对该第一车内图像进行人脸识别；

状态确定单元，被配置成响应于在第一持续时间期间每次人脸识别的结果指示所述第一座位处存在的人员是所述人员对象，利用所述第一持续时间内所述车内摄像头以所述第一时间间隔采集的连续图像确定所述人员对象的状态。

方面14.一种计算机设备，包括：

至少一个处理器；以及

至少一个存储器，其上存储有计算机程序，

其中，所述计算机程序在被所述至少一个处理器执行时，使所述至少一个处理器执行方面1-12中任一项所述的方法。

方面15.一种车辆，包括如方面13所述的装置或如方面14所述的计算机设备。

方面16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行方面1-12中任一项所述的方法。

方面17.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，使所述处理器执行方面1-12中任一项所述的方法。

虽然在附图和前面的描述中已经详细地说明和描述了本公开，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；本公开不限于所公开的实施例。通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除未列出的其他元件或步骤，不定冠词“一”或“一个”不排除多个，术语“多个”是指两个或两个以上，并且术语“基于”应解释为“至少部分地基于”。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获益。