驾驶员状态推断装置

技术领域

本发明公开的技术涉及一种驾驶员状态推断装置。

背景技术

在专利文献1中公开了一种判定驾驶员的状态的驾驶员状态判定装置。该驾驶员状态判定装置具备：视线检测单元，检测驾驶员的视线方向；视线频度分布计算单元，根据该视线检测单元的检测结果来计算预先决定的时间内的视线方向的频度分布，作为视线频度分布；以及驾驶员状态判断单元，通过对视线频度分布的模式进行识别来判断驾驶员的心理或生理的状态。

专利文献1：日本专利第3027786号公报

在专利文献1的驾驶员状态判定装置中，在视为驾驶员的视线集中于一点的情况下，判定为驾驶员处于“恍惚状态”。另外，在与前方车辆之间的距离不是安全的车间距离的情况下，视为驾驶员正在注视前方车辆，不判定为驾驶员处于“恍惚状态”。

但是，在如专利文献1的装置那样，基于驾驶员的视线集中于一点的程度以及与前方车辆之间的距离来推断驾驶员的状态的方法中，无法推断由于驾驶员的疾病等而引起的驾驶员的注意功能降低状态。因此，难以提高驾驶员的状态的推断精度。

发明内容

本发明所公开的技术是鉴于上述问题而完成的，其目的在于提高驾驶员的状态的推断精度。

本发明所公开的技术涉及一种对搭乘于移动体的驾驶员的状态进行推断的驾驶员状态推断装置，该驾驶员状态推断装置具备：第1计测部，在上述驾驶员的周围环境中的上述驾驶员的自上而下注意占主导地位的第1区域中，计测与上述驾驶员分配给自上而下注意的注意资源的量相关联的第1指标值；第2计测部，在上述驾驶员的周围环境中的上述驾驶员的自下而上注意占主导地位的第2区域中，计测与上述驾驶员分配给自下而上注意的注意资源的量相关联的第2指标值；以及推断部，基于上述第1区域中的上述第1指标值以及上述第2区域中的上述第2指标值，推断包括上述驾驶员的注意功能降低状态在内的上述驾驶员的状态。

在上述构成中，能够基于驾驶员的自上而下注意占主导地位的第1区域中的驾驶员的自上而下注意资源量(分配给自上而下注意的注意资源的量)、以及驾驶员的自下而上注意占主导地位的第2区域中的驾驶员的自下而上资源量(分配给自下而上注意的注意资源的量)，推断包括驾驶员的注意功能降低状态在内的驾驶员的状态。此外，与仅基于自上而下注意资源量以及自下而上注意资源量中的一方来推断驾驶员的状态的情况相比，能够提高驾驶员的状态的推断精度。

上述驾驶员状态推断装置也可以具备检测上述驾驶员的视线的视线检测部。此外，上述第1计测部也可以具有：关注部位检测部，检测上述驾驶员的周围环境中的关注部位；以及第1指标导出部，基于上述驾驶员的视线相对于上述驾驶员的周围环境中的关注部位的运动，导出上述第1区域中的上述第1指标值。上述第2计测部也可以具有：凸显度检测部，检测上述驾驶员的周围环境中的凸显度的分布；以及第2指标导出部，基于上述驾驶员的视线相对于上述驾驶员的周围环境中的凸显度的分布的运动，导出上述第2区域中的上述第2指标值。

在上述构成中，能够基于驾驶员的视线相对于驾驶员的周围环境中的关注部位的运动，适当地导出第1区域中的第1指标值。此外，能够基于驾驶员的视线相对于驾驶员的周围环境中的凸显度的分布的运动，适当地导出第2区域中的第2指标值。

在上述驾驶员状态推断状态中也可以为，上述第1区域是上述驾驶员的周围环境中的在上述移动体的驾驶中由上述驾驶员注视的频度较高的区域。

在上述构成中，通过将驾驶员的周围环境中的在移动体的驾驶中由驾驶员注视的频度较高的区域设定为第1区域，由此能够适当地设定驾驶员的自上而下注意占主导地位的第1区域。

发明的效果

根据本发明所公开的技术，能够提高驾驶员的状态的推断精度。

附图说明

图1是例示实施方式的车辆控制系统的构成的框图。

图2是例示车辆前侧的构成的图。

图3是例示驾驶员状态推断部的构成的框图。

图4是例示表示车辆的前方区域的前方图像的图。

图5是例示在前方图像中重叠了车辆的构成构件的合成图像的图。

图6是例示表示关注部位的分布的关注部位映射的图。

图7是例示表示凸显度的分布的凸显度映射(saliency map)的图。

图8是例示注视点处的凸显度的变化的曲线图。

图9是例示随机点处的凸显度的变化的曲线图。

图10是表示注视点处的凸显度超过阈值的概率与随机点处的凸显度超过阈值的概率之间的关系的曲线图。

图11是例示驾驶模拟器的立体图。

图12是例示健全者的凸显度指标值的变化的曲线图。

图13是例示注意障碍患者的凸显度指标值的变化的曲线图。

图14是用于说明分别分配给自上而下注意以及自下而上注意的注意资源的量的变化的图。

图15是例示自上而下注意占主导地位的第1区域和自下而上注意占主导地位的第2区域的图。

图16是用于对驾驶员状态推断进行说明的流程图。

图17是用于对驾驶员状态推断的变形例进行说明的流程图。

符号的说明

10：车辆控制系统(移动体控制系统)；11：驱动器；20：信息取得部；21：摄像机；22：雷达；23：位置传感器；24：通信部；25：车辆状态传感器；26：驾驶操作传感器；27：驾驶员状态传感器；28：车内摄像机；29：生体信息传感器；30：车辆控制装置(驾驶员状态推断装置)；31：车辆举动识别部；32：驾驶操作识别部；33：外部环境识别部；34：驾驶员状态识别部；35：车辆控制部；300：驾驶员状态推断部；310：视线检测部；320：第1计测部；321：关注部位检测部；322：第1指标导出部；330：第2计测部；331：凸显度检测部；332：第2指标导出部；340：推断部；R10：第1区域；R11：前方中央区域；R12：综合仪表盘区域；R20：第2区域。

具体实施方式

以下，参照附图对实施方式进行详细说明。另外，对于图中的相同或相当的部分标注相同的符号，且不重复进行其说明。

(车辆控制系统)

图1例示实施方式的车辆控制系统10的构成。该车辆控制系统10设置于车辆(具体而言为机动四轮车)。车辆能够切换为手动驾驶、辅助驾驶和自动驾驶。手动驾驶是根据驾驶员的操作(例如油门的操作等)而行驶的驾驶。辅助驾驶是对驾驶员的操作进行支援而行驶的驾驶。自动驾驶是无需驾驶员的操作而行驶的驾驶。车辆控制系统10在辅助驾驶和自动驾驶中对车辆进行控制。具体而言，车辆控制系统10通过对设置于车辆的驱动器11进行控制来对车辆的动作(特别是行驶)进行控制。另外，车辆控制系统10是设置于移动体的移动体控制系统的一例。

在该例子中，车辆控制系统10具备信息取得部20、车辆控制装置30以及通知部40。在以下的说明中，将设置有车辆控制系统10的车辆记载为“本车辆”，将存在于本车辆周围的其他车辆记载为“其他车辆”。

[驱动器]

驱动器11包括驱动系统的驱动器、转向系统的驱动器、制动系统的驱动器等。作为驱动系统的驱动器的例子，能够举出发动机、变速器、马达。作为制动系统的驱动器的例子，能够举出制动器。作为转向系统的驱动器的例子，能够举出转向装置。

[信息取得部]

信息取得部20取得用于车辆的控制的各种信息。在该例子中，信息取得部20包括多个摄像机21、多个雷达22、位置传感器23、通信部24、车辆状态传感器25、驾驶操作传感器26以及驾驶员状态传感器27。

<摄像机>

多个摄像机21具有彼此相同的构成。多个摄像机21以多个摄像机21的摄像区域包围车辆周围的方式设置于车辆。多个摄像机21通过对在车辆周围扩展的环境(外部环境)进行摄像，由此取得表示外部环境的图像数据。由多个摄像机21分别得到的图像数据被发送到车辆控制装置30。

在该例子中，摄像机21是具有广角镜头的单眼摄像机。例如，摄像机21使用CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary metal-oxide-semiconductor：互补金属氧化物半导体)等固体摄像元件来构成。另外，摄像机21也可以是具有窄角镜头的单眼摄像机，还可以是具有广角镜头或窄角镜头的立体摄像机。

<雷达>

多个雷达22具有彼此相同的构成。多个雷达22以多个雷达22的探测区域包围车辆周围的方式设置于车辆。多个雷达22检测外部环境。具体而言，雷达22通过朝向车辆的外部环境发送探测波而接收来自外部环境的反射波，由此检测出外部环境。多个雷达22的检测结果被发送到车辆控制装置30。

例如，雷达22可以是发送毫米波的毫米波雷达，可以是发送激光的激光雷达(Light Detection and Ranging)，可以是发送红外线的红外线雷达，也可以是发送超声波的超声波传感器。

<位置传感器>

位置传感器23检测车辆的位置(例如纬度和经度)。例如，位置传感器23接收来自全球定位系统的GPS信息，并基于GPS信息来检测车辆的位置。由位置传感器23得到的信息(车辆的位置)被发送到车辆控制装置30。

<通信部>

通信部24通过设置于车辆外部的车外网络(例如因特网等)来接收信息。例如，通信部24接收来自位于车辆周围的其他车辆(省略图示)的通信信息、来自导航系统(省略图示)的汽车导航数据、交通信息、动态映射等高精度地图信息等。由通信部24得到的信息被发送到车辆控制装置30。

<车辆状态传感器>

车辆状态传感器25检测车辆的状态(例如速度、加速度、横摆率等)。例如，车辆状态传感器25包括检测车辆的速度的车速传感器、检测车辆的加速度的加速度传感器、检测车辆的横摆率的横摆率传感器等。由车辆状态传感器25得到的信息(车辆的状态)被发送到车辆控制装置30。

<驾驶操作传感器>

驾驶操作传感器26检测对车辆施加的驾驶操作。例如，驾驶操作传感器26包括油门开度传感器、转向角传感器、制动液压传感器等。油门开度传感器检测车辆的油门的操作量。转向角传感器检测车辆的方向盘的转向角。制动液压传感器检测车辆的制动器的操作量。由驾驶操作传感器26得到的信息(车辆的驾驶操作)被发送到车辆控制装置30。

<驾驶员状态传感器>

驾驶员状态传感器27检测搭乘于车辆的驾驶员的状态(例如驾驶员的身体举动、生物信息等)。由驾驶员状态传感器27得到的信息(驾驶员的状态)被发送到车辆控制装置30。在该例子中，驾驶员状态传感器27包括车内摄像机28以及生物信息传感器29。

<<车内摄像机>>

车内摄像机28设置在车辆的内部。车内摄像机28通过对包括驾驶员在内的区域进行摄像，由此取得包括驾驶员在内的图像数据。由车内摄像机28得到的图像数据被发送到车辆控制装置30。在该例子中，车内摄像机28配置在驾驶员的前方，并以驾驶员的面部(特别是眼球)位于摄像范围内的方式设定摄像范围。另外，车内摄像机28也可以设置于驾驶员所佩戴的护目镜(省略图示)。

<<生物信息传感器>>

生物信息传感器29设置在车辆的内部。生物信息传感器29检测驾驶员的生物信息。另外，作为驾驶员的生物信息的例子，可以举出出汗、心跳、血流量、皮肤温度等。由生物信息传感器29得到的信息(驾驶员的生物信息)被发送到车辆控制装置30。例如，生物信息传感器29可以配置在与驾驶员的手接触的部位(例如后述的方向盘76)，也可以设置于驾驶员的身体所佩戴的部件(省略图示)。

[车辆控制装置]

车辆控制装置30与驱动器11以及车辆控制系统10的各部(在该例子中为信息取得部20以及通知部40等)以能够传输信号的方式连接。并且，车辆控制装置30基于由车辆控制系统10的各部得到的信息，对驱动器11以及车辆控制系统10的各部进行控制。具体而言，车辆控制装置30在辅助驾驶或自动驾驶中，基于由信息取得部20取得的各种信息，决定车辆应当行驶的路径即目标路径，并决定为了沿着目标路径行驶而需要的车辆的运动即目标运动。然后，车辆控制装置30对驱动器11的动作进行控制，以使车辆的运动成为目标运动。另外，车辆控制装置30是驾驶员状态推断装置的一例。

例如，车辆控制装置30由一个或多个电子控制单元(ECU)构成。电子控制单元可以由单一的IC(Integrated Circuit：集成电路)构成，也可以由多个IC构成。此外，在IC内，可以设置有单一的核心或管芯，也可以设置有协作的多个核心或管芯。核心或管芯例如也可以由CPU(处理器)、以及对用于使CPU动作的程序、CPU的处理结果等信息进行存储的存储器构成。

在该例子中，车辆控制装置30具有车辆举动识别部31、驾驶操作识别部32、外部环境识别部33、驾驶员状态识别部34以及车辆控制单元35。

<车辆举动识别部>

车辆举动识别部31基于车辆状态传感器25的输出来推断车辆的举动(例如速度、加速度、横摆率等)。例如，车辆举动识别部31使用通过深层学习而生成的学习模型，根据车辆状态传感器25的输出来生成表示车辆举动的数据。

<驾驶操作识别部>

驾驶操作识别部32基于驾驶操作传感器26的输出来识别对车辆施加的驾驶操作。例如，驾驶操作识别部32使用通过深层学习而生成的学习模型，根据驾驶操作传感器26的输出来生成表示对车辆施加的驾驶操作的数据。

<外部环境识别部>

外部环境识别部33根据多个摄像机21的输出、多个雷达22的输出、位置传感器23的输出、通信部24的输出、以及车辆举动识别部31的输出，来识别车辆的外部环境。

例如，外部环境识别部33使用通过深层学习而生成的学习模型，根据上述输出来生成表示车辆的外部环境的数据。在深层学习中，使用多层神经网络(Deep NeuralNetwork)。作为多层神经网络的例子，可以举出CNN(Convolutional Neural Network：卷积神经网络)。

具体而言，外部环境识别部33通过对由多个摄像机21得到的图像数据进行图像处理，由此生成表示车辆能够运动的道路的道路映射数据(例如三维映射数据)。此外，外部环境识别部33基于多个雷达22的检测结果，取得与存在于车辆周边的物体相关的信息即物体信息。物体信息包含物体的位置坐标、物体的速度等。另外，外部环境识别部33也可以基于由多个摄像机21得到的图像数据来取得物体信息。并且，外部环境识别部33通过将道路映射数据与物体信息进行综合，由此生成表示外部环境的综合映射数据(三维映射数据)。

道路映射数据包含与道路的形状、道路的构造、道路的坡度、划分线、路面标志等相关的信息。物体信息包含静态物体信息以及动态物体信息。静态物体信息是与不随着时间经过而位移的静止体相关的信息。静态物体信息包含与静止体的形状、静止体的位置坐标等相关的信息。作为静止体的例子，可以举出道路标识、构造物等。作为构造物的例子，可以举出信号灯、中央隔离带、中心杆、建筑物、指示牌、铁路道口、隧道、电车轨道、公共汽车站等。动态物体信息是与有可能随着时间经过而位移的移动体相关的信息。动态物体信息包含与移动体的形状、移动体的位置坐标、移动体的速度等相关的信息。作为移动体的例子，可以举出其他车辆、行人等。

另外，由通信部24接收的高精度地图信息也可以包含道路映射数据以及物体信息。在该情况下，外部环境识别部33也可以构成为，基于高精度地图信息所包含的道路映射数据以及物体信息来生成综合映射数据，并基于多个摄像机21、多个雷达22等信息取得部20的输出来适当修正综合映射数据。例如，外部环境识别部33也可以为，在基于多个摄像机21的输出以及多个雷达22的输出而识别出的物体未包含在综合映射数据中的情况下，将与该物体相关的物体信息追加到综合映射数据中。此外，外部环境识别部33也可以为，在基于多个摄像机21的输出以及多个雷达22的输出而未识别出综合映射数据中包含的物体的情况下，将与该物体相关的物体信息从综合映射数据中删除。

<驾驶员状态识别部>

驾驶员状态识别部34基于驾驶员状态传感器27的输出来识别驾驶员的状态(例如驾驶员的健康状态、感情、姿势等)。例如，驾驶员状态识别部34使用通过深层学习而生成的学习模型，根据驾驶员状态传感器27的输出来生成表示驾驶员的状态的数据。在该例子中，驾驶员状态识别部34具有驾驶员状态推断部300。关于驾驶员状态推断部300将在之后详细说明。

<车辆控制部>

车辆控制部35基于车辆举动识别部31的输出、驾驶操作识别部32的输出、外部环境识别部33的输出、以及驾驶员状态识别部34的输出，对驱动器11进行控制。在该例子中，车辆控制部35进行行驶控制以及通知控制。

<<行驶控制>>

在辅助驾驶以及自动驾驶中进行行驶控制。在行驶控制中，车辆控制部35对车辆的行驶进行控制。在该例子中，车辆控制部35在行驶控制中进行候补路径生成处理、目标路径决定处理以及运动控制处理。

在候补路径生成处理中，车辆控制部35基于外部环境识别部33的输出来生成一个或者多个候补路径。候补路径是车辆能够行驶的路径且是目标路径的候补。另外，在该例子中，在通过候补路径生成处理生成的候补路径中包含安全路径。安全路径是朝向安全区域(例如路肩)的行驶路径。

例如，在候补路径生成处理中，车辆控制部35基于外部环境识别部33的输出(综合映射数据)，生成包含车辆的行进方向前方的道路以及道路上存在的物体在内的行驶映射数据(二维映射数据)。然后，车辆控制部35使用状态格法来生成候补路径。具体而言，车辆控制部35在行驶映射数据的道路上设定由大量栅格点形成的栅格区域，并朝向车辆的行进方向依次连结多个栅格点，由此设定多个行驶路径。此外，车辆控制部35对多个行驶路径分别赋予路径成本。例如，随着某个行驶路径上的车辆的安全性提高，对该行驶路径赋予的路径成本变小。然后，车辆控制部35基于对多个行驶路径分别赋予的路径成本，从多个行驶路径中选择一个或者多个行驶路径作为候补路径。

在目标路径决定处理中，车辆控制部35基于驾驶操作识别部32的输出以及驾驶员状态识别部34的输出，从在候补路径生成处理中生成的一个或者多个候补路径中选择成为目标路径的候补路径。例如，车辆控制部35选择多个候补路径中驾驶员感觉最舒适的候补路径。

在运动控制处理中，车辆控制部35基于在目标路径决定处理中被选择为目标路径的候补路径来决定目标运动，并基于该决定的目标运动对驱动器11进行控制。例如，车辆控制部35分别导出用于实现目标运动的驱动力、制动力以及转向量即目标驱动力、目标制动力以及目标转向量。然后，车辆控制部35将表示目标驱动力的驱动指令值、表示目标制动力的制动指令值以及表示目标转向量的转向指令值分别发送到驱动系统的驱动器、制动系统的驱动器以及转向系统的驱动器。

<<通知控制>>

在通知控制中，车辆控制部35输出用于向驾驶员通知的各种信息。在该例子中，车辆控制部35将用于向驾驶员通知的各种信息输出到通知部40。

[通知部]

通知部40设置在车辆的内部。而且，通知部40向车辆的驾驶员通知各种信息。在该例子中，通知部40包括显示部41以及扬声器42。显示部41通过图像来输出各种信息。扬声器42通过声音来输出各种信息。

[车辆前侧的构成(车辆构成构件)]

如图2所示，在车辆的前侧设置有前窗玻璃60。前窗玻璃60被两个前立柱内饰71、顶棚内饰72、以及仪表板73包围。两个前立柱内饰71分别构成前窗玻璃60右侧以及左侧的边界。两个前立柱内饰71以随着朝向上侧而相互分离的方式倾斜。顶棚内饰72以及仪表板73分别构成前窗玻璃60上侧以及下侧的边界。此外，在前窗玻璃60的上侧中央部设置有后视镜74。在比前立柱内饰71靠车宽方向外侧设置有外后视镜75。在仪表板73上设置有显示部41、方向盘76、综合仪表盘77。

在该例子中，两个前立柱内饰71、顶棚内饰72、仪表板73、后视镜74、外后视镜75、方向盘76构成车辆构成构件70。车辆构成构件70是构成车辆的部件，且是在就座于设置在车内的驾驶席上的驾驶员观察车外的情况下、遮挡驾驶员的视线的部件。

[用语的说明]

接着，对在以下的说明中使用的用语进行说明。在以下的说明中，使用注意资源、自上而下注意、自上而下注意资源量、自上而下注意需求量、自下而上注意、自下而上注意资源量、自下而上注意需求量、任务需求、关注部位、凸显度这样的用语。

<注意资源>

注意资源是定量地表示人(驾驶员)的注意力的概念。人的注意力可以认为是有限的资源。在分配给对于某个对象的注意的注意资源的量不足的情况下，对于该对象无法充分发挥人的注意力，人对于该对象的注意变得不充分。

<自上而下注意>

自上而下注意是人使视线主动地移动到所意图的部位的注意机理。例如，在对于应当选择的刺激具有先验知识的情况下，人能够通过主动地施加偏倚来选择作为目的的刺激。

<自上而下注意资源量与自上而下注意需求量>

自上而下注意资源量是分配给人的自上而下注意的注意资源的量。自上而下注意需求量是对人的自上而下注意要求的注意资源的量。当自上而下注意资源量低于自上而下注意需求量时，自上而下注意变得不充分。

<自下而上注意>

自下而上注意是人的视线被显眼的部位被动地吸引的注意机理。例如，在多个视觉刺激中的一个刺激与周围的刺激显著不同的情况、视觉刺激突然出现的情况下等，人的视线被该刺激被动地吸引。

<自下而上注意资源量与自下而上注意需求量>

自下而上注意资源量是分配给人的自下而上注意的注意资源的量。自下而上注意需求量是对人的自下而上注意要求的注意资源的量。当自下而上注意资源量低于自下而上注意需求量时，自下而上注意变得不充分。

<任务需求>

任务需求是指驾驶任务的难易度。随着驾驶任务的难易度变高，任务需求变大。驾驶任务是指使驾驶车辆的驾驶员承担的工作。驾驶任务包括与车辆的外部相关的外部任务、以及与车辆的内部相关的内部任务。作为外部任务的例子，可以举出状况监控、避免危险、车速保持/调节、车道保持/调节、遵守交通规则、目的地探测等。在状况监控中，进行基于驾驶员的目视的车辆前方确认、使用了后视镜74以及外后视镜75的车辆后方确认。在避免危险中，进行其他车辆、行人、路侧物等障碍物的确认、用于避免危险的驾驶操作。在车速保持/调节中，进行在本车辆的前方行驶的其他车辆、道路坡度、道路线形等的确认、用于车速保持/调节的驾驶操作。在车道保持/调节中，进行道路线形、划分线、路肩等的确认、用于车道保持/调节的驾驶操作。在遵守交通规则中，进行信号灯、道路标识、路面标志等的确认。在目的地探测中，进行表示目的地的指示牌等的确认。作为内部任务的例子，可以举出综合仪表盘77等显示设备的确认、导航系统等操作设备的确认等。例如，在高速道路等应当确认的部位较少的单调的驾驶场景中，任务需求变小，在市区道路等应当确认的部位较多的复杂的驾驶场景中，任务需求变大。

<关注部位>

关注部位是指在搭乘于车辆的驾驶员的周围扩展的环境(以下记载为“驾驶员的周围环境”)中，驾驶员应当关注的部位。关注部位是在自上而下注意中驾驶员应当有意图地使视线朝向的部位。关注部位能够按照车辆的每个驾驶场景来决定。作为关注部位的例子，可以举出后视镜74、外后视镜75、综合仪表盘77、其他车辆、行人、路侧物、划分线、路肩、信号灯、道路标识、路面标志等。另外，关注部位也可以根据经验来决定。例如，也可以将预测行人突然出现的交叉路口设定为关注部位。

<凸显度>

凸显度是表示吸引自下而上注意的视觉刺激的程度的值，是根据颜色、亮度、方向、运动等特征而变化的值。例如，在图像所包含的任意的区域与该区域周围的区域之间，随着颜色、亮度、方向、运动等特征的不同变得显著，而吸引自下而上注意的视觉刺激变强，该任意的区域中的凸显度变高。图像所包含的任意的部位处的凸显度越高，则该任意的部位越容易吸引人的视线。

[驾驶员状态推断部的构成]

图3例示驾驶员状态推断部300的构成。驾驶员状态推断部300具有视线检测部310、第1计测部320、第2计测部330以及推断部340。

<视线检测部>

视线检测部310检测驾驶员的视线。在该例子中，视线检测部310通过对由车内摄像机28得到的图像数据进行视线检测处理，由此检测出驾驶员的视线。另外，该视线检测处理可以是使用通过深层学习而生成的学习模型(用于检测视线的学习模型)来进行的处理，也可以是使用公知的视线检测技术来进行的处理。例如，视线检测部310从由车内摄像机28得到的图像(图像数据)中检测出驾驶员的瞳孔，并基于该检测到的瞳孔来检测驾驶员的视线。另外，驾驶员的视线可以是驾驶员的右眼的视线，可以是驾驶员的左眼的视线，也可以是基于驾驶员的右眼的视线以及左眼的视线而导出的视线。

<第1计测部>

第1计测部320为，在驾驶员的周围环境中的驾驶员的自上而下注意占主导地位的第1区域R10中，计测与驾驶员的自上而下注意资源量相关联的第1指标值id1。随着驾驶员的自上而下注意资源量变多，第1区域R10中的第1指标值id1变大。另外，关于第1区域R10将在之后进行详细说明。在该例子中，第1计测部320具有关注部位检测部321以及第1指标导出部322。

<<关注部位检测部>>

关注部位检测部321检测出驾驶员的周围环境中的关注部位。在该例子中，关注部位检测部321基于多个摄像机21中对车辆的前方区域进行摄像的摄像机21的输出，生成表示驾驶员的周围环境中的关注部位的关注部位映射数据D3。具体而言，关注部位检测部321按照以下的顺序来生成关注部位映射数据D3。

首先，关注部位检测部321基于多个摄像机21中对车辆的前方区域进行摄像的摄像机21的输出，取得前方图像数据D1。如图4所示，前方图像数据D1表示车辆的外部环境中的前方区域的图像。在图4的例子中，在前方图像数据D1所示的图像中包含车道150。在车道150上行驶有其他车辆161。在车道150的右侧设置有墙壁162。在墙壁162的右侧具有树木163、山丘164。在车道150的左侧具有森林165。在树木163的右侧具有建筑物166。在车道150、树木163、山丘164以及森林165的上侧具有天空167。在图4的例子中，天空167为阴天而几乎为白色。

接着，关注部位检测部321通过将构成构件图像数据合成到前方图像数据D1中，由此生成合成图像数据D2。构成构件图像数据表示车辆构成构件70(在车内的驾驶员观察车外的情况下遮挡驾驶员的视野的车辆构件)的图像。例如，通过利用摄像机从设置在车内的驾驶席对车辆的前侧进行摄像，由此能够得到构成构件图像数据。如图5所示，在合成图像数据D2所示的图像中，在前方图像数据D1所示的车辆的前方区域的图像中重叠有构成构件图像数据所示的车辆构成构件70的图像。由此，生成表示驾驶员的周围环境的合成图像数据D2。

接着，关注部位检测部321从合成图像数据D2所示的驾驶员的周围环境的图像中检测出关注部位。例如，按照车辆的每个驾驶场景而预先决定有关注部位。关注部位检测部321存储表示按照车辆的每个驾驶场景而决定的关注部位的关注部位信息。而且，关注部位检测部321基于合成图像数据D2所示的图像来检测出车辆的驾驶场景，并从合成图像数据D2所示的图像中检测出与该检测到的驾驶场景对应的关注部位。驾驶场景的检测可以是使用通过深层学习而生成的学习模型(用于检测驾驶场景的学习模型)来进行的处理，也可以是使用公知的场景判别技术来进行的处理。与此同样，关注部位的检测可以是使用通过深层学习而生成的学习模型(用于检测关注部位的学习模型)来进行的处理，也可以是使用公知的特征检测技术来进行的处理。

接着，关注部位检测部321基于关注部位的检测结果来生成关注部位映射数据D3。如图6所示，关注部位映射数据D3表示关注部位的分布。在图6的例子中，附加了影线的部位为关注部位。具体而言，在图6的例子中，后视镜74、外后视镜75、其他车辆161、墙壁162、车道150的划分线成为关注部位。

然后，关注部位检测部321为，每当前方图像数据D1被更新时，就通过上述顺序来生成关注部位映射数据D3。由此，得到按照时间序列顺序排列的多个关注部位映射数据D3。

<<第1指标导出部>>

第1指标导出部322基于驾驶员的视线相对于驾驶员的周围环境中的关注部位的运动，导出第1区域R10中的第1指标值id1。具体而言，第1指标导出部322基于驾驶员的周围环境中的关注部位与驾驶员的视线的吻合度(吻合频度)，导出第1区域R10中的第1指标值id1。当驾驶员的自上而下注意资源量增加时，在第1区域R10中驾驶员的周围环境中的关注部位与驾驶员的视线的吻合度增加，其结果，第1区域R10中的第1指标值id1增加。

在该例子中，第1指标导出部322为，导出与由关注部位检测部321生成的关注部位映射数据D3所示的关注部位和由视线检测部310检测出的驾驶员的视线在第1区域R10中的吻合度相应的值，作为第1区域R10中的第1指标值id1。具体而言，第1指标导出部322将由关注部位检测部321生成的关注部位映射数据D3中的第1区域R10作为对象，按照预先决定的每个计测期间来进行以下的处理。

首先，第1指标导出部322为，从按照时间序列顺序排列的多个关注部位映射数据D3中提取计测期间内所包含的两个以上的关注部位映射数据D3，并基于由视线检测部310检测出的驾驶员的视线的方向，在计测期间内所包含的两个以上的关注部位映射数据D3中分别检测出注视点。注视点是表示关注部位映射数据D3中的驾驶员的视线的位置(坐标)的点。例如，第1指标导出部322也可以为，按照预先决定的每个取样周期，从关注部位映射数据D3中检测出驾驶员的视线的位置而作为注视点。或者，第1指标导出部322也可以为，对停滞时间超过预先决定的基准时间的驾驶员的视线的位置进行检测而作为注视点。

接着，第1指标导出部322判定从计测期间内所包含的关注部位映射数据D3中检测出的注视点是否与该关注部位映射数据D3所示的关注部位吻合。

接着，第1指标导出部322基于注视点与关注部位的吻合判定的结果，导出第1指标值id1。例如，第1指标值id1是与如下比例相应的值，该比例是与关注部位吻合的注视点的数量相对于计测期间内所包含的注视点的总数所占的比例(以下记载为“关注吻合比例”)。该关注吻合比例是驾驶员的周围环境中的关注部位与驾驶员的视线的吻合度的一例。如此，按照每个计测期间导出第1区域R10中的第1指标值id1。

此外，第1指标导出部322将驾驶员的周围环境中的在车辆的驾驶中由驾驶员注视的频度较高的区域设定为第1区域R10。例如，第1指标导出部322基于由视线检测部310检测出的驾驶员的视线，检测预先决定的监控期间内的关注部位映射数据D3中的注视点的分布。然后，第1指标导出部322将关注部位映射数据D3中的包含注视点的密度超过预先决定的第1密度阈值的部位的区域设定为第1区域R10。另外，第1区域R10也可以被周期性地更新。

此外，第1指标导出部322根据车辆的移动速度而使第1区域R10的大小变化。具体而言，第1指标导出部322以随着车辆的移动速度变高而第1区域R10变小的方式，使第1区域R10的大小变化。

<第2计测部>

第2计测部330为，在驾驶员的周围环境中的驾驶员的自下而上注意占主导地位的第2区域R20中，计测与驾驶员的自下而上注意资源量相关联的第2指标值id2。随着驾驶员的自下而上注意资源量变多，第2区域R20中的第2指标值id2变大。另外，关于第2区域R20将在之后进行详细说明。在该例子中，第2计测部330具有关注部位检测部321以及第2指标导出部332。

<<凸显度检测部>>

凸显度检测部331检测驾驶员的周围环境中的凸显度的分布。在该例子中，凸显度检测部331基于多个摄像机21中对车辆的前方区域进行摄像的摄像机21的输出，生成表示驾驶员的周围环境中的凸显度的分布的凸显度映射数据D4。具体而言，凸显度检测部331通过以下的顺序来生成凸显度映射数据D4。

首先，与关注部位检测部321同样，凸显度检测部331生成前方图像数据D1，并通过在前方图像数据D1中合成构成构件图像数据来生成合成图像数据D2。

接着，凸显度检测部331通过对合成图像数据D2进行凸显度映射生成处理，由此生成凸显度映射数据D4。另外，在凸显度映射生成处理中，能够使用凸显度检测等公知技术。例如，凸显度检测部331按照颜色、亮度、方向、运动等每个特征来生成凸显度映射数据，并将这些特征的每个特征的凸显度映射相加，由此生成最终的凸显度映射数据(反映了全部特征的凸显度映射数据)。

如图7所示，凸显度映射数据D4表示驾驶员的周围环境中的凸显度的分布。凸显度映射数据D4的像素的值表示该像素的区域中的凸显度。在图7的例子中，通过影线的浓淡来表示凸显度的高低。随着影线变浓，附加了该影线的区域中的凸显度变高。

然后，凸显度检测部331为，每当前方图像数据D1被更新时，就通过上述顺序来生成凸显度映射数据D4。由此，得到按照时间序列顺序排列的多个凸显度映射数据D4。

<<第2指标导出部>>

第2指标导出部332基于驾驶员的视线相对于驾驶员的周围环境中的凸显度的分布的运动，导出第2区域R20中的第2指标值id2。具体而言，第2指标导出部332基于驾驶员的周围环境中的高凸显度部位与驾驶员的视线在第2区域R20中的吻合度(吻合频度)，导出第2区域R20中的第2指标值id2。高凸显度部位是驾驶员的周围环境中的凸显度比较高的部位。例如，高凸显度部位是凸显度超过预先决定的基准凸显度的部位。当驾驶员的自下而上注意资源量增加时，在第2区域R20中驾驶员的周围环境中的高凸显度部位与驾驶员的视线之间的吻合度增加，其结果，第2区域R20中的第2指标值id2增加。

在该例子中，第2指标导出部332导出与由凸显度检测部331生成的凸显度映射数据D4所示的高凸显度部位和由视线检测部310检测出的驾驶员的视线之间的吻合度相应的值，作为第2指标值id2。具体而言，第2指标导出部332将由凸显度检测部331生成的凸显度映射数据D4中的第2区域R20作为对象，按照预先决定的每个运算期间，进行以下的第1处理、第2处理、第3处理以及第4处理。

在第1处理中，第2指标导出部332从按照时间序列顺序排列的多个凸显度映射数据D4中提取包含在运算期间内的两个以上的凸显度映射数据D4，基于由视线检测部310检测出的驾驶员的视线的方向，在计测期间内所包含的两个以上的凸显度映射数据D4中分别检测注视点，并检测注视点处的凸显度。注视点是表示凸显度映射数据D4中的驾驶员的视线的位置(坐标)的点。例如，第2指标导出部332可以按照预先决定的每个取样周期，从凸显度映射数据D4中检测出驾驶员的视线的位置作为注视点。或者，第2指标导出部332也可以检测出停滞时间超过预先决定的基准时间的驾驶员的视线的位置作为注视点。通过该第1处理，能够得到每个规定时刻的注视点的凸显度。如图8所示，注视点的凸显度随着时间的经过而变化。

在第2处理中，从按照时间序列顺序排列的多个凸显度映射数据D4中提取包含在运算期间内的两个以上的凸显度映射数据D4，在计测期间内所包含的两个以上的凸显度映射数据D4中分别指定随机点，并检测出随机点处的凸显度。随机点是表示在凸显度映射数据D4中随机地指定的位置(坐标)的点。另外，优选在多个凸显度映射数据D4中的通过第1处理检测到注视点的凸显度映射数据D4中指定随机点。即，优选检测出随机点处的凸显度的时刻与检测出注视点处的凸显度的时刻一致。通过该第2处理，能够得到每个规定时刻的随机点的凸显度。如图9所示，随机点的凸显度随着时间的经过而变化。

接着，进行第3处理。在第3处理中，第2指标导出部332基于通过第1处理得到的运算期间内的每个规定时刻的注视点的凸显度、以及通过第2处理得到的运算期间内的每个规定时刻的随机点的凸显度，导出表示“注视点的凸显度超过阈值的概率”与“随机点的凸显度超过阈值的概率”之间的关系的ROC(Receiver Operating Characteristic：接受者操作特性)曲线。

具体而言，第2指标导出部332将与凸显度相关的阈值从最大值阶段性地变更到最小值。然后，第1指标导出部322为，每当变更阈值时就进行以下的处理。

首先，第2指标导出部332求出运算期间内的每个规定时刻的注视点的凸显度中的超过阈值的注视点的凸显度的数量，并将超过阈值的注视点的凸显度的数量除以运算期间内的注视点的凸显度的总数，由此求出注视点的凸显度超过阈值的概率。此外，第2指标导出部332求出运算期间内的每个规定时刻的随机点的凸显度中的超过阈值的随机点的凸显度的数量，并将超过阈值的随机点的凸显度的数量除以运算期间内的随机点的凸显度的总数，由此求出随机点的凸显度超过阈值的概率。

然后，第2指标导出部332基于针对每个阈值求出的“注视点的凸显度超过阈值的概率”与“随机点的凸显度超过阈值的概率”的组合，导出ROC曲线。图10例示ROC曲线。该ROC曲线根据驾驶员的视线被高凸显度部位吸引的倾向的强度而变化。例如，在存在驾驶员的视线朝向高凸显度部位的倾向的情况下，如图10的第1曲线C1那样，ROC曲线成为与斜率为1的直线(虚线所示的直线)相比向上侧凸出的曲线。另一方面，在存在驾驶员的视线朝向低凸显度部位的倾向的情况下，如图10的第2曲线C2那样，ROC曲线成为与斜率为1的直线(虚线所示的直线)相比向下侧凸出的曲线。另外，低凸显度部位是驾驶员的周围环境中的凸显度比较低的部位，例如是凸显度低于预先决定的基准凸显度的部位。

接着，进行第4处理。在第4处理中，第2指标导出部332求出ROC曲线下侧的面积即AUC(Area Under the Curve：曲线下方面积)值作为凸显度指标值。例如，在图10的第1曲线C1为ROC曲线的情况下，AUC值相当于图10的附加了影线的区域的面积。例如，随着驾驶员的视线朝向高凸显度部位的倾向变强，作为凸显度指标值的AUC值变大，随着驾驶员的视线朝向低凸显度部位的倾向变强，作为凸显度指标值的AUC值变小。如此，按照每个运算期间来导出凸显度指标值。

此外，第2指标导出部332按照预先决定的每个计测期间来进行第5处理。计测期间比运算期间长。在计测期间中分别包含多个运算期间。在第5处理中，第2指标导出部332判定计测期间内所包含的凸显度指标值是否超过预先决定的高凸显度阈值。然后，第2指标导出部332基于凸显度指标值的判定结果来导出第2指标值id2。例如，第2指标值id2是与超过高凸显度阈值的凸显度指标值的数量相对于计测期间内所包含的凸显度指标值的总数所占的比例(以下记载为“高指标比例”)相应的值。该高指标比例是驾驶员的周围环境中的高凸显度部位与驾驶员的视线之间的吻合度的一例。如此，按照每个计测期间来导出第2区域R20中的第2指标值id2。

此外，第2指标导出部332将驾驶员的周围环境中的在车辆的驾驶中由驾驶员注视的频度较低的区域设定为第2区域R20。例如，第2指标导出部332基于由视线检测部310检测出的驾驶员的视线，检测预先决定的监控期间内的凸显度映射数据D4中的注视点的分布。然后，第2指标导出部332将凸显度映射数据D4中的包括注视点的密度低于预先决定的第2密度阈值的部位的区域设定为第2区域R20。另外，第2密度阈值可以是低于第1密度阈值的密度，也可以是与第1密度阈值相同的密度。此外，第2区域R20也可以周期性地更新。

另外，第2指标导出部332也可以将凸显度映射数据D4中的除了由第1指标导出部322设定的第1区域R10以外的区域都设定为第2区域R20。

<推断部>

推断部340基于第1区域R10中的第1指标值id1以及第2区域R20中的第2指标值id2，推断驾驶员的状态。具体而言，推断部340基于第1区域R10中的第1指标值id1的变化、以及第2区域R20中的第2指标值id2的变化，推断驾驶员的状态。另外，关于驾驶员的状态的推断将在之后进行详细说明。

[驾驶员的状态]

在该例子中，在由推断部340推断出的驾驶员的状态中包含“注意功能降低状态”、“漫不经心状态”以及“正常状态”。

注意功能降低状态是注意功能正在降低的状态，是对车辆的驾驶产生妨碍的状态。作为注意功能降低的主要原因，可以举出产生伴随有注意功能降低的疾病、清醒度降低等。作为伴随有注意功能的降低的疾病的例子，可以举出心肌梗塞等心脏病、脑中风等脑疾病、癫痫、低血糖等。

漫不经心状态是不集中于车辆的驾驶而恍惚的状态，是对车辆的驾驶产生妨碍的状态。

正常状态是既不是上述注意功能降低状态也不是漫不经心状态的状态，是能够正常进行车辆的驾驶的状态。

[由本申请发明人进行的实验]

本申请发明人为了调查驾驶员的状态与驾驶员的举动(尤其是视线的运动)之间的关系，实施了下述那样的实验。

首先，为了模拟地观测驾驶员在注意功能降低状态下的举动，而选出具有注意功能障碍的患者(以下记载为“注意障碍患者”)作为被实验者。此外，为了模拟地观测驾驶员在正常状态下的举动，而选出没有注意功能障碍的健全者(以下简称为“健全者”)作为被实验者。

接着，如图11所示，使用驾驶模拟器80使如上述那样选出的被实验者模拟地体验车辆的驾驶操作。具体而言，通过驾驶模拟器80使被实验者视听车辆行驶中的动态图像(表示从车内能够观察到的车辆的外部环境的动态图像)，并观测该被实验者在实验中的举动，由此模拟地观测被实验者在车辆驾驶时的举动。在该实验中，在对车辆行驶中的动态图像进行视听的被实验者的前方设置摄像机，并以被实验者的眼球包含在摄像范围内的方式设定摄像机。

然后，对由摄像机得到的图像数据进行视线检测处理，由此检测出被实验者的视线。另外，被实验者的视线的检测与在上述视线检测部310中进行的处理相同。

此外，基于由驾驶模拟器80再现的动态图像，生成表示关注部位的分布的关注部位映射数据D3，基于关注部位映射数据D3以及被实验者的视线，导出与自上而下注意资源量相关联的第1指标值id1。另外，关注部位映射数据D3的生成与在上述关注部位检测部321中进行的处理相同。第1指标值id1的导出与在上述第1指标导出部322中进行的处理相同。但是，在该实验中，不是将关注部位映射数据D3的一部分区域作为对象，而是将关注部位映射数据D3的整个区域作为对象，进行第1指标值id1的导出。

此外，基于由驾驶模拟器80再现的动态图像，生成表示凸显度的分布的凸显度映射数据D4，基于凸显度映射数据D4以及被实验者的视线，导出与自下而上注意资源量相关联的第2指标值id2。另外，凸显度映射数据D4的生成与在上述凸显度检测部331中进行的处理相同。第2指标值id2的导出与在上述第2指标导出部332中进行的处理相同。但是，在该实验中，不是将凸显度映射数据D4的一部分区域作为对象，而是将凸显度映射数据D4的整个区域作为对象，进行第2指标值id2的导出。

并且，基于第1指标值id1来推断出被实验者的自上而下注意资源量，基于第2指标值id2来推断出被实验者的自下而上注意资源量。

对多个被实验者实施了以上的实验。

图12表示健全者的凸显度指标值的时间变化。图13表示注意障碍患者的凸显度指标值的时间变化。在第2指标值id2的导出过程中得到这些凸显度指标值。在图12以及图13中，附加了影线的部分是凸显度指标值超过高凸显度阈值(在该例子中为0.6)的部分。由虚线框包围的部分是关注部位与被实验者的视线吻合的部分。健全者与注意障碍患者相比，关注部位与视线吻合的部分更多，自上而下注意占主导地位。另一方面，关于注意障碍患者，凸显度指标值超过高凸显度阈值的部分更多，自下而上注意占主导地位。

此外，将健全者作为被实验者，将被实验者的状态区分为漫不经心状态与正常状态，使任务需求变化而实施了上述实验。具体而言，通过在基于驾驶模拟器80的实验中使被实验者实施与驾驶操作不同的任务(心算)，由此模拟地再现被实验者的漫不经心状态，通过在基于驾驶模拟器80的实验中使被实验者不实施与驾驶操作不同的任务(心算)，由此模拟地再现被实验者的正常状态。此外，通过使驾驶模拟器80再现高速道路那样的单调的驾驶场景的动态图像，由此模拟地再现任务需求较小的状况，通过使驾驶模拟器80再现市区道路那样的复杂的驾驶场景的动态图像，由此模拟地再现任务需求较大的状况。在市区道路的驾驶场景中包含避让停放车辆、通过交叉路口、右转、左转、跟随前车、行人过马路等事件。

[由本申请发明人得到的见解其一]

通过上述实验，本申请发明人得到以下的见解。在以下的说明中，将自上而下注意资源量与自下而上注意资源量的总量记载为“注意资源总量”。

(1)注意障碍患者的注意资源总量少于健全者的注意资源总量。

(2)健全者的自上而下注意资源量以及自下而上注意资源量在健全者的漫不经心状态与正常状态下不同。具体而言，健全者的自上而下注意资源量为，在漫不经心状态下低于自上而下注意需求量，在正常状态下不低于自上而下注意需求量。此外，健全者的漫不经心状态的自上而下注意资源量少于健全者的正常状态的自上而下注意资源量，健全者的漫不经心状态的自下而上注意资源量多于健全者的正常状态的自下而上注意资源量。另外，健全者的注意资源总量与健全者的正常状态的注意资源总量相等。

(3)健全者的自上而下注意资源量以及自下而上注意资源量根据任务需求而变化。具体而言，当由于任务需求的减少而自上而下注意需求量减少时，自上而下注意资源量减少，自下而上注意资源量相应地增加。反之，当由于任务需求的增加而自上而下注意需求量增加时，自上而下注意资源量增加，自下而上注意资源量相应地减少。

[驾驶员的状态以及任务需求与注意资源之间的关系]

然后，根据以上的见解，本申请发明人发现了如下情况：如图14所示，驾驶员的自上而下注意资源量以及自下而上注意资源量根据驾驶员的状态以及任务需求而变化。在图14的例子中，附加有右上方向斜线的影线的朝上三角形的高度表示驾驶员的自上而下注意资源量。虚线的朝上三角形的高度表示驾驶员的自上而下注意需求量。附加有左上方向斜线的影线的朝下三角形的高度表示驾驶员的自下而上注意资源量。在图14中，作为其他参考例，图示了行人的自上而下注意资源量以及自下而上注意资源量、驾驶员意识丧失时的自上而下注意资源量以及自下而上注意资源量。在图14的例子中，驾驶员意识丧失时的自上而下注意资源量以及自下而上注意资源量为零。

具体而言，本申请发明人根据以上的见解而发现了以下情况。

(1)当驾驶员的状态从正常状态成为注意功能降低状态时，驾驶员的注意资源总量减少。具体而言，自上而下注意资源量减少，自上而下注意资源量低于自上而下注意需求量。另一方面，自下而上注意资源量也减少。

(2)驾驶员的自上而下注意资源量以及自下而上注意资源量根据驾驶员的状态而变化。具体而言，当驾驶员的状态从正常状态成为漫不经心状态时，自上而下注意资源量减少，自上而下注意资源量低于自上而下注意需求量。另一方面，对应于自上而下注意资源量减少，自下而上注意资源量增加。反之，当驾驶员的状态从漫不经心状态成为正常状态时，自上而下注意资源量增加，自上而下注意资源量达到自上而下注意需求量。另一方面，对应于自上而下注意资源量增加，自下而上注意资源量减少。另外，驾驶员在漫不经心状态时的注意资源总量与驾驶员在正常状态时的注意资源总量相等。

(3)驾驶员的自上而下注意资源量以及自下而上注意资源量根据任务需求而变化。具体而言，当任务需求增加时，自上而下注意需求量增加。其结果，自上而下注意资源量增加，自上而下注意资源量达到自上而下注意需求量。另一方面，对应于自上而下注意资源量增加，自下而上注意资源量减少。反之，当任务需求减少时，自上而下注意需求量减少。其结果，自上而下注意资源量减少，自上而下注意资源量达到自上而下注意需求量。另一方面，对应于自上而下注意资源量减少，自下而上注意资源量增加。

并且，本申请发明人根据以上的见解而发现了以下情况。

(4)通过将与驾驶员的自上而下注意资源量相关联的第1指标值id1与预先决定的第1阈值ht1进行比较，由此能够对驾驶员的自上而下注意资源量进行评价。第1阈值th1被设定为与驾驶员的自上而下注意需求量相应的值。随着自上而下注意需求量变多，第1阈值th1变大。例如，第1阈值th1被设定为自上而下注意资源量与自上而下注意需求量一致时的第1指标值id1。另外，自上而下注意需求量根据任务需求而变化。具体而言，随着任务需求变大，自上而下注意需求量变多。

(5)通过将与驾驶员的自下而上注意资源量相关联的第2指标值id2与预先决定的第2阈值th2进行比较，由此能够对驾驶员的自下而上注意资源量进行评价。第2阈值th2被设定为与驾驶员的自下而上注意需求量相应的值。随着驾驶员的自下而上注意需求量变多，第2阈值th2变大。例如，第2阈值th2被设定为自下而上注意资源量与自下而上注意需求量一致时的第2指标值id2。另外，驾驶员的自下而上注意需求量根据任务需求而变化。具体而言，随着任务需求变大，驾驶员的自下而上注意需求量变少。例如，自下而上注意需求量是从预先决定的注意需求总量减去自上而下注意需求量而得到的量。注意需求总量例如是正常状态时的注意资源总量。

[由本申请发明人得到的见解其二]

此外，本申请发明人进行锐意研究的结果，发现如下情况：如图15所示，在驾驶员的周围环境中包含驾驶员的自上而下注意占主导地位的第1区域R10、以及驾驶员的自下而上注意占主导地位的第2区域R20。例如，当驾驶员从正常状态成为注意功能降低状态时，在第1区域R10中显著地出现自上而下注意资源量的减少，在第2区域R20中显著地出现自下而上注意资源量的减少。

<第1区域>

第1区域R10是驾驶员的周围环境中的在车辆的驾驶中由驾驶员有意识地注视的频度较高的区域。作为第1区域R10的例子，可以举出前方中央区域R11、包括综合仪表盘77的综合仪表盘区域R12、包括平视显示器(省略图示)的区域等。前方中央区域R11是位于搭乘于车辆的驾驶员的前方中央的圆形状的区域。

另外，第1区域R10的大小根据车辆的移动速度而变化。具体而言，随着车辆的移动速度变高，第1区域R10变小。例如，随着车辆的移动速度变高，前方中央区域R11的直径变小。

<第2区域>

第2区域R20是驾驶员的周围环境中的在车辆的驾驶中由驾驶员有意识地注视的频度较低的区域。作为第2区域R20的例子，可以举出包括后视镜74的区域、包括外后视镜75的区域、包括天空、云等车辆周围景色的区域、包括由后方车辆监控系统(RVM)点亮的显示灯(省略图示)等点亮部的区域等。例如，第2区域R20也可以是驾驶员的周围环境中的除了第1区域R10以外的区域。

[驾驶员状态推断]

接着，参照图16对驾驶员的状态的推断进行说明。推断部340按照预先决定的每个推断周期来进行以下的处理。

<步骤ST11>

推断部340判定第1区域R10中的第1指标值id1是否低于第1阈值th1。在第1区域R10中的第1指标值id1低于第1阈值th1的情况下，进行步骤ST11的处理，在并非如此的情况下，进行步骤ST15的处理。

<步骤ST12>

推断部340判定第2区域R20中的第2指标值id2是否低于第2阈值th2。在第2区域R20中的第2指标值id2低于第2阈值th2的情况下，进行步骤ST13的处理，在并非如此的情况下，进行步骤ST14的处理。

<步骤ST13>

在第1区域R10中的第1指标值id1低于第1阈值th1且第2区域R20中的第2指标值id2低于第2阈值th2的情况下，推断部340推断为驾驶员处于注意功能降低状态。在该例子中，推断部340设置表示处于注意功能降低状态的标记。当设置表示处于注意功能降低状态的标记时，车辆控制部35进行与注意功能降低状态相应的动作。作为与注意功能降低状态相应的动作的例子，可以举出输出表示驾驶员的状态为注意功能降低状态(例如疾病)的异常信息的动作、用于将驾驶员的状态为注意功能降低状态的情况向车辆外部进行通知的动作、对驱动器11进行控制以使车辆沿着安全路径行驶并在安全区域停车的动作等。作为输出异常信息的动作的例子，可以举出通过向通知部40输出异常信息而将驾驶员的注意功能降低状态向车内进行通知的动作。作为用于将驾驶员处于注意功能降低状态的情况向车辆外部进行通知的动作的例子，可以举出使车辆的警示灯(省略图示)闪烁的动作。

<步骤ST14>

另一方面，在第1区域R10中的第1指标值id1低于第1阈值th1且第2区域R20中的第2指标值id2不低于第2阈值th2的情况下，推断部340不推断为驾驶员处于注意功能降低状态，而推断为驾驶员处于漫不经心状态。在该例子中，推断部340设置表示处于漫不经心状态的标记。当设置表示处于漫不经心状态的标记时，车辆控制部35进行与漫不经心状态相应的动作。作为与漫不经心状态相应的动作的例子，可以举出输出表示驾驶员的状态为漫不经心状态的漫不经心状态信息的动作、用于消除驾驶员的漫不经心状态的动作等。作为输出漫不经心状态信息的动作的例子，可以举出通过向通信部40输出漫不经心状态信息而将驾驶员的漫不经心状态向车内进行通知的动作。作为用于消除驾驶员的漫不经心状态的动作的例子，可以举出向通知部40输出用于促使驾驶员集中于车辆驾驶的信息的动作、向通知部40输出用于促使驾驶员进行休息的信息的动作等。

<步骤ST15>

此外，在第1区域R10中的第1指标值id1不低于第1阈值th1的情况下，推断部340推断为驾驶员处于正常状态。在该例子中，推断部340设置表示处于正常状态的标记。当设置表示处于正常状态的标记时，车辆控制部35进行与正常状态相应的动作。作为与正常状态相应的动作的例子，可以举出输出表示驾驶员的状态为正常状态的信息的动作、继续进行行驶控制的动作等。

[实施方式的效果]

如以上那样，通过使用第1区域R10中的第1指标值id1、以及与第2区域R20中的驾驶员的自下而上注意资源量相关联的第2指标值id2，由此能够基于驾驶员的自上而下注意占主导地位的第1区域R10中的驾驶员的自上而下注意资源量、以及驾驶员的自下而上注意占主导地位的第2区域R20中的驾驶员的自下而上注意资源量，推断出包括驾驶员的注意功能降低状态在内的驾驶员的状态。

例如，在第1区域R10中的第1指标值id1(与自上而下注意资源量相关联的值)低于第1阈值th1的情况下，将第2区域R20中的第2指标值id2(与自下而上注意资源量相关联的值)与第2阈值th2进行比较，由此能够推断出驾驶员是否处于注意功能降低状态。

此外，与仅基于自上而下注意资源量和自下而上注意资源量中的一方来推断驾驶员的状态的情况相比，能够提高驾驶员的状态的推断精度。

此外，通过设置视线检测部310、关注部位检测部321以及第1指标导出部322，由此能够基于驾驶员的视线相对于驾驶员的周围环境中的关注部位的运动，适当地导出第1区域R10中的第1指标值id1。此外，通过设置视线检测部310、凸显度检测部331以及第2指标导出部332，由此能够基于驾驶员的视线相对于驾驶员的周围环境中的凸显度的分布的运动，适当地导出第2区域R20中的第2指标值id2。

此外，通过将第1阈值th1设定为与驾驶员的自上而下注意需求量相应的值，由此能够适当地设定在驾驶员的自上而下注意资源量的评价中利用的第1阈值th1。

此外，通过将第2阈值th2设定为与驾驶员的自下而上注意需求量相应的值，由此能够适当地设定在驾驶员的自下而上注意资源量的评价中利用的第2阈值th2。

此外，通过使用第1区域R10中的第1指标值id1以及第2区域R20中的第2指标值id2来推断驾驶员的状态，由此与使用驾驶员的周围环境的整个区域中的第1指标值id1以及第2指标值id2的情况相比，能够减轻第1指标值id1以及第2指标值id2的导出所需要的处理负荷(例如注视点的检测所需要的处理负荷)。

此外，通过将驾驶员的周围环境中的在车辆的驾驶中由驾驶员注视的频度较高的区域设定为第1区域R10，由此能够适当地设定驾驶员的自上而下注意占主导地位的第1区域R10。

(第2指标导出部的变形例)

另外，第2指标导出部332也可以如以下那样，按照预先决定的每个计测期间来导出第2区域R20中的第2指标值id2。将由凸显度检测部331生成的凸显度映射数据D4中的第2区域R20作为对象，进行基于第2指标导出部332的处理(第2指标值id2的导出)。

首先，第2指标导出部332从按照时间序列顺序排列的多个凸显度映射数据D4中提取包含在计测期间内的两个以上的凸显度映射数据D4，基于由视线检测部310检测出的驾驶员的视线的方向，在计测期间内所包含的两个以上的凸显度映射数据D4中分别检测出注视点。

接着，第2指标导出部332判定从计测期间内所包含的凸显度映射数据D4中检测出的注视点与该凸显度映射数据D4所示的高凸显度部位是否一致。

接着，第2指标导出部332基于注视点与高凸显度部位之间的吻合判定的结果，导出第2指标值id2。例如，第2指标值id2是与如下比例相应的值，该比例是与高凸显度部位吻合的注视点的数量相对于计测期间内所包含的注视点的总数所占的比例(以下记载为“高凸显度吻合比例”)。该高凸显度吻合比例是驾驶员的周围环境中的高凸显度部位与驾驶员的视线之间的吻合度的一例。

(实施方式的变形例1)

接着，对实施方式的变形例1的车辆控制系统10进行说明。实施方式的变形例1的车辆控制系统10与实施方式的车辆控制系统10的不同点，在于推断部340的动作。另外，实施方式的变形例1的车辆控制系统10的其他构成与实施方式的车辆控制系统10的构成相同。

[由本申请发明人得到的见解]

本申请发明人进行锐意研究的结果，发现了如下情况：有时驾驶员处于注意功能降低状态(例如疾病)，但驾驶员努力想要观察关注部位，由此不会显著地出现驾驶员的自上而下注意资源量的减少。此外，本申请发明人发现了如下情况：即便在这种情况下，由于驾驶员的状态从正常状态成为注意功能降低状态，驾驶员的注意资源总量也会减少。

[驾驶员状态推断]

在实施方式的变形例1的车辆控制系统10中，代替图16所示的处理，转而进行图17所示的处理。在图17所示的处理中，代替图16所示的步骤ST15的处理，转而进行步骤ST21～ST23的处理。

<步骤ST21>

在步骤ST11中，在第1区域R10中的第1指标值id1不低于第1阈值th1的情况下，推断部340判定第2区域R20中的第2指标值id2是否低于第2阈值th2。在第2区域R20中的第2指标值id2低于第2阈值th2的情况下，进行步骤ST22的处理，在并非如此的情况下，进行步骤ST23的处理。

<步骤ST22>

在第1区域R10中的第1指标值id1不低于第1阈值th1且第2区域R20中的第2指标值id2低于第2阈值th2的情况下，推断部340推断为驾驶员处于注意功能降低状态。在该例子中，推断部340设置表示处于注意功能降低状态的标记。

<步骤ST23>

另一方面，在第1区域R10中的第1指标值id1不低于第1阈值th1且第2区域R20中的第2指标值id2不低于第2阈值th2的情况下，推断部340推断为驾驶员处于正常状态。在该例子中，推断部340设置表示处于正常状态的标记。

[实施方式的变形例1的效果]

如以上那样，在第1区域R10中的第1指标值id1不低于第1阈值th1的情况下，基于第2区域R20中的第2指标值id2与第2阈值th2的比较结果来推断驾驶员的状态，由此即便在驾驶员处于注意功能降低状态(例如疾病)、但并未显著地出现驾驶员的自上而下注意资源量的减少的情况下，也能够推断为驾驶员处于注意功能降低状态。由此，能够提高驾驶员的状态的推断精度。

(实施方式的变形例2)

接着，对实施方式的变形例2的车辆控制系统10进行说明。实施方式的变形例2的车辆控制系统10与实施方式的车辆控制系统10的不同点，在于第1指标导出部322以及第2指标导出部332的动作。另外，实施方式的变形例2的车辆控制系统10的其他构成与实施方式的车辆控制系统10的构成相同。

[驾驶员的视线]

在由视线检测部310检测出的驾驶员的视线中，包含与驾驶员的周围环境中的关注部位以及高凸显度部位的任一个都不吻合的驾驶员的视线。这样的驾驶员的视线在第1指标值id1以及第2指标值id2的导出中作为噪声起作用的可能性较高。因而，与驾驶员的周围环境中的关注部位以及高凸显度部位的任一个都不吻合的驾驶员的视线，优选不被利用于第1指标值id1以及第2指标值id2的导出。

在实施方式的变形例2的车辆控制系统10中，第1指标导出部322以及第2指标导出部332构成为，不将由视线检测部310检测出的驾驶员的视线中的与驾驶员的周围环境中的关注部位以及高凸显度部位的任一个都不吻合的驾驶员的视线，用于第1区域R10中的第1指标值id1以及第2区域R20中的第2指标值id2的导出。例如，第1指标导出部322以及第2指标导出部332也可以构成为，进行如下那样的处理。

另外，在实施方式的变形例2中，在关注部位映射数据D3的第1区域R10与第2区域R20中进行第1指标导出部322中的关注部位与注视点的吻合判定。在凸显度映射数据D4的第1区域R10与第2区域R20中进行第2指标导出部332中的高凸显度部位与注视点的吻合判定。

第1指标导出部322基于第1指标导出部322中的关注部位与注视点的吻合判定的结果、以及第2指标导出部332中的高凸显度部位与注视点的吻合判定的结果，从计测期间内所包含的第1区域R10内的注视点中检测出与关注部位以及高凸显度部位的任一个都不吻合的第1区域R10内的注视点。接着，第1指标导出部322从计测期间内所包含的第1区域R10内的注视点的总数中减去与关注部位以及高凸显度部位的任一个都不吻合的第1区域R10内的注视点的数量，将通过该减法运算而得到的数量设为计测期间内所包含的第1区域R10内的注视点的母数。然后，第1指标导出部322导出与如下的比例相应的值，作为第1区域R10中的第1指标值id1，该比例是与关注部位吻合的第1区域R10内的注视点的数量相对于计测期间内所包含的第1区域R10内的注视点的母数所占的比例。

第2指标导出部332基于第1指标导出部322中的关注部位与注视点的吻合判定的结果、以及第2指标导出部332中的高凸显度部位与注视点的吻合判定的结果，从计测期间内所包含的第2区域R20内的注视点中检测出与关注部位以及高凸显度部位的任一个都不吻合的第2区域R20内的注视点。接着，第2指标导出部332从计测期间内所包含的第2区域R20内的注视点的总数中减去与关注部位以及高凸显度部位的任一个都不吻合的第2区域R20内的注视点的数量，将通过该减法运算而得到的数量设为计测期间内所包含的第2区域R20内的注视点的母数。然后，第2指标导出部332导出与如下比例相应的值，作为第2区域R20中的第2指标值id2，该比例是与高凸显度部位吻合的第2区域R20内的注视点的数量相对于计测期间内所包含的第2区域R20内的注视点的母数所占的比例。

[实施方式的变形例2的效果]

如以上那样，能够从第1区域R10中的第1指标值id1的导出以及第2区域R20中的第2指标值id2的导出中，排除由视线检测部310检测出的驾驶员的视线中的与驾驶员的周围环境中的关注部位以及高凸显度部位的任一个都不吻合的驾驶员的视线(即成为噪声的驾驶员的视线)。由此，能够提高驾驶员的状态的推断精度。

(其他实施方式)

在以上的说明中，将第1区域R10中的第1指标值id1为与关注吻合比例(与关注部位吻合的注视点的数量相对于计测期间内所包含的注视点的总数所占的比例)相应的值的情况作为例子，但并不限定于此。与此相同，将第2区域R20中的第2指标值id2为与高指标比例(超过高凸显度阈值的凸显度指标值的数量相对于计测期间内所包含的凸显度指标值的总数所占的比例)或者高凸显度吻合比例(与高凸显度部位吻合的注视点的数量相对于计测期间内所包含的注视点的总数所占的比例)相应的值的情况作为例子，但并不限定于此。

此外，在以上的说明中，作为移动体的一例而举出了车辆，但并不限定于此。例如，作为移动体的其他例子，可以举出船舶、飞机等。

此外，在以上的说明中，将关注部位检测部321以及凸显度检测部331基于摄像机21的输出来取得前方图像数据D1的情况作为例子，但并不限定于此。例如，关注部位检测部321以及凸显度检测部331也可以构成为，基于外部环境识别部33的输出来取得前方图像数据D1。此外，将在关注部位检测部321以及凸显度检测部331的双方中生成前方图像数据D1以及合成图像数据D2的情况作为例子，但也可以将在关注部位检测部321以及凸显度检测部331的一方中生成的前方图像数据D1以及合成图像数据D2在关注部位检测部321以及凸显度检测部331的另一方中进行利用。

在以上的说明中，将推断部340按照每个推断周期来推断驾驶员的状态的情况作为例子，但并不限定于此。例如，推断部340可以构成为如上述那样推断驾驶员的短期的状态，也可以构成为推断驾驶员的长期的状态。另外，驾驶员的短期的状态是从车辆的驾驶开始到结束为止的期间(一次驾驶的期间)内的驾驶员的状态。驾驶员的长期的状态是能够进行多次车辆的驾驶的期间(例如以年为单位)内的驾驶员的状态。作为驾驶员的长期的状态的例子，可以举出症状缓慢地发展的疾病的状态、因年龄增长而导致功能降低的状态等。

此外，在以上的说明中，将推断部340推断注意功能降低状态、漫不经心状态以及正常状态的情况作为例子，但并不限定于此。例如，推断部340可以构成为，推断上述注意功能降低状态、漫不经心状态那样的驾驶员的消极状态，也可以构成为推断驾驶员的积极状态。作为驾驶员的积极状态的例子，可以举出从注意功能降低状态、漫不经心状态等不适合车辆驾驶的状态恢复到正常状态的状态、维持正常状态的状态等。

此外，在以上的说明中，将车辆控制装置30利用由摄像机21得到的图像数据以及由车内摄像机28得到的图像数据的情况作为例子，但并不限定于此。例如，车辆控制装置30也可以构成为，利用向显示设备输入的图像数据、由对观察该显示设备所显示的图像的对象者(能够成为驾驶员的对象者)进行摄像的摄像机得到的图像数据。作为显示设备的例子，可以举出智能手机、个人计算机、电视接收器等。此外，车辆控制装置30也可以构成为，利用由监控摄像机得到的图像数据、以及由对观察监控摄像机所摄像的环境的对象者进行摄像的摄像机得到的图像数据。监控摄像机设置于医院的等候室、保安员的监控室、店铺的收银台、建筑物内、街头等。

此外，在以上的说明中，第1阈值th1、第2阈值th2等成为判定基准的基准值，也可以针对每个驾驶员来设定。具体而言，上述基准值也可以基于驾驶员的经验、驾驶员平时的举动等驾驶员所特有的信息的学习结果来设定或者调节。作为驾驶员的经验的例子，可以举出道路的通行频度等。例如，也可以基于车辆所行驶的道路是通行习惯了的道路还是初次通行的道路，来设定或者调节上述基准值。作为驾驶员平时的举动的例子，可以举出一周期间、一个月等长期间内的平均的驾驶员的举动、通过其他方法推断为正常状态的期间内的驾驶员的举动等。作为驾驶员的举动的例子，可以举出驾驶员的视线运动相对于高凸显度部位以及/或者关注部位的灵敏度等。

此外，在以上的说明中，上述基准值也可以基于存储有与人相关的各种数据的数据库来设定。在这样的数据库中，将人的年龄、身体特征、身体功能、性格、文化、生活方式、驾驶经验、驾驶技能、驾驶风格等相互建立关联地存储。例如，也可以从存储于数据库的数据组中提取与具有特定的特性的人相关的数据组，并基于该提取的数据组来设定上述基准值。另外，作为从存储于数据库的数据组中提取的数据组的例子，可以举出与健全者相关联的数据组、与具有特定的疾病的人相关联的数据组、与发生过交通事故的人相关联的数据组等。

此外，在以上的说明中，上述基准值也可以基于由与车辆控制装置30不同的其他设备(例如智能手机)得到的信息来设定。

此外，也可以将以上的实施方式适当组合地实施。以上的实施方式在本质上是优选的例示，本发明并不意图限制其应用物或者其用途的范围。

如以上说明的那样，本发明所公开的技术作为驾驶员状态推断装置较有用。