信息处理装置、移动装置以及方法和程序
文献发布时间：2023-06-19 11:26:00
技术领域
本公开涉及信息处理装置、移动装置以及方法和程序。更具体地说，本公开涉及用于控制自动驾驶和手动驾驶之间的切换的信息处理装置、移动装置以及方法和程序。
背景技术
当今，与自动驾驶相关的技术开发正被积极实施。
自动驾驶技术是使得能够通过利用设置在车辆(汽车)上的诸如位置检测手段的各种传感器在道路上实现自动驾驶的技术，并且预期在将来迅速普及。
然而，目前，自动驾驶正处于发展阶段，并且人们认为100％自动驾驶成为可能需要时间。有一段时间，预计在驾驶员在自动驾驶和手动驾驶之间适当地切换的同时执行行驶。
例如，在诸如高速公路的具有足够道路宽度的笔直道路上，车辆以自动驾驶模式行驶，但是在车辆离开高速公路并在停车场停在所希望的位置或在狭窄的山路等上的情况下，预计将必须切换模式，诸如切换到手动驾驶模式并由操作员(驾驶员)操作来执行行驶。
当车辆正在执行自动驾驶时，操作员(驾驶员)不必向作为车辆的行驶方向的前方看，并且可以采取自由行动，诸如打盹、看电视、看书或者向后坐着并与例如后座上的人交谈。
在通过在自动驾驶和手动驾驶之间切换行驶的车辆中，在变得必须从自动驾驶模式切换到手动驾驶模式的情况下，必须使操作员(驾驶员)开始手动驾驶。
然而，例如，如果驾驶员在执行自动驾驶时打盹，则驾驶员的清醒水平降低。即，它变为意识水平降低的状态。如果在这种清醒水平降低的状态下切换到手动驾驶模式，则不能执行正常的手动驾驶，并且在最坏的情况下可能出现事故。
为了确保驾驶安全，必须使驾驶员在驾驶员高度清醒的状态下即在清醒意识的状态下开始手动驾驶。
如果车辆从自动驾驶行驶可能区段进入手动驾驶行驶区段并且自动驾驶功能中断而驾驶员返回驾驶的能力不足，则可能出现事故，这是危险的。
为了避免这种危险，例如，在车辆侧的系统不能检测驾驶员返回手动驾驶的能力的情况下，提出了自动执行紧急停车或减速、或者移动并行驶到车辆的退避区。
注意，作为公开用于在执行自动驾驶的同时控制出现诸如车辆故障的情况下的紧急停止等的配置的常规技术，例如，存在专利文件1(日本专利申请公开No.2017-157067)。
在上述文件中公开的配置是在执行自动驾驶的同时出现车辆故障的情况下的紧急停止处理，并且没有公开切换到手动驾驶时的响应。
未来，预计自动驾驶行驶可能区段将不仅扩展到高速公路，而且还扩展到一般道路，并且推测在自动驾驶行驶可能区段和不允许自动驾驶的手动驾驶行驶区段中交替行驶的需求将增加。
在这样的各种道路环境中，在驾驶员不能返回手动驾驶的情况下，必须可靠地执行车辆的停车或减速或者移动到退避区等。
但是，如果频繁执行紧急停车或减速或者移动和行驶到退避区，则存在可能出现后车追尾风险或交通堵塞的问题。
引文列表
专利文件
专利文件1：日本专利申请公开No.2017-157067
发明内容
本发明要解决的问题
本公开是鉴于例如上述问题提出的，并且，其目的是提供能够安全地从自动驾驶切换到手动驾驶的信息处理装置、移动装置以及方法和程序。
在本公开的一个实施例中，目的是提供使得驾驶员能够拒绝从自动驾驶切换到手动驾驶并且在驾驶员拒绝这样做的情况下执行安全控制的信息处理装置、移动装置以及方法和程序。
问题的解决方案
本公开的第一方面是一种信息处理装置，该信息处理装置包括：
向系统输入驾驶员拒绝将车辆的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的接管放弃输入单元；和
响应于来自接管放弃输入单元的输入执行自动驾驶车辆的退避处理的数据处理单元。
并且，本公开的第二方面是一种能够在自动驾驶和手动驾驶之间切换的移动装置，该移动装置包括：
获取移动装置的驾驶员的驾驶员信息的驾驶员信息获取单元；
获取移动装置的周围信息的环境信息获取单元；
向系统输入驾驶员拒绝将移动装置的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的接管放弃输入单元；和
基于由环境信息获取单元获取的信息检查从自动驾驶到手动驾驶的切换点并且在到达切换点之前对驾驶员执行手动驾驶返回请求通知的数据处理单元，
其中，数据处理单元进一步响应于来自接管放弃输入单元的输入执行自动驾驶车辆的退避处理。
并且，本公开的第三方面是一种在信息处理装置中执行的信息处理方法，该方法包括通过数据处理单元执行以下步骤：
检测向系统输入了驾驶员拒绝将车辆的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的步骤；和
响应于接管拒绝信息的输入执行自动驾驶车辆的退避处理的步骤。
并且，本公开的第四方面是一种在移动装置中执行的信息处理方法，该移动装置能够在自动驾驶和手动驾驶之间切换，该方法包括：
通过驾驶员信息获取单元获取移动装置的驾驶员的驾驶员信息的驾驶员信息获取步骤；
通过环境信息获取单元获取移动装置的周围信息的环境信息获取步骤；和
通过数据处理单元，执行以下步骤：
基于通过环境信息获取单元获取的信息检查从自动驾驶到手动驾驶的切换点并且在到达切换点之前对驾驶员执行手动驾驶返回请求通知的步骤；
检测向系统输入了驾驶员拒绝将移动装置的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的步骤；和
响应于接管拒绝信息的输入执行自动驾驶车辆的退避处理的步骤。
并且，本公开的第五方面是一种用于导致信息处理装置执行信息处理的程序，信息处理包括通过数据处理单元执行以下步骤：
检测向系统输入了驾驶员拒绝将车辆的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的步骤；和
响应于接管拒绝信息的输入执行自动驾驶车辆的退避处理的步骤。
注意，本公开的程序是能够通过例如以计算机可读格式对可以执行各种程序代码的信息处理装置或计算机系统提供的存储介质或通信介质提供的程序。通过以计算机可读格式提供这种程序，在信息处理装置或计算机系统上实现对应于程序的处理。
根据基于下面描述的本公开的实施例和附图的更详细描述，本发明的其它目的、特征和优点将变得清晰。注意，本说明书中的系统是多个设备的逻辑集合配置，并且不限于具有相应配置的设备处于同一外壳中的一种。
本发明的效果
根据本公开的一个实施例的配置，实现响应于来自车辆驾驶员的拒绝切换到手动驾驶的申请执行诸如车辆减速或停止的退避控制的配置。
具体地说，例如，它是能够在自动驾驶和手动驾驶之间切换的移动装置，并且包括：获取移动装置的驾驶员的驾驶员信息的驾驶员信息获取单元；获取移动装置的周围信息的环境信息获取单元；向系统输入驾驶员拒绝将移动装置的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的接管放弃输入单元；和基于由环境信息获取单元获取的信息检查从自动驾驶到手动驾驶的切换点并且在到达切换点之前对驾驶员执行手动驾驶返回请求通知的数据处理单元，其中，数据处理单元进一步响应于接管放弃输入通过优化的方法执行车辆的退避处理。
利用该配置，实现响应于来自车辆驾驶员的拒绝切换到手动驾驶的申请执行诸如车辆减速或停止的退避控制的配置。
注意，在本说明书中描述的效果仅仅是示例并且不受限制，并且，可以提供附加效果。
附图说明
图1是描述本公开的移动装置的配置示例的示图。
图2是描述在本公开的移动装置的显示单元上显示的数据的示例的示图。
图3是描述由本公开的移动装置执行的处理的示图。
图4是描述由本公开的移动装置执行的处理的示图。
图5是描述本公开的移动装置中的驾驶员的行动的示例的示图。
图6是描述由驾驶员保持的终端的数据显示的示例的示图。
图7是描述由驾驶员保持的终端的数据显示的示例的示图。
图8是描述本公开的移动装置的配置示例的示图。
图9是描述本公开的移动装置的配置示例的示图。
图10是描述本公开的移动装置的传感器配置的示例的示图。
图11是示出由本公开的移动装置执行的从自动驾驶模式到手动驾驶模式的模式切换序列的示例的示图。
图12是示出描述自动驾驶的动作序列的示例的流程图的示图。
图13是示出现场设定或已经出现由设定目的地的驾驶员确定的自动驾驶可能区段的行驶路线的示例的示图。
图14是用于解释用于行驶路线上的行驶区段显示的信息处理的示图。
图15是示出最终显示的行驶区段显示的示例的示图。
图16是示出行驶区段显示随时间的变化的示例(滚动示例)的示图。
图17是示出在平板终端设备(以下简称为“平板”)的屏幕上显示的行驶路线中的行驶区段显示的示例的示图。
图18是示出驾驶员实际通过使用平板执行二次任务的状态的示例的示图。
图19是示出在第二区段中新产生谨慎行驶区段Sd并且闪烁显示警告驾驶员的状态的示图。
图20是示出在平板电脑的屏幕上弹出小窗口的状态的示图。
图21是描述本公开的信息终端的使用配置示例的示图。
图22是描述本公开的信息终端的使用配置示例的示图。
图23是描述本公开的移动装置中的信息处理装置的配置示例的示图。
图24是描述对应于观察值的可观察评价值和返回延迟时间(＝手动驾驶返回可能时间)的多条关系信息(观察图)的分布示例和返回成功率的示图。
图25是描述根据在自动驾驶模式下由驾驶员执行的处理(二次任务)的类型的手动驾驶返回可能时间的示图。
图26是示出描述距从自动驾驶到手动驾驶的转换完成的剩余宽限时间的示图的示图。
图27是描述根据驾驶员的不同初始状态的状态变化的推移和推移定时的示例的示图。
图28是示出描述路线信息获取处理的序列示例的流程图的示图。
图29是示出描述驾驶员信息获取处理的序列示例的流程图的示图。
图30是描述基于获取的路线信息和驾驶员信息的数据产生的数据的示图。
图31是描述由本公开的移动装置中的信息处理装置执行的处理序列的示例的序列图。
图32是描述由本公开的移动装置中的信息处理装置执行的处理序列的示例的序列图。
图33是示出描述由本公开的移动装置中的信息处理装置执行的处理序列的示例的流程图的示图。
图34是描述由本公开的移动装置中的信息处理装置获取的本地动态地图(LDM)的示例的示图。
图35是示出描述由本公开的移动装置中的信息处理装置执行的处理序列的示例的流程图的示图。
图36是示出描述由本公开的移动装置中的信息处理装置执行的处理序列的示例的流程图的示图。
图37是描述本公开的移动装置中的信息处理装置的配置示例的示图。
图38是描述信息处理装置的硬件配置示例的示图。
具体实施方式
以下将参考附图描述本公开的信息处理装置、移动装置以及方法和程序的细节。注意，将根据以下项目进行描述。
1.移动装置和信息处理装置的配置和处理的概要
2.移动装置的具体配置和处理示例
3.从自动驾驶模式到手动驾驶模式的模式切换序列
4.自动驾驶的动作序列示例
5.用于在难以接管到手动驾驶时执行响应处理的配置
5-1.难以接管到手动驾驶的情况下的具体示例
5-2.在难以接管到手动驾驶的情况下执行响应的装置的配置示例
5-3.基于行驶路线信息的手动驾驶返回点的检测和基于手动驾驶返回时间估计的手动驾驶返回必要时间计算处理的具体实例
5-4.允许驾驶员的手动驾驶接管放弃的处理的序列
5-5.驾驶员或乘客表达放弃手动驾驶接管的意愿的情况下的处理
5-6.接近手动驾驶切换点时的处理示例
5-7.来自驾驶员或乘客的手动驾驶接管的放弃(拒绝)的输入的前处理和后处理
5-8.执行接管放弃输入的处理的信息处理装置的配置示例
6.信息处理装置的配置示例
7.本公开的配置的概要
[1.移动装置和信息处理装置的配置和处理的概要]
首先，将参照图1等描述移动装置和信息处理装置的配置和处理的概要。
本公开的移动装置为例如能够通过在自动驾驶和手动驾驶之间切换行驶的汽车。
在这种汽车中，在变得必须从自动驾驶模式切换到手动驾驶模式的情况下，必须使操作员(驾驶员)开始手动驾驶。
然而，存在由驾驶员在自动驾驶执行期间执行的各种处理(二次任务)。
例如，仅仅通过手从方向盘上拿开，驾驶员可以像开车时那样观察汽车的前部，可以看书，或者可以打盹。
由于这些处理的不同，驾驶员的清醒水平(意识水平)将不同。
例如，打盹降低驾驶员的清醒水平。即，它变为意识水平降低的状态。在这种清醒水平降低的状态下，不能执行正常的手动驾驶，并且如果在这种状态下切换到手动驾驶模式，则在最坏的情况下可能出现事故。
为了保证驾驶安全，必须使驾驶员在驾驶员高度清醒的状态下即在清醒的意识状态下开始手动驾驶。
出于该目的，在执行自动驾驶时，必须根据驾驶员的清醒水平改变用于请求从自动驾驶切换到手动驾驶的通知定时。
例如，在执行自动驾驶时驾驶员向前看道路的情况下，驾驶员的清醒水平高，即，可以随时开始手动驾驶。
在这种情况下，只要求在紧挨着需要手动驾驶的时间之前的定时给出切换到手动驾驶的通知。这是由于驾驶员可以立即开始安全的手动驾驶。
然而，在驾驶员在执行自动驾驶时打盹的情况下，驾驶员的清醒水平极低。
在这种情况下，如果在紧挨着需要手动驾驶的时间之前的定时给出切换到手动驾驶的通知，则驾驶员别无选择，只能在意识不清楚的状态下开始手动驾驶。因此，造成事故的可能性增加。因此，在如上所述清醒水平低的情况下，必须在更早的阶段执行切换到手动驾驶的通知。
本公开的移动装置或可以安装在移动装置上的信息处理装置例如根据驾驶员的清醒水平控制切换到手动驾驶的通知定时。
将参照图1等，描述本公开的移动装置和可以安装在移动装置中的信息处理装置的配置和处理。
图1是示出作为本公开的移动装置的示例的汽车10的配置示例的示图。
本公开的信息处理装置被安装在图1所示的汽车10中。
图1所示的汽车10是能够以手动驾驶模式和自动驾驶模式两种驾驶模式驾驶的汽车。
在手动驾驶模式中，执行基于操作员(驾驶员)20的操作(即方向盘操作、或者油门或制动器的操作等)的行驶。
另一方面，在自动驾驶模式中，不需要操作员(驾驶员)20的操作，并且，例如，执行基于诸如位置传感器和其它周围信息检测传感器的传感器信息的驾驶。
例如，位置传感器是GPS接收机等，并且，周围信息检测传感器是例如照相机、超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)或声纳等。
注意，图1是描述本公开的概要的示图，并且示意性地示出主要部件。将在后面描述详细配置。
如图1所示，汽车10具有数据处理单元11、驾驶员信息获取单元12、环境信息获取单元13、通信单元14和通知单元15。
驾驶员信息获取单元12获取例如用于确定驾驶员的清醒水平的信息和驾驶员的操作信息等。具体地说，驾驶员信息获取单元12包括例如捕获驾驶员的面部图像的照相机和各操作单元(方向盘、油门或制动器等)的操作信息获取单元等。
环境信息获取单元13获取汽车10的行驶环境信息。例如，它是诸如汽车的前部、后部、左侧和右侧的图像信息，来自GPS的位置信息，以及来自LiDAR(光检测和测距、激光成像检测和测距)或声纳等的周围障碍物信息等。
数据处理单元11输入由驾驶员信息获取单元12获取的驾驶员信息和由环境信息获取单元13获取的环境信息，并且计算指示自动驾驶期间的车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态中并且指示正在手动驾驶的驾驶员是否正在执行安全驾驶等的安全指数值。
此外，例如，在变得必须从自动驾驶模式切换到手动驾驶模式的情况下，执行经由通知单元15发出通知的处理，以切换到手动驾驶模式。
该通知处理的定时为例如通过从驾驶员信息获取单元12和环境信息获取单元13输入计算的最佳定时。
即，定时被设定，使得驾驶员20可以开始安全的手动驾驶。
具体地说，执行处理，使得：在驾驶员的清醒水平高的情况下，在例如紧挨着手动驾驶开始时间之前的5秒之前执行通知，并且，在驾驶员的清醒水平低的情况下，带余量地执行处理，诸如在手动驾驶开始时间之前20秒执行。将在后面描述具体通知的最佳定时的计算。
在图2中示出构成通知单元15的显示单元上的警告显示的示例，其中，通知单元15包括执行该通知的显示单元、音频输出单元或方向盘或座椅的振动器。
如图2所示，在显示单元30上执行以下显示。驾驶模式信息＝“自动驾驶期间”，
警告显示＝“请切换到手动驾驶”
在驾驶模式信息显示区域中，当执行自动驾驶模式时显示“正在自动驾驶”，并且当执行手动驾驶模式时显示“正在手动驾驶”。
警告显示信息的显示区域是用于当在自动驾驶模式下执行自动驾驶时显示以下内容的显示区域。注意，尽管在本实施例中使用整个显示画面，但是可以显示画面的一部分。
“请切换到手动驾驶”
注意，尽管这是以文本呈现解释的示例，但不限于这样的文本显示，并且可以通过诸如象形图的符号进行显示。
注意，如图1所示，汽车10具有能够经由通信单元14与服务器30通信的配置。
例如，可以在服务器30中执行计算用于在数据处理单元11中的通知输出的适当时间的处理的一部分，具体地说，学习处理。
将在后面描述其具体示例。
图3是示出由本公开的移动装置和信息处理装置执行的处理的具体示例的示图。
图3是示出当在自动驾驶模式下执行自动驾驶时设定用于请求切换到手动驾驶的通知的适当定时的示例的示图，并且示出以下两个示例的通知处理示例。
(a)执行自动驾驶时的驾驶员的清醒水平高的情况下的通知处理
(b)执行自动驾驶时的驾驶员清醒水平低的情况下的通知处理
(a)的示例是驾驶员在执行自动驾驶时向前看道路的示例。在这种情况下，驾驶员的清醒水平高，即，可以随时开始手动驾驶。
在这种情况下，即使在紧挨着变得必须手动驾驶的时间之前的定时给出切换到手动驾驶的通知，驾驶员也可以立即开始安全的手动驾驶。
在(b)的示例中，在驾驶员在执行自动驾驶时打盹的情况下，驾驶员的清醒水平极低。
在这种情况下，如果在紧挨着变得必须手动驾驶时之前的定时给出切换到手动驾驶的通知，则驾驶员在意识不清的情况下开始手动驾驶，这增加造成事故的可能性。因此，在如上所述的清醒水平低的情况下，必须在更早的阶段执行切换到手动驾驶的通知。
此外，在具有货物厢并且允许驾驶员在执行自动驾驶的同时移动到货物厢以执行工作的车辆(诸如运载车辆)中，例如，如图4所示，优选根据以下三种类型的情况不同设定请求切换到手动驾驶的通知定时。
(a)驾驶员在执行自动驾驶时的清醒水平高的情况下的通知处理
(b)驾驶员在执行自动驾驶时的清醒水平低的情况下的通知处理
(c)执行自动驾驶的驾驶员离开驾驶员座椅的情况下的通知处理
(a)的示例是驾驶员在执行自动驾驶时向前看道路的示例。在这种情况下，驾驶员的清醒水平高，即可以随时开始手动驾驶。
在这种情况下，即使在紧挨着变得必须手动驾驶时之前的定时给出切换到手动驾驶的通知，驾驶员也可以立即开始安全的手动驾驶。
(b)的示例是驾驶员在自动驾驶期间打盹的示例，在这种情况下，驾驶员的清醒水平极低。
在这种情况下，如果在紧挨着变得必须手动驾驶时之前的定时给出切换到手动驾驶的通知，则驾驶员在意识不清的情况下开始手动驾驶，这增加造成事故的可能性。因此，在如上所述的清醒水平低的情况下，必须在更早的阶段执行切换到手动驾驶的通知。
(c)的示例是驾驶员在执行自动驾驶时离开驾驶员座椅工作的示例，在这种情况下，驾驶员需要时间返回驾驶员座椅。
在这种情况下，如果在紧挨着变得必须手动驾驶的时间之前给出切换到手动驾驶的通知，则车辆可能在驾驶员返回驾驶员座椅之前接近手动驾驶区段。因此，在驾驶员以这种方式离开驾驶员座椅的情况下，必须在更早的阶段执行切换到手动驾驶的通知。
此外，在汽车10中的操作员(驾驶员)20离开驾驶员座椅的情况下，即使在驾驶员座椅处的通知单元(显示单元)15上执行以上参照图2描述的显示，驾驶员20也不能注意到。
为了解决该问题，通过穿戴在手臂上的信息终端50，例如，如图5所示的手表型信息终端50，向操作者(驾驶员)20通知并提供信息。信息终端50执行与参照图2所述的类似地执行显示数据的显示处理，并且进一步显示汽车10正在其中行驶的道路区段(自动驾驶区段或手动驾驶区段)的接近信息等。此外，它具有警报输出、语音输出和振动功能，并且将各种通知和警告通知到驾驶员20。
图5是示出信息终端50的使用示例的示图。当汽车10正在执行自动驾驶时，汽车10中的操作员(驾驶员)20可以如图4(a)所示的那样在驾驶员座椅上，但是在一些情况下，如图4(b)所示，他或她离开驾驶员座椅并在货物厢中工作。然而，驾驶员20总是将信息终端50穿戴在他或她的手臂上，并且可以注意到在信息终端50上显示的显示信息或者从其输出的语音、警报或振动等。此外，可穿戴信息终端50与车辆的驾驶员信息获取单元12联锁，并且还具有作为响应检查手段的响应输入功能。该配置使得能够实现对通知和警告的认知响应。此外，还能够向车辆系统发送对于早早返回手动驾驶的拒绝通知，将在后面描述这一点。
图6是示出信息终端50的显示信息的示例的示图。图6所示的示例示出与上面参照图2描述的通知单元(显示单元)15的显示示例类似的显示示例。在信息终端50上显示以下显示。
驾驶模式信息＝“自动驾驶期间”，
警告显示＝“请切换到手动驾驶”
不管驾驶员20在什么地方，他/她都可以检查该显示。
此外，如图7所示的平板电脑类型信息终端50可以被用于提供通知和信息。
[2.移动装置的具体配置和处理示例]
接下来，将参照图8等描述本公开的移动装置的具体配置和处理示例。
图8示出移动装置100的配置示例。注意，以下，在具有移动装置100的车辆区别于其它车辆的情况下，车辆将被称为自身汽车或自身车辆。
移动装置100包括输入单元101、数据获取单元102、通信单元103、车辆内设备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、身体系统控制单元109、身体系统110、存储单元111和自动驾驶控制单元112。
输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、身体系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。通信网络121为例如符合诸如控制器局域网(CAN)、局域互联网络(LIN)、局域网(LAN)或FlexRay(注册商标)的任何标准的车辆内通信网络或总线等。注意，移动装置100的各个单元也可以不经过通信网络121而直接连接。
注意，以下，在移动装置100的各单元经由通信网络121进行通信的情况下，省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121执行通信的情况下，简单地描述输入单元101和自动驾驶控制单元112执行通信。
输入单元101包括由乘客用于输入各种数据和指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆的操作设备以及允许通过语音或手势等通过手动操作以外的方法进行输入的操作设备等。此外，例如，输入单元101可以是使用红外线或其它无线电波的远程控制设备，或者是对应于移动装置100的操作的外部连接装置，诸如移动设备或可穿戴设备等。输入单元101基于由乘客输入的数据和指令等产生输入信号，并将输入信号供给到移动装置100的各单元。
数据获取单元102包括用于获取用于处理移动装置100的数据的各种传感器等，并将获取的数据供给到移动装置100的各单元。
例如，数据获取单元102包括用于检测自身车辆的状态等的各种传感器。具体地说，例如，数据获取单元102包括陀螺传感器、加速度传感器、惯性测量设备(IMU)和用于检测油门踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎速度、发动机转速或车轮转速等的传感器等。
此外，例如，数据获取单元102包括用于检测自身车辆外部的信息的各种传感器。具体地说，例如，数据获取单元102包括诸如飞行时间(ToF)照相机、立体照相机、单眼照相机、红外照相机和其它照相机的成像设备。此外，例如，数据获取单元102包括用于检测天气或气候等的环境传感器和用于检测自身车辆周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器和雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)和声纳等。
例如，图9示出用于检测自身车辆的外部信息的各种传感器的安装示例。例如，在车辆7900的前鼻、侧镜、后保险杠、后门或驾驶室内挡风玻璃的上部中的至少一个处，设置成像设备7910、7912、7914、7916和7918。
设置在前鼻上的成像设备7910和设置在驾驶室内挡风玻璃上部的成像设备7918主要获得车辆7900的前向图像。设置在侧镜中的成像设备7912和7914主要获取车辆7900的侧面的图像。设置在后保险杠或后门上的成像设备7916主要获得车辆7900后面的图像。设置在驾驶室内挡风玻璃的上部的成像设备7918主要用于检测前方车辆、行人、障碍物、交通信号、交通标志或车道等。此外，在将来的自动驾驶中，当车辆左转或右转时，可以对穿过车辆左转或右转的道路的行人，甚至对接近十字路口的物体的范围进行扩展使用。
注意，图9示出各个成像器件7910、7912、7914和7916的成像范围的示例。成像范围a表示设置在前鼻上的成像设备7910的成像范围，成像范围b和c分别表示设置在侧镜中的成像设备7912和7914的成像范围，并且，成像范围d表示设置在后保险杠或后门上的成像设备7916的成像范围。例如，通过叠加由成像设备7910、7912、7914和7916成像的图像数据，获得从上侧看到的车辆7900的头顶图像和其中车辆的外围部分被弯曲平面包围的全向立体显示图像等。
被设置在车辆7900的驾驶室内挡风玻璃的前部、后部、侧面、角部和上部的传感器7920、7922、7924、7926、7928和7930可以为例如超声波传感器或雷达。设置在车辆7900的前鼻、后保险杠、后门和驾驶室内挡风玻璃的上部的传感器7920、7926和7930可以为例如LiDAR。这些传感器7920～7930主要用于检测前方车辆、行人或障碍物等。这些检测结果可以进一步被应用于头顶显示和全向立体显示的三维物理显示的改进。
回到图8，继续对各部件的描述。数据获取单元102包括用于检测自身车辆的当前位置的各种传感器。具体地说，例如，数据获取单元102包括从GNSS卫星等接收GNSS信号的全球导航卫星系统(GNSS)接收器。
此外，例如，数据获取单元102包括用于检测车辆中的信息的各种传感器。具体地说，例如，数据获取单元102包括捕获驾驶员的图像的成像设备、检测驾驶员的生物信息的生物传感器和收集驾驶舱中的声音的麦克风等。生物传感器被设置在例如座椅表面或方向盘等上，并且检测坐在座椅中的乘客或握着方向盘的驾驶员的生物信息。作为生物信号，可以使用各种可观察数据，诸如心率、脉搏率、血流、呼吸、心身相关性、视觉刺激、脑电波、出汗状态、头姿势行为、眼睛、注视、眨眼、眼跳、微动作、注视、漂移、凝视和虹膜瞳孔反应。这些反映可观察驾驶状态的生物活动可观察信息被聚合为从观察估计的可观察评价值，并且由后面描述的安全确定单元155用于从与评价值的记录关联的返回延迟时间特性计算返回通知定时作为相应驾驶员的返回延迟事件的固有特性。
图10示出用于获得包含于数据获取单元102中的车辆中的驾驶员的信息的各种传感器的示例。例如，数据获取单元102包括ToF照相机、立体照相机和座椅应变计等作为用于检测驾驶员的位置和姿势的检测器。此外，数据获取单元102包括面部识别设备(面部(头部)识别)、驾驶员眼动跟踪器、驾驶员头部跟踪器等作为用于获得驾驶员的生物活动可观察信息的检测器。
此外，数据获取单元102包括生物信号(生命信号)检测器作为用于获得驾驶员的生物活动可观察信息的检测器。此外，数据获取单元102包括驾驶员认证(驾驶员识别)单元。注意，作为认证方法，除了使用密码或PIN等的知识认证之外，还可以考虑使用面部、指纹、眼虹膜或声纹等的生物认证。
通信单元103与车辆内设备104和车辆外的各种设备、服务器和基站等通信，传送从移动装置100的各单元供给的数据，并将接收的数据供给到移动装置100的各单元。注意，由通信单元103支持的通信协议不受特别限制，并且通信单元103可以支持多种类型的通信协议。
例如，通信单元103通过无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)等与车辆内设备104执行无线通信。此外，例如，通信单元103通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL)等经由未示出的连接端子(以及必要时的线缆)与车辆内设备104执行有线通信。
此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，因特网、云网络或运营商固有网络)上的设备(例如，应用服务器或控制服务器)通信。此外，例如，通信单元103使用点对点(P2P)技术以与存在于自身车辆附近的终端(例如，行人或商店的终端或者机器类型通信(MTC)终端)通信。
此外，例如，通信单元103执行V2X通信，诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信、以及车辆到行人通信。此外，例如，通信单元103包括信标接收单元以接收从安装在道路上的无线站等传送的无线电波或电磁波并获取诸如当前位置、交通拥挤、交通管制或所需时间的信息。注意，可以通过通信单元与可以是先导车辆的当在区段中行驶时向前行驶的车辆执行配对，并且，从安装在前方的车辆上的数据获取单元获取的信息可以被获取作为行驶前信息，并且，以补充的方式与自身车辆的数据获取单元102的数据一起使用，特别是当例如在车队中与先导车辆一起行进时，这将是用于确保跟随车队的安全的手段。
车辆内设备104包括例如乘客所拥有的移动设备(诸如平板电脑或智能电话)、携带在自身车辆中或附着在自身车辆上的信息设备、以及搜索到任意目的地的路线的导航设备等。注意，考虑到由于自动驾驶的普及乘员并不总是固定在固定的座位上，因此，在将来，它可以扩展使用到可以附着到车辆装置以及从车辆装置上分离的视频播放器或游戏设备等。在本实施例中，描述了驾驶员的干预必要点的信息的呈现限于相应的驾驶员的示例，但是信息提供可以进一步执行到运行车队中的跟随车辆等，或者可以通过不断地将信息提供给客运共享巴士或长途配送商用车的运营管理中心适当地与远程驾驶支持组合使用。
输出控制单元105控制向自身车辆的乘客或车辆外部的各种信息的输出。例如，输出控制单元105产生包括视觉信息(例如，图像数据)或听觉信息(例如，音频数据)中的至少一个的输出信号，并将输出信号供给到输出单元106，以控制来自输出单元106的视觉和听觉信息的输出。具体地说，例如，输出控制单元105通过组合通过数据获取单元102的不同成像设备的图像捕获的图像数据产生头顶图像或全景图像等，并将包括产生的图像的输出信号供给到输出单元106。此外，例如，输出控制单元105产生包括针对诸如碰撞、接触或进入危险区域的危险的警告声音或警告消息等的音频数据，并将包括产生的声音数据的输出信号供给到输出单元106。
输出单元106包括能够向自身车辆的乘客或车辆外部输出视觉信息或听觉信息的设备。例如，输出单元106包括显示设备、仪表板、音频扬声器、耳机、诸如乘客穿戴的眼镜型显示器的可穿戴设备、投影仪和灯等。包含于输出单元106中的显示设备除了是具有正常显示的设备之外还可以是在驾驶员的视野中显示视觉信息的设备，诸如平视显示器、传输类型显示器或具有增强现实(AR)显示功能的设备等。
驱动系统控制单元107通过产生各种控制信号并将它们供给到驱动系统108控制驱动系统108。此外，驱动系统控制单元107根据需要向驱动系统108以外的各单元供给控制信号，并执行驱动系统108的控制状态的通知等。
驱动系统108包括与自身车辆的驱动系统相关的各种设备。例如，驱动系统108包括用于产生驱动力的驱动力产生器(诸如内燃机或驱动马达)、用于将驱动力传递到车轮的驱动力传递机构、调整转向角的转向机构、产生制动力的制动设备，防抱死制动系统(ABS)、电子稳定控制(ESC)和电力转向设备等。
身体系统控制单元109通过产生各种控制信号并将它们供给到身体系统110来控制身体系统110。此外，身体系统控制单元109根据需要向身体系统110以外的各单元提供控制信号，并执行身体系统110的控制状态的通知等。
身体系统110包括安装在车辆身体上的各种身体设备。例如，身体系统110包括无钥匙进入系统、智能钥匙系统、电动窗设备、电动座椅、方向盘、空调和各种灯(例如，头灯、尾灯、制动灯、闪光灯和雾灯等)等。
存储单元111包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动(HDD)的磁存储设备、半导体存储设备、光存储设备和磁光存储设备等。存储单元111存储由移动装置100的各个单元使用的各种程序和数据等。例如，存储单元111存储诸如动态地图的三维高精度地图、精度比高精度地图低且覆盖范围广的全局地图和包括自身车辆周围的信息的本地地图等的地图数据。
自动驾驶控制单元112执行与自动驾驶相关的控制，诸如自主行驶或驾驶支持。具体地说，例如，自动驾驶控制单元112执行出于实现包括自身车辆的碰撞避免或碰撞缓和、基于车辆间距离的跟随行驶、车辆速度保持行驶、自身车辆碰撞警告或自身车辆车道偏离警告等的高级驾驶员辅助系统(ADAS)功能的目的的协作控制。此外，例如，自动驾驶控制单元112执行出于自动驾驶等的目的的协同控制，以在不依赖于驾驶员的操作的情况下自主地行驶。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、情况分析单元133、规划单元134和动作控制单元135。
检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括车辆外信息检测单元141、车辆内信息检测单元142和车辆状态检测单元143。
车辆外信息检测单元141基于来自移动装置100的各单元的数据或信号执行自身车辆外部的信息的检测处理。例如，车辆外信息检测单元141执行自身车辆周围的物体的检测处理、识别处理和跟踪处理以及到物体的距离和与物体的相对速度的检测处理。要被检测的物体的示例包括车辆、人、障碍物、结构、道路、交通灯、交通标志和道路标示等。
此外，例如，车辆外信息检测单元141执行自身车辆的周围环境的检测处理。作为检测目标的周围环境包括例如天气、温度、湿度、亮度和路面情况等。车辆外信息检测单元141将指示检测处理的结果的数据供给到自身位置估计单元132、情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153和动作控制单元135的紧急避免单元171等。
如果行驶区段是从基础设施供给行驶区段被持续地更新为自动驾驶的行驶优先可能的区段的本地动态地图(LDM)的区段、或者可以在从在相关的区段中先行行驶的车辆或一组车辆进入区段之前事先持续地接收信息更新的同时执行行驶，则可以主要从基础设施供给由车辆外信息检测单元141获取的信息。此外，在没有从基础设施持续更新最新的本地动态地图的情况下，特别是在它例如在车队中行驶的情况下，可以进一步以互补的方式使用出于在紧挨着安全进入区段之前获得道路信息的目的从区段进入先导车辆获得的道路环境信息。是否是可以自动驾驶的区段通常取决于是否存在由基础设施的提供这种事先信息。由基础设施提供的构成关于路线的自动驾驶行驶可能性信息的更新的刷新本地动态地图(LDM)相当于如同正好提供不可见的轨道作为所谓的“信息”等。注意，为了方便起见，车辆外信息检测单元141在假设被安装在自身车辆上的情况下被示出，但是通过使用由前导车辆捕获的信息作为“信息”，进一步提高行驶期间的事先可预测性。
车辆内信息检测单元142基于来自移动装置100的各单元的数据或信号执行车辆内信息的检测处理。例如，车辆内信息检测单元142执行驾驶员的认证处理和识别处理、驾驶员的状态检测处理、乘客的检测处理和车辆内环境的检测处理等。要被检测的驾驶员的状态包括例如身体状况、清醒水平、注意力水平、疲劳水平、视线方向和眼球的详细行为等。
此外，预期将来使用驾驶员完全脱离驾驶转向工作的自动驾驶，并且，系统必须掌握驾驶员已经临时打盹或开始一些其它工作以及返回驾驶所需的意识的清醒和返回进展到了多大程度。换言之，虽然传统上被考虑的驾驶员视控系统主要被引导到用于检测诸如困倦的意识降低的检测手段，但是由于它变为驾驶员将来将根本不干预驾驶转向的状态，因此系统不再具有从转向设备的转向稳定性等直接观察驾驶员的驾驶干预程度的手段，并且必须从驾驶员的准确意识状态未知的状态观察驾驶所需的意识返回转换并且在掌握驾驶员的准确内部清醒状态之后进行转向干预从自动驾驶向手动驾驶的转移。
因此，车辆内信息检测单元142主要具有两个主要作用，第一作用是在自动驾驶期间被动地监视驾驶员的状态，第二作用是检测和判断驾驶员的周边认知、感知和判断以及转向设备的操作能力，直到等到在从系统发出返回请求后在车辆达到谨慎驾驶区段时可以进行手动驾驶的水平。作为控制，可以进一步执行整个车辆的故障的自诊断，并且即使在自动驾驶的部分功能故障导致自动驾驶功能劣化的情况下，也可以类似地提示驾驶员早早返回手动驾驶。这里的被动监视是指不需要驾驶员的有意识响应反应的类型的检测手段，并且不排除从装置发出物理无线电波或光等并检测响应信号的物体。即，被动监视是指在无意识状态下(诸如在打盹期间)对驾驶员的状态监视，并且，不是驾驶员的认知响应反应的分类被确定为被动类型。它不排除分析和评价通过无线电波和红外线等的照射获得的反射和漫射信号的主动响应设备。相反，要求需要驾驶员进行响应反应的有意识的响应的一种被认为是主动的。
要被检测的车辆内环境包括例如温度、湿度、亮度和气味等。车辆内信息检测单元142将指示检测处理结果的数据供给到情况分析单元133的情况识别单元153和动作控制单元135。注意，在发现在由系统向驾驶员发出驾驶返回指令之后驾驶员无法在准确的最后期限内实现手动驾驶并且确定即使执行减速控制以在继续自动驾驶的同时具有宽限时间接管也将不及时的情况下，向系统的紧急避免单元171等发出指令，以启动车辆的减速和退避停止程序以进行退避。即，即使在初始状态不及时的情况下，也能够通过在早期阶段减速车辆赢得达到接管限制的时间。通过赢得达到接管限制的时间，系统将有处理事件的余量时间，并且，确保安全的响应变为可能。然而，如下文所述，不合理的减速和减慢的应用是有限的，原因是它增加拥堵诱导因素和追尾碰撞风险。
车辆状态检测单元143基于来自移动装置100的各单元的数据或信号执行自身车辆的状态的检测处理。要被检测的自身车辆的状态包括例如速度、加速度、转向角、异常的有无和内容、驾驶操作状态、电动座椅的位置和倾斜度、门锁状态以及其它车辆内设备的状态等。车辆状态检测单元143向情况分析单元133的情况识别单元153和动作控制单元135的紧急避免单元171等供给指示检测处理的结果的数据。
自身位置估计单元132基于来自诸如车辆外信息检测单元141和情况分析单元133的情况识别单元153的移动装置100的各个单元的数据或信号执行自身车辆的位置和姿势等的估计处理。此外，自身位置估计单元132根据需要产生用于自身位置估计的局部地图(以下称为自身位置估计地图)。
自身位置估计地图为例如使用诸如同时定位和映射(SLAM)的技术的高度精确地图。自身位置估计单元132将指示估计处理的结果的数据供给到情况分析单元133的地图分析单元151、交通规则识别单元152和情况识别单元153等。此外，自身位置估计单元132将自身位置估计地图存储在存储单元111中。
情况分析单元133执行自身车辆和周围情况的分析处理。情况分析单元133包括地图分析单元151、交通规则识别单元152、情况识别单元153、情况预测单元154和安全确定单元155。
地图分析单元151根据需要通过使用来自诸如自身位置估计单元132和车辆外信息检测单元141的移动装置100的各单元的数据或信号执行存储在存储单元111中的各种类型的地图的分析处理，并且构造包含自动驾驶处理所需信息的地图。地图分析单元151将所构建的地图供给到交通规则识别单元152、情况识别单元153、情况预测单元154和规划单元134的路线规划单元161、行动规划单元162和动作规划单元163等。
交通规则识别单元152基于来自诸如自身位置估计单元132、车辆外信息检测单元141和地图分析单元151的移动装置100的各单元的数据或信号执行自身车辆周围的交通规则的识别处理。通过该识别处理，例如，识别自身车辆周围的信号的位置和状态、自身车辆周围的交通限制的内容以及可以行驶的车道等。交通规则识别单元152向情况预测单元154等供给指示识别处理结果的数据。
情况识别单元153基于来自诸如自身位置估计单元132、车辆外信息检测单元141、车辆内信息检测单元142、车辆状态检测单元143和地图分析单元151的移动装置100的各单元的数据或信号，执行与自身车辆相关的情况的识别处理。例如，情况识别单元153执行自身车辆的情况、自身车辆周围的情况和自身车辆的驾驶员的情况等的识别处理。此外，情况识别单元153根据需要产生用于识别自身车辆周围的情况的局部地图(以下称为情况识别地图)。例如，情况识别地图是占用栅格地图。
要被识别的自身车辆的情况包括例如车辆特定和进一步装载货物特定状况，诸如自身车辆的位置、姿势和移动(例如，速度、加速度和移动方向等)以及与确定自身车辆和货物装载的运动特性的装载货物量有关的车体重心的移动、轮胎压力、与制动片磨损状态有关的制动距离移动、用于防止由于装载物体通过制动导致的货物的移动的可允许最大减速制动以及由于液体负载在曲线上行驶时的离心松弛极限速度等，并且，此外，由于控制所需要的返回开始定时即使在完全相同的道路环境(诸如路面的摩擦系数、道路曲线和坡度等)中也根据车辆自身的性能并且根据装载物体等而不同，因此，必须收集这些各种状况，掌握它们，并将它们反映在执行控制的最佳定时上。在根据车辆类型或装载物体确定控制定时时，简单地观察和监视自身车辆的异常等的有无和内容等是不够的。在运输行业等中，可以将根据装载物体特有的特性确定期望返回宽限时期的增加以确保一定安全水平的参数事先设定为固定值，并且不总是需要采用从自我累积学习统一确定所有通知定时确定状况的方法。
要被识别的自身车辆周围的情况包括例如周围静止物体的类型和位置、周围移动物体的类型、位置和移动(例如，速度、加速度和移动方向等)、周围道路的配置和路面状况以及天气、温度、湿度和周围环境的亮度等。要被识别的驾驶员的状态包括例如身体状况、清醒水平、注意力水平、疲劳水平、视线移动和驾驶操作等。为了安全驾驶车辆，需要响应的控制起点根据在车辆独特状态下加载的加载量、安装部件的底盘固定状态、重心偏斜状态、最大减速可能加速度值、最大可加载离心力和取决于驾驶员的状态的返回响应延迟量等而有很大差异。
情况识别单元153向自身位置估计单元132和情况预测单元154等供给指示识别处理的结果的数据(必要时包括情况识别地图)。此外，情况识别单元153将情况识别地图存储在存储单元111中。
情况预测单元154基于来自诸如地图分析单元151、交通规则识别单元152和情况识别单元153的移动装置100的各单元的数据或信号执行与自身车辆相关的情况的预测处理。例如，情况预测单元154执行自身车辆情况、自身车辆周围情况和驾驶员情况等的预测处理。
要被预测的自身车辆的情况包括例如自身车辆的行为、异常的出现和可行驶距离等。要被预测的自身车辆周围的情况包括例如自身车辆周围的运动物体的行为、信号状态的变化和诸如天气的环境的变化等。作为预测目标的驾驶员的情况包括例如驾驶员的行为和身体状况等。
情况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和情况识别单元153的数据一起供给到规划单元134的路线规划单元161、行动规划单元162和动作规划单元163等。
安全确定单元155根据驾驶员的返回行为模式和车辆特性等学习最佳返回定时，并将学习信息提供给情况识别单元153等。因此，例如，能够向驾驶员呈现统计上获得的驾驶员以预定的恒定速率或更高的速率正常地从自动驾驶返回到手动驾驶所需的最佳定时。
路线规划单元161基于来自诸如地图分析单元151和情况预测单元154的移动装置100的各单元的数据或信号规划到目的地的路线。例如，路线规划单元161基于全局地图设定从当前位置到指定目的地的路线。此外，例如，路线规划单元161基于交通拥挤、事故、交通限制和施工等的情况以及驾驶员的身体状况等适当地改变路线。路线规划单元161将指示规划的路线的数据供给到行动规划单元162等。
基于来自诸如地图分析单元151和情况预测单元154的移动装置100的各单元的数据或信号，行动规划单元162规划自身车辆在规划时间内安全地行驶由路线规划单元161规划的路线的行动。例如，行动规划单元162执行开始、停止、行驶方向(例如，向前、向后、左转、右转和方向改变等)、行驶车道、行驶速度和超车等的计划。行动规划单元162将指示自身车辆的规划行动的数据供给到动作规划单元163等。
动作规划单元163基于来自诸如地图分析单元151和情况预测单元154的移动装置100的各单元的数据或信号规划自身车辆用于实现由行动规划单元162规划的行动的动作。例如，动作规划单元163执行加速、减速和行驶轨迹等的规划。动作规划单元163将指示自身车辆的规划动作的数据供给到动作控制单元135的加速减速控制单元172和方向控制单元173等。
动作控制单元135控制自身车辆的动作。动作控制单元135包括紧急避免单元171、加速减速控制单元172和方向控制单元173。
紧急避免单元171基于车辆外信息检测单元141、车辆内信息检测单元142和车辆状态检测单元143的检测结果，执行诸如碰撞、接触、进入危险区、驾驶员异常或车辆异常的紧急情况的检测处理。在紧急避免单元171检测紧急情况出现的情况下，紧急避免单元171规划自身车辆避免紧急情况的动作，诸如突然停车或突然转向。紧急避免单元171将指示自身车辆的规划动作的数据供给到加速减速控制单元172和方向控制单元173等。
加速减速控制单元172执行用于实现由动作规划单元163或紧急避免单元171规划的自身车辆的动作的加速减速控制。例如，加速减速控制单元172计算用于实现规划的加速、减速或突然停止的驱动力产生器或制动装置的控制目标值，并将指示计算的控制目标值的控制命令供给到驱动系统控制单元107。注意，存在可能出现紧急情况的两种主要情况。即，存在在自动驾驶期间从行驶路线上的基础设施获取的当地动态地图等原本认为安全的道路上由于意外原因在自动驾驶期间出现意外事故并且驾驶员将不能及时紧急返回的情况以及驾驶员难以从自动驾驶准确返回手动驾驶的情况。
方向控制单元173执行用于实现由动作规划单元163或紧急避免单元171规划的自身车辆的动作的方向控制。例如，方向控制单元173计算用于实现由动作规划单元163或紧急避免单元171规划的行驶轨迹或突然转向的转向机构的控制目标值，并将指示计算的控制目标值的控制命令供给到驱动系统控制单元107。
[3.从自动驾驶模式到手动驾驶模式的模式切换序列]
下面，将描述从自动驾驶模式到手动驾驶模式的接管序列。
图11示意性地示出自动驾驶控制单元112中的从自动驾驶模式到手动驾驶模式的模式切换序列的示例。
在步骤S1中，驾驶员完全脱离驾驶转向。在这种状态下，驾驶员可以执行例如二次任务，诸如打盹、观看视频、专注于游戏或者使用诸如平板电脑或智能电话的视觉工具的工作。可以想象，可以例如在驾驶员座椅被移动的情况下或者在与驾驶员座椅不同的座椅中执行使用诸如平板电脑或智能电话的视觉工具的工作。
根据驾驶员的这些状态，当接近需要手动驾驶返回的路线区段时，假设：直到驾驶员返回的时间将因当时的工作内容而有很大的变化，并且可能出现紧挨着事件接近之前的通知导致直到返回的时间不足的情况，或者，在对于事件的接近提供余量来说太早给出通知的情况下，直到实际需要返回的时刻的时间太长。因此，如果不在准确定时执行通知的情况重复出现，则驾驶员对系统的通知定时失去信心，关于通知的意识降低，并且，相应地，驾驶员忽略准确响应。因此，接管不力的风险增加，同时，它变为心平气和地执行二次任务的障碍。因此，为了使驾驶员针对通知开始响应以准确地返回驾驶，系统需要优化通知定时。
步骤S2是上面参照图2描述的手动驾驶返回请求通知的定时。通过诸如振动的动态触觉或以视觉或听觉的方式通知驾驶员返回驾驶。在自动驾驶控制单元112中，例如，监视驾驶员的稳定状态，掌握发出通知的定时，并且在适当的定时发出通知。换言之，在前一阶段的被动监视时段期间，持续被动地监视驾驶员的二次任务的执行状态，系统可以计算用于通知的最佳定时的最佳定时，持续并且连续地执行步骤S1的时段期间的被动监视，并且，希望根据驾驶员的独特返回特性执行返回定时和返回通知。
即，通过根据驾驶员的返回行为模式和车辆特性等学习最佳返回定时，希望向驾驶员呈现在统计上获得的驾驶员以预定的恒定速率或更高的速率正常地从自动驾驶返回到手动驾驶所需的最佳定时。在这种情况下，在驾驶员在一定时间段内没有响应于通知的情况下，通过发出警报等来发出警告。
在步骤S3中，检查驾驶员是否已返回座椅。在步骤S4中，通过面部的眼球行为分析和眼跳等检查驾驶员的内部清醒状态。在步骤S5中，监视驾驶员的实际转向情况的稳定性。然后，在步骤S6中，变为完成从自动驾驶到手动驾驶的接管的状态。
[4.自动驾驶的动作序列示例]
接下来，将参照图12所示的流程图描述自动驾驶的动作序列的示例。
图12所示的流程图是描述用于执行移动装置100的自动驾驶的动作序列的流程图。
首先，在步骤S11中，执行驾驶员认证。通过使用密码或PIN的知识认证，使用面部、指纹、瞳孔虹膜和声纹等的生物认证以及进一步通过知识认证和生物认证的组合执行该驾驶员认证。通过以这种方式执行驾驶员认证，即使在多个驾驶员驾驶同一车辆的情况下，也能够累积用于与各驾驶员相关联地确定通知定时的信息。
接下来，在步骤S12，驾驶员操作输入单元101以设定目的地。在这种情况下，基于仪表面板的显示执行驾驶员的输入操作。
注意，尽管作为本实施例描述假设在乘上车辆之后进行行程设定的情况的示例，但是可以在乘上车辆之前从智能电话或者在离开自己的家之前从个人计算机执行远程提前预定设定等。此外，车辆系统可以根据由驾驶员根据调度表假设的调度执行预先规划设定，可以更新或获取道路环境的LDM信息(即，所谓的本地动态地图(LDM)信息)，这以高密度不断更新车辆行驶的道路的行驶地图信息，并且例如在乘上车辆时或乘上车辆之前像礼宾部一样进一步执行实际的行驶建议显示。
接下来，在步骤S13中，开始行驶路线上的行驶区段显示。除了显示在仪表面板上之外，该行驶区段显示还与例如驾驶员执行二次任务的平板电脑等上的工作窗口并排显示。因此，在工作窗口中工作的驾驶员可以容易地识别从当前位置到预测到达时间轴上的行驶路线的驾驶员干预需要区段和自动驾驶可能区段。
在该行程区段显示中，呈现前进调度和对各点的接近信息。在该行驶区段显示中，在从当前位置起的预计到达时间轴上显示行驶路线的驾驶员干预需要区段和自动驾驶可能区段。然后，驾驶员干预需要区段包括手动驾驶区段、从自动驾驶到手动驾驶的接管区段和自动驾驶的谨慎行驶区段。将在后面描述该行驶区段显示的细节。
接下来，在步骤S14中，开始获取LDM更新信息。通过获取该LDM更新信息，行驶区段显示的内容可以变为最新状态。接下来，在步骤S15中，开始行驶。接下来，在步骤S16中，基于自身车辆的位置信息和获取的LDM更新信息更新行驶区段显示的显示。因此，滚动显示行驶区段显示，使得各区段伴随行驶接近自身车辆。
不必将呈现信息(诸如相对接近伴随行驶的车辆前方的行驶环境和接管自身车辆的必要定时)的手段限制为滚动手段，并且作为另一种方法，允许通过直观和明确并且以更少的误解呈现即将到来的时间间隔的手段获知何时开始返回驾驶的手段是优选的。例如，可以插入模仿沙漏的时间呈现方法或用于以计时器类型的腕表的形式直接向用户穿戴的设备呈现接管剩余时间的手段。
接下来，在步骤S17中，监视驾驶员状况。接下来，在步骤S18中，执行事件改变响应处理。该事件变化响应处理包括用于响应于已经存在于行驶路线或谨慎行驶区段中的自动驾驶模式和手动驾驶模式的切换点正在接近的情况的模式切换处理以及用于响应于在行驶路线中新产生的模式切换点或谨慎行驶区段的驾驶员干预需要区段的情况的事件产生处理。然后，适当地重复步骤S16到S18的处理。
“行驶部分显示详情”
图13示出由驾驶员设定目的地而确定的行驶路线的示例。在该行驶路线中，存在自动驾驶可能区段Sa、手动驾驶区段Sb、从自动驾驶到手动驾驶的接管区段Sc和自动驾驶的谨慎行驶区段Sd。这里，接管区段Sc总是紧挨着在手动驾驶区段Sb之前存在，并且驾驶员需要处于返回手动驾驶的姿势。此外，谨慎行驶区段Sd是在返回手动驾驶的姿势下在驾驶员的谨慎监视下在继续自动驾驶的同时通过减速而能够行驶的区段。
在示出的示例中，自动驾驶可能区段Sa用绿色表示，手动驾驶区段Sb用红色表示，接管区段Sc和谨慎行驶区段Sd用黄色表示。注意，为了方便起见，各个颜色由不同的图案表示。
在诸如中心信息显示器或平板电脑的显示设备上的行驶区段显示中，如上所述的行驶路线的各区段从当前位置显示于预测到达时间轴上。自动驾驶控制单元112基于行驶路线信息和交通信息对行驶路线上的行驶区段显示执行信息处理。
图14(a)示出从当前位置的移动距离轴上的恒定比例的行驶路线的各区段。图14(b)示出各点处的平均道路交通的流动速度v(t)。图14(c)示出由使用速度v(t)转换为时间轴的移动距离轴表示的各区段。因此，行驶路线的各区段由从当前位置的预测到达时间轴表示。即，行驶路线的物理距离可以用除以各适用区段的平均速度的时间轴表示。
在本实施例中，如图14(d)所示，显示为行驶区段的所有区段被划分为三个区段，并且各区段的时间轴改变。即，在第一时间轴上，从当前点到第一点(时间t0，例如，约10分钟)的第一区段被显示为时间线性显示最近区段。例如，时间t0被设定为一般驾驶员完成二次任务并返回驾驶状态需要的且足够的时间。由于通过行驶接近的最近区段具有与以恒定速度前进的地图上所示相当的视觉直觉效果，因此，存在驾驶员可以伴随接近事件开始准备准确返回驾驶并且能够以一定精度感性地掌握开始返回驾驶的点的优点。即，显示此区段的目的是向用户提供用于确定驾驶员的准确返回点的开始的信息。
另外，从第一点(时间t0)到第二点(时间t1，例如，约1小时)的第二区段作为时间倒数显示区段显示于依次从第一时间轴改变到相对于第一时间轴减小预定比率的第二时间轴的时间轴上。显示该第二区段的目的是设备在狭窄的显示器中准确地向驾驶员提供较长时段的道路情况，原因是，如果主要以与前面第一区段相同的比例放大率执行显示，则难以在狭窄的显示空间中显示长的时段。因此，存在驾驶员可以容易地掌握在伴随行驶的前方某个区段中在多大程度上不需要驾驶干预并且可以有意识地从事二次任务的优点。驾驶干预变得清晰，并且在伴随着与第三方的交互的二次任务等中，该显示起到在从二次任务解放驾驶员的规划等中呈现重要信息的作用。
这里，在图14(d)中，将描述设定该第二显示区段的方法。当三角形的高度为h0时，通过下式(1)计算其尖端之前的点h处的时间t。
t＝t0*h0/h…(1)
此外，第二点(时间t1)处的第二时间轴相对于第一时间轴以hs/h0的比率减小。例如，在hs＝h0/8的情况下，缩小率为1/8。
以上示出的第二显示区段的显示在车辆以恒定速度行驶的情况下对应于观看在行驶方向上斜着倾斜地图上的行驶直线延伸显示区段的地图的显示，或者对应于观看道路平面前方的状态。换言之，该显示区段的视觉效果允许直观地理解在显示的图像高度的位置处的距离，因此它可以被视为可以在不在屏幕上显示准确的位置显示比例等的情况下容易地掌握感官距离的显示。然后，虽然远方区段减少，但它不是通过行驶立即将到达的点。因此，虽然粗略的预测是重要的，但是驾驶员不必像在附近的点时那样严格地掌握到达时间信息，因此也优选地制定二次任务执行计划。
此外，在第二时间轴(缩小率hs/h0)上显示从第二点(时间t1)到第三点(时间t2)的第三区段，作为时间线性显示距离区段。通过以这种方式将显示划分为三个区段，驾驶员变得能够知道在时间上最近的区段的信息的细节，并且还可以知道在有限的显示空间中在时间上更远的区段信息。注意，如果在原样保持在第二区段的显示模式中的同时显示远方区段，则它将变得低于人视觉分辨率并且进一步低于系统显示分辨率的极限，规划和确定二次任务所需的信息不再可以被确定，并且失去显示功能的意义。因此，最有效的显示是在能够直观地把握时间间隔的感觉并且适当地显示必要的干预区段和不必要的区段划分的程度的阶段完成显示比例的缩小，并对跟随区段再次执行返回到恒定比例的显示。
注意，车辆控制系统100具有时间t0、t1和t3的缺省值。由于可以设想对于长距离驾驶和短距离驾驶将时间t0、t1和t3的值分开，因此缺省值不限于一个，并且可以由驾驶员(用户)或系统根据行驶路线提供和选择性地使用多种类型。此外，还可以设想允许驾驶员(用户)任意地设定时间t0、t1和t3的值。
图15(a)和图15(b)示出最终显示的行驶区段显示的示例。注意，箭头的长度指示时间轴是否是线性的，并且进一步指示时间轴的缩小率的变化。在图15(a)的情况下，以第一宽度原样显示第一区段、第二区段和第三区段的所有区段。
另一方面，在图15(b)的情况下，以第一宽度显示从当前点到第一点(时间t0)的第一区段，以从第一宽度到比该第一宽度窄的第二宽度逐渐变化的宽度显示从第一点(时间t0)到第二点(时间t1)的第二区段，并且，以第二宽度显示从第二点(时间T1)到第三点(时间T2)的第三区段。因此，驾驶员可以视觉识别第二区段和第三区段的时间轴相对于第一区段的缩小程度。换言之，图14中的显示模式是仅考虑行驶方向上的缩小率的显示，通过根据透视图以人工方式进一步改变相对于行驶方向的显示信息的横向宽度，可以获得与随着道路或地图的前进而无限观看相同的透视效果，并且，变得比仅仅观看屏幕片刻更容易直观地掌握驾驶干预需要区段的分布。特别是，在只有第二区段逆时针旋转的情况下，它可与道路前方的道路宽度和各相应点的到达时间相比较，就像以恒定速度行驶的情况一样，因此可以说，它是使得能够直观地掌握到达各点的实际感觉并且允许时间分配而无需视觉检查准确的位置记忆的显示模式。
注意，例如，在如在第三区段中那样缩小率hs/h0小的部分中，如果在不改变时间长度的情况下显示具有短时间长度的区段，则该区段显示得非常细，并且预期驾驶员难以识别。因此，即使驾驶员干预区段(手动驾驶区段、接管区段、谨慎行驶区段)实际上等于或短于某个时间长度，也以某个时间长度进行显示。在这种情况下，例如，在接管区段和手动驾驶区段连续的情况下，可以省略接管区段的显示。在图15(a)和图15(b)中，第三区段的第一手动驾驶区段Sb的显示指示这种状态。因此，在时间轴大大缩小的第三区段中，能够以驾驶员可识别的方式显示短时间长度的驾驶员干预需要区段。
此外，在如在第三区段中那样缩小率hs/h0小的部分中，在手动驾驶区段Sb在短循环内间歇连续的情况下，显示为其中整个被连接的手动驾驶区段Sb。在图15(a)和图15(b)中，第三区段的第二手动驾驶区段Sb的显示示出以这种方式连接和显示的状态。如图15(c)所示，以这种方式显示的手动驾驶区段Sb实际上除了手动驾驶区段Sb之外还包括短期接管区段Sd和自动驾驶可能区段Sa。注意，如后面所描述的，通过例如当在平板电脑等上显示行驶区段显示的同时双触摸该点，能够进行详细显示。
上述行驶路线上的行驶区段显示基于自身车辆的位置信息和获取的LDM更新信息被更新。因此，行驶区段显示被滚动显示，使得各区段随着时间的推移接近自身车辆。图16(a)至16(d)示出行驶区段显示随时间的变化的示例。此示例示出第二区段变为锥形的示例，但在以相同宽度显示所有区段的情况下，它是类似的。
在这种情况下，在第一区段中，各区段的移动快。此外，在第二区段中，时间轴的缩小减小，因此各区段的移动从第三区段侧到第一区段侧变得更快。此外，在第三区段中，时间轴的缩小是大的，使得各区段的移动慢。
图17(a)和图17(b)示出在平板电脑182的屏幕上显示的行驶路线中的行驶区段显示181的示例。图17(a)示出在纵向方向上使用平板电脑182的情况下的示例。在这种情况下，行驶区段显示181以从左侧到上侧的弯曲状态被显示，并且与作为在平板电脑182执行的二次任务的执行画面的工作窗口平行地被显示。图17(b)示出在横向方向上使用平板电脑182的情况的示例。同样在这种情况下，行驶区段显示181以从左侧到上侧的弯曲状态被显示，并且与作为在平板电脑182执行的二次任务的执行画面的工作窗口平行地被显示。注意，在示出的示例中，在平板电脑182的画面上以弯曲状态布置行驶区段显示181，但是，在可以占用足够的布置空间的情况下，它可以被线性地布置。
图18示出驾驶员通过使用平板电脑182实际执行二次任务的状态的示例。在该示例中，平板电脑182用于横向方向。在平板电脑182的画面上，以从左侧向上侧弯曲的状态显示行驶区段显示181。注意，可以通过驾驶员(用户)的操作选择性地确定是否在画面上显示行驶区段显示181。在这种情况下，例如，在没有在画面上显示行驶区段显示181的情况下，当在一定时间段内进入驾驶员干预需要区段并且通知驾驶员时，可以在画面上自动显示行驶区段显示181。
在行驶区段显示181显示于平板电脑182的画面上的状态下，当在其显示区段中出现新的驾驶员干预需要区段的情况下，新产生的驾驶员干预需要区段的显示新出现。在这种情况下，通过例如闪烁一定时间段来显示新产生的驾驶员干预需要区段，以与其它区分开来。该闪烁显示可能伴随谨慎警告声音。这里，在产生新的驾驶员干预需要区段的情况下，它包括新产生谨慎行驶区段和手动驾驶区段的情况，并且还包括谨慎行驶区段变为手动驾驶区段的情况。
图19示出在第二区段中新产生谨慎行驶区段Sd并且通过闪烁显示警告驾驶员的状态。注意，在这种情况下，驾驶员可能能够通过触摸显示闪烁的谨慎行驶区段Sd的显示位置停止闪烁即警告状态。或者，通过驾驶员触摸显示闪烁的谨慎行驶区段Sd的显示位置，可以弹出小窗口，并且允许通过触摸同意画面停止闪烁即警告状态。
此外，在行驶区段显示181显示于平板电脑182的画面上的状态下，在驾驶员(用户)通过双触摸指定任何点的情况下，例如，如图20所示，弹出小窗口并执行与该点相关的显示。
此外，如图21所示，与参照图14～20所描述的类似，上面参照图5和图6所述的腕表类型信息终端50可以被配置为在各区段单位以不同的颜色显示。
图21所示的示例是根据通过由驾驶员设定目的地确定的行驶路线显示诸如道路的自动驾驶区段和手动驾驶区段的各区段的信息的示例。显示单元周围的从0到9的数值表示从当前时间起经过的时间为0到9分钟。整个显示区域表示从当前时间(0)到10分钟后的汽车的预定行驶的区段信息。
行驶路线包括自动驾驶区段Sa和手动驾驶区段Sb，并且还包括从自动驾驶到手动驾驶的接管区段Sc和设定在自动驾驶区段Sa中的谨慎行驶区段Sd等。
在图21所示的显示示例中，在信息终端50的显示单元中设定以下三个不同的显示区域。
(Sa)自动驾驶区段Sa(＝绿色显示)
(Sc)接管驾驶区段Sc(＝黄色显示)
(Sb)手动驾驶区段Sb(＝红色显示)
图21所示的显示示例示出汽车在接下来十分钟的预定行驶。即，该示例说明车辆：
(Sa)预定为自当前时间起0到6分10秒后行驶自动驾驶区段Sa(＝绿色显示)，然后
(Sc)预定为自当前时间起6分10秒后至8分40秒后行驶接管驾驶区段Sc(＝黄色显示)，再然后
(Sb)预定为自当前时间起8分40秒后行驶手动驾驶区段Sb(＝红色显示)。
注意，信息终端50经由通信单元接收由汽车10中的数据处理单元11基于汽车10的行驶速度或汽车10的行驶路线上的车辆平均速度信息计算的各区段的预定行驶时间信息，并显示信息。
通过观看在信息终端50上显示的信息，驾驶员20可以检查他或她进入手动驾驶区段之前的剩余时间，并且可以在该时间前完成在货物厢21中的工作并准时返回驾驶员座椅。
注意，在图21所示的示例中，驾驶员20能够基于信息终端50的显示从现在起约8分40秒之后掌握车辆将进入手动驾驶区段，并且可以继续进行工作以在那时前返回驾驶员座椅。
此外，在图21所示的信息终端50上还显示箭头。该箭头被设定于用于通知手动驾驶返回请求(例如，用于通过切换到图5所示的显示或者警告输出或振动激活来通知驾驶员20警告)的时间。例如，在移动装置(汽车10)侧，基于清醒水平或驾驶员位置中的至少一个的信息确定该通知定时。确定的通知定时信息被传送到信息终端50。通过箭头的通知的时间显示只是示例，并且，如果时间间隔可以被视觉呈现，诸如通过颜色分类、网格显示和闪烁等提供视觉注意吸引功能，则不必将手段限于箭头。注意，将在后面描述要在移动装置中执行的最佳通知定时的计算处理。
信息终端50在从移动装置接收的通知定时执行手动驾驶返回请求通知。即，信息终端50在由移动装置确定的通知定时执行以上参照图5描述的显示处理或警报输出或振动激活中的至少一个。注意，用户可以改变或停止通知设定。
注意，在本实施例中，信息终端50的显示单元被示出为圆形显示单元，但这是示例，并且，作为显示单元的形状，可以为诸如椭圆形状和矩形形状等的各种设定，而不限于圆形。
图22是示出信息终端的显示数据随时间的变化的示例的示图。图22示出信息终端50在时间t1处的显示信息和信息终端50在随后时间t2处的显示信息的示例。
时间t2示出在时间t1之后约4分钟的显示数据的示例。
时间t2处的显示数据表示预定自当前时间起约3分50秒后行驶手动驾驶区段Sb(＝红色显示)。
在时间t2处，驾驶员20可以基于信息终端50的显示把握手动驾驶区段Sb(＝显示红色)正在接近，赶快完成工作，并且开始准备返回驾驶员座椅。
注意，信息终端50具有警报输出功能和振动功能。例如，当直到手动驾驶区段Sb(＝红色显示)的剩余时间达到预定时间(例如，1分钟)时，执行警报输出或振动激活以通知驾驶员20警告。注意，可以通过用户设定改变或停止警报和振动的激活时间。
[5.用于在难以接管到手动驾驶的情况下执行响应处理的配置]
接下来，将描述用于在驾驶员难以接管到手动驾驶的情况下执行响应处理的配置。
下面描述的配置是使得系统能够在驾驶员没有信心完全切换到手动驾驶的情况下在从自动驾驶切换到手动驾驶时迅速地宣布放弃接管的配置。
当执行自动驾驶的车辆进入不能通过自动驾驶驾驶的区段时，可能驾驶员的手动驾驶能力尚未恢复，并且可能出现接管到手动驾驶的失败。在这种情况下，自动驱动系统需要执行退避处理，例如在路肩上紧急停车等。
但是，例如，即使一些车辆在高速行驶的车流中突然减速，也会影响周围车辆的行驶，并且有可能出现交通拥堵，或者用于减速的后续制动没有及时进行，并诱发诸如追尾的二次伤害。为了尽量减少这种影响，必须逐渐减速或早早开始减速。
当前的自动驾驶技术还没有达到自主识别环境并根据环境实现安全驾驶的水平。但是，只要是保持一定环境的区段，就能够使用自动驾驶。
汽车的优点是它使得能够通过称为汽车的同一交通工具在任何两个不同的点之间移动。为了完全通过自动驾驶在两点之间行驶，两点之间的道路必须是保持适于自动驾驶的环境的区段。
然而，要创造在所有道路上都可以自动驾驶的环境，需要花费大量的时间和成本，并且假设在行驶过程中将必须在自动驾驶和手动驾驶之间切换一段时间。换言之，在被称为汽车的手段被用于在任意两点之间移动并且在途中可以使用自动驾驶的情况下，除非汽车在退避现场等处暂时停止并且以不同模式再次运行，否则产生在行驶期间平稳地执行接管的需要。
如果在行驶期间不平稳地执行自动驾驶和手动驾驶之间的这种切换，则存在造成交通拥堵和追尾碰撞的风险。例如，在从自动驾驶区段到手动驾驶区段的切换点正在接近的情况下，车辆系统和驾驶员需要准备在到达切换点之前可以执行完全手动驾驶的状态。如果车辆在驾驶员或系统未准备好的情况下进入下一区段，则车辆的必要控制将无法执行或将延迟，并且，将存在不能适当地响应于不可预见的情况的风险。
在切换时停车并且在完成切换准备之后切换到自动驾驶或从自动驾驶切换到手动驾驶比较不方便。即，在存在可以使用自动驾驶的区段的情况下，可以说希望的模式是在无需适当地停止车辆的情况下在区段之间切换。
在进入手动驾驶区段时，驾驶员必须处于可以执行完全手动驾驶的状态，但为了确保这一点，驾驶员必须在自动驾驶期间手动驾驶，车辆系统必须确定驾驶员是否处于能够在自动驾驶行驶期间返回通过手动驾驶进行驾驶的意识水平，并且在确定驾驶员能够返回驾驶的情况下，将车辆的转向委托给驾驶员。
然而，车辆系统不能总是100％准确地掌握驾驶员的内部清醒状态。在车辆系统确定驾驶员不能在自动驾驶区段行驶期间返回手动驾驶的阶段，系统需要减速、慢行或停车。如果该确定被延迟，则在接近接管点的阶段出现突然停车的需要，这将引起各种问题，例如跟随车辆的行驶的阻碍、拥挤诱导因素和追尾碰撞因素等。
在驾驶员开始手动驾驶之前的阶段，系统很难确定内部清醒状态的水平以了解驾驶员是否可以返回操作。例如，虽然可能是罕见的事件，但驾驶员从睡眠中醒来后的思考和决定并不总是达到能够执行正常驾驶的状态。在某些情况下，这段时间的姿势可能不好，并且身体的一部分可能麻木。
例如，在驾驶员已参与二次任务并收接管通知后，驾驶员他或她本人可以确定从二次任务返回手动驾驶的准备不足。
在这种情况下，如果驾驶员可以向车辆系统宣布他或她放弃返回手动驾驶即拒绝在早期定时开始手动驾驶，则车辆系统可以根据驾驶员的意图在接近手动驾驶区段之前的早期定时执行各种退避行动。例如，能够带时间宽限地以减速、慢速驾驶、停车或改变低影响旁路路线等进行响应。也可以避免对后续车辆的影响。
通过允许驾驶员以这种方式向车辆系统输入放弃(拒绝)返回手动驾驶的意图，由于接管失败而产生的二次不利影响预期受到限制。
为了使自动驾驶的使用得到社会的广泛认可，并将自动驾驶应用于普通车辆和加以使用，必须保证在自动驾驶可能区段和手动驾驶需要区段之间的接管点处执行可靠的接管。
然而，驾驶员的身体状况和环境多种多样，并且不能保证所有驾驶员都能够在接管点处执行可靠的接管。本公开的配置是基于这样的现实而提出的，并且，通过允许驾驶员拒绝接管到手动驾驶，使得能够在系统侧顺利地执行退避处理。
目前，有研究引入驾驶员监视系统的自动驾驶，并假设在系统控制响应困难的情况下驾驶员而不是系统将返回转向，即，所谓的3级自动驾驶车辆。
然而，当驾驶员长时间连续使用3级自动驾驶并且观察到系统在各种情况下在自动驾驶时正常执行转向的情况时，预期驾驶员在自动驾驶期间不再感到需要监视驾驶。
即使按照规定驾驶员有义务在使用3级自动驾驶时不断监视系统，但驾驶员也会不再感到需要监视。即，即使如在3级自动驾驶中那样处于驾驶员原本应该补足系统限制的水平下，如果人不干预驾驶的状态持续很长时间，则驾驶员也会忘记监视的重要性。因此，出现即使系统请求驾驶员接管到手动驾驶驾驶员也不一定保持能够返回的意识状态的情况。
为了避免这种问题，系统必须不断监视驾驶员的状况，并确定应在哪个阶段提出返回请求使得能够在准确的定时执行接管。然而，系统可以在不将驾驶员约束到电极或设备的情况下监视大脑中的思维活动的监视手段是有限的，并且，仅通过驾驶员的有限外部行动等观察驾驶员是否准备好返回是可能的。
例如，即使驾驶员他或她自己意识到难以返回手动驾驶的情况下，也不可能仅仅通过对车辆系统的监视检测驾驶员大脑中的思想内容，并且也不可能掌握驾驶员拒绝手动驾驶的想法。
因此，使驾驶员能够执行对车辆系统的输入，该输入指示驾驶员打算放弃和拒绝返回手动驾驶。通过启用此处理，系统侧可以在早期阶段启动退避行动。
例如，在车辆系统从驾驶员检测打算放弃和拒绝返回手动驾驶的输入的情况下，系统可以在检测输入的点处执行缓慢减速的过程并停止车辆，或者可以执行各种类型的退避控制，诸如绕道的退避处理、退避至停车场或退避至路边区域等。因此，能够防止引起的事故等并减少损害。
但是，如果驾驶员没有多想就使用手动驾驶拒绝，系统的退避处理会频繁出现，这会对周围车辆的行驶造成阻碍，诸如由于减速造成交通拥堵。因此，希望只在某些限制下允许驾驶员宣布拒绝手动驾驶。
例如，在系统接收来自驾驶员的放弃接管的请求的情况下，系统首先根据到接管限制点的宽限时间切换到减速模式，并且进一步通知后面的车辆。此外，系统可以通知驾驶员减速，并且可以关于减速通知执行重新检查是否可以期望最终返回手动驾驶的处理。即，为了重新检查是否预期由于由减速模式产生的时间宽限可以执行接管，可以将其设定为允许取消接管放弃的输入。
以下，将按照以下项目的序列描述用于在驾驶员难以接管到手动驾驶的情况下执行响应处理的配置。
5-1.难以进行手动驾驶的情况下的具体示例
5-2.在难以接管到手动驾驶的情况下执行响应的装置的配置示例
5-3.基于行驶路线信息的手动驾驶返回点的检测和基于手动驾驶返回时间估计的手动驾驶返回必要时间计算处理的具体实例
5-4.允许驾驶员放弃手动驾驶接管的处理的序列
5-5.驾驶员或乘客表示打算放弃接管到手动驾驶的处理
5-6.接近手动驾驶切换点时的处理示例
5-7.来自驾驶员或乘客的手动驾驶接管放弃(拒绝)的输入的前处理和后处理
5-8.执行接管放弃输入的处理的信息处理装置的配置示例
(5-1.难以接管到手动驾驶的情况下的具体示例)
例如，自动驾驶期间的驾驶员处于各种状态，诸如睡觉、边看显示器边工作以及在货物厢中分拣货物。
在这种状态下，即使认识到从自动驾驶可能区段到手动驾驶区段的切换点正在接近，也可能出现在到达该切换点之前不可能或不希望返回手动驾驶的情况。
下面将描述这种情况下的响应方法。
在车辆处于全自动驾驶状态的情况下，需要驾驶员返回手动驾驶的事件大致可分为以下两种类型的事件。
(1)预定接管事件
(2)意外接管事件
(1)预定接管事件为例如在驾驶员在开始驾驶之前通过使用导航系统等设定的事先在行驶道路上设定的切换点(即，自动驾驶行驶可能区段和不允许自动驾驶的手动驾驶行驶区段之间的切换点)处出现的接管事件。
在开始驾驶时，驾驶员对自动驾驶车辆的系统(信息处理装置)设定起点和目的地两个点。设定停留处和使用收费公路以及设定使用全自动驾驶等也是可能的。
该系统基于可根据设定信息从服务器获取的LDM(本地动态地图)向驾驶员呈现多条可选择的行驶路线。
驾驶员从多条所呈现的行驶路线选择一条行驶路线。
该选择的路线显示在驾驶员座椅等的监视器上。显示数据是使得能够区分自动驾驶行驶可能区段和手动驾驶行驶区段的显示数据。
在开始驾驶之后，通过驾驶员座椅的监视器或由驾驶员操作的用户终端的人机界面(HMI)等，预先通知自动驾驶行驶可能区段和手动驾驶行驶区段之间的切换点的接近。
如上所述，“(1)预定接管事件”是在驾驶员可以预先识别接管点的接近的情况下出现的事件。
另一方面，“(2)意外接管事件”是由意外因素引起的诸如接管点的变更或出现的事件。例如，当出现交通状况或天气等的突然变化时，可以改变自动驾驶行驶可能区段和手动驾驶行驶区段之间的切换点。
由于这些信息也反映在可从服务器获取的LDM(本地动态地图)中，因此也可以提前通知驾驶员这些变化。
但是，不能确保驾驶员立即检查更新的LDM，并且驾驶员可能不知道切换点的变化。
在这种情况下，存在车辆接近驾驶员没有识别的切换点的可能性。在这种情况下，紧急响应处理将作为意外接管事件被执行。
因此，“(2)意外接管事件”是当在开始驾驶之前设定行驶路线(行程)时不能预测的事件。注意，例如在以下情况下，自动驾驶行驶可能区段和手动驾驶行驶区段之间的切换点具体地改变。
(a)由基础设施设检测的道路环境的变化的出现
(b)在行程中出现的事故等
(c)基于由诸如LDM维护车辆(探测车)、公交车和出租车的公共服务车辆提供的信息的LDM信息更新
(d)基于来自诸如普通车辆等的LDM维护非专用探测车的信息提供的LDM信息更新
(e)通过先导车辆的稳定LDM信息更新
(f)基于偶发通过先导车辆的路况手动报告的LDM信息更新
(g)基于偶发通过先导车辆的路况自动报告的LDM信息更新
(h)基于车辆间通信(V2V通信)信息的LDM信息更新
例如，在以上的(a)～(h)的情况下，更新LDM(本地动态地图)的服务器更新LDM，并且可以变更自动驾驶行驶可能区段与手动驾驶行驶区段之间的切换点。服务器上的更新LDM被提供给各车辆。然而，可能存在在驾驶员检查更新信息之前自动驾驶行驶可能区段和手动驾驶行驶区段之间的切换点接近的情况。
在这种情况下，优选在用户终端等上执行显示或者输出用于执行新切换点等的出现的通知的警报。
注意，出现这种非预定的意外事件时的响应不一致，并且，优选根据情况改变它。
例如，采取以下措施。
1.在装载有危险品的车辆的情况下，出于安全原因，应执行控制，诸如早早返回手动驾驶和早早开始慢速驾驶。
2.在基于LDM信息预先知道在行驶路线的前方出现诸如通过宽度窄且弯道频繁等的道路的自动驾驶困难区段的情况下，执行控制以在尽可能早的阶段完成到手动驾驶的切换。
3.根据诸如停车场的紧急退避区域的车辆容纳允许状态改变响应。
(5-2.在难以接管到手动驾驶的情况下执行响应的装置的配置示例)
接下来，将描述在难以接管到手动驾驶的情况下执行响应的装置的配置示例。
图23是示出安装在移动装置上的信息处理装置200的部分配置的框图。它是示出在难以接管到手动驾驶的情况下执行响应的装置配置的框图。
如图23所示，信息处理装置200包括驾驶历史信息获取单元201、生物信息获取单元202、姿势信息获取单元203、LDM车辆依赖返回系统请求获取单元204、数据处理单元250和接管放弃输入单元221。注意，由于所需的控制、制动距离和可停止区域由于客车和货物装载车辆、共用客车和液体运输罐车等之间的制动动力学和身体宽度不同而不同，因此车辆依赖因素作为控制影响因素被单独处理。
数据处理单元250包括返回通知、警告定时计算单元205、返回预测响应延迟评价单元206、返回延迟测量处理单元207、返回时间宽限确定单元208、紧急处理执行单元209、返回延迟惩罚产生记录单元210、驾驶员返回特性字典211和返回特性学习单元212。
驾驶历史信息获取单元201从存储单元获取驾驶员的驾驶历史信息。注意，尽管未示出存储单元，但它是移动装置中的信息处理装置内部的存储单元。
生物信息获取单元202和姿势信息获取单元203获取驾驶员的生物信息和姿势信息。它们是基于所获取的包括设置在移动装置中的照相机的各种传感器的信息产生的。
LDM车辆依赖返回系统请求获取单元204获取可以从服务器获取的LDM(本地动态地图)、车辆依赖系统请求(例如，作为车辆类型信息的一般乘用车、公共汽车和装载有危险品的车辆等的信息)、以及检测车辆前方障碍物的照相机和诸如LiDAR的距离传感器的检测信息等。
驾驶历史信息获取单元201、生物信息获取单元202、姿势信息获取单元203、LDM车辆依赖返回系统请求获取单元204中的每一个及其组件的获取信息被输入到返回通知、警告定时计算单元205。
基于输入信息，返回通知、警告定时计算单元205通知驾驶员返回手动驾驶的请求，并通知或警告手动驾驶切换点正在接近。
注意，该通知或警告的定时将根据驾驶员的状况等而不同。
数据处理单元250的返回通知、警告定时计算单元205使用驾驶员返回特性字典211利用返回特性学习单元212的学习处理的结果来计算对应于驾驶员的各状态的通知或警告的定时。驾驶员返回特性字典211可以是多个驾驶员共用的字典，但是，优选产生和使用各驾驶员特有的字典。
优选返回特性学习单元212中的学习处理被执行为在观察信息中包括例如每个驾驶员的二次任务的类型的学习处理。
在这种情况下，通过使用当前正在驾驶的驾驶员的个人识别信息和当前正在执行的二次任务的类型的信息作为观察信息，执行处理(手动驾驶返回可能时间估计处理)。
图24(a)示出对应于观察值的可观察评价值和返回延迟时间(＝手动驾驶返回可能时间)之间的多条关系信息(观察图)的分布的示例。该示例对应于某个驾驶员的二次任务的类型。为了从多条关系信息(观察图)计算返回延迟时间，提取在对应于所获取的观察值的评价值方向上具有一定宽度的区域(由虚线矩形框指示)中的关系信息(观察图)。图中的点线c表示用驾驶员的不同观察值观察后面描述的图24(b)中的返回成功率为0.95的返回延迟时间时的边界线。
通过用比点线c长即早的宽限时间向驾驶员发出自动到手动返回通知或警告，它变为保证驾驶员的自动到手动返回以0.95或更高的比率成功的区域。注意，例如，对于每个相应的一次驾驶员从自动驾驶正常返回到手动驾驶的目标值(对于恢复率的请求)例如从路边基础设施的必要性被确定，并且被提供给各单个区段通过车辆。
注意，如果是即使车辆停在行驶道路上也不妨碍周围的情况，则只需要将车辆减速到车辆可以停止且系统可以响应的速度，并且然后可以做出响应。通常，不总是存在许多优选在行驶道路上停止的情况，并且因此期望高返回率作为缺省设定，并且，特别是在诸如大都会高速公路的特定路线上，可能存在即使没从基础设施给出更新信息也缺省要求极高返回成功率的情况。
图24(b)示出从提取的多条关系信息(观察图)获得的返回延迟时间和返回成功率之间的关系。这里，曲线a示出各返回延迟时间处的单个成功率，曲线b示出各返回延迟时间处的累积成功率。在这种情况下，基于曲线b计算返回延迟时间t1，使得成功率是预定比率，并且在所示示例中，成功率是0.95。
该计算处理由返回通知、警告定时计算单元205执行。例如，在返回通知、警告定时计算单元205中，通过使用过去获取并存储在存储单元中的可观察评价值和返回延迟时间之间的多条关系信息(观察图)的分布信息执行计算处理。
图25是描述驾驶员在他或她处于在自动驾驶模式下脱离驾驶转向工作的状态中时执行的处理(二次任务)的类型的手动驾驶返回可能时间的示图。
如图24(b)所示，各个分布简档对应于观察值，即，基于驾驶员的状况预测的曲线a。即，为了以所需的返回概率在接管点处完成从自动驾驶到手动驾驶，参考驾驶员从观察值返回所需的可以评价在各阶段检测的驾驶员的清醒水平的过去特征，基于简档(图24(b)中的返回成功率简档)变为期望值的时间t1，监视简档是否实际达到在各返回阶段返回所需的状态，直到接管完成。太早的通知导致：如果驾驶员快速返回，则自动驾驶可以行驶的区段将在实际接管限制点之前长时间保留。此外，由于忽略接管通知的过度自动驾驶，这将导致连续依赖使用。正确定时处的通知作为避免这种依赖使用的手段是有效的。
例如，具有打盹的情况下的初始曲线变为通过根据诸如在自动驾驶中的打盹时段期间被动监视的呼吸和脉搏波的观察信息估计睡眠水平并且在发出清醒警告之后观看相应驾驶员的返回延迟特性获得的累积平均分布。中途的各分布根据在醒来后的随后运动返回过程期间观察的驾驶员的状况被确定。通过观看图中所示的“6.在具有打盹的情况下”确定清醒警报的正确定时是及时的，并且随后的中途处理变为从预测中点处的可观察驾驶员状况评价值预测的返回预算中的返回时间分布。
在中途的各点处，保持观看直到接管为止逐渐减少的剩余接管限制的时间限制，使得不违反它，并且在存在违反风险的情况下，车辆减速并且采取诸如产生时间宽限的措施。注意，例如，关于在没有“6.在具有打盹的情况下”和“5.坐下”的步骤的情况下从“4.非驾驶姿势不规则旋转坐下”开始的返回时的分布，由于从初始情况识别掌握开始返回的处理，因此，即使它是相同的项目，作为从“6.在具有打盹的情况下”开始的中途处理的状态“4.非驾驶姿势不规则旋转坐下”姿势变得相同，但是思考过程处于返回意识过程。因此，在从开始从“4.非驾驶姿势不规则旋转坐下”姿势中的情况识别开始的情况下，由于情况识别花费时间，因此分布变长。
注意，在一些情况下，当前驾驶的驾驶员的可观察评价值与返回延迟时间之间的关系信息没有被充分地存储在存储单元中。在这种情况下，存储单元被用作例如基于从相同年龄的驾驶员群体收集的信息产生的返回特性信息，它被用作事先准备的返回的假定分布信息，并且，可以执行返回延迟时间t1的计算。由于该返回信息的特定于驾驶员的特性尚未被充分学习，因此可以基于该信息以相同的返回概率使用返回信息，或者可以设定更高的返回成功率。注意，对人体工程学不熟悉的用户由于他们更谨慎因此预期在使用的早期阶段早早返回，并且，随着驾驶员习惯使用，驾驶员他或她自己根据系统的通知适应行为。注意，当在经营大量车辆的物流行业、诸如公共汽车和出租车的运营行业、以及共享汽车和租赁汽车中使用不同的车辆的情况下，驾驶员可以被个人认证，并且可以在远程服务器等上集中地或分布式地管理和学习驾驶可观察信息和返回特性，并且返回特性数据不必保留在单个车辆中，而是可以执行远程学习处理或保留。
此外，由于通知定时是重要的，因此返回成功率被描述为直到一律成功或失败的时间，但是不是将从自动驾驶到手动驾驶的成功或失败限制为二进值的成功或失败，可以进一步执行扩展到返回接管质量的判别。即，它导致实际的返回检查。
诸如返回过程推移的延迟时间、关于通知的返回开始延迟或中途返回动作中的停滞的允许时间内的返回可以作为返回质量评价值进一步被输入到学习者。
将返回到图23，描述信息处理装置200的配置。
如上所述，返回通知、警告定时计算单元205使用返回特性学习单元212使用驾驶员返回特性字典211的学习处理的结果以计算对应于驾驶员的各状态的通知或警告的定时。
接下来，将描述由返回预测响应延迟评价单元206、返回延迟测量处理单元207和返回时间宽限确定单元208执行的处理。
返回预测响应延迟评价单元206执行从自动驾驶推移到手动驾驶时的驾驶员的返回质量的评价处理。返回延迟测量处理单元207在从自动驾驶转换到手动驾驶时的驾驶员的返回中在检测延迟的情况下执行警告等的通知。返回时间宽限确定单元208计算从自动驾驶到手动驾驶的推移宽限时间。
驾驶员从自动驾驶推移到手动驾驶所需的时间(延迟时间)因驾驶员的状况而异。
图26是示出描述从自动驾驶到手动驾驶的推移完成的剩余宽限时间的示意图的示图。根据沿横轴上的时间轴的时间过去，沿纵轴示出系统在时间t0通知驾驶员(手动驾驶返回请求通知)之后直到到达最右边的“接管限制点”的剩余宽限时间。
图26所示的示例示出假设从自动驾驶可能区段到手动驾驶区段平稳推移、车辆以恒定速度行驶的情况下的剩余宽限期。注意，由于图26中的纵轴是在恒定速度行驶期间的剩余宽限时间，因此纵轴也可以被视为到实际接管限制点的距离。
示图显示两条线：“个人唯一数据示例”和“平均返回推移数据”。
个人唯一数据示例是基于一个人的个人唯一学习数据的数据的示例。
平均返回推移数据是基于大量观察数据的平均值。
所有这些都是当在接管限制点处执行接管到手动驾驶的情况下以预定的请求恢复率(RRR)实现接管的线。
基于驾驶员监视信息，系统通过使用驾驶员唯一返回特征的学习字典计算驾驶员在接管限制点以预定的请求恢复率(RRR)执行到手动驾驶的接管的通知点。
将描述请求恢复率(RRR)。请求恢复率(RRR)为例如在由道路信息提供者提供的本地动态地图(LDM)中限定的数据。即，它是从自动驾驶可能区段到手动驾驶区段的切换点的各点处的期望手动驾驶切换成功率。
从自动驾驶到手动驾驶的接管点的到达时间为t(ToR_point)(接管请求点)，并且，在该到达时间以缺省成功率RRR(请求恢复率)接管的计算接管预算(时间)假定为ΔtMTBT(最小推移预算时间)。
在此前提下，必须在TOR点处的预计到达时间t(ToR_point)之前的{t(ToR_point)-ΔtMTBT(最小推移预算时间)}之前发出接管通知或警告。
即，为了在接近的接管点处实现请求恢复率(RRR)，从监测时间t(n)到在下一监视时间△t之后的t(n+1)，必须在t(n)处通知驾驶员(手动驾驶切换请求通知)，使得
{t(n+1)-t(ToR_point)-ΔtMTBT(最小推移预算时间)}<0。因为太晚了，所以变得在t(n+1)处执行通知晚了。
简单地说，为了实现在由道路信息提供者提供的本地动态地图(LDM)中规定的RRR，需要将通知(手动驾驶切换请求通知)定时设定为在最小接管延迟容忍预算(时间)变得比驾驶员的监视循环时段长之前的定时。
图26所示的监视状态(观察状态)的推移，即以下(a)到(g)的监视状态(观察状态)的改变点t0到t6是用于使驾驶员以预定的请求恢复率(RRR)在接管限制点处执行接管到手动驾驶的通知点。
例如，在驾驶员离开驾驶员座椅并且打盹的状态下(时间t0之前)，系统通过被动监视检查驾驶员正在打盹。
在系统在时间t0通知驾驶员(手动驾驶返回请求通知)之后，驾驶员状况和通过系统的驾驶员的观察状态如下面(a)到(g)所示的那样改变。
(a)被动监视(系统通过被动监视观察驾驶员正在打盹)
(b)醒来、起床、检查周围
(c)返回驾驶员座椅
(d)返回驾驶姿势
(e)主动响应
(f)眼球行为
(g)检查物理返回能力(S/P)
示图所示的“个人唯一数据示例”和“平均返回推移数据”两条线是在系统在时间t0通知驾驶员(手动驾驶返回请求通知)之后通过连接上述(a)到(g)的推移点产生的线。
该示图进一步通过阴影区域示出“红色区域”。该“红色区域”是例如在驾驶员的实际“观察数据”进入该区域的情况下需要再次向驾驶员发出通知(手动驾驶返回请求通知)以鼓励早早返回的区域。该区域被事先限定。
注意，如上所述，图26所示的示例是示出在车辆以恒定速度行驶的情况下到完成从自动驾驶到手动驾驶的推移的剩余宽限时间的示图。
根据基础设施的设计，利润，能够具有道路设定，使得通过增加手动驾驶切换准备区段中的车道数，即使在降低车速时也防止整个道路的流量降低，并且，可以说高速公路的收费站等是基于该概念被设计的。
图26所示的示图根据基础设施情况改变。例如，在降低速度以执行减速控制直到到达接管点并且执行延长到达接管点的时间的控制的情况下，必须产生和使用反映该控制的示图。
右端“接管限制点”正前的“物理返回能力检查(S/P(躯体/身体))”所示的区段是驾驶员部分开始操纵实际车辆并在该区段中实施肌肉和体力实际转向评价的时段。在检查驾驶员四肢的麻木并检查在预期范围内执行要被校正的实际转向设备的控制的时间点，系统将最终完成对驾驶员的接管的完全委托。
如上所述，图26所示的示例是假设驾驶员离开驾驶员座椅并且打盹的情况下的示例。在车辆以恒定速度行驶直到到达手动驾驶接管点的情况下，示出剩余时间。由于如上所述以恒定速度示出，因此可以将其视为到实际接管限制点的距离位置。
以下将描述(a)到(g)的具体状态变化。
(a：小于t0)
首先，车辆系统(信息处理装置)执行监视，用于确定在时间t0之前的被动监视时段中的什么定时应当执行通知或清醒、或者它应当是通知和警告清醒中的哪个。
在该示例中，假设在自动驾驶可能区段中驾驶员完全脱离驾驶的情况。具体来说，假设驾驶员正在打盹。
在系统检测到驾驶员在时间t0之前的被动监视时段中处于睡眠状态的情况下，必须计算在接管处理之前的阶段中发出唤醒警告的最佳定时。
希望使驾驶员在良好清醒和接管的安全区段中接管。为此，系统基于道路环境的LDM信息即以高密度不断更新车辆行驶道路的行驶地图信息的所谓的本地动态地图(LDM)信息选择最佳的接管执行区段。
例如，从LDM获取在可以从自动驾驶到手动驾驶安全地执行接管的直线道路区段或者即使执行不平稳地执行接管的情况下的减速、退避或停车也可以减少对其它周围行驶车辆的影响的区段中完成接管的区段信息。
例如，系统对以下各项进行组合确定：
低风险*低影响*浅睡眠区段，
以确定通知定时并执行返回通知。
换言之，在在行驶路线的过程中达到浅REM睡眠的最后道路安全区段以及即使进行紧急停车交通拥挤的风险也低的最后区段等中确定实际的通知和警告点。例如，这是为了避免危险的情况，使得接管点不是被设定在道路的直线区段而是在进入在山中不可能相互通过的狭窄道路区段之后、或者在出现在REM睡眠后向深度睡眠推移并且因此清醒差的区段中给出清醒通知和警告、以及出现清醒则立刻就需要复杂的道路处理判断。
(b：t0到t1)
基于驾驶员监视信息，系统通过使用驾驶员唯一返回特性的学习字典计算驾驶员在接管限制点以预定的请求恢复率(RRR)执行到手动驾驶的接管的通知点。
当系统在时间t0通知驾驶员时，驾驶员在时间t0之后清醒并且开始起床。
该系统通过ToF传感器或照相机检测驾驶员的起床，并且，该检测信息使得能够进行对驾驶员的行为评价。
时间t0到t1的长度是从对于获得预定请求恢复率(RRR)的唤醒和起床所需的时间由学习过程计算的数据分配的预算，并且是最大允许时间。平均返回推移数据由交替长短虚线表示。图中所示的粗虚线(观察数据的示例)是观察数据的示例。
如果该观察数据示例沿着由交替长短虚线指示的平均返回时间，则没有延迟。
由于在纵轴上示出的剩余宽限时间随着进度而缩小，因此如果出现某个水平或更多的返回延迟，则变得难以实现预定的请求恢复率(RRR)。如果驾驶员被延迟到由阴影区域指示的“红色区域”，则必须再次向驾驶员发出返回警告，以提示早早返回。除了可观察驾驶员返回状态信息外，提示早早返回的信息也是有效的返回质量评价信息。
(c：t1到t2)
时间t1到t2所示的区段是驾驶员预期移动到驾驶员座椅的区段。如果出现进入由阴影区域指示的“红色区域”的延迟，则发出提示早早返回的警告警报等。该系统基于由例如ToF传感器、照相机或车辆内部位置跟踪设备等获取的信息观察驾驶员向驾驶员座椅的返回。
(d：t2到t3)
在移动到驾驶员座椅并坐下后，驾驶员需要调整驾驶姿势。在它在将来发展使得驾驶员可以在日常的基础上离开驾驶员座椅并且返回的情况下，对于进行快速返回的情况下，或者作为具有不受驾驶员座椅的转向姿势的限制的更自由姿势的使用模式，期望使用可旋转和可移动的驾驶员座椅。
系统监视正常执行必要的返回过程，诸如驾驶员在从驾驶姿势旋转的状态下返回到座椅、使座椅返回到驾驶员可以驾驶的方向和系好安全带。除了使用ToF传感器和照相机的姿势跟踪之外，还通过使用座椅旋转驾驶姿势返回检测和座椅传感器、体温分布和生物信号检测以及安全带穿戴传感器等执行该返回过程评价。能够基于随时间的检测信息评价返回质量。
(e：t3到t4)
驾驶员返回手动驾驶所需的座位姿势，并且，通过视觉检查接收返回请求的接管点之后预期的手动驾驶进入区段的注意信息或向前行驶方向等，执行驾驶员和系统之间的交互确认动作。通过该处理，系统确定驾驶员是否按照正确的思维过程进行响应。
在驾驶员处于半意识或无意识状态的情况下，难以对系统做出正确的响应，并且，即使没有完全清醒的驾驶员做出响应，也变为与预期响应相去甚远的响应结果。
作为由系统执行的交互响应检查处理，例如，各种处理是可能的，诸如检查驾驶员是否以适当的握力握住方向盘、检查驾驶员是否以适当的踏板踩下或过程执行以及基于通过AI等的语音识别的有意义的问题和答案。
注意，由于对用户来说麻烦的响应方法不受欢迎，因此期望用于获得简化和早期响应结果的手段。
作为交互响应检查方法的一种方法，例如，评价手势运动使得驾驶员为了前方的视觉检查在指点他或她的手指(比如指点并呼叫)的同时通过他或她的视线视觉检查前方道路的方向也是有效的。
驾驶员的动作延迟、用于评价指点和呼叫的眼睛和手指与道路前方之间的位置关系的指点的准确性等可被获取并记录为返回质量。即，可以将其记录并保存在系统(信息处理装置)的存储单元中。
(f：t4到t5)
时间t4到t5的眼球运动被称为“扫视”，这是用于在驾驶员的响应特性中评价与视觉特别相关的眼球的整个高速运动行为的区段。
眼球执行由于抵消自身伴随半规管的运动的旋转运动等的反射行为和响应于在外围视野中捕获的运动物体的风险信息而高速移动中心视野的扫视运动而导致的行为。
此外，由于在感知、识别和判断在几乎中心视野中捕获的物体的处理中基于存储器进行判断，因此诸如微痉挛、震颤和漂移的行为在注视区及其附近进行。如果其它吸引注意的事件的刺激优先级低于一定水平，则驾驶员完成对视觉信息的判断并且识别它，并且，作为结果，它处于将视线指向目标直至得出必要结论的状态中。
特别地，由于后一种行为往往涉及大脑的理解判断，因此能够基于该观察结果估计清醒状态。导致扫视运动以将视线移动到新目标的因素包括各种表达因素，诸如进入周边视野的其它危险因素、与声音相关的刺激，诸如警报器、冲击和与记忆相关的刺激。因此，即使在情况、驾驶经验和疲劳程度等方面存在趋势，该眼球行为的检测和出现频率以及持续时间在个体之间也有很大差异。另一方面，可以通过基于稳定清醒下的稳定行为评价驾驶员的清醒水平的返回质量，评价驾驶员的清醒水平。
当在车辆通过自动驾驶行驶的同时驾驶员转动他或她的视线以检查周围环境信息时，必须注意各种类型的危险因素。在分析驾驶员的视线时，例如，能够使用在车辆的行驶方向上从前面场景产生语义显著性地图(以包含于场景中的物体为单位的注意力预测分布地图)并且分析驾驶员相对于地图的视线行为的方法。然而，车辆行驶的道路多种多样，并且，驾驶员的视线行为往往与预期不同，从而使得难以对行为执行稳定观察。
存在允许确定从自动驾驶到手动驾驶的接管期间的清醒水平的有限宽限时间。因此，在短时间内手动呈现某个任务、在检查任务时引起眼球行为并执行稳定眼球行为评价是有效的。换言之，对于由系统机械地呈现的任务执行行为分析，而不是在驾驶时观察关于前方风景的偶然眼球行为。评价方法可以将接管注意信息呈现给矩阵信息呈现设备、分析驾驶员对所呈现信息的眼球行为并评价驾驶员的清醒水平。
(g：t5到t6)
由时间t5到t6处的“返回能力检查(S/P)”指示的区段是驾驶员部分地开始操纵实际车辆并在该区段中实施肌肉和体力实际转向评价的时段。
当系统确定驾驶员基本上可以开始返回手动驾驶时，车辆开始按照驾驶员在转向设备上的转向行驶。或者，在评价驾驶员在转向设备上的转向质量和实际转向有效性的同时，逐渐抑制自动驾驶控制的干预，并且执行控制以增加驾驶员对手动驾驶的依赖性。
如上所述，图26所示的示例是系统在驾驶员离开驾驶员座椅并且打盹的状态下在时间t0通知驾驶员(手动驾驶返回请求通知)之后连接驾驶员状况和系统对驾驶员的观察状态((a)到(g))的变化点的示图。
在系统在驾驶员正在打盹的同时在时间t0通知驾驶员(手动驾驶返回请求通知)的情况下，驾驶员状况和系统对驾驶员的观察状态如下面的(a)到(g)那样改变。
(a)被动监视(系统通过被动监视观察驾驶员正在打盹)
(b)醒来、起床、检查周围
(c)返回驾驶员座椅
(d)返回驾驶姿势
(e)主动响应
(f)眼球行为
(g)返回能力检查(S/P)
这些状态变化(a)到(g)是在驾驶员的初始状态是打盹状态的情况下驾驶员特有的状态变化。
驾驶员状况和系统对驾驶员的观察状态的推移将根据驾驶员的初始状态而不同。
图27是示出根据驾驶员的不同初始状态的状态变化的推移和推移定时的示例的示图。
图27示出根据驾驶员的以下四种不同初始状态的状态变化的推移的示例。
(1)驾驶员在打盹空间打盹的情况
(2)驾驶员离开驾驶员座椅并且清醒(清醒状态)的情况
(3)驾驶员坐在驾驶员座椅上但不为驾驶姿势的情况
(4)驾驶员以驾驶姿势执行二次任务的情况
在(1)中，驾驶员在打盹空间打盹的情况对应于参照图26描述的示例。即，驾驶员状况和系统对驾驶员的观察状态如下面的(a)到(g)那样改变。
(a)被动监视(系统通过被动监视观察驾驶员正在打盹)
(b)醒来、起床、检查周围
(c)返回驾驶员座椅
(d)返回驾驶姿势
(e)主动响应
(f)眼球行为
(g)返回能力检查(S/P)
在(2)驾驶员离开驾驶员座椅并且清醒(清醒状态)的情况下，驾驶员状况和系统对驾驶员的观察状态如图27所示如下面的(h)到(g)那样改变。
(h)驾驶员离开驾驶员座椅(系统通过被动监视和主动监视观察驾驶员离开驾驶员座椅)
(c)返回驾驶员座椅
(d)返回驾驶姿势
(e)主动响应
(f)眼球行为
(g)返回能力检查(S/P)
即，初始状态为打盹的(1)情况的(a)被动监视和(b)清醒、起床和检查周围变为：
(h)驾驶员离开驾驶员座椅(系统通过被动监视和主动监视观察驾驶员离开驾驶员座椅)
此外，从状态(h)到“状态(c)驾驶员座椅返回”的推移时间(t11)是在初始状态为打盹的情况下从“状态(b)醒来、起床并检查周围”到“状态(c)返回驾驶员座椅”的推移时间(t1)之前的时间。
这是由于状态(h)是驾驶员的意识比“状态(b)醒来、起床和检查周围”更清晰的清醒状态。
在(3)驾驶员坐在驾驶员座椅上但不为驾驶姿势的情况下，驾驶员状况和系统对驾驶员的观察状态如图27所示如下面的(i)到(g)所示改变。
(i)驾驶员在驾驶员座椅上处于不规则姿势(系统通过被动监视和主动监视观察驾驶员在驾驶员座椅上处于不规则姿势)
(d)返回驾驶姿势
(e)主动响应
(f)眼球行为
(g)返回能力检查(S/P)
即，在(1)初始状态为打盹的情况下，从(a)被动监视到(c)返回驾驶员座椅的过程更改为
(i)驾驶员在驾驶员座椅上的姿势不规则(系统通过被动监视和主动监视观察到驾驶员在驾驶员座椅上的姿势不规则)。
此外，从状态(i)到“返回驾驶姿势的状态(d)”的推移时间(t22)是在(2)初始状态远离驾驶员座椅的情况下从“返回驾驶员座椅的状态(c)”到“返回驾驶姿势的状态(d)”的推移时间(t12)之前的时间。
这是由于状态(i)是驾驶员已经在驾驶员座椅中的状态并且返回驾驶员座椅的动作变得不必要。
在(4)驾驶员以驾驶姿势执行二次任务的情况下，驾驶员状况和系统对驾驶员的观察状态如图27所示如下面的(j)到(g)所示改变。
(j)驾驶员在驾驶员座椅上执行二次任务(系统通过被动监视和主动监视观察驾驶员在驾驶员座椅上执行二次任务)。
(e)主动响应
(f)眼球行为
(g)返回能力检查(S/P)
即，在(1)初始状态为打盹的情况下从(a)被动监视到(d)返回驾驶姿势变为：
(j)驾驶员在驾驶员座椅上执行二次任务(系统通过被动监视和主动监视观察驾驶员在驾驶员座椅上执行二次任务)。
因此，驾驶员状态的推移和系统对驾驶员的观察状态将根据驾驶员的初始状态而不同。
因此，返回预测响应延迟评价单元206观察驾驶员的状态状况，直到返回到参照图26和图27所述的手动驾驶，并且执行从自动驾驶推移到手动驾驶时的驾驶员的返回质量的评价处理。返回延迟测量处理单元207执行响应，诸如在从自动驾驶推移到手动驾驶时在驾驶员返回中检测到延迟的情况下的警告、警告通知、以及座椅或方向盘的振动输出。返回时间宽限确定单元208计算参照图26和图27所述的推移宽限时间。。
紧急处理执行单元209在确定在从自动驾驶推移到手动驾驶时在驾驶员返回中检测到延迟并且不能在到手动驾驶的切换点处开始手动驾驶的情况下执行处理。具体地说，包括减速处理、停止处理、移动到当前行驶道路以外的行驶道路或停车场或路边区域、以及到退避道路等的移动处理等。
即使在从接管放弃输入单元221输入驾驶员他或她本人拒绝开始手动驾驶的意图的情况下，紧急处理执行单元209也执行减速处理、停止处理、移动到当前行驶道路以外的行驶道路或停车场或路边区域、以及到退避道路等的移动处理。
注意，接管放弃输入单元221是用于输入驾驶员他或她本人拒绝开始手动驾驶的意图并且允许例如经由被配置为接管放弃输入单元的开关或用户终端的输入的输入单元。此外，可以采用驾驶员的头部摆动运动或手部摆动运动的照相机捕获的图像被确定为驾驶员拒绝的意图的输入的配置。
返回延迟惩罚产生记录单元210执行驾驶员延迟返回手动驾驶或拒绝返回手动驾驶的情况下的惩罚的产生以及存储单元中的记录处理。
由返回延迟惩罚产生记录单元210记录在存储单元中的数据包括例如以下数据。
(1)从驾驶员离开驾驶员座椅到返回驾驶员座椅的经过时间
(2)从通知驾驶员到开始返回的延迟时间
(3)从驾驶员打盹时的警报输出到醒来的延迟时间
(4)从通知到通知的认知反应的时间(直到第二任务中断的时间)
(5)识别通知后的实际返回开始行为的延迟
(6)是否在离开座位时关于远程宽限通知启动提前返回及提前开始时间
(7)在识别通知、惩罚提前通知和记录警告之后返回启动延迟
(8)系统紧急防止响应行动启动记录
(9)系统紧急防止响应行动和实际车辆减速、慢行、退避至路肩、池区域退避的详细序列记录
(10)通知后的重复违反返回延迟，一定时段的累计违反
(11)观察并记录要求谨慎驾驶的区段的侧视频率
(12)关于返回期望值的一次进度记录和驾驶员实时反馈(视觉、听觉、触觉、触感)
(13)状态寄存器向外部通知设备写入返回延迟出现
(14)返回宽限期指示器的预先检查频率的推移
(15)通知的认知质量评价(手势敏捷性、观察自我清醒行为＝轻拍面部等)
返回延迟惩罚产生记录单元210将这些数据记录在存储单元中。
(5-3.基于行驶路线信息的手动驾驶返回点的检测和基于手动驾驶返回时间估计的手动驾驶返回必要时间计算处理的具体实例)
接下来，将描述基于行驶路线信息的手动驾驶返回点的检测和基于手动驾驶返回时间估计的手动驾驶返回必要时间计算处理的具体实例。
在图23所示的信息处理装置200的返回通知、警告定时计算单元205中，为了计算对驾驶员的手动驾驶的返回通知的定时，必须获取行驶道路上的区段信息即从自动驾驶到手动驾驶的切换点信息等。
此外，必须准确掌握驾驶员的状态。
下面将参照图28及以下描述这些信息获取处理的示例。
图28是描述用于获取行驶道路上的区段信息即从自动驾驶到手动驾驶的切换点信息等的处理序列的流程图。
图23所示的信息处理装置200的返回通知、警告定时计算单元205执行根据图28的流程获取从自动驾驶到手动驾驶的切换点信息等的处理。
在步骤S51中，执行获取LDM(本地动态地图)的处理。
在步骤S52中，执行获取交通状况信息的处理。
在步骤S53中，获取车辆身体依赖信息。
接下来，基于获取的信息执行步骤S54到S56的处理。
在步骤S54中，根据道路交通量计算各点处的预测到达时间。
在步骤S55中，执行路线上区段的最新可行驶水平的信息展开和驾驶员通知信息的更新处理。
在步骤S56中，计算道路的接近区段中的减速、退避可能路线上的自身车辆的减速、慢行和停止的影响程度。
返回通知、警告定时计算单元205使用这些信息以分析行驶道路的准确状态，诸如行驶道路中的区段信息，诸如从自动驾驶到手动驾驶的切换点信息，并且通过使用分析结果计算返回通知、警告计时。
返回通知、警告定时计算单元205还根据图29所示的流程获取驾驶员信息。
在步骤S61中，执行获取驾驶员的驾驶历史信息的处理。
在步骤S62中，执行获取驾驶员的生物信息的处理。
在步骤S63中，获取驾驶员的姿势信息。
在步骤S64中，获取驾驶室(车辆)中的驾驶员的位置信息。
接下来，通过利用这些获取的信息，估计直到驾驶员返回驾驶姿势的时间。该特定处理是上文参照图24～27描述的处理。
返回通知、警告定时计算单元205基于在根据图28的流程获取行驶道路信息的处理和根据图29的流程获取驾驶员信息的处理中获取的信息计算返回通知、警告定时。
在图30中，示出在根据图28的流程获取行驶道路信息的处理和根据图29的流程获取驾驶员信息的处理中获取的信息的示例。
图30(a)和图30(b)是通过根据图28的流程获取行驶道路信息的处理获取的信息，并且图30(c)所示的信息是通过根据图29的流程获取驾驶员信息的处理获取的信息。
图30(b)所示的数据是以上参照图14～16等描述的行驶道路的道路区段信息。
图30(a)所示的信息是表示以道路的行驶区段等为单位设定的预定接收管请求恢复率(RRR)的数据。
图30(c)所示的数据是以上参照图24(b)描述的数据，并且是表示基于观察的特定驾驶员清醒水平评价值的返回延迟时间和返回成功率之间的关系的数据。该数据是基于驾驶员的观察信息产生的。
注意，驾驶员清醒水平评价值为例如基于生物信息观察(脉搏、呼吸、体味、呼气、血流等…)和睡眠深度观察信息的评价值。具体来说，可以使用REM睡眠观察、生物观察、出汗观察、呼吸、脉搏波、眼睑、翻转和α波观察信息。
此外，在驾驶员清醒并部分掌握驾驶情况的情况下，可以通过利用被观察驾驶员的综合或有限的部分观察信息，诸如驾驶员监视系统的观察信息，例如疲劳评价和通过PERCLOS(睁眼率)等的眨眼评价以及面部表情评价信息等，计算驾驶员的清醒水平评价值。
基于在根据图28的流程获取行驶道路信息的处理和根据图29的流程获取驾驶员信息的处理中获取的信息，返回通知、警告定时计算单元205产生图30中所示的各数据并且通过使用该数据计算对于驾驶员的到手动驾驶的返回通知和警告定时。
(5-4.允许通过驾驶员的手动驾驶接管放弃的处理的序列)
接下来，将描述允许通过驾驶员的手动驾驶接管放弃的处理的序列。
如上参照图23所述，移动装置中的信息处理装置200具有接管放弃输入单元221。
接管放弃输入单元221是用于输入驾驶员他或她本人拒绝开始手动驾驶的意图并且允许例如经由开关作为接管放弃输入单元或用户终端的输入的输入单元。此外，可以采用将由驾驶员的头部摆动运动或手部摆动运动的照相机捕获的图像确定为驾驶员拒绝意图的输入的配置。
如果驾驶员经由接管放弃输入单元221执行拒绝开始手动驾驶的输入，则紧急处理执行单元209执行减速处理、停止处理、移动到当前行驶道路以外的行驶道路或停车场或路边区域、以及到退避路线等的移动处理等等。
注意，即使在不存在经由接管放弃输入单元221来自驾驶员的拒绝开始手动驾驶的输入的情况下，通过由驾驶员预设，在检测到指定的返回延迟时，紧急处理执行单元209也可以确定接管不可能并且在后续车辆低影响区域中早早执行紧急退避处理。
例如，在存在需要对驾驶员或车辆进行更安全控制的情况下，诸如在驾驶员是慢性病患者或车辆是装载有危险材料的车辆等的情况下，优选由驾驶员或车辆运行管理中心基于该预设执行处理。
在不存在如上所述的驾驶员或车辆的特殊情况的情况下，即使在检测指定的返回延迟的情况下，也将其确定为驾驶员的操作变化，并且执行常规警告通知处理等。
例如，为了避免因伴随病人驾驶的能够自动驾驶的车辆的在狭窄道路上返回手动驾驶的失败的紧急停车而堵塞道路，通过根据这样的驾驶员状况、道路状况和车辆特性等优化处理并执行适当的早期响应处理，例如，在处理的早期在低影响区段中开始响应。此外，对于大型连接车辆或重载车辆，为了避免在具有多个弯道等且能见度低的区段中的手动驾驶接管或停车，通过提前声明设定在具有良好直线能见度的道路区段中执行响应过程或早早执行响应过程。因此，系统搜索并处理即使接管未正常执行也不需要后续车辆的交通阻塞或紧急减速的初步区段，并且因此能够减少道路拥挤和道路封闭等的出现。
然而，在出现接管延迟时通过对驾驶员进行适当分级惩罚习惯性地加速驾驶员的返回行为并将道路作为社会基础设施进行运营是有效的。另一方面，对按计划早早返回的驾驶员执行诸如给予奖励等的处理。
在正常时间，优选地在没有车辆减速等的情况下平稳地执行从自动驾驶到手动驾驶的接管。但是，在存在无法执行接管的事情的情况下，驾驶员提出放弃接管到手动驾驶。在这种情况下，车辆系统执行车辆控制，诸如车辆减速、退避到退避道路、从主要道路移动到一般道路、移动到当前行驶道路以外的行驶道路或停车场或路边区域等等。
即使通过观察可观察到的生物信号观察驾驶员的返回推移、清醒水平和返回水平，系统也难以掌握驾驶员的真实身体状况。
当驾驶员他或她本人提出放弃返回手动驾驶时，系统可以可靠地早早掌握驾驶员不能返回手动驾驶，并且可以执行更可靠且更早的退避控制。
将参照图31和图32描述允许驾驶员拒绝返回手动驾驶的处理的处理序列。
例如，在安装在移动装置上的信息处理装置200的数据处理单元中执行图31和图32所示的处理，该数据处理单元包括以上参照图23描述的处理单元。
将描述在图31和图32所示的序列图中示出的各处理。
步骤S71是基于车辆的自身车辆装载依赖特性(货物特性)执行的对驾驶员的手动驾驶返回通知和警告通知定时的计算处理。
步骤S72是基于LDM(本地动态地图)的定期更新信息执行的对驾驶员的手动驾驶返回通知和警告通知定时的计算处理。
步骤S73是基于车辆外部环境识别信息的风险确定处理。例如，它是基于诸如检测可能被诸如照相机或作为距离传感器的LiDAR的传感器碰撞的危险材料的信息的风险确定处理。
步骤S74是基于自身车辆内安装设备的自诊断信息的手动驾驶返回通知和警告通知定时的计算处理。
步骤S75是基于LDM(本地动态地图)的定期更新信息执行的紧急退避选项信息的预获取处理。例如，LDM包括停车区域信息、诸如在路边区域上是否存在可停车区域、是否存在用于退避的侧路的信息以及诸如是否是允许减速的道路的道路信息，并且，可以在紧急情况下采取的选项基于这些LDM信息被事先选择。选项信息被存储在存储单元中。
步骤S76是与步骤S73类似的处理，并且是基于车辆外部环境识别信息的风险确定处理。例如，它是基于诸如检测可能被诸如照相机或作为距离传感器的LiDAR的传感器碰撞的危险材料的信息的风险确定处理。
步骤S71到S76的处理被连续地重复执行。
步骤S77是LDM的更新处理，其中，用于更新LDM信息的信息基于专门获取由在区段行驶的许多普通车辆自主识别的道路环境检测信息的探测车的获取信息和不足的LDM信息，并进一步基于基础设施安装型的传感器组。注意，获取LDM信息的所有探测车不一定必须是专用信息获取车辆，并且，可以利用诸如出租车、固定路线公共汽车、投递和邮政车辆、以及警车等的经常与社区密切接触行驶的车辆的行驶。
该处理也按序列执行。
步骤S81是基于驾驶员的被动监视(例如，通过照相机或传感器获取驾驶员的活体、姿势和其它状态信息的被动监视信息)的到手动驾驶的返回延迟时间的预测处理。
该处理也被连续执行。
步骤S82是将到手动驾驶的返回延迟时间的预测处理结果通知给驾驶员的处理。显示返回延迟时间的预测处理结果，并且，在驾驶员持有的用户终端或驾驶员座椅的显示器等上给出其通知。或者，输出警报。
在步骤S83中，驾驶员对该通知的响应被输入，以检查驾驶员是否确认通知。
步骤S84和S85是驾驶员到手动驾驶的返回质量的评价处理。基于对手动驾驶的返回延迟时间的预测处理结果和根据驾驶员对给驾驶员的预测处理结果的通知的响应结果预测的返回延迟时间，执行该评价处理。
步骤S86是基于驾驶员到手动驾驶的返回质量的评价结果的风险确定处理。该风险确定是确定驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的风险的处理。
在确定存在在到达切换点之前不能返回手动驾驶的高风险的情况下，在步骤S87中向驾驶员发出警告通知。
步骤S88是与步骤S82类似的处理，并且是将到手动驾驶的返回延迟时间的预测处理结果通知给驾驶员的处理。显示返回延迟时间的预测处理结果，并且，在驾驶员持有的用户终端或驾驶员座椅的显示器等上给出其通知。或者，输出警报。
在步骤S89中，输入(检测)驾驶员对该通知的响应，并且执行驾驶员到手动驾驶的返回质量的评价处理。由于实施对驾驶员的主动监视，因此在驾驶员已经理解信息通知的情况下，除非忽略通知，否则启动响应反映和响应过程。响应结果将显示为按钮操作输入、转向设备的实际操作或返回行为，并因此基于响应执行返回处理质量评价。这里，在没有输入伴随直接物理变化的对设备的输入的响应行为的情况下，通过使用例如ToF照相机、Kinect照相机或结构光照相机等执行诸如驾驶员的姿态或姿势分析的行为分析，并且基于活动评价结果执行对手动驾驶返回质量的评价。
步骤S90是基于驾驶员到手动驾驶的返回质量的评价结果的风险确定处理。该风险确定是确定驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的风险的处理。
在确定存在在到达切换点之前不能返回手动驾驶的高风险的情况下，在步骤S91中向驾驶员发出警告通知。
在步骤S92中，输入(检测)驾驶员对给驾驶员的警告通知的响应，并且执行驾驶员的返回质量的评价处理。
此外，在步骤S93中，基于返回质量的评价结果，确定驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的风险。
步骤S94是在基于步骤S93中的风险确定确定存在驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的高风险的情况下要执行的处理，并且，在这种情况下，执行紧急退避处理。
具体地说，执行诸如减速、停止、移动到退避道路、或者移动到当前行驶道路以外的行驶道路或停车场或路边区域等的紧急退避处理。
步骤S95是与步骤S85类似的处理，并且是基于根据驾驶员对给驾驶员的到手动驾驶的返回延迟时间的预测处理结果的通知的响应结果预测的返回延迟时间执行的驾驶员的到手动驾驶的返回质量的评价处理。
该处理被连续重复执行。
步骤S96到S98是在风险确定中确定能够进行手动驾驶返回时的处理。在这种情况下，输入驾驶员的驾驶操作信息，评价驾驶员的手动驾驶的质量，并且确定安全性和风险。
在图31中，允许驾驶员拒绝手动驾驶返回的时段是图中所示的“返回时间限制(TL)”之前的时段。
“返回时间限制(TL)”对应于车辆接近到手动驾驶的切换点的时间以及使得超过该时间之后不能执行自动驾驶区段内的紧急退避的时间。
此外，即使在驾驶员没有拒绝手动驾驶返回的情况下，在基于步骤S93中的返回质量的评价结果确定存在驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的高风险的情况下，确定经过了返回可允许延迟时间，并且，如步骤S94所述的那样执行强制紧急退避处理。
图32示出通过来自引导自身车辆的引导车辆(例如，探测车辆或区段中的前导行驶车辆等)的通信即V2V通信(车对车通信)接收诸如事故信息等的紧急信息的情况下的处理示例作为意外事件的示例。
步骤S101是与上述步骤S77类似的处理，并且是基于提供用于更新LDM信息的信息的探测车辆的获取信息的LDM的更新处理。按序列执行该处理。
步骤S102是从作为自身车辆的引导车辆的探测车辆接收V2V通信(车对车通信)并基于接收的信息执行风险确定的处理。例如，这是由于意外事故等的出现因此可能在正前方出现应当进行手动驾驶的区段的情况。
在这种情况下，在步骤S103中，向驾驶员发出通知或警告。即，它是可能在正前方出现应当执行手动驾驶的区段的通知。
在步骤S104中，从探测车辆通知手动驾驶区段的实际出现信息，并且基于该通知信息，执行手动驾驶返回通知和警告通知定时的计算处理。在该示例中，探测车辆主要作为示例被描述，但是保持始终在基础设施上运行的许多专用探测车辆作为实际操作是不现实的。因此，在操作方面，优选采用已经通过基础设施区段的配备有环境识别功能的车辆起到补充信息的作用的配置。具体地说，它是使得当在区段中行驶时由自身车辆检查的风险信息被传送到接近相同区段的跟随车辆组并且进入区段的跟随车辆在自身车辆进入区段时利用所述信息以执行预防控制的配置。
步骤S105是当在步骤S104中计算通知定时时在已经确定存在驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的高风险的情况下执行的处理，并且，在这种情况下，执行紧急退避处理。
具体地说，执行诸如减速、停止、移动到退避道路、或者移动到当前行驶道路以外的行驶道路或停车场或路边区域等的紧急退避处理。
步骤S106是在步骤S105中通知驾驶员正在执行紧急退避处理的处理。
步骤S107是确定驾驶员是否识别了通知的处理。在不能检查识别的情况下，在步骤S108中输出警报，并且在步骤S109中检查驾驶员对该警报的识别。
例如，以这种序列执行处理。
(5-5.驾驶员或乘客表达放弃接管到手动驾驶的打算的情况下的处理)
接下来，将描述驾驶员或乘客表达放弃接管到手动驾驶的打算的情况下的处理。
驾驶员或乘客可以表达拒绝接管到手动驾驶的打算。
接下来，将参照图33所示的流程图描述由安装在移动装置中的信息处理装置执行的处理序列。注意，可以例如根据存储在信息处理装置的数据处理单元的存储单元中的程序执行根据图33所示的流程图的处理。
以下，将依次描述流程图的各个步骤的处理。
(步骤S201)
首先，在步骤S201中，通知驾驶员从自动驾驶可能区段到手动驾驶区段的接管点的接近。例如，通过具有显示器的用户终端的HMI(人机界面)等进行通知。
(步骤S202)
首先，在步骤S202中，信息处理装置的数据处理单元获取放弃接管时的选项。
注意，在该处理中，从主(行驶)道路周围的LDM(本地动态地图)获取回避路线选择信息等。
例如，如图34所示，LDM(本地动态地图)提供车辆当前行驶的道路的回避路线信息。例如，可以获得各种回避路线信息，诸如服务区域(SA)、停车区域(PA)、包括可能退避的一般道路的侧路等、对应于接管失败的车辆的停车空间(池区)、以及退避车道等。
在主要道路和高速公路上，作为周围车辆的巡航速度的高速下自动驾驶是先决条件，但是，如果与高速公路相连的一般道路是低速自动驾驶可能道路，则在保持自动驾驶的同时退出到一般道路也是选项。在一般道路和偏僻道路上，即使当车辆停车时阻碍社会基础设施通行的风险也低，并且，这是现实的绕行方式。
此外，如果存在能够紧急停车的退避车道或停车区域，则该区域也是放弃接管时的选项。
信息处理装置的数据处理单元获取放弃接管时的这些各种选项。
注意，虽然优点和缺点取决于各选项而不同，但是需求也取决于用户而不同，因此，获取的选项可以呈现给驾驶员以选择要使用的选项。
(步骤S203到S204)
在步骤S203到S204中，确定是否存在来自驾驶员或乘客的放弃(拒绝)到手动驾驶的接管的输入。
注意，该输入可以通过例如被配置为接管放弃输入单元的开关或用户终端被输入。此外，可以采用将驾驶员的头部摆动运动或手部摆动运动的照相机捕获图像确定为驾驶员拒绝的意图的输入的配置。
在不存在来自驾驶员或乘客的放弃(拒绝)接管到手动驾驶的输入的情况下，处理进行到步骤S205。
在存在来自驾驶员或乘客的放弃(拒绝)接管到手动驾驶的输入的情况下，处理进行到步骤S210。
(步骤S205)
步骤S205是当在步骤S203～S204中在不存在来自驾驶员或乘客的放弃(拒绝)接管到手动驾驶的输入的情况下执行的处理。
在这种情况下，在步骤S205中，确定是否是接管到手动驾驶的通知定时。
在这种情况下，处理进行到步骤S206。在不是这样的情况下，处理返回到步骤S201，并且重复步骤S201和后续步骤的处理。
(步骤S206)
当是接管到手动驾驶的通知定时的情况下，在步骤S206中执行对驾驶员的通知。
(步骤S207)
接下来，在步骤S207中，执行接管限制预算管理处理。
该处理是以上参照图26描述的处理。
即，从自动驾驶到手动驾驶的接管点的到达时间为t(ToR_point)(接管请求点)，并且，在该到达时间按缺省成功率RRR(请求恢复率)接管的计算接管预算(时间)假定为ΔtMTBT(最小推移预算时间)，在此前提下，在ToR点的预定到达时间t(ToR_point)之前执行在{t(ToR_point)-△tMTBT(最小推移预算时间)}之前发出接管通知或警告的处理。
(步骤S208)
接下来，在步骤S208中，确定驾驶员到手动驾驶的接管是否不及时以及接管风险是否超过限制。
这是例如前面的图31的序列图中的步骤S93的时间点处的处理。
在步骤S208中，在确定驾驶员到手动驾驶的接管不及时并且接管风险超过限制的情况下，即，在确定驾驶员在到达接管点之前不能返回手动驾驶的情况下，处理进行到步骤S209。
另一方面，在确定驾驶员在到达接管点之前可以返回到手动驾驶的情况下，处理进行到步骤S210。
(步骤S209)
在步骤S208中判断为驾驶员的手动驾驶的接管不及时并且接管风险超过限制的情况下，即，在判断为驾驶员在到达接管点之前不能返回手动驾驶的情况下，执行步骤S209的处理。
在这种情况下，在步骤S209中，执行紧急退避处理。
具体地说，执行诸如减速、停止、移动到退避道路、或者移动到当前行驶道路以外的行驶道路或停车场或路边区域的紧急退避处理。
(步骤S210)
当在步骤S208中确定驾驶员到手动驾驶的接管不及时并且接管风险不超过限制的情况下，即，在确定驾驶员在到达接管点之前可以返回手动驾驶的情况下，或者当在步骤S204中确定驾驶员或乘客输入接管放弃的情况下，执行步骤S210的处理。
在步骤S210中，向驾驶员呈现放弃接管时的选项。例如，向驾驶员呈现参照图34描述的从LDM获取的退避路线和停车场等的信息。例如，呈现以下选项。
(1)行驶并移动到能够低速行驶或停止的自动驾驶和行驶可能路线，
(2)是否存在诸如服务区域或停车区域的临时停车点
(3)跟随先导车辆行驶
(4)请求帮助
(步骤S211)
在步骤S211中，执行根据驾驶员或乘客关于步骤S210中呈现的选项的选择信息的退避处理。
注意，优选采用在执行退避处理的情况下对驾驶员施加惩罚的配置。注意，该惩罚的记录保留在存储单元中。惩罚具有各种方面，并且不限于具体的方法。其主要目的是建立鼓励驾驶员没有延误和疏忽地高质量早期回答和响应于系统通知的激励机制。
例如，施加以下惩罚。
限制车辆行驶速度上限，
强制引导到退避地点，
临时退避到服务区域并强制获取休息时间，
在方向盘和座椅上产生隆隆声带伪振动，
警告声音输出，
增加保险费负担，
不愉快的反馈，诸如恶臭，
罚款。
例如，施加以上惩罚。
当以这种方式不断地执行短期、中期和长期的惩罚反馈时，它从人类工程学的角度作用于人类的行为心理，并且，回避行为变为习惯，即，变为提高安全性的重要机制。
注意，如果改善驾驶员的行为特性的记录被篡改并且无效，则不能使用该功能，因此期望为记录的数据提供防篡改配置。
(5-6.接近手动驾驶切换点时的处理示例)
接下来，将描述移动装置的信息处理装置在进入自动驾驶可能区段被切换到手动驾驶区段的切换点时执行的处理的示例。
图35所示的流程图是描述移动装置的信息处理装置在接近自动驾驶可能区段被切换到手动驾驶区段的切换点时执行的处理的序列的流程图。
注意，可以例如根据存储在信息处理装置的数据处理单元的存储单元中的程序执行根据图35所示的流程图的处理。
以下，依次描述流程图的各个步骤的处理。
(步骤S231)
首先，在步骤S231中，确定接近的切换点即到手动驾驶区段的切换点是规划的切换点还是由诸如事故的意外事件引起的非规划的切换点。
具体地说，规划的切换点为例如已经存在于在开始行驶之前由驾驶员设定的开始点和目的地的两个点之间并且已经由驾驶员检查的切换点。
在切换点是规划的切换点的情况下，处理进行到步骤S232。另一方面，在切换点是非规划的切换点的情况下，处理进行到步骤S241。
(步骤S232到S233)
步骤S232到S233的处理是要当在步骤S231中确定切换点是预定切换点的情况下要执行的处理。
在这种情况下，在步骤S232中向驾驶员通知正常预定返回通知，在步骤S233中检测来自驾驶员的认知响应，并且执行正常接管处理。
(步骤S241到S242)
步骤S241和后续步骤的处理是要当在步骤S231中确定切换点是非预定的切换点的情况下要执行的处理。
在这种情况下，首先，在步骤S241到S242中，确定在手动驾驶返回之前的余量，具体地说，宽限时间是否足够。
注意，用于确定该宽限时间是否足够的时间取决于驾驶员的状态。该处理是以上参照图26和图27描述的处理。
在确定宽限时间足够并且能够进行手动驾驶返回的情况下，处理进行到步骤S243。
另一方面，在确定宽限时间不足并且手动驾驶返回困难的情况下，处理进行到步骤S244。
(步骤S243)
当在步骤S242中确定宽限时间足够并且能够进行手动驾驶返回的情况下，在步骤S243中通知驾驶员已经出现新的手动驾驶接管点(切换点)。
在该通知之后，执行步骤S231和后续步骤的处理以执行正常接管处理。
(步骤S244)
另一方面，当在步骤S242中判断为宽限时间不足并且手动驾驶返回困难的情况下，在步骤S244中基于驾驶员的监视数据(观察数据)确定驾驶员是否可以返回手动驾驶。
在确定驾驶员不能返回手动驾驶的情况下，处理进行到步骤S245。
另一方面，在确定驾驶员能够返回手动驾驶的情况下，处理进行到步骤S251。
(步骤S245)
当在步骤S244中确定驾驶员不能返回手动驾驶的情况下，处理进行到步骤S245。在步骤S245中，执行诸如减速、慢速驾驶或移动到当前行驶道路以外的行驶道路或停车场或路边区域等的退避处理。
注意，在执行该退避处理的情况下，从可选择退避处理选择并执行最佳处理，以最小化对周围环境的影响。
(步骤S251)
另一方面，当在步骤S244中确定驾驶员可以返回手动驾驶的情况下，处理进行到步骤S251。在步骤S251中，通知驾驶员需要意外的紧急手动驾驶接管。
(步骤S252)
接下来，在步骤S252中，基于驾驶员对通知的认知响应和驾驶员的观察信息，确定驾驶员是否能够在切换点之前返回手动驾驶。
在确定驾驶员将来得及的情况下，启动正常接管过程。
另一方面，在确定驾驶员将来不及的情况下，处理进行到步骤S245。在步骤S245中，执行诸如减速、慢速驾驶或移动到当前行驶道路以外的行驶道路或停车场或路边区域等的退避处理。
(5-7.来自驾驶员或乘客的放弃(拒绝)手动驾驶接管的输入的前处理和后处理)
接下来，将描述来自驾驶员或乘客的放弃(拒绝)手动驾驶接管的输入的前处理和后处理。
图36所示的流程图是描述移动装置的信息处理装置关于来自驾驶员或乘客的放弃(拒绝)手动驾驶接管的输入的前处理和后处理的处理序列的流程图。
注意，可以例如根据存储在信息处理装置的数据处理单元的存储单元中的程序执行根据图36所示的流程图的处理。
以下，将依次描述流程图的各个步骤的处理。
(步骤S251)
首先，在步骤S251中，执行接管放弃事件的系统准备处理。
例如，执行以下处理。
(a)获取外围旁路、退避地点、SA/PA信息的处理
(b)获取自身车辆装载物体车辆动力学信息的处理
(c)获取自身车辆自诊断信息的处理
(d)获取驾驶员的被动监视信息的处理
(e)获取驾驶员的返回特性字典的处理
例如，执行这些处理。
(步骤S302)
与步骤S311到S316的处理并行地执行步骤S302到S304的处理。
在步骤S302中，在驾驶员或乘客指示打算放弃(拒绝)手动驾驶接管的情况下，创建可以作为可能的措施(减速、停车和路边退避等)采取的选项的列表。
注意，列表的顺序被设定为使得对周围环境影响较小的选项排名更高。
例如，在高速自动驾驶区段中，存在各种情况作为到手动驾驶区段的接管点之前的道路区段状况。具体而言，例如，假设以下情况。
(a)如果在接管点前减速则能够进入退避车道或停车场的区段
(b)在接管点前存在宽限时间并且能够在保持高速行驶的同时进入退避车道以减速和停止的区段
(c)在接管点前存在宽限时间并且能够在保持高速行驶的同时进入退避车道、减速并然后通过低速自动驾驶行驶的区段
(d)在接管点前存在宽限时间并且能够在保持高速行驶的同时进入退避车道、减速并然后通过低速自动驾驶行驶到等待点的区段
(e)在接管点前存在宽限时间并且能够在保持高速行驶的同时进入退避车道、减速并等待的区段
(f)适用于特殊车辆、驾驶员的固有返回特性、道路、装载物和车辆特性等的难接管道路区段
(g)提供引导车辆后续等待点或SOS救援请求等待点的区域
在主要道路和车道数有限的道路区段上，紧急停车和路肩停车即使是普通道路也可以造成追尾碰撞和交通堵塞。
即使在这种情况下，通过允许根据驾驶员的意图申请早期接管放弃，能够在没有出口或退避地点的高速公路中间在不执行紧急处理的情况下以足够的时间响应，并因此能够减少追尾碰撞的出现和后续车辆的交通拥堵。
在执行低速驾驶的城市道路中，存在能够退避到能够临时停车的路肩或路边的道路。然而，即使在相同的城市道路中，也存在没有能够临时停车的路肩的道路和能够退避到路边的道路
因此，即使在相同的城市道路上，情况也多种多样并因此不同。例如，为了有效地利用用于从主要道路退避的有效的早期返回放弃处理，在取得城市道路等的选项时事先获取城市LDM是有用的。
在步骤S302中，根据这种特定道路状况产生最佳列表。注意，可能存在在对由于疲劳或困倦临时打盹等调度使用自动驾驶模式行驶的同时给出作为意外异常事件的接管事件的通知的情况，并且，在这些情况下，驾驶员的优先权是退避到休息区。伴随接管放弃的列表的产生在响应优先级上根据诸如驾驶员的先前状况、门诊病人使用的自动驾驶模式期间的身体情况恶化和作为车辆的方便功能的自动驾驶的单纯使用等的情况而不同。
(步骤S303)
接下来，在步骤S303中，根据车辆的进行从列表删除已变得不可选择的选项，并且，通过根据车辆的进行添加新变得可选择的新选项等更新列表。
(步骤S304)
在步骤S304中，更新的选项列表保存在存储单元中。
(步骤S311到S312)
在步骤S311到S312中，确定是否存在来自驾驶员或乘客的放弃(拒绝)到手动驾驶的接管的输入。
注意，可以通过例如被配置为接管放弃输入单元的开关或用户终端输入该输入。此外，可以采用将驾驶员的头部摆动运动或手部摆动运动的照相机捕获图像确定为驾驶员拒绝意图的输入的配置。
当在预定的时间限制即参照图31等解释的返回时间限制(TL)之前不存在来自驾驶员或乘客的放弃(拒绝)接管到手动驾驶的输入的情况下，被确定为超时的处理终止。
另一方面，当在预定的时间限制内存在来自驾驶员或乘客的放弃(拒绝)接管到手动驾驶的输入的情况下，处理进行到步骤S313。
(步骤S313)
当在步骤S312中确定在预定时间限制内存在来自驾驶员或乘客的放弃(拒绝)接管到手动驾驶的输入的情况下，在步骤S313中，通知驾驶员等由驾驶员请求的放弃(拒绝)已被接受。
(步骤S314)
接下来，在步骤S314中，向驾驶员等呈现在放弃接管时可以执行的可选择退避处理选项。
要呈现的选项是在步骤S304中存储在存储单元中的列表。
例如，显示以下早期放弃响应菜单。
(1)在一般道路上执行低速自动驾驶
(2)退避到退避车道空区
(3)在一般道路上停车
(4)在池区(停车区域)停车
(5)执行紧急情况SOS请求
(6)在先导车辆跟进等待点等待
其中，例如，在早期放弃请求是由于身体状况不佳的情况下，可能存在驾驶员病情严重到他或她需要请求救援的情况。例如，优选可以通过即使在意识降低的情况下也容易操作的大按钮操作执行在上述(5)中描述的SOS请求的执行选项。用户界面具有易于操作的配置和形状。此外，该操作单元可以与用于在紧急情况下停止自动驾驶车辆的操作单元共享。
(步骤S315到S316)
接下来，在步骤S315中，处理等待由驾驶员输入的选择，并且当经过了规定的等待时间时，处理进行到步骤S316，并且执行根据在步骤S316中选择的选项的退避处理。在没有执行选择处理的情况下，执行列表顶部的选项的退避处理。注意，列表顶部的选项是将对周围环境的影响最小化的选项，并且在没有来自驾驶员的选择的情况下执行该选项。
(5-8.执行用于接管放弃输入的处理的信息处理装置的配置示例)
接下来，将描述执行用于接管放弃输入的处理的信息处理装置的配置示例。
图37是示出在安装在移动装置中的信息处理装置中对从驾驶员等输入的接管放弃输入执行处理的信息处理装置的配置示例的框图。
如图所示，信息处理装置的数据处理单元250包括最佳返回通知点计算单元331、返回特性字典332、退避处理候选选择单元333、预算管理单元334、早期退避控制执行单元335和惩罚产生记录单元336。
在到手动驾驶区段的切换点接近的情况下，最佳返回通知点计算单元331计算用于通知驾驶员接管的最佳定时。
如图所示，各条信息321到326被用于该定时计算处理。即，使用以下各条信息中的每一条。
信息321＝沿旅程的先行LDM信息、路线直线紧急退避区域信息、全余量信息、安全接管区段信息和退避可能区段信息
信息322＝旅程路线外的周边绕行可能道路、临时停车可能区域、等待引导车辆、SOS救援请求和临时等待点的信息
信息323＝通过驾驶员被动监视的状态信息
信息324＝通过驾驶员通知后的主动和被动响应以及推移监视的驾驶员清醒和就绪状态信息
注意，根据该信息324，进一步产生信息324a＝基于驾驶员、驾驶(姿势)返回推移评价、驾驶员姿势跟踪信息的返回质量评价值(+异常返回推移检测标志)。
信息325＝车辆内自主感测信息、由雷达、LIDAR、照相机、ToF、声纳、V2V通信(车对车通信)等获取的信息。
信息326＝运行车辆动力学信息(车辆制动能力、轮胎磨损/阻力信息、负载崩溃极限减速信息和负载不平衡信息等)
最佳返回通知点计算单元331使用这些信息以计算用于通知驾驶员接管的最佳定时。注意，在该计算处理时，执行使用返回特性字典332的计算处理。返回特性字典332是记录基于驾驶员的观察信息产生的驾驶员的返回特性的字典。
在基于由最佳返回通知点计算单元331计算的通知定时信息确定的定时，执行对驾驶员的通知处理，即，手动驾驶区段接管点即区段切换点正在接近的通知。
退避处理候选选择单元333产生可以在输入手动驾驶返回放弃的情况下执行的退避处理的列表。
参照以下输入信息产生该列表。
信息324a＝基于驾驶员、驾驶(姿势)返回推移评价、驾驶员姿势跟踪信息的返回质量评价值(+异常返回推移检测标志)
信息325＝车辆内自主感测信息和由雷达、LIDAR、照相机、ToF、声纳和V2V通信等获取的信息。
信息326＝运行车辆动力学信息
退避处理候选选择单元333产生将对周围环境的影响最小化的处理被设定得更高的列表作为可以在输入手动驾驶返回放弃的情况下执行的退避处理的列表。
预算管理单元334基于驾驶员的返回行为评价值等计算和管理预算，直到到达手动驾驶的接管点。该处理是以上参照图26描述的处理。
即，执行预算(时间)管理，其中，从自动驾驶到手动驾驶的接管点的到达时间是t(ToR_point)(接管请求点)，并且，在该到达时间按缺省成功率RRR(请求恢复率)接管的计算接管预算(时间)假定为ΔtMTBT(最小推移预算时间)，在此前提下，在ToR点的预定到达时间t(ToR_point)以前执行在{t(ToR_point)-△tMTBT(最小推移预算时间)}之前发出接管通知或警告的处理。
早期退避控制执行单元335对从接管放弃输入单元221输入手动驾驶接管放弃的情况执行退避控制。具体地说，执行诸如减速、慢速驾驶或移动到当前行驶道路以外的行驶道路或停车场或路边区域等的退避处理。
注意，在该退避处理中，执行由驾驶员等从由退避处理候选选择单元333产生的列表选择的处理。在没有由驾驶员等进行选择的情况下，选择并执行列表顶部的处理，即，最小化对周围环境的影响的处理。
惩罚产生记录单元336对已经宣布放弃接管的驾驶员产生惩罚，并将惩罚记录在存储单元中。
如上所述，惩罚具有各种方面，并且不限于具体的方法。其主要目的是建立鼓励驾驶员没有延误和疏忽地高质量早期回答和响应于系统通知的激励机制。
例如，施加以下惩罚。
限制车辆行驶速度上限，
强制引导到退避地点，
临时退避到服务区域并强制获取休息时间，
在方向盘和座椅上产生隆隆声带伪振动，
警告声音输出，
增加保险费负担，
不愉快的反馈，诸如恶臭，
罚款。
例如，施加以上惩罚。
当以这种方式不断地执行短期、中期和长期的惩罚反馈时，它从人类工程学的角度作用于人类的行为心理，并且，回避行为变为习惯，即，变为提高安全性的重要机制。
关于从自动驾驶到手动驾驶的请求的早期接管放弃具有能够以更安全并且对其它道路用户具有更少影响的选项开始早期响应的优点。另一方面，如果不经深思熟虑而反复频繁地使用接管放弃，则例如存在接管的意识将减少以及由于接管放弃不慎而产生安全退避的困难情况的风险增加的担心。
因此，提供用于在确定不可能接管时执行早期接管放弃响应的功能，并且在频繁使用早期接管放弃或执行晚返回的情况下，对驾驶员给予惩罚。
出于该目的，保留管理接管放弃的重复误用的使用记录。
在驾驶员自愿早早返回的情况下，给予他或她奖励。此外，可以采用在返回过程的开始或执行被延迟的情况下执行诸如降低速度限制的惩罚作为短期惩罚的配置。
以这种方式，在反复出现通过驾驶员的不必要早期放弃的频繁使用或返回响应的延迟的情况下，系统例如根据频率执行分级惩罚。该配置鼓励驾驶员改善手动驾驶的早期返回行为的习惯。
此外，当存在诸如驾驶员身体状况不佳的接管的风险时，能够毫不犹豫地早早放弃。在能够返回的情况下，能够在接收返回通知时执行快速返回，并且，将在不干扰使用道路的周围车辆的流动的情况下实施接管。
注意，如果改善驾驶员的行为特性的记录被篡改并且无效，则不能使用该功能，因此期望为记录的数据提供防篡改配置。
如上所述，本公开的配置可以与关于通过系统的过度依赖使用和通知响应延迟的惩罚功能结合使用，并且得到鼓励通过驾驶员的早期放弃和执行接管时的早期接管执行的习惯化的二次效果。
[6.信息处理装置的配置示例]
可以通过应用参照图8描述的移动装置的配置执行上述处理，但是处理的一部分由例如可以连接到移动装置并从移动装置上分离的信息处理装置执行。
接下来，将参照图38描述这种信息处理装置的硬件配置示例。
图38是示出信息处理装置的硬件配置示例的示图。
中央处理单元(CPU)501用作根据存储在只读存储器(ROM)502或存储单元508中的程序执行各种处理的数据处理单元。例如，执行根据在上述实施例中描述的序列的处理。
随机存取存储器(RAM)503存储要由CPU 501执行的程序和数据等。CPU 501、ROM502和RAM 503通过总线504相互连接。
CPU 501经由总线504连接到输入输出接口505，并且，包括各种开关、键盘、触摸面板、鼠标、麦克风、诸如传感器、照相机和GPS等的状态数据获取单元的输入单元506和包括显示器和扬声器等的输出单元507连接到输入输出接口505。
注意，来自传感器521的输入信息也被输入到输入单元506。
此外，输出单元507还输出用于移动装置的驱动单元522的驱动信息。
例如，CPU 501输入从输入单元506输入的命令和状态数据等，执行各种处理，并将处理结果输出到输出单元507。
连接到输入输出接口505的存储单元508包括例如硬盘等，并且存储由CPU 501执行的程序和各种数据。通信单元509经由诸如因特网或局域网的网络充当数据通信发送接收单元，并且与外部设备通信。
连接到输入输出接口505的驱动510驱动诸如磁盘、光盘、磁光盘或诸如存储卡的半导体存储器的可去除介质511，并执行数据的记录或读取。
[7.本公开的配置概要]
如上所述，已经参照具体实施例详细描述了本公开的实施例。然而，显而易见，本领域技术人员可以在不脱离本公开的要旨的情况下对实施例进行修改和替换。换言之，本公开已经以示例的形式公开，并且不应以有限的方式被解释。为了确定本公开的要旨，应当考虑权利要求。
注意，在本说明书中公开的技术可以采用以下配置。
(1)一种信息处理装置，包括：
向系统输入驾驶员拒绝将车辆的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的接管放弃输入单元；和
响应于来自接管放弃输入单元的输入执行自动驾驶车辆的退避处理的数据处理单元。
(2)根据(1)所述的信息处理装置，其中，
数据处理单元：
在输入接管拒绝信息之前产生可选择的退避处理的选项；和
在输入接管拒绝信息之后执行从选项选择的退避处理。
(3)根据(1)或(2)所述的信息处理装置，其中，
数据处理单元执行减速、停止、移动到当前行驶道路以外的行驶道路或停车场或路边区域中的任何一个作为退避处理。
(4)根据(1)～(3)中的任一项所述的信息处理装置，其中，
数据处理单元选择并执行对周围环境的影响少的退避处理。
(5)根据(1)～(4)中的任一项所述的信息处理装置，其中，
数据处理单元：
输入驾驶员的观察信息并且基于已输入的观察信息确定驾驶员是否难以在规定时间之前返回手动驾驶，以及
在确定难以返回的情况下执行自动驾驶车辆的退避处理。
(6)根据(1)～(5)中的任一项所述的信息处理装置，其中，
数据处理单元获取车辆的行驶道路信息，并且使用已经获取的行驶道路信息以产生能够作为退避处理执行的选项。
(7)根据(6)所述的信息处理装置，其中，行驶道路信息是从本地动态地图(LDM)获取的信息或从先导车辆获取的通信信息。
(8)根据(1)～(7)中的任一项所述的信息处理装置，其中，
数据处理单元输入驾驶员的观察信息，并且基于已经输入的观察信息计算驾驶员返回手动驾驶的必要时间。
(9)根据(8)所述的信息处理装置，其中，
数据处理单元根据所述必要时间确定对驾驶员的手动驾驶返回请求通知的执行定时。
(10)根据(8)或(9)所述的信息处理装置，其中，
数据处理单元基于驾驶员对手动驾驶返回请求通知的响应评价驾驶员对手动驾驶的返回质量。
(11)根据(10)所述的信息处理装置，其中，
数据处理单元基于返回质量的评价结果确定驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的风险。
(12)根据(11)所述的信息处理装置，其中，
在数据处理单元确定存在驾驶员在到达作为手动驾驶区段的开始位置的切换点之前不能返回手动驾驶的高风险的情况下，数据处理单元执行自动驾驶车辆的退避处理。
(13)根据(1)～(12)中的任一项所述的信息处理装置，其中，
在驾驶员向系统输入到手动驾驶的接管放弃拒绝信息的情况下，为了对驾驶员施加惩罚，数据处理单元导致接管放弃拒绝信息的输入历史被记录在存储单元中。
(14)一种能够在自动驾驶和手动驾驶之间切换的移动装置，该移动装置包括：
获取移动装置的驾驶员的驾驶员信息的驾驶员信息获取单元；
获取移动装置的周围信息的环境信息获取单元；
向系统输入驾驶员拒绝将移动装置的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的接管放弃输入单元；和
基于由环境信息获取单元获取的信息检查从自动驾驶到手动驾驶的切换点并且在到达切换点之前对驾驶员执行手动驾驶返回请求通知的数据处理单元，
其中，数据处理单元进一步响应于来自接管放弃输入单元的输入执行自动驾驶车辆的退避处理。
(15)根据(14)所述的移动装置，其中，
数据处理单元：
在输入接管拒绝信息之前产生可选择的退避处理的选项；和
在输入接管拒绝信息之后执行从选项选择的退避处理。
(16)根据(14)或(15)所述的移动装置，其中，
据处理单元执行减速、停止、移动到当前行驶道路以外的行驶道路或停车场或路边区域中的任何一个作为退避处理。
(17)根据(14)～(16)中的任一项所述的移动装置，其中，
数据处理单元选择并执行对周围环境的影响少的退避处理。
(18)一种在信息处理装置中执行的信息处理方法，该方法包括通过数据处理单元执行以下步骤：
检测向系统输入了驾驶员拒绝将车辆的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的步骤；和
响应于接管拒绝信息的输入执行自动驾驶车辆的退避处理的步骤。
(19)一种在移动装置中执行的信息处理方法，该移动装置能够在自动驾驶和手动驾驶之间切换，该方法包括：
通过驾驶员信息获取单元获取移动装置的驾驶员的驾驶员信息的驾驶员信息获取步骤；
通过环境信息获取单元获取移动装置的周围信息的环境信息获取步骤；和
通过数据处理单元，执行以下步骤：
基于通过环境信息获取单元获取的信息检查从自动驾驶到手动驾驶的切换点并且在到达切换点之前对驾驶员执行手动驾驶返回请求通知的步骤；
检测向系统输入了驾驶员拒绝将移动装置的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的步骤；和
响应于接管拒绝信息的输入执行自动驾驶车辆的退避处理的步骤。
(20)一种用于导致信息处理装置执行信息处理的程序，信息处理包括通过数据处理单元执行以下步骤：
检测向系统输入了驾驶员拒绝将车辆的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的步骤；和
响应于接管拒绝信息的输入执行自动驾驶车辆的退避处理的步骤。
此外，在说明书中描述的一系列处理可以通过硬件、软件或两者的组合配置执行。在通过软件执行处理的情况下，记录处理序列的程序可以被安装在加入专用硬件中的计算机中的存储器上并运行，或者程序可以被安装在能够执行各种处理的通用计算机上并运行。例如，程序可以事先记录在记录介质上。除了从记录介质安装在计算机上以外，程序可以经由诸如局域网(LAN)或因特网的网络被接收并被安装在诸如内部硬盘的记录介质上。
注意，在说明书中描述的各种处理不仅根据说明书以时间序列被执行，而且可以根据执行这些处理的装置的处理能力或根据需要并行地或单独地被执行。此外，本说明书中的系统是多个设备的逻辑集合配置，并且不限于具有相应配置的各设备在同一外壳中的一种。
工业适用性
如上所述，根据本公开的一个实施例的配置，实现响应于来自车辆驾驶员的拒绝切换到手动驾驶的申请执行诸如车辆减速或停止的退避控制的配置。
具体地说，例如，它是能够在自动驾驶和手动驾驶之间切换的移动装置，并且包括：获取移动装置的驾驶员的驾驶员信息的驾驶员信息获取单元；获取移动装置的周围信息的环境信息获取单元；向系统输入驾驶员拒绝将移动装置的自动驾驶变为手动驾驶的驾驶接管的接管拒绝信息的接管放弃输入单元；和基于由环境信息获取单元获取的信息检查从自动驾驶到手动驾驶的切换点并且在到达切换点之前对驾驶员执行手动驾驶返回请求通知的数据处理单元。在避免驾驶员对系统的过程依赖使用的同时，数据处理单元进一步响应于接管放弃输入执行车辆的早期规划退避处理、同时最小化对其它道路用户的影响。
利用该配置，实现响应于来自车辆驾驶员的拒绝切换到手动驾驶的申请而执行诸如车辆减速或停止的退避控制的配置。
附图标记清单
10 汽车
11 数据处理单元
12 驾驶员信息获取单元
13 环境信息获取单元
14 通信单元
15 通知单元
20 驾驶员
30 服务器
50 信息终端
100 移动装置
101 输入单元
102 数据获取单元
103 通信单元
104 车辆内设备
105 输出控制单元
106 输出单元
107 驱动系统控制单元
108 驱动系统
109 身体系统控制单元
110 身体系统
111 存储单元
112 自动驾驶控制单元
121 通信网络
131 检测单元
132 自身位置估计单元
133 情况分析单元
134 规划单元
135 动作控制单元
141 车辆外信息检测单元
142 车辆内信息检测单元
143 车辆状态检测单元
151 地图分析单元
152 交通规则识别单元
153 情况识别单元
154 情况预测单元
155 安全确定单元
161 线路规划单元
162 行动规划单元
163 动作规划单元
171 紧急避免单元
172 加速减速控制单元
173 方向控制单元
200 移动装置
201 驾驶历史信息获取单元
202 生物信息获取单元
203 姿势信息获取单元
204 LDM车辆依赖返回系统请求获取单元
205 返回通知、警告定时计算单元
206 返回预测响应延迟评价单元
207 返回延迟测量处理单元
208 返回时间宽限确定单元
209 紧急处理执行单元
210 返回延迟惩罚产生记录单元
211 驾驶员返回特性字典
212 返回特性学习单元
221 接管放弃输入单元
250 数据处理单元
331 最佳返回通知点计算单元
332 返回特性字典
333 退避处理候选选择单元
334 预算管理单元
335 早期退避控制执行单元
336 惩罚产生记录单元
501 CPU
502 ROM
503 RAM
504 总线
505 输入输出接口
506 输入单元
507 输出单元
508 存储单元
509 通信单元
510 驾驶员
511 可去除介质
521 传感器
522 驱动单元
- 信息处理装置、可移动装置、信息处理方法、可移动装置控制方法以及程序
- 信息处理装置、移动装置、信息处理系统、方法以及程序