在装置的自动控制期间的非监控时间段的分配

技术领域

本公开涉及自动驾驶或自动装置操作的领域。更具体地，本主题公开涉及用于在自动化装置或车辆操作期间(诸如在自动化驾驶(例如，2级-3级)和高度自动化驾驶(4级)期间)分配非监控时间段的系统和方法。

背景技术

车辆越来越多地配备有提供各种水平的自动化的自动驾驶系统。在某些条件下，车辆可以以特定车辆功能(例如，制动或转向)的全自动控制、半自动控制和自动控制为特征。车辆中的自动化可

以根据自动化级别进行分类。例如，0级自动化是指完全手动操作(无驾驶自动化)，1级自动化包括驾驶员辅助。2级自动化允许车辆控制转向和加速，其中驾驶员监控并随时准备进行控制。在3级自动化(条件自动化)中，车辆可以监控环境并自动控制操作。3级中，驾驶员不需要监控环境，但必须准备好在有通知的情况下进行控制。

2级自动化系统通常要求驾驶员专心(眼睛在道路上)并且准备好在车辆执行自动化操作时的任何时刻采取手动控制。通常，允许驾驶员的眼睛离开道路短时间段(例如，3-5秒，取决于速度和其他因素)。这种有限的时间段使得驾驶员不能够执行许多非驾驶相关任务，并且不允许驾驶情境。因此，期望具有为用户提供执行各种非驾驶相关任务的灵活性的系统。

发明内容

在一个示例性实施例中，一种用于控制自动化装置的系统包括控制系统和调度模块，所述控制系统被配置为在操作模式期间操作装置，所述操作模式对应于控制系统自动控制装置操作的第一状态，所述操作模式规定用户在自动化控制期间监控装置操作，所述调度模块被配置为在操作模式期间接收用户暂时停止监控的请求，以便执行与装置操作无关的任务。调度模块还被配置为在操作模式期间分配维持自动控制并且用户停止监控的时间段，该时间段包括具有基于任务的最小时间量的持续时间的非监控时间段，并且在分配的时间段开始时将装置置于临时状态，在临时状态期间用户停止监控并维持自动控制。

除了本文描述的一个或多个特征之外，所述调度模块被配置为基于以下中的至少一个来使所述装置返回到所述第一状态：用户输入和所述装置周围的环境的情况。

除了本文描述的一个或多个特征之外，所述装置是车辆，并且所述任务是非驾驶相关任务(NDRT)。

除了本文描述的一个或多个特征之外，基于以下中的至少一个来生成请求：装置操作期间的用户请求、用户情况、先前调度的时间段以及基于用户历史的系统建议。

除了本文描述的一个或多个特征之外，分配的时间段包括用于执行任务的时间段，以及与从临时状态转换到第一状态相关联的转换时间段。

除了本文描述的一个或多个特征之外，所述非监控时间段至少包括第一非监控时间段和第二非监控时间段，并且包括在所述第一时间段和所述第二时间段之间的监控时间段。

除了本文描述的一个或多个特征之外，调度模块被配置为提供多个分配的时间段，每个分配的时间段与不同的任务或任务类型相关联。

除了本文描述的一个或多个特征之外，调度模块被配置为以基于每个分配的时间段的重要性或紧急性的顺序提供多个分配的时间段。

除了本文描述的一个或多个特征之外，所述调度模块还被配置为：基于用户请求来延长所述非监控时间段。

在一个示例性实施例中，一种控制自动装置的方法包括在操作模式期间操作装置，操作模式对应于控制系统自动控制装置操作的第一状态，操作模式规定用户在自动控制期间监控装置操作，并且在操作模式期间，接收用户暂时停止监控以便执行与装置操作无关的任务的请求，分配维持自动控制并且用户停止监控的时间段。该时间段包括非监控时间段，该非监控时间段具有基于任务的最小时间量的持续时间，并且在分配的时间段开始时将装置置于临时状态，在临时状态期间用户停止监控并维持自动控制。

除了本文描述的一个或多个特征之外，所述方法还包括基于用户输入和所述装置周围的环境情况中的至少一个使所述装置返回到所述第一状态。

除了本文描述的一个或多个特征之外，所述装置是车辆，并且所述任务是非驾驶相关任务(NDRT)。

除了本文描述的一个或多个特征之外，分配的时间段包括用于执行任务的时间段，以及与从临时状态转换到第一状态相关联的转换时间段。

除了本文描述的一个或多个特征之外，所述非监控时间段至少包括第一非监控时间段和第二非监控时间段，并且包括在第一时间段和第二时间段之间的监控时间段。

除了本文描述的一个或多个特征之外，分配包括提供多个分配的时间段，每个分配的时间段与不同的任务或任务类型相关联。

除了本文描述的一个或多个特征之外，所述调度模块还被配置为：基于用户请求来延长所述非监控时间段。

在一个示例性实施例中，车辆系统包括具有计算机可读指令的存储器和用于执行计算机可读指令的处理装置，计算机可读指令控制处理装置以在操作模式期间执行操作车辆，操作模式对应于控制系统自动控制车辆操作的第一状态，操作模式规定用户在自动控制期间监控车辆操作，在操作模式期间，接收用户暂时停止监控以便执行非驾驶相关任务(NDRT)的请求。分配维持自动控制并且用户停止监控的时间段，该时间段包括具有基于NDRT的最小时间量的持续时间的非监控时间段，并且在分配的时间段开始时将车辆置于临时状态，在临时状态期间用户停止监控并维持自动控制。

除了本文描述的一个或多个特征之外，分配的时间段包括用于执行任务的时间段，以及与从临时状态转换到第一状态相关联的转换时间段。

除了本文描述的一个或多个特征之外，所述非监控时间段至少包括第一非监控时间段和第二非监控时间段，并且包括在所述第一时间段和所述第二时间段之间的监控时间段。

除了本文描述的一个或多个特征之外，分配包括提供多个分配的时间段，每个分配的时间段与不同的任务或任务类型相关联。

当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点是显而易见的。

附图说明

其他特征、优点和细节仅通过示例的方式出现在以下详细描述中，详细描述参考附图，其中：

图1是根据示例性实施例的包括调度和分配系统的各方面的机动车辆的俯视图；

图2描绘了根据示例性实施例的计算机系统；

图3是根据示例性实施例的控制系统的实施例的示意图，该控制系统被配置为执行车辆操作的各方面并为非驾驶相关任务(或与自动化装置操作无关的任务)分配时间段，每个分配的时间段包括一个或多个非监控时间段；

图4描绘了根据示例性实施例的在车辆的自动化操作期间被分配用于非监控的时间段的实施例；

图5是流程图，其描绘了根据示例性实施例的为自动化车辆和/或其他自动化装置调度和分配包括非监控时间段的时间段的方法的各方面；

图6示出了根据示例性实施例的控制系统的有限状态机(FSM)，该FSM被配置为分配预定义时间段；

图7描绘了由图6的控制系统分配的时间段的示例；

图8示出了根据示例性实施例的控制系统的FSM，FSM被配置为分配多个时间段和/或延长预定义时间段；

图9示出了根据示例性实施例的控制系统的FSM，该FSM被配置为分配一个或多个时间段以及在非监控时间段之间和/或在所分配的时间段之后的相对短的监控时间段；

图10描绘了包括分配的非监控时间段的时间段的示例，非监控时间段由图9的控制系统分配；

图11示出了根据示例性实施例的控制系统的FSM，所述FSM被配置为识别非驾驶相关任务的执行，并且基于环境情况(例如，车辆、道路和交通情况)和用户状态来确定是否为非驾驶相关任务分配时间段；

图12示出了根据示例性实施例的用于调度与多个任务相关联的多个时间段的动态优先级队列的实施例，所述多个任务和驾驶或自动化装置操作无关；以及

图13示出了根据示例性实施例的控制系统的FSM，所述FSM被配置为分配各种任务的时间段并对其进行优先级排序。

具体实施例

以下描述本质上仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在整个附图中，相应的附图标记表示相同或相应的部件和特征。

根据一个或多个示例性实施例，提供了用于为自动化车辆、系统或装置调度和分配非监控时间段的方法和系统。一些车辆可以具有自动化能力(5级)，并且可以能够根据环境情况、传感器能力和驾驶员的情况和意图将其自身降级到较低的自动化级别(4级、3级、2级和/或1级)。在实施例中，当车辆处于允许在用户或驾驶员主动监控车辆的同时自动控制车辆的自动化水平时，系统和方法执行车辆的调度和分配。这种自动化水平的示例是由汽车工程师协会(SAE)定义的2级自动化。

调度和分配系统被配置为调度和分配非监控时间段，该非监控时间段允许用户暂时转移来自自动化装置操作的注意力，并且停止主动监控以便执行与自动化操作无关的任务。非监控时间段可以是预先选择的时间段，如果条件允许，则可以延长该预先选择的时间段。可以在非监控时间段之间提供短的监控时间段(潜望(periscoping))。自动化装置可以是车辆或任何其他合适的装置或系统，诸如飞机、由人监督的发电厂、生产或制造系统或装置、医疗程序中使用的装置等。在车辆的上下文中，不相关的任务被称为非驾驶相关任务(NDRT)。在下文中，不相关的任务被描述为NDRT；然而，应当理解，本文描述的实施例适用于在任何合适的自动化装置(例如，2级和/或3级车辆)的操作期间执行的任何类型的不相关任务。

响应于(例如，来自用户或由车辆处理单元生成的)非监控时间段的请求(“NDRT请求”)，系统分配时间段，所述时间段包括非监控时间段，并且还可以包括用于在车辆状态之间转换并对环境情况或事件做出反应的分派(分配)。非监控时间段基于执行NDRT(例如，读取电子邮件、应答呼叫等)的估计时间量。

系统可以在“固定”方案下或在“滚动”方案下分配时间段，在“固定”方案中，为NDRT提供定义的时间量，在“滚动”方案中，可以基于当前条件进一步延长分配的时间段。分配的时间段可以包括在非监控时间段之间或者在给定的非监控时间段内的相对短的监控时间段。在一个实施例中，“短”的监控时间段是足以允许用户将注意力引导到道路并观察道路中的对象的持续时间(例如，3秒)。

在一实施例中，该系统被配置为协调用于多个离散NDRT的多个分配时间段的调度。例如，系统包括动态优先级队列或其他机制，以基于诸如紧急性、重要性和生理(舒适)需求的因素来调度NDRT。

在一实施例中，系统基于用户准备度和环境情境来确定要分配的时间量。“环境情境”包括可以影响驾驶或操作行为的环境情况和特征的任何组合。环境情境可以包括车辆或其他自动化系统周围的环境的特征，其可以包括物理周围环境及其特征和情况(例如，其他车辆、行人、道路类型、交叉路口、交通控制装置、道路情况、一天中的时间、天气等)以及车辆动态(例如，静止、处于给定速度、制动、加速、转弯等)。用户准备度是指指示用户是否准备好执行与控制车辆的自动化系统相关的任务的用户的情况(例如，分心、压力、眼睛离开道路、转换到手动控制等)。

时间段的分配可以响应于用户请求或在驾驶或操作之前或期间调度的预选请求而发生。分配可以响应于所选择的标准(例如，基于呈现给用户的建议和用户接受建议)而自动发生。例如，可以监控或跟踪用户以确定控制车辆或采取监控的准备水平，和/或识别指示期望执行NDRT的情况(例如，用户看起来疲倦或饥饿，用户看着移动装置或来自车辆信息娱乐系统的消息)。例如，可以基于由车辆的驾驶员监控系统(DMS)或其他合适的跟踪系统进行的眼睛注视跟踪来激活分配过程。

尽管以下描述是在车辆的上下文中，但是本文描述的实施例不限于此，并且可以结合具有自动化行为的各种装置和系统(自动化系统)中的任何一个或涉及人类监控(其中人类可以干预)的任何系统或过程来实现。这样的装置或系统的示例包括飞机、工厂或制造机械、机器人、建筑车辆、智能家居装置、物联网装置等。

本文描述的实施例呈现许多优点。例如，当前的自动化车辆具有2级或3级自动化，其需要用于在驾驶员注意力不集中(停止监控)超过几秒的情况下将控制转移回手动的机制。例如，许多自动化车辆受到自动化车辆行业使用的非正式的经验法则、持续时间的影响，其允许在例如驾驶员操作无线电或其他信息娱乐装置时的眼睛离开道路“3秒”。

然而，在没有不利影响的情况下能被分配的眼睛离开时间的量可以基于许多因素而变化，诸如驾驶员状态、车辆状态、道路和其他道路用户状态以及环境状态。例如，存在眼睛离开时间段需不超过1秒或甚至没有(诸如在合并或退出操纵期间)的驾驶情况，但是也存在这样的情况(例如，笔直的高速公路、很少的其他道路使用者、晴朗的天气等)，其中存在扩展促进自动化行为的自动化控制能力的可能性，从而将眼睛离开道路的持续时间延长到长于3秒。本文描述的实施例通过提供可以针对特定用户和情况定制的时间段的分配来改善当前自动化车辆能力，以在保持安全性的同时解决用户的非驾驶需求。

图1示出了机动车辆10的实施例，其包括至少部分地限定乘员舱14的车身12。车身12还支撑各种车辆子系统，包括动力系系统16(例如，燃烧、电气和其他)，以及用于支持发动机系统16和其他车辆部件的功能的其他子系统，诸如制动子系统、转向子系统等。

车辆还包括监控、检测和自动化控制系统18，其各方面可以结合在车辆10中或连接到车辆10。在该实施例中，控制系统18包括被配置为拍摄图像的一个或多个光学摄像头20，所述图像可以是静止图像和/或视频图像。额外装置或传感器可包含于控制系统18中，例如包含于车辆10中的一或多个雷达组件22。控制系统18不限于此，并且可以包括其他类型的传感器，例如红外传感器。

车辆10和控制系统18包括或连接到车载计算机系统30，车载计算机系统30包括一个或多个处理装置32和用户接口34。用户接口34可以包括触摸屏、语音识别系统和/或用于允许用户与车辆的特征交互的各种按钮。用户接口24可以被配置为经由视觉通信(例如，文本和/或图形显示)、触觉通信或警报(例如，振动)和/或听觉通信而与用户交互。车载计算机系统30还可以包括用于监控用户的装置或与用于监控用户的装置通信，诸如内部摄像头和图像分析组件。此类装置可并入到驾驶员监控系统(DMS)中。

除了用户接口34之外，车辆10可以包括可以与用户交互和/或向用户传递信息的其他类型的显示器和/或其他装置。例如，附加地或替代地，车辆10可以包括结合到后视镜36和/或一个或多个侧视镜38中的显示屏(例如，全显示镜或FDM)。在一个实施例中，车辆10包括一个或多个平视显示器(HUD)。可以结合的其他装置包括指示灯、触觉装置、内部灯、听觉通信装置等。触觉装置(触觉接口)包括例如车辆方向盘和/或座椅中的振动装置。各种显示器、触觉装置、灯和听觉装置被配置为以各种组合使用，以向用户(例如，驾驶员、操作者或乘客)呈现解释。

在一实施例中，车辆10包括调度和分配系统，该调度和分配系统可以结合到车载计算机系统30中或与计算机系统30通信。另外或替代地，调度和分配系统可以并入远程处理装置中，诸如服务器、个人计算机、移动装置或任何其他合适的处理器。

图2示出了计算机系统40的实施例的方面，计算机系统40与控制系统18和/或解释系统通信，或者是控制系统18和/或解释系统的一部分，并且可以执行本文描述的实施例的各个方面。计算机系统40包括至少一个处理装置42，其通常包括用于执行本文所述的图像获取和分析方法的各方面的一个或多个处理器。处理装置42可以集成到车辆10中，例如作为车载处理装置32，或者可以是与车辆10分离的处理装置，例如服务器、个人计算机或移动装置(例如，智能电话或平板电脑)。

计算机系统40的部件包括处理装置42(诸如一个或多个处理器或处理单元)、系统存储器44和将包括系统存储器44的各种系统组件耦合到处理装置42的总线46。系统存储器44可以包括各种计算机系统可读介质。这种介质可以是任何可由处理装置42访问的可用介质，并且包括易失性和非易失性介质以及可移除和不可移除介质。

例如，系统存储器44包括诸如硬盘驱动器的非易失性存储器48，并且还可以包括诸如随机存取存储器(RAM)和/或高速缓存存储器的易失性存储器50。计算机系统40还可以包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。

系统存储器44可以包括具有一组(例如，至少一个)程序模块的至少一个程序产品，所述程序模块被配置为执行本文描述的实施例的功能。例如，系统存储器44存储通常执行本文描述的实施例的功能和/或方法的各种程序模块。可以包括一个或多个模块52以执行与用户状态、车辆状态和环境情况的确定相关的功能。可以包括调度和分配模块54以用于接收数据(例如，状态信息和NDRT请求)。可以包括接口模块56，用于与用户交互以促进本文描述的各种方法。系统40不限于此，因为可以包括其他模块。系统存储器44还可以存储各种数据结构，诸如存储与成像和图像处理相关的数据的数据文件或其他结构。如本文所使用的，术语“模块”是指处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所描述的功能的其他合适的部件。

处理装置42还可以与一个或多个外部装置58通信，诸如键盘、指示装置和/或使得处理装置42能够与一个或多个其他计算装置通信的任何装置(例如，网卡、调制解调器等)。另外，处理装置42可与一个或多个装置(诸如摄像头20和雷达组件22)通信。处理装置42可以与一个或多个显示装置60(例如，车载触摸屏、集群、中央堆栈、HUD、镜子显示器(FDM)等)和车辆控制装置或系统62(例如，用于部分自动(例如，驾驶员辅助)和/或全自动车辆控制)通信。与各种装置的通信可以经由输入/输出(I/O)接口64和65发生。

处理装置42还可以经由网络适配器68与一个或多个网络66(诸如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如，因特网))通信。应当理解，尽管未示出，但是其他硬件和/或软件部件可以与计算机系统40结合使用。示例包括但不限于：微代码、装置驱动器、冗余处理单元、外部磁盘驱动器阵列、RAID系统和数据归档存储系统等。

图3描绘了用于为非驾驶相关任务(NDRT)分配时间段的系统80的实施例。NDRT是导致用户注意力不集中于车辆操作的任何任务或行为。这样的任务的示例包括阅读(例如，电子邮件或文本消息)、进食、饮水、经由电话或视频进行通信、检索项目、或用户的焦点在于驾驶或操作车辆(或其他自动化装置)之外的其他任务的任何其他任务。尽管结合车辆讨论了实施例，但是它们可以应用于包括手动控制和自动操作的某种组合的任何装置或系统。这种装置的示例包括制造机械、机器人、建筑装置等。因此，NDRT应被理解为从任何装置带走用户焦点的任务，并且不限于驾驶自动化车辆的上下文。

系统80包括调度和分配模块82，调度和分配模块82基于驾驶员状态信息以及车辆和环境状态信息来接收时间估计(例如，如下所定义的t

环境和车辆状态估计模块86可以用于确定是否存在环境和车辆情况，使得可以分配用于NDRT的时间段。环境情况的示例包括道路类型(例如，高速公路、本地)、与其他车辆的接近度、环境中的对象、是否存在车辆正在接近的事件(其将妨碍或限制NDRT的可用性)、或者将影响用户注意力不集中的时间的可用性的环境特征的任何组合。

驾驶员状态估计模块84可用于检测驾驶员是否执行指示非驾驶任务或行为的动作(例如，向下看移动装置，或在前排乘客座椅上阅读报纸)。在实施例中，驾驶员状态估计模块84基于用户情况(例如，眼睛离开道路、驾驶员拾起或看着移动装置、驾驶员显得激动或饥饿等)来确定NDRT是否适于使驾驶员受益。假设该时间允许NDRT，如果NDRT与用户偏好(例如，来自用户输入或从跟踪用户行为和情况而推断)一致，或者与类似用户的偏好一致，则NDRT可以被认为是益处。例如，如果用户已经监控了给定的时间量，则驾驶员状态估计模块84可确定用户将受益于位置的改变，确定转换时间(在状态之间转换的时间量)，并且自动生成请求或向用户提供建议NDRT。

模块84和86可用于计算各种时间段(例如，t

此外，模块84和/或86可以用于计算用于执行临界规避操纵(t

系统80还包括人机接口(HMI)90，诸如允许用户或其他实体向分配模块82输入请求的触摸屏或显示器。HMI 90还可以向用户呈现信息(框97)，诸如分配的时间段开始的指示、分配的持续时间、路线信息等。

NDRT的时间段的分配由请求(NDRT请求)促发，所述请求可以由各种位置和装置或模块生成或从各种位置和装置或模块提供。如下面进一步讨论的，一个或多个请求(由框92表示)可以由用户在车辆驾驶时(“在乘坐期间请求”)和/或在驾驶之前(“预乘坐请求”)生成，诸如用于预期的视频会议或电话呼叫。这样的请求可以由用户经由HMI 90(例如，触摸屏、移动装置、车辆信息娱乐系统显示器或按钮)输入。还可基于经由例如驾驶员状态估计模块84监控用户的情况来自动生成请求。

在一实施例中，基于用户的历史(例如，通过机器学习)生成NDRT请求。系统80学习用户的特定模式(例如，当他开车回家时，用户总是呼叫他的妻子)。还可以基于识别通知(诸如传入的紧急电子邮件或SMS消息)来生成NDRT请求。

时间段t

分配和调度模块82的输入还可以包括关于用于执行NDRT的估计时间(t

调度和分配模块82包括用于启动NDRT状态、返回到监控或驾驶状态、和/或协调多个NDRT状态的各种模块。例如，调度模块94从HMI 90和/或模块84和86和/或从ML单元接收输入，ML单元基于历史和学习的行为来估计NDRT时间。对于给定的NDRT请求，调度模块94接收t

在启动分配的时间段和启动NDRT状态时，转换模块98将车辆从监控状态转换到NDRT状态。NDRT模块100控制监控状态、NDRT状态和手动状态之间的转换。NDRT模块100可以在分配的时间段(t

调度模块94可以被配置为执行和/或协调与多个NDRT相关联的多个NDRT状态的执行。例如，调度模块94可以访问各种类型的任务的时间，并使用这些时间来分配用于执行多个任务的时间段。在一些情况下，模块82可以在NDRT之间分配短监控时间段。如下面进一步讨论的，可以基于紧急性或重要性来分配时间段。

图4描绘了在时间段110期间的各种车辆状态。时间段110包括分配时间段112，其对应于分配给用户以执行NDRT的时间量(t

估计时间段114、118和122以确定车辆是否有足够的时间转换到手动控制(驾驶状态)并对道路事件或环境情况(例如，道路中的行人、另一车辆与所述车辆或轨迹相交)作出反应。时间段114、118和122表示车辆和用户返回到手动操作以对道路事件作出反应的能力。

时间段118是与从监控状态转换到(手动)驾驶状态的时间(t

图5描绘了在自动驾驶(或其他自动操作)期间调度和分配用户注意力不集中于车辆或装置操作的时间段的方法130。结合框131-136讨论方法130。方法130不限于其中的步骤的数量或顺序，因为由框131-136表示的一些步骤可以以与下面描述的顺序不同的顺序执行，或者可以执行少于所有步骤的步骤。

结合图1的车辆和处理系统来讨论方法130，该处理系统可以是例如计算机系统40、车载计算机系统30或其组合。出于说明的目的，结合控制系统80讨论方法130的各方面。注意，方法130不限于此，并且可以由任何合适的处理装置或系统或处理装置的组合来执行。

在框131处，车辆系统(例如，控制系统80)在车辆的自动化操作期间跟踪或观察用户。车辆处于监控状态，其中车辆被自动控制并且驾驶员被跟踪以确保驾驶员专注(“眼睛在道路上”)。当处于监控状态时，车辆可以允许用户注意力不集中的默认时间段，其可以是短时间段(例如，3秒)或更长(例如，几分钟、几十分钟或更长)。该时间量是与用户情况或执行NDRT的期望无关的固定量。

在框132处，系统识别NDRT请求。可以基于接收到来自用户的肯定输入、基于预先安排的任务或基于用户情况来识别请求。例如，用户可以经由车辆的信息娱乐系统、HMI 90或其他用户接口输入请求。

一种类型的请求基于呈现给用户并由用户接受的建议而生成，其可以通过监控用户行为、车辆状态和/或环境来识别，以识别潜在的NDRT。可以生成NDRT建议(例如，改变位置、进行电话呼叫等)并将其显示给用户，并且用户可以确认或拒绝该建议。例如，经由摄像头和/或其他传感器监控用户，以识别用户将受益于NDRT的指示(例如，用户不舒服或激动的指示，或者用户已经处于驾驶或监控状态很长一段时间并且可使用休息的指示)。

此外，可以通过识别外部需求和活动(重要电子邮件、SMS、电话的传入)来生成请求。例如，系统可以访问车辆的信息娱乐系统以获取重要的传入电子邮件、来自收藏夹列表的SMS、来自工作相关列表的SMS等。该系统可以被配置为基于用户历史和学习来提供针对潜在NDRT的建议。

还可基于先前输入或调度的NDRT来识别请求，所述NDRT可输入到车辆系统或移动应用程序(app)中。例如，移动装置或信息娱乐系统中的日历可以在车辆操作之前与系统同步，并且信息成为系统的输入。

在一实施例中，机器学习模块、FSM或其他处理单元被配置为识别潜在的NDRT并基于机器学习(ML)提出建议。这样的模块查看用户与车辆系统(例如，信息娱乐系统)或移动装置的接合历史，并且基于先前呼叫(或其他通信，诸如文本和电子邮件)的时机和接收而做出建议。例如，模块了解到用户通常在大多数日子或所有日子在上午8:00左右向妈妈打电话，并且因此在上午8:00自动生成“给妈妈打电话”的建议。如本文进一步讨论的，模块还可以动态地布置车辆路线，以便为调度的NDRT创建更好的机会。因此，本文的系统和方法可以以自组织(ad-hoc)或机会性方式请求NDRT，并且可以请求和调度计划的NDRT(基于例如调度事件、ML学习的NDRT、用户偏好等)，该计划的NDRT可以通过选择最佳路线、速度、车道、时间等来预先安排，以确保NDRT的安全和有效的(即，几乎没有紧急接管的机会)分派或时间分配。

在一实施方案中，系统维护已经预先调度的任务的队列，该任务可能在操作期间由用户请求和/或可以基于用户情况建议。可以维护动态队列，该动态队列列出各种NDRT(或NDRT的类型)并将每个NDRT与可以动态改变的重要性或紧急性级别相关联。每个NDRT在队列中与和执行NDRT的最小时间和转换到监控的时间相关的时间段相关联。可以在预定时间或基于当前情况将NDRT添加到队列中。

在框133处，系统确定驾驶员的准备度和/或驾驶员的意图和动机。准备度类别包括身体可用性、生理准备状态、认知意识和技能水平(执行各种NDRT或任务类型的能力)。例如，可以通过监控驾驶员的姿势、监控眼睛注视和面部分析以确定情绪状态和/或通过询问驾驶员来确定准备度。准备度类别可以被存储并与驾驶员从NDRT状态转换到监控的时间量(t

除了驾驶员“准备度”之外，系统还可以评估驾驶员的“意图和动机”以采取监控和/或采取手动控制。“意图和动机”可以基于在类似情况下的过去事件(例如，驾驶员不愿意在他或她正在阅读报纸时进行监控)、驾驶员的口头说明、和/或他或她对正在进行的警报的响应来评估。准备度以及意图和动机用于估计向用户转移控制的质量。

在一实施例中，控制转移的质量被估计为“准备度”和“意图和动机”的笛卡尔乘积，例如，如果驾驶员准备度低(例如，驾驶员不在座位上或处于某种笨拙的姿势)，但是他或她的动机由于挫折和焦虑而高(如基于图像分析或其他驾驶员跟踪手段而估计)，则两个元素(“准备度”和“意图和动机”)的乘积产生转换时间(t

在框134处，系统基于准备度、意图和动机和/或环境情境来确定是否可以执行NDRT。如果是，则系统为用户计算或获取时间分配t

在框135处，系统转换到NDRT状态，在此期间系统自动控制车辆并且不要求用户保持注意。

在框136处，系统在所分配的时间段期满时转换回监控状态。替代地，系统基于用户输入(例如，用户取消NDRT请求或指示NDRT完成，或响应于车辆或环境的变化)更早地转换回监控状态。其他事件或用户动作可以被识别为完成的指示，诸如用户发送电子邮件或文本、结束电话呼叫、完成进食等。

在一实施例中，系统可以主动询问用户NDRT完成的指示，所述指示可以用于单独地或与从摄像头和其他传感器收集的数据组合地确定完成。例如，在t

可以以各种方式调度NDRT。例如，可以根据“固定”NDRT算法、“滚动”NDRT算法或“滚动有界”算法来调度整个时间段。

固定NDRT时间段特定于给定任务，并为用户执行NDRT提供预定时间。如果原始分配的时间不足，则滚动NDRT时间段可以提供额外的时间来完成任务。滚动有界NDRT时间段提供额外的时间，但是受到例如监管要求或基于驾驶员状态、道路情况和环境状态的内部计算的限制。

图6描绘了用于执行固定NDRT分配方法的有限状态机(FSM)150的实施例。FSM 150包括监控状态152，其可以响应于各种情况(例如，需要规避操纵的情况)而转换到手动操作(驾驶循环)。

响应于对NDRT的请求，FSM 150转换到NDRT请求状态154。在这种状态下，调度和分配模块82基于车辆状态(例如，速度)、道路和其他环境情况、交通情况和驾驶员状态来确定估计的总的非监控时间量。“非监控时间”或t

t

将非监控时间与最小NDRT时间t

最小时间可以是分配给所有任务的值，或者可以特定于一个或多个任务。

如果估计的非监控时间大于或等于总和，则FSM 150转换到NDRT状态156。在NDRT状态156中，车辆自动操作，同时允许用户注意力不集中并执行NDRT。

图7示出了包括为NDRT分配的时间段的时间段110的示例。在该示例中，时间分配是固定的分派。在该示例中，调度和分配系统80维护任务队列，其可以被分配有不同级别的优先级。用户想要发送紧急SMS消息并输入相关联的请求(例如，通过从显示的队列中选择任务或进入任务)。该请求被认为是高优先级的，因此在其他调度的NDRT时间段之前执行。

在该示例中，用于执行NDRT(编写和发送消息)的估计时间是10秒，t

t

图8描绘了用于执行滚动NDRT分配方法的FSM 160的实施例。FSM 160包括监控状态162，其中车辆处于监控状态并且可以返回到驾驶循环。响应于对NDRT的请求，FSM 160转换到NDRT请求状态164。如果t

在一实施例中，FSM 160被配置用于执行如上所述的“滚动”NDRT，和/或被配置用于执行“滚动有界”NDRT分配方法。

在滚动实施例中，只要t

在滚动有界NDRT实施例中，总非监控时间被界定在选定或计算的范围内。

例如，NDRT时间受监管要求、制造商、驾驶员偏好或内部计算的约束。在一实施例中，t

在NDRT状态166中，系统可以为多个任务分配时间。如果用户指示NDRT完成，t

在一实施例中，在短时间的监控之后，系统80被配置为延长NDRT分配t

图9描绘了用于执行滚动和潜望NDRT分配方法的FSM 170的实施例，其中提供了用于潜望的短时间分配t

注意，t

例如，当FSM 170进入NDRT状态176时，定时器被激活。只要t

如果NDRT未完成，或者要执行另一个NDRT，则FSM 170转换到短时间段监控状态180，其中短时间段t

在一实施例中，可以基于例如监管要求来界定滚动和潜望。随着分配的NDRT时间段的进行，累积的NDRT时间t

在一实施例中，系统80被配置为调度和分配多个任务，这些任务可以是先前调度的任务、或在驾驶或操作期间请求的任务。可以为调度的任务分配优先级或紧急性级别，以便快速分配更重要或紧急的任务。

图10描绘了时间段110的实施例，其包括用于滚动和潜望两者的分配时间。如图所示，时间段112包括表示为t

图11描绘了用于执行NDRT分配方法的FSM 185的实施例，其包括与识别NDRT相关的特征。FSM 185被配置为在用户试图执行未经授权的NDRT或注意力不集中超过默认时间的情况下对用户的行为做出反应。FSM 185包括用于执行潜望和滚动NDRT分配两者的能力，但不限于此。例如，FSM 185可以被配置为执行严格分配或滚动分配(没有潜望)。

FSM 185包括监控状态172、NDRT请求状态174和NDRT状态176。FDM 185还包括到监控状态178和短时间段监控状态180的转换。以上参考FSM 170描述了这些状态之间的转换。

FSM 185被配置为接收摄像头数据、传感器数据和/或与用户情况和行为相关的其他信息。如果用户的行为指示用户正在尝试执行NDRT(没有来自系统的批准并且没有分配的NDRT时间段)，则FSM 185转换到“未识别的NDRT”状态186。可以触发该转换的行为包括姿势的改变、将用户的注视引导远离道路长于默认时间(例如，朝向信息娱乐界面、乘客座椅或后座区域等)、用户尝试接合信息娱乐系统或其他车辆接口、以及用户口头表达执行NDRT的意图。

如果用户的行为指示用户打算或正在尝试执行NDRT，则FSM 185转换到未识别NDRT状态186。当处于未识别NDRT状态186时，如果出现用户应该监控或驾驶的条件，则FSM185立即或在默认时间内转换到监控状态，基本上拒绝NDRT。此时，系统80可以向用户指示NDRT不可用和/或提供关于系统80何时可以为预期的NDRT分配时间的估计。

如果条件允许，则FSM 185转换到“识别NDRT”状态188，并且系统80试图识别预期的NDRT。如果识别了NDRT，则系统查阅查找表或其他数据结构，以确定转换到监控的估计时间t

如果t

图12描绘了优先级队列190的示例，系统80可以使用优先级队列190来协调各种NDRT(或NDRT类型)的时间段的分配。每个NDRT以初始优先级进入优先级队列190。当选择了条目时，可以从数据库或其他地方中存储的记录中提取相关联的时间段。

队列190根据执行顺序或根据优先级由单独的NDRT条目(NDRTi)填充。当NDRT完成时，它的记录被删除，随后的NDRT条目在队列中向上移动。

例如，队列190包括用于NDRT“驾驶员位置改变”192的低优先级条目。传入的电子邮件提示根据优先级将对应条目插入队列190中。在该示例中，以高优先级在队列的顶部插入“传入电子邮件-紧急”条目194。以中间优先级插入“传入电子邮件-非紧急”条目196。

NDRT可以随时间改变它们的优先级，因此是“动态的”。个体记录的优先级可以例如由于车辆、用户或环境情况的变化而改变。在图12的示例中，在经过一时间段之后，驾驶员行为可以指示位置改变更紧急。因此，“驾驶员位置改变”条目192被分配更高的优先级并在队列190中向上移动。

图13描绘了用于执行调度多个NDRT的调度和分配方法的FSM 200。在该实施例中，系统80利用优先级队列(例如，队列190)来调度NDRT时间段，可选地通过潜望。FSM 200利用显式或隐式完成指示来确定何时完成NDRT。如果这样的指示不可用，则系统80尽可能长地继续NDRT分配(只要t

确定用户是否处于NDRT中的“进行中NDRT”参数被初始化为“假”，队列中条目的位置被表示为“X”，当前NDRT被表示为“NDRTx”

NDRTx具有两个定义值：从特定NDRT状态返回到监控状态的最小所需时间t

t

如果是，则为NDRT分配以下时间：

t

这可能比特定NDRT所需的更多。在这种情况下，驾驶员将指示“完成”，并且在能够切换到另一个NDRT之前将返回到短时间段监控。

仍然参考图13，FSM 200包括监控状态172和短时间段监控状态180。当FSM 200处于监控状态172时，系统80跟踪车辆以识别将有助于分配非监控时间段的情况。如果是，则FSM 200转换到“在队列中找到NDRT”状态206，其中通过将参考时间t

一旦系统接收到来自用户的完成的显式指示或隐式指示，则NDRT完成(进程中NDRT＝FALSE)，并且从队列中移除完成的NDRTx。

如果t

如果t

在一实施例中，可以控制车辆操作和/或路线，以便为更长的NDRT留出时间或以其他方式促进更长的NDRT。如果多个路线是可能的，则可以基于与NDRT性能相关的标准来选择给定的路线。例如，评估路线是基于确定最短路线，服从整个路线中足够的估计NDRT时间，以适应队列中的当前NDRT(例如，驾驶员请求的那些NDRT)。这是驾驶员可以在系统的首选项页面中操作的设置。该设置可以是预定义的，和/或在驾驶期间动态地改变。可用路线可以表示为可能的路线的集合S＝{s

系统80还可以调节车辆动态以便适应NDRT。例如，系统80识别当即NDRT的需要(在驾驶、显式请求、主动NDRT动作、紧急电子邮件等之前或期间调度)。然后，系统80确定t

下表说明了NDRT时间的示例。每个NDRT时间与特定任务相关联或与任务类型相关联。如图所示，NDRT时间可以分为短和长。短时间(类型I)通常在一分钟内并且涉及相对简单的任务。长时间(II型)通常具有更长的持续时间(数分钟至数小时)并且涉及高浓度。该表可以被配置为查找表并存储在例如数据库96中。

本文使用的术语仅用于描述特定实施例的目的，并不旨在限制本公开。如本文所使用的，单数形式“一”、“该”和“所述”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件部件和/或其组的存在或添加。

虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物替换其元件。另外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本公开不旨在限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。