一种基于人工智能的智能驾驶方法、装置及相关产品

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于人工智能的智能驾驶方法、装置及相关产品。

背景技术

随着交通系统的逐渐完善，汽车的驾驶也越来越被普及，汽车的数量也越来越多。汽车在公路上行驶需要遵守一定的交通规则，但由于汽车是人为操作的，一旦实施不合适的人为操作，就可能会导致危险的交通事故。

发明内容

本申请实施例提供基于人工智能的智能驾驶方法、装置及相关产品，可以驾驶的安全性。

一种基于人工智能的智能驾驶方法，所述方法包括：

在检测到汽车行驶过程中，获取所述汽车内安装的摄像头所采集的图像帧；

对所述摄像头采集的图像帧中的目标人体进行动作识别，得到所述目标人体的动作识别结果；

获取所述汽车当前行驶的路面的路况数据，根据所述路况数据确定候选危险动作；

在根据所述动作识别结果确定所述目标人体在执行所述候选危险动作中的危险动作，且执行所述危险动作的时长超过预设时长时，确定所述危险动作的危险等级和所述危险动作的持续时长；

根据所述危险等级和所述持续时长，确定报警等级；

根据所述报警等级确定报警信息，并通过所述汽车的报警设备输出所述报警信息。

进一步地，所述在检测到汽车行驶过程中，获取所述汽车内安装的摄像头所采集的图像帧，包括：

当所述汽车启动之后持续获取所述汽车的行驶速度数据；

在所述行驶速度数据持续大于第一速度阈值的时长超过第一时长阈值时，开始获取汽车内安装的摄像头所采集的图像帧；

在所述行驶速度数据持续小于第二速度阈值的时长超过第二时长阈值时，停止获取汽车内安装的摄像头所采集的图像帧。

进一步地，所述获取所述汽车当前行驶的路面的路况数据，根据所述路况数据确定候选危险动作，包括：

获取所述汽车当前行驶的路面的路况数据和所述汽车的驾驶数据；

根据所述路况数据确定第一候选危险动作，并根据所述驾驶数据确定第二候选危险动作；

根据所述第一候选危险动作和所述第二候选危险动作，得到所述候选危险动作。

进一步地，所述根据所述路况数据确定第一候选危险动作，包括：

获取所述汽车当前行驶的路面的公路类型、拥堵状况和行人数据，根据所述公路类型、拥堵状况和行人数据确定路况危险系数；

根据所述路况危险系数确定第一候选危险动作；

所述根据所述驾驶数据确定第二候选危险动作，包括：

获取所述汽车的连续行驶时长和平均行驶速度，根据所述连续行驶时长和平均行驶速度确定驾驶危险系数；

根据所述驾驶危险系数确定第二候选危险动作。

进一步地，所述根据所述危险等级和所述持续时长，确定报警等级，包括：

当所述危险等级超过预设等级且所述持续时长超过预设时长时，根据所述危险等级和所述持续时长确定汽车控制参数，根据所述汽车控制参数控制汽车的驾驶性能；

当所述危险等级未超过预设等级或所述持续时长未超过预设时长时，根据所述危险等级和所述持续时长，确定报警等级。

进一步地，所述对所述摄像头采集的图像帧中的目标人体进行动作识别，得到所述目标人体的动作识别结果，包括：

针对所述摄像头采集的图像帧，通过空间流卷积神经网络提取空间交互性特征，并利用双向LSTM提取全局空间辨别性特征；

通过时间流卷积神经网络提取时间交互性特征，通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征，并构建以光流引导的时间注意力模型根据所述全局时间特征计算全局时间辨别性特征；

根据所述全局时间辨别性特征进行分类处理得到第一分类结果，根据所述全局空间辨别性特征进行分类处理得到第二分类结果；

将所述第一分类结果和所述第二分类结果进行融合得到融合分类结果，根据所述融合分类结果得到对所述目标人体的动作识别结果。

进一步地，所述通过空间流卷积神经网络提取空间交互性特征，包括：

将所述图像帧输入行为显著检测网络模型，得到检测结果，并根据检测结果得到空间交互性特征；

根据所述图像帧和空间交互性特征，构建以掩膜引导的空间注意力模型，得到空间辨别性特征；

根据时间注意力权重和空间辨别性特征，确定空间交互性特征；

所述通过时间流卷积神经网络提取时间交互性特征，通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征，并构建以光流引导的时间注意力模型根据所述全局时间特征计算全局时间辨别性特征，包括：

通过TVNet网络对所述拍摄图像进行光流计算，得到光流帧；

根据所述空间注意力权重对得到的所述光流帧进行加权，得到所述时间交互性特征；

通过三维卷积神经网络从所述时间交互性特征中提取全局时间特征；

将全局时间特征输入到以光流引导的时间注意力模型得到时间注意力权重，并通过时间注意力加权将所述全局时间特征进行加权，得到全局时间辨别性特征；

所述将所述第一分类结果和所述第二分类结果进行融合的方法如下：

S

其中，S

一种基于人工智能的智能驾驶装置，所述装置包括：

图像采集模块，用于在检测到汽车行驶过程中，获取所述汽车内安装的摄像头所采集的图像帧；

动作识别模块，用于对所述摄像头采集的图像帧中的目标人体进行动作识别，得到所述目标人体的动作识别结果；

危险识别模块，用于获取所述汽车当前行驶的路面的路况数据，根据所述路况数据确定候选危险动作；

时长获取模块，用于在根据所述动作识别结果确定所述目标人体在执行所述候选危险动作中的危险动作，且执行所述危险动作的时长超过预设时长时，确定所述危险动作的危险等级和所述危险动作的持续时长；

等级获取模块，用于根据所述危险等级和所述持续时长，确定报警等级；

信息输出模块，用于根据所述报警等级确定报警信息，并通过所述汽车的报警设备输出所述报警信息。

一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述方法。

上述基于人工智能的智能驾驶方法、装置及相关产品，可以对摄像头采集的图像识别驾驶人员的动作，并根据当前行驶的路况数据和识别到的动作来确定当前的驾驶人员的危险动作，并根据危险动作执行的时长和危险等级输出相应的报警信息，以提示用户的危险行为，从而降低驾驶的风险。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为一个实施例中基于人工智能的智能驾驶方法的流程示意图。

图2为一个实施例中的基于人工智能的智能驾驶装置的结构示意图。

图3为一个实施例中对目标人体进行动作识别的网络结构示意图。

图4为一个实施例中基于人工智能的智能驾驶硬件组成示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

图1为一个实施例中基于人工智能的智能驾驶方法的流程示意图。该基于人工智能的智能驾驶方法包括步骤：

步骤102，在检测到汽车行驶过程中，获取汽车内安装的摄像头所采集的图像帧。

在本申请提供的实施例中，可以在汽车内安装摄像头，汽车行驶过程中摄像头保持开启状态，通过摄像头采集驾驶人员的图像帧。通过对驾驶人员拍摄的图像帧实现对驾驶人员的监控。

步骤104，对摄像头采集的图像帧中的目标人体进行动作识别，得到目标人体的动作识别结果。

通过对驾驶人员采集的图像进行识别，识别图像中的目标人体即为驾驶人员的人体轮廓。然后再对目标人体进行动作识别，得到动作识别结果。

在本实施例中，不限定进行动作识别的具体算法，可以通过任意方法实现对图像中目标人体的动作识别。例如，识别到驾驶人员正在执行“手离开方向盘”、“抽烟”、“打电话”等动作。

步骤106，获取汽车当前行驶的路面的路况数据，根据路况数据确定候选危险动作。

具体的，路况数据表示汽车当前行驶的路面的路况情况。例如，当前处于高速公路或者城市道路，当前路段交通的拥堵程度，当前道路的路面平整度等数据。

根据路况数据来确定危险动作，比如在高速上行驶的时候危险等级比较高，就会将候选危险动作设置的种类更多一些。对于一些城市道路或者行驶速度不快的路面，候选危险动作设置的种类会更少一些。

步骤108，在根据动作识别结果确定目标人体在执行候选危险动作中的危险动作，且执行危险动作的时长超过预设时长时，确定危险动作的危险等级和危险动作的持续时长。

在确定候选危险动作之后，将识别到的目标人体的动作与候选危险动作进行比较，确定上述识别到的目标人体的动作是否跟候选危险动作相匹配，如果跟候选危险动作相匹配，则说明驾驶人员正在执行危险动作。

在识别到的动作匹配到候选危险动作中的危险动作时，可以先确定该危险动作的危险等级，危险等级越高证明执行该动作的危险程度就越高。然后确定执行该危险动作的时长，具体可以根据出现该危险动作的图像帧的数量乘以两帧图像之间的时间间隔来确定。若持续执行该危险动作的时长超过预设时长，则可以执行报警操作。

步骤110，根据危险等级和持续时长，确定报警等级。

具体的，可以根据危险等级和持续时长来确定报警等级。一般来说，危险等级越高、持续时长越久，对应的报警等级越高；危险等级越低、持续时长越短，对应的报警等级越低。本实施例中，不限定具体的对应关系。

步骤112，根据报警等级确定报警信息，并通过汽车的报警设备输出报警信息。

根据确定的报警等级来确定报警信息，并通过汽车的报警设备来输出报警信息，以提示驾驶人员停止危险动作，减少驾驶风险。

上述实施例提供的人工智能的智能驾驶方法，可以对摄像头采集的图像识别驾驶人员的动作，并根据当前行驶的路况数据和识别到的动作来确定当前的驾驶人员的危险动作，并根据危险动作执行的时长和危险等级输出相应的报警信息，以提示用户的危险行为，从而降低驾驶的风险。

在一个实施例中，在检测到汽车行驶过程中，获取汽车内安装的摄像头所采集的图像帧，包括：当所述汽车启动之后持续获取所述汽车的行驶速度数据；在所述行驶速度数据持续大于第一速度阈值的时长超过第一时长阈值时，开始获取汽车内安装的摄像头所采集的图像帧；在所述行驶速度数据持续小于第二速度阈值的时长超过第二时长阈值时，停止获取汽车内安装的摄像头所采集的图像帧。

具体的，当汽车启动之后，可以持续获取汽车的行驶速度数据，例如行驶速度数据为80km/h(千米/小时)。根据行驶速度数据来判断汽车的状态，如果行驶速度持续超过某一值，则可以认为汽车启动之后逐渐趋于一个稳定的驾驶状态，则开始获取图像并识别驾驶人员的驾驶动作。如果行驶速度持续低于某一值，则可以认为汽车逐渐趋于一个停车的驾驶状态，则可以停止获取图像并识别驾驶人员的驾驶动作

在一个实施例中，获取汽车当前行驶的路面的路况数据，根据路况数据确定候选危险动作，包括：获取汽车当前行驶的路面的路况数据和汽车的驾驶数据；根据路况数据确定第一候选危险动作，并根据驾驶数据确定第二候选危险动作；根据第一候选危险动作和第二候选危险动作，得到候选危险动作。

具体的，还可以先获取路面的路况数据和汽车的驾驶数据，汽车的驾驶数据具体可以表示汽车的行驶速度、行驶时长、行驶路程等数据，在此不做限定。然后根据路况数据得到第一候选危险动作，根据行驶数据得到第二候选危险动作，然后得到最后的结果。

在一个实施例中，其特征在于，根据路况数据确定第一候选危险动作，包括：获取汽车当前行驶的路面的公路类型、拥堵状况和行人数据，根据公路类型、拥堵状况和行人数据确定路况危险系数；根据路况危险系数确定第一候选危险动作；根据驾驶数据确定第二候选危险动作，包括：获取汽车的连续行驶时长和平均行驶速度，根据连续行驶时长和平均行驶速度确定驾驶危险系数；根据驾驶危险系数确定第二候选危险动作。

更进一步的，路况数据可以包括公路类型、拥堵状况和行人数据，然后根据公路类型、拥堵状况和行人数据来确定当前行驶的路面的路况危险系数。行驶数据包括汽车的连续行驶时长和平均行驶速度，根据汽车的连续行驶时长和平均行驶速度来确定驾驶危险系数。最后根据路况危险系数和驾驶危险系数得到最后的候选危险动作。危险系数越高，最终确定的危险动作越多。

在一个实施例中，根据危险等级和持续时长，确定报警等级，包括：当危险等级超过预设等级且持续时长超过预设时长时，根据危险等级和持续时长确定汽车控制参数，根据汽车控制参数控制汽车的驾驶性能；当危险等级未超过预设等级或持续时长未超过预设时长时，根据危险等级和持续时长，确定报警等级。

可以理解的是，当危险等级和持续时长超过一定值时，可以根据危险等级和持续时长适当的控制汽车参数，从而控制汽车的驾驶性能，从而强制性地降低驾驶的危险等级。

在一个实施例中，对所述摄像头采集的图像帧中的目标人体进行动作识别，得到所述目标人体的动作识别结果，包括：针对摄像头采集的图像，通过空间流卷积神经网络提取空间交互性特征，并利用双向LSTM提取全局空间辨别性特征；通过时间流卷积神经网络提取时间交互性特征，通过三维卷积神经网络从时间交互性特征中提取全局时间特征，并构建以光流引导的时间注意力模型根据全局时间特征计算全局时间辨别性特征；根据全局时间辨别性特征进行分类处理得到第一分类结果，根据全局空间辨别性特征进行分类处理得到第二分类结果；将第一分类结果和第二分类结果进行融合得到融合分类结果，根据融合分类结果得到对目标人体的动作识别结果。

具体的，上述动作识别过程主要是根据连续图像的时间性特征和空间性特征，得到人体动作的动作特征。然后分别通过时间性特征得到的动作识别结果和空间性特征识别得到的动作识别结果，得到最后的动作识别结果。如此得到的动作识别结构，可以综合人体动作的时间性和空间性特征，得到最后的识别结果。

具体的，通过空间流卷积神经网络提取空间交互性特征，包括：

将图像帧输入行为显著检测网络模型，得到检测结果，并根据检测结果得到空间交互性特征；

根据图像帧和空间交互性特征，构建以掩膜引导的空间注意力模型，得到空间辨别性特征；

根据时间注意力权重和空间辨别性特征，确定空间交互性特征；

通过时间流卷积神经网络提取时间交互性特征，通过三维卷积神经网络从时间交互性特征中提取全局时间特征，并构建以光流引导的时间注意力模型根据全局时间特征计算全局时间辨别性特征，包括：

通过TVNet网络对拍摄图像进行光流计算，得到光流帧；

根据空间注意力权重对得到的光流帧进行加权，得到时间交互性特征；

通过三维卷积神经网络从时间交互性特征中提取全局时间特征；

将全局时间特征输入到以光流引导的时间注意力模型得到时间注意力权重，并通过时间注意力加权将全局时间特征进行加权，得到全局时间辨别性特征；

将第一分类结果和第二分类结果进行融合的方法如下：

S

其中，S

在本申请提供的实施例中，对目标人体进行动作识别的网络结构如图3所示，上述动作识别方法具体可以包括以下步骤：

1)获取连续图像流中的RGB拍摄图像：获得原始RGB拍摄图像

2)计算光流图：应用TVNet网络对RGB拍摄图像F

3)基于Mask R-CNN分割技术训练一个特定的行为显著检测网络模型，以每一个原始拍摄图像F

4)以原始RGB拍摄图像F

5)将步骤4)中计算得到的空间注意力权重W

6)以时间交互性特征I

7)以全局时间特征G

8)将步骤7)中计算得到的时间注意力权重W

9)以空间交互性特征I

10)以全局时间辨别性特征GK

11)对空间概率得分S

上述流程的步骤三中针对检测图像

其中(p,q)表示位置为(p,q)的像素点的像素值。例如，数据集每个行为都包含不同的物体和人体。通过计算局部掩膜特征图，将每个检测图像的前景和背景分开。

上述流程中RGB图像帧F

I

F

G

F

其中，F

以F作为输入，构建一个空间注意力模型对F进行重新加权，以得到加权特征图，加权的过程可由下列公式描述所得：

W

W

K

其中，γ表示ReLU激活函数，σ表示Sigmoid激活函数，FC

上述流程7)以全局时间特征G

其中，W，H分别表示宽度和高度，o表示通道数。将压缩后的特征图输入到由两个完全连接层组成的网络中，目的是获得时间上的相互依赖关系。第二个全连接层的大小与所输入的特征图的通道数o一致，将新学习到的权重和原始特征G

W

W

其中，W

上述流程的步骤11)中，将第一分类结果和第二分类结果进行融合的方法如下：

S

其中，S

图3为一个实施例中基于人工智能的智能驾驶装置的结构示意图。如图3所示，该基于人工智能的智能驾驶装置包括：

图像采集模块302，用于在检测到汽车行驶过程中，获取所述汽车内安装的摄像头所采集的图像帧；

动作识别模块304，用于对所述摄像头采集的图像帧中的目标人体进行动作识别，得到所述目标人体的动作识别结果；

危险识别模块306，用于获取所述汽车当前行驶的路面的路况数据，根据所述路况数据确定候选危险动作；

时长获取模块308，用于在根据所述动作识别结果确定所述目标人体在执行所述候选危险动作中的危险动作，且执行所述危险动作的时长超过预设时长时，确定所述危险动作的危险等级和所述危险动作的持续时长；

等级获取模块310，用于根据所述危险等级和所述持续时长，确定报警等级；

信息输出模块312，用于根据所述报警等级确定报警信息，并通过所述汽车的报警设备输出所述报警信息。

上述实施例提供的人工智能的智能驾驶装置，可以对摄像头采集的图像识别驾驶人员的动作，并根据当前行驶的路况数据和识别到的动作来确定当前的驾驶人员的危险动作，并根据危险动作执行的时长和危险等级输出相应的报警信息，以提示用户的危险行为，从而降低驾驶的风险。

图4为一个实施例中基于人工智能的智能驾驶硬件组成示意图。可以理解的是，图4仅仅示出了电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等，而所有可以实现本申请实施例的跨云平台的大数据管理方法的电子设备都在本申请的保护范围之内。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入系统用于输入数据和/或信号，以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上上述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。