用于自主驾驶车辆的基于音频的道路状况感测和检测技术

技术领域

本公开的实施例一般涉及操作自主驾驶车辆。更特别地，本公开的实施例涉及检测自主驾驶车辆(autonomousdrivingvehicle，ADV)的道路状况。

背景技术

以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关责任。当以自主模式操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下驾驶。

运动规划和控制是自主驾驶中的关键操作。检测道路表面的状况至关重要。针对不同的道路状况，为了驾驶的安全，可能会采取不同的驾驶策略和不同的动作。但是，很难感测和检测道路状况。诸如相机和LiDAR的光学传感器无法检测某些道路表面状况，例如覆盖路面的积雪的厚度和水的深度。这个问题在黑暗的环境中更加严重。

发明内容

一方面，提供一种用于操作自主驾驶车辆(ADV)的方法，所述方法包括：

通过设置在ADV处的一个或多个麦克风接收声音信号；

分析声音信号以提取表示ADV正在其上驾驶的道路的特征；

根据提取的特征确定道路的道路状况；

执行路径规划和速度规划以根据道路状况生成轨迹；以及

控制ADV以根据生成的轨迹自主驾驶。

另一方面，提供一种数据处理系统，包括：

处理器；以及

耦接到处理器且存储指令的存储器，当指令被处理器执行时，使处理器执行如上所述的方法的操作。

另一方面，提供一种自主驾驶车辆，包括：

一个或多个麦克风，用于接收声音信号；

声音检测模块，用于分析声音信号以提取表示自主驾驶车辆正在其上驾驶的道路的特征，并根据提取的特征确定道路的道路状况；

规划模块，执行路径规划和速度规划以根据道路状况生成轨迹；以及

控制模块，控制ADV以根据生成的轨迹自主驾驶。

另一方面，提供一种具有存储在其中的指令的非暂时性机器可读介质，当由处理器执行时，所述指令使所述处理器执行如上所述的方法的操作。

另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时使所述处理器执行如上所述的方法。

通过本公开，实现了全天候检测道路状况的能力，从而提高了驾驶安全性。

附图说明

本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。

图1是示出根据一个实施例的联网系统的框图。

图2是示出根据一个实施例的自主驾驶车辆的示例的框图。

图3-4是示出根据一个实施例的与自主驾驶车辆一起使用的自主驾驶系统的示例的框图。

图5是示出根据一个实施例的自主驾驶车辆的声音检测模块的示例的框图。

图6是示出根据一个实施例的具有声音检测模块的自主驾驶车辆的示例的图。

图7是示出根据一个实施例的具有声音检测模块的自主驾驶车辆的另一示例的图。

图8是示出根据一个实施例的用于基于声音检测确定道路状况以操作ADV的方法的示例的流程图。

图9是示出根据一个实施例的用于基于声音检测确定道路状况以操作ADV的过程的示例的流程图。

具体实施方式

将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各个实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。

说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。

根据一些实施例，使用安装在轮胎/轮毂内或安装在ADV的车身处的麦克风收集车轮和道路表面之间的摩擦声。使用机器学习和深度学习模型评估频域、时域和能量特征。确定表面类型(例如，干燥、潮湿、结冰)和路面状况(例如，沥青、岩石、沙地)，并且确定或估计道路覆盖物(例如，雪、水)的深度。可以相应地计算路面的摩擦系数，并将此信息用于控制和路径规划的优化。通过这种方式，可以实现全天候感测、检测和确定道路状况的能力。道路状况包括道路的表面类型、道路的路面状况、道路覆盖物的深度等。基于安装在 ADV的麦克风收集的声音信号可以确定不同类型和不同级别的道路状况。考虑到检测到的道路状况，ADV可以生成控制命令(例如，油门、制动、转向控制命令)。

根据一些实施例，由设置在ADV处的一个或多个麦克风接收声音信号。分析声音信号以提取ADV正在其上驾驶的道路的特征。基于提取的特征确定道路的道路状况。执行路径规划和速度规划以基于道路状况生成轨迹。根据生成的轨迹控制ADV以自主驾驶。

图1是示出根据本公开的一个实施例的自主驾驶网络配置的框图。参考图1，网络配置 100包括自主驾驶车辆(ADV)101，自主驾驶车辆101可以通过网络102通信地耦接到一个或多个服务器103-104。尽管示出一个ADV，但是多个ADV可以通过网络102彼此耦接和/或耦接到服务器103-104。网络102可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合，有线或无线。服务器103-104 可以是任何类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(mapandpoint of interest，MPOI)服务器或位置服务器等。

ADV指的是能够被配置为处于自主模式的车辆，在自主模式中，车辆在很少或没有驾驶员输入的情况下导航通过环境。这种ADV可包括具有一个或多个传感器的传感器系统，传感器被配置为检测关于车辆操作于其中的环境的信息。车辆及其相关联的控制器使用检测的信息导航通过环境。ADV 101可以以手动模式、全自主模式或部分自主模式操作。

在一个实施例中，ADV 101包括但不限于自主驾驶系统(ADS)110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。ADV 101进一步可包括在普通车辆中包括的某些常见组件，例如引擎、车轮、转向盘、变速器等，这些组件可以被车辆控制系统111和/或ADS 110使用各种通信信号和/或命令，诸如，例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等控制。

组件110-115可以经由互连、总线、网络或其组合彼此通信地耦接。例如，组件110-115 可以经由控制器局域网(CAN)总线彼此通信地耦接。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于车辆内的多路电气布线，但是也用于许多其它环境中。

现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214、光检测和测距(lightdetectionandrange，LIDAR)单元215以及麦克风单元216。GPS系统212可包括可操作以提供关于ADV的位置的信息的收发器。IMU单元213可基于惯性加速度感测ADV的位置和方向变化。雷达单元214可以表示使用无线电信号感测ADV的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214还可以额外地感测对象的速度和 /或航向。LIDAR单元215可以使用激光感测ADV所处的环境中的对象。LIDAR单元215 可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机 211可包括一个或多个设备以捕获ADV周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。麦克风单元216可包括安装在ADV的轮胎或轮毂内或安装在ADV的底板处的一个或多个麦克风。一个或多个麦克风可以被设置为从道路收集声音信号以检测道路状况。

传感器系统115还可包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自ADV 周围的环境的声音。转向传感器可以被配置为感测转向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。

在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制马达或引擎的速度，马达或引擎的速度转而控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以以硬件、软件或其组合实现。

返回参考图1，无线通信系统112允许ADV 101和外部系统，诸如设备、传感器、另一辆车辆等之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设备无线通信，诸如经由网络102与服务器103-104无线通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户接口系统113可以是在车辆101内实现的外围设备的部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。

ADV 101的一些或所有功能可以由ADS 110控制或管理，尤其是当以自主驾驶模式操作时。ADS 110包括必要的硬件(例如，处理器、存储器、存储)和软件(例如，操作系统、规划和路由程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，ADS 110可以与车辆控制系统111集成。

例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。ADS110 获得行程相关数据。例如，ADS 110可以从MPOI服务器获得位置和路线信息，MPOI服务器可以是服务器103-104的部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替换地，这种位置和MPOI信息可本地缓存在ADS 110的永久存储设备中。

当ADV 101沿着路线移动时，ADS 110还可以从交通信息系统或服务器(trafficinformation system or server，TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与ADS 110集成。基于实时交通信息、MPOI信息和位置信息，以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，ADS 110可规划最佳路线，并例如经由控制系统111根据规划路线驾驶车辆101，以安全且高效地到达指定目的地。

服务器103可以是用以执行用于各种客户端的数据分析服务的数据分析系统。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(ADV或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同的时间点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可包括描述不同的时间点的驾驶环境的信息，诸如路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。

基于驾驶统计数据123，机器学习引擎122出于各种目的生成或训练一组规则、算法和/或预测模型124。在一个实施例中，算法124可以包括通过设置在ADV处的一个或多个麦克风接收声音信号的算法或模型、分析声音信号以提取ADV正在其上驾驶的道路的特征的算法或模型、基于提取的特征确定道路的道路状况的算法或模型，基于道路状况生成轨迹的算法或模型，以及根据生成的轨迹控制ADV以自主驾驶的算法或模型。然后可以将算法124 上传到ADV，以便在自主驾驶期间实时使用。

图3-4是示出根据一个实施例的与ADV一起使用的自主驾驶系统的示例的框图。系统 300可以被实现为图1的ADV 101的一部分，包括但不限于ADS 110、控制系统111和传感器系统115。参考图3-4，ADS 110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路由模块307和声音检测模块308。

模块301-308中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可被安装在永久存储设备352中，加载到存储器351中，并由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信地耦接到图2的车辆控制系统111的一些或全部模块或与之集成。模块301-308中的一些可以被集成在一起作为集成模块。

定位模块301确定ADV 300的当前位置(例如，利用GPS单元212)并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。定位模块301与ADV 300的其他组件交流诸如地图和路线信息311，以获得与行程有关的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线数据。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，它们可作为地图和路线数据311的部分被缓存。当ADV 300沿着路线移动时，定位模块301还可以从交通信息系统或服务器获得实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员将感知到的驾驶员正在驾驶的车辆周围的情况。感知可包括车道配置、交通灯信号、例如以对象形式的另一车辆、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让步标志)等的相对位置。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。

感知模块302可包括计算机视觉系统或计算机视觉系统的功能，用于处理和分析由一个或多个相机捕获的图像，以便识别ADV的环境中的对象和/或特征。对象可以包括交通信号、车行道边界、其他车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪对象、以及估计对象的速度等。感知模块302还可基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据检测对象。

基于由麦克风单元216提供的声音信号，由声音检测模块308确定ADV正在其上驾驶的道路的道路状况。道路状况可以包括表面类型(例如，干燥、潮湿、结冰)、路面状况(例如，沥青、岩石、沙地)、道路覆盖物(例如，雪、水)的深度等。声音检测模块308可以包括计算机音频系统或计算机音频系统的功能。声音检测模块308可基于声音检测算法或模型313或算法或模型124处理和分析由一个或多个麦克风捕获的声音信号。可使用机器学习算法或模型和/或深度学习算法或模型评估声音信号的频率和能量特征。声音检测算法或模型313可以包括机器学习算法或模型和/或深度学习算法或模型。道路状况可以基于声音信号的频率和能量特征来确定。尽管声音检测模块308被示为单独的模块，但是声音检测模块 308也可以被实现为感知模块302、预测模块303和/或决策模块304的一部分。可替代地，声音检测模块308可以是单独的模块，例如，经由应用编程接口(API)通信地耦接到模块 302-306。

对于每个对象，预测模块303预测对象将在环境下表现什么。根据一组地图/路线信息 311和交通规则312，基于感知在时间点的驾驶环境的感知数据执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示十字路口没有交通灯，则预测模块303可以预测车辆在进入十字路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯车道或仅右转弯车道，则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。

对于每个对象，决策模块304作出关于如何处理该对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)以及描述该对象的元数据(例如，速度、方向、转向角)，决策模块304决定如何遇到该对象(例如，超车、让行、停止、通过)。决策模块304可根据一组规则，诸如交通规则或驾驶规则312作出这些决策，这组规则可存储于永久存储设备 352中。

路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并且确定从起始位置到达目的地位置的所有可能的路线或路径。路由模块307可以为其确定的从起始位置到达目的地位置的每条路线生成地形图形式的参考线。参考线是指没有来自诸如其它车辆、障碍物或交通状况的其它者的任何干扰的理想路线或路径。也就是说，如果在道路上没有其它车辆、行人或障碍物，则ADV应该精确地或紧密地跟随参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以根据由其它模块提供的其它数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)选择和修改最佳路线中的一个。取决于在时间点的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。

基于对于每个感知的对象的决策，规划模块305使用由路由模块307提供的参考线作为基础规划用于ADV的路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。也就是说，对于给定对象，决策模块304决策对该对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决策经过对象，而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆300在下一个移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。

基于规划和控制数据，控制模块306根据规划和控制数据定义的路线或路径，通过向车辆控制系统111发送适当的命令或信号来控制和驱动ADV。规划和控制数据包括足够的信息以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。

在一个实施例中，规划阶段在多个规划周期(也称为驾驶周期，诸如在100毫秒(ms) 的每个时间间隔内)内执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305还可指定具体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段，诸如5秒规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。

注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305 可包括导航系统或导航系统的功能，以确定用于ADV的驾驶路径。例如，导航系统可以确定一系列速度和方向航向，以影响ADV沿着基本上避开感知的障碍物的路径的移动，同时大体使ADV沿着通向最终目的地的基于车行道的路径前进。目的地可以根据经由用户接口系统113的用户输入而被设置。当ADV在操作时，导航系统可以动态地更新驾驶路径。导航系统可以并入来自GPS系统的数据和一个或多个地图，以便确定用于ADV的驾驶路径。

图5是示出根据一个实施例的自主驾驶车辆的声音检测模块308的示例的框图。参考图 6，声音检测模块308包括但不限于分析器模块401、道路状况模块402，它们共同使用声音检测算法或模型313来检测ADV正在其上驾驶的道路的道路状况。规划模块305基于检测到的道路状况规划轨迹。控制模块306控制ADV根据规划的轨迹自主驾驶。在一个实施例中，控制模块306进一步根据检测到的道路状况控制ADV自主驾驶。

在一个实施例中，通过设置在ADV处的麦克风单元216中的一个或多个麦克风接收声音信号。基于来自一个或多个麦克风的声音信号，分析器模块401被配置为分析声音信号以提取道路特征。在一个实施例中，分析器模块401被配置为提取道路的频率特征。在一个实施例中，分析器模块401被配置为提取道路的时间特征。在一个实施例中，分析器模块401被配置为提取道路的功率谱。在一个实施例中，分析器模块401被配置为基于机器学习算法或模型或深度学习算法或模型提取道路特征。

在一个实施例中，道路状况模块402被配置为基于提取的特征确定道路状况。在一个实施例中，道路状况模块402被配置为确定道路的表面类型。在一个实施例中，道路状况模块 402被配置为确定道路的路面状况。在一个实施例中，道路状况模块402被配置为确定道路的覆盖物的深度。在一个实施例中，道路状况模块402被配置为基于提取的特征确定道路的摩擦系数。

在一个实施例中，控制模块306可以生成优化的控制命令以增加驾驶安全性。作为示例，当表面类型是湿的并且摩擦系数小于预定阈值时，控制模块306可以基于道路状况生成早期和/或温和的制动命令。作为另一示例，当表面类型是湿的并且摩擦系数小于预定阈值时，控制模块306可以基于道路状况生成缓慢和/或温和的转向命令。

图6是图示根据一个实施例的具有声音检测模块(例如，模块308)的自主驾驶车辆的示例的图700a。检测和确定道路状况对于操作AD是重要的。以前的努力主要使用光学/视觉感测来区分不同的道路状况。然而，由于光学传感器的特性，这种方法在黑暗中提供稳定和准确的检测有很大的局限性。此外，视觉解决方案无法检测某些道路状况的级别，例如覆盖道路的积雪的厚度和水的深度。本文公开的是一种具有声音检测模块(例如，模块308)的ADV，以基于声音信号，例如，ADV和道路表面之间的摩擦声音信号，感测和检测道路状况。

参考图6，一个或多个麦克风(例如，701-706)可以安装在ADV的轮胎711或轮毂712内以检测来自ADV正在其上驾驶的道路(例如，720)的声音信号。在一个实施例中，一个麦克风(例如，701)可以安装在ADV的每个轮胎(例如，711)处以检测来自ADV的每个车轮(例如，710)与道路表面(例如，720)之间的摩擦的声音信号。在一个实施例中，至少两个麦克风(例如，701-705)可以安装在ADV的每个轮胎(例如，711)处，以检测来自ADV的每个车轮(例如，710)和道路表面之间的摩擦的声音信号。通过应用平均算法或其他降噪算法，来自至少两个麦克风的声音信号可以具有降低的噪声。在一个实施例中，麦克风(例如，706)可以安装在ADV的每个车轮(例如，710)的轮毂(例如，712)处以检测来自ADV的每个车轮与道路表面之间的摩擦的声音信号。在一个实施例中，至少两个麦克风可以安装在ADV的每个车轮(例如，710)的轮毂(例如，712)处，以检测来自ADV 的每个车轮与道路表面之间的摩擦的声音信号。一个或多个麦克风(例如，701-706)可以靠近道路表面安装，但不与道路表面(例如，720)直接接触。

图7是示出根据一个实施例的具有声音检测模块的自主驾驶车辆的另一示例的图700b。参考图7，一个或多个麦克风(例如，731-735)可以安装在ADV(例如，740)的底板(例如，738)以检测来自ADV正在其上驾驶的道路的声音信号。在一个实施例中，一个麦克风(例如，731、732)可以安装在ADV(例如，740)的每一侧以检测来自ADV(例如，740) 和道路表面之间的摩擦的声音信号。在一个实施例中，至少两个麦克风(例如，731、734) 可以安装在ADV(例如，740)的每一侧以检测来自ADV和道路表面之间的摩擦的声音信号。通过应用平均算法或其他降噪算法，来自至少两个麦克风的声音信号可以具有降低的噪声。在一个实施例中，麦克风(例如，731、732)可以安装在ADV的每个角落以检测来自 ADV(例如740)和道路表面之间的摩擦的声音信号。在一个实施例中，麦克风(例如，735) 可以安装在ADV(例如，740)的底板(例如，738)的中心，以检测来自ADV和道路表面之间的摩擦的声音信号。一个或多个麦克风(例如，731-735)可以安装为靠近道路表面，但不与道路表面直接接触。

图8是示出根据一个实施例的基于声音检测来确定道路状况以用于操作ADV的示例的流程图。如上所述，安装在轮胎/轮毂内或ADV的底板处的一个或多个麦克风用于收集ADV 与ADV正在其上驾驶的道路的道路表面之间的摩擦声音信号。在块801，通过设置在ADV处的一个或多个麦克风接收或获取声音信号。例如，声音信号包括ADV与ADV正在其上驾驶的道路的道路表面之间的摩擦声音信号。

在块802，声音信号被分割成不同的帧以供进一步处理。在块803，分析声音信号以提取道路的特征。例如，声音信号可以通过带通滤波器以滤除不需要的噪声，如块804所示。带通滤波器可以具有第一预定阈值和第二预定阈值。低于第一预定阈值和高于第二预定阈值的声音信号可以被滤除。

在一个实施例中，可以基于由麦克风接收到的声音信号提取道路的频率特征，例如，通过对声音信号应用快速傅立叶变换(FFT)，如块805所示。FFT是一种计算序列的离散傅立叶变换(DFT)或其逆变换(IDFT)的算法。傅立叶分析将信号从其原始域(通常是时间或空间)转换为频域中的表示，反之亦然。道路的频率特征可以对应于特定的道路状况。在一个实施例中，可以基于由麦克风接收到的声音信号提取道路的时间特征，例如过零率、幅度、短期能量、周期性、平滑度等。

在一个实施例中，可以基于由麦克风接收到的声音信号提取道路的功率谱图，如块806 所示。谱图是信号的频率随时间变化的频谱的视觉的表示。功率谱图表示每个频带中信号随时间的功率级别。道路的功率谱图可以对应于特定道路状况。

在一个实施例中，可以基于由麦克风接收到的声音信号来提取道路的功率谱。功率谱表示每个频带中信号的功率级别。对于不同的道路状况，频率上的功率分配会不同。在一个实施例中，可以通过机器学习/深度学习算法/模型，例如神经网络，自主提取一些其他特征。

在块807处，可以基于提取的特征，例如提取的频率特征、提取的时间特征、提取的道路的功率谱图或提取的道路的功率谱，确定道路的道路状况。不同的道路状况可以对应不同的提取的特征。由于声波的频率功率分布和时域特性对于不同道路状况会有所不同，因此可以基于提取的时间特征、提取的频率特征、提取的功率谱图或提取的道路的功率谱来确定道路的道路状况。

在一个实施例中，可以基于机器学习算法或深度学习算法来确定道路状况，如块808所示。例如，可以使用分类模型来确定道路类型和路面状况，可以使用回归算法来确定道路覆盖物的深度。例如，提取的道路的频率特征和提取的功率谱图可以通过卷积神经网络(CNN) 算法进行处理。

在一个实施例中，可以基于提取的特征来确定道路的表面类型和/或路面状况，如块809 所示。例如，道路的表面类型可以包括但不限于干地、湿地、冰面、积雪路面等。例如，道路的路面状况可以包括但不限于沥青、岩石、沙子、泥土等。

在一个实施例中，可以基于提取的特征来确定道路的覆盖物的深度，如块810所示。例如，道路的覆盖物可以包括但不限于水、雪、沙等。例如，水或雪的深度可以是0.1、0.2、 0.3、0.5、0.6、0.7、0.8、0.9、1米或它们之间的任何值。

在一个实施例中，可以基于提取的特征来确定道路的摩擦系数，如块811所示。例如，可以基于表面类型、路面状况或道路的覆盖物的深度来确定道路的摩擦系数。例如，在一个实施例中，道路的摩擦系数可以使用基于规则的方法来确定。例如，在一个实施例中，道路的摩擦系数可以使用机器学习/深度学习方法(例如回归模型)来确定。

在块812处，关于道路状况的信息，例如，表面类型、路面状况、摩擦系数，可以被输入到自主驾驶单元(例如，结合图3-4描述的ADS 110)。

在一个实施例中，规划模块305可基于道路状况执行路径规划和速度规划以生成轨迹。检测到的道路状况可用于路径规划和速度规划的优化。例如，当表面类型是湿的并且摩擦系数小于预定阈值时，道路可能很滑。因此，规划模块305可以通过调整驾驶策略，例如基于道路状况改变路径或降低速度来生成轨迹，从而提高驾驶安全性。

在块814处，控制模块可控制ADV根据计划的轨迹自主驾驶以提高驾驶安全性。例如，当表面类型是湿的并且摩擦系数小于预定阈值时，道路可能很滑。因此，控制模块可以通过调整驾驶策略来生成指令，例如根据道路状况在需要停车时应用早期和温和的制动，或者生成缓慢温和的转向指令，从而提高驾驶安全性。

图9是示出根据一个实施例的用于基于声音检测来确定道路状况以操作ADV的过程 900的示例的流程图。过程900可由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程900可以由麦克风单元216、声音检测模块308、规划模块305和控制模块306 执行。通过此过程，可以基于声音信号来检测道路状况，包括表面类型、路面状况、道路的覆盖物的深度，和/或道路的摩擦系数。因此，实现了全天候检测道路状况的能力，从而提高了驾驶安全性。

参照图9，在操作901中，处理逻辑通过设置在ADV处的一个或多个麦克风接收声音信号。在一个实施例中，一个或多个麦克风设置在轮胎或轮毂内。在一个实施例中，一个或多个麦克风设置在ADV的底板处。

在操作902中，处理逻辑分析声音信号以提取ADV正在其上驾驶的道路的特征。在一个实施例中，处理逻辑分析声音信号以提取道路的频率特征。在一个实施例中，处理逻辑分析声音信号以提取道路的功率谱图。在一个实施例中，处理逻辑分析声音信号以提取道路的时域特征。在一个实施例中，处理逻辑分析声音信号以提取道路的功率谱。在一个实施例中，处理逻辑分析声音信号以自动提取道路的其他相关特征。

在操作903中，处理逻辑基于提取的特征确定道路的道路状况。提取的特征可以包括提取的频率特征、提取的时域特征、提取的道路的功率谱图或提取的道路的功率谱。提取的特征可以包括通过机器学习或深度学习算法提取的特征。

在一个实施例中，处理逻辑基于机器学习算法或深度学习算法确定道路状况。在一个实施例中，处理逻辑基于提取的特征确定道路的表面类型。在一个实施例中，处理逻辑基于提取的特征确定道路的路面状况。在一个实施例中，处理逻辑基于提取的特征确定道路的覆盖物的深度。在一个实施例中，处理逻辑基于提取的特征确定道路的摩擦系数。

在操作904中，处理逻辑执行路径规划和速度规划以基于道路状况生成轨迹。检测到的道路状况可用于路径规划和速度规划的优化。例如，当表面类型是湿的并且摩擦系数小于预定阈值时，道路可能很滑。因此，处理逻辑通过调整驾驶策略来生成轨迹以增加驾驶安全性。在一个实施例中，处理逻辑基于道路状况降低速度。在一个实施例中，处理逻辑基于道路状况改变路径。

在操作905中，处理逻辑控制ADV根据生成的轨迹自主驾驶。这样，根据检测到的道路状况来调整驾驶策略，从而提高驾驶安全性。

在一个实施例中，处理逻辑进一步根据检测到的道路状况控制ADV自主驾驶。处理逻辑可以生成优化的控制命令以提高驾驶安全性。作为示例，当表面类型是湿的并且摩擦系数小于预定阈值时，处理逻辑可以基于道路状况生成早期和/或温和的制动命令。作为另一示例，当表面类型是湿的并且摩擦系数小于预定阈值时，处理逻辑可以基于道路状况生成缓慢和/或温和的转向命令。

注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为被编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由来自应用的对应驱动器和/或操作系统访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为经由一个或多个特定指令软件组件可访问的指令集的一部分。

已经关于对计算机存储器内的数据位的操作的算法和符号表示呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自洽操作序列。这些操作是需要对物理量进行物理操纵的那些操作。

然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和过程，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。

本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质 (例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。

在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。

本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施如本文所述的本公开的实施例的教示。

在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。