作业机械环境感知方法、装置、系统及作业机械

技术领域

本发明涉及工程机械技术领域，尤其涉及一种作业机械环境感知方法、装置、系统及作业机械。

背景技术

作业机械在设施修建或抢险救灾等方面可以发挥重要的作用，在有毒有害、高温或易崩塌等危险环境中，还可以利用无人驾驶的作业机械完成自主作业，保护人民生命和财产安全。

作业机械在作业时，可以通过传感器对作业环境进行感知，从而可以规避环境中的障碍物和识别作业面等，并可以为作业机械的下一步作业提供依据。

现有技术中，可以通过安装在作业机械上的机械式激光雷达对作业环境进行感知。但是，若作业机械所处的作业环境较为复杂，则通过机械式激光雷达对作业环境进行感知时，难以准确的感知作业环境。

发明内容

本发明提供一种作业机械环境感知方法、装置、系统及作业机械，用以解决现有技术中作业机械所处的作业环境较为复杂时难以准确的感知作业环境的缺陷，实现对各类作业环境更准确的感知。

本发明提供一种作业机械环境感知方法，包括：

获取所述作业机械所在环境的图像、第一点云数据和第二点云数据；

基于所述图像和所述第一点云数据，获取所述作业机械所在环境中障碍物的信息，并基于所述第二点云数据，获取所述作业机械所在环境中作业面的信息；

其中，所述图像，是通过各图像采集设备获取的；所述第一点云数据，是通过各毫米波雷达获取的；所述第二点云数据，是通过各固态激光雷达获取的。

根据本发明提供的一种作业机械环境感知方法，所述基于所述图像和所述第一点云数据，获取所述作业机械所在环境中障碍物的信息，具体包括：

将所述图像输入识别模型，获取所述作业机械所在环境中障碍物的第一原始信息，并且基于所述第一点云数据，获取所述作业机械所在环境中障碍物的第二原始信息；

将所述第一原始信息与所述第二原始信息进行融合，获取所述作业机械所在环境中障碍物的信息；

其中，所述识别模型是基于样本图像以及所述样本图像对应的识别标签进行训练后得到的；所述样本图像为包括样本障碍物的图像；所述识别标签是根据所述样本图像预先确定的；所述障碍物的第一原始信息，包括所述障碍物的类型；所述障碍物的第二原始信息，包括所述障碍物与所述作业机械之间的距离和所述障碍物相对于所述作业机械之间的速度。

本发明还提供一种作业机械环境感知装置，包括：

数据获取模块，用于获取所述作业机械所在环境的图像、第一点云数据和第二点云数据；

环境感知模块，用于基于所述图像和所述第一点云数据，获取所述作业机械所在环境中障碍物的信息，并基于所述第二点云数据，获取所述作业机械所在环境中作业面的信息；

其中，所述图像，是通过各图像采集设备获取的；所述第一点云数据，是通过各毫米波雷达获取的；所述第二点云数据，是通过各固态激光雷达获取的。

本发明还提供一种作业机械环境感知系统，包括：多个图像采集设备、多个毫米波雷达、多个固态激光雷达和如上任一所述的作业机械环境感知装置；

各所述图像采集设备用于获取所述作业机械所在环境的图像；

各所述毫米波雷达用于获取所述作业机械所在环境的第一点云数据；

各所述固态激光雷达用于获取所述作业机械所在环境的第二点云数据；

所述作业机械环境感知装置分别与各所述图像采集设备、各所述毫米波雷达和各所述固态激光雷达电连接。

根据本发明提供的作业机械环境感知系统，各所述图像采集设备设置于所述作业机械上，呈环形分布。

根据本发明提供的作业机械环境感知系统，各所述毫米波雷达设置于所述作业机械上，呈环形分布。

根据本发明提供的作业机械环境感知系统，各所述固态激光雷达设置于所述作业机械的驾驶室的前方。

本发明还提供一种作业机械，包括：如上述任一所述的作业机械环境感知系统。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一所述作业机械环境感知方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一所述作业机械环境感知方法的步骤。

本发明提供的作业机械环境感知方法、装置、系统及作业机械，通过获取作业机械所在环境全方位的图像、第一点云数据和作业机械所在环境中的作业面的第二点云数据后，基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，基于第二点云数据，获取作业机械所在环境中作业面的信息，能在各类条件下实现对作业机械所在环境更准确的感知，能通过对作业机械所在环境的实时感知为作业机械下一步作业提供参考，对作业机械所在环境进行感知的过程更简单、高效。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的作业机械环境感知方法的流程示意图；

图2是本发明提供的作业机械环境感知装置的结构示意图；

图3是本发明提供的作业机械环境感知系统的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

需要说明的是，本发明提供的作业机械环境感知方法可以适用于传统的作业机械的环境感知，还可以适用于无人驾驶的作业机械的环境感知。

图1是本发明提供的作业机械环境感知方法的流程示意图。下面结合图1描述本发明提供的作业机械环境感知方法。如图1所示，该方法包括：步骤101、获取作业机械所在环境的图像、第一点云数据和第二点云数据。

其中，图像，是通过各图像采集设备获取的；第一点云数据，是通过各毫米波雷达获取的；第二点云数据，是通过各固态激光雷达获取的。

作业机械，可以指挖掘机、推土机、压路机、起重机械和装载机等可以进行机械作业的机械。

以下以作业机械为挖掘机为例，说明本发明实施例的作业机械环境感知方法。

具体地，利用一个或多个图像采集设备，可以获取当前时刻挖掘机所在环境全方位的图像。若当前时刻挖掘机所在环境中出现障碍物，则上述图像中可以包括上述障碍物。

需要说明的是，挖掘机所在环境中的障碍物，可以包括但不限于：车辆、行人、建筑物和树木等。

需要说明的是，上述图像采集设备在有光和/或无光的条件下，均可以获取挖掘机所在环境全方位的图像。例如：红外相机在有光和无光的条件下，均可以获取挖掘机所在环境全方位的图像。

各图像采集设备的位置在确保可以获取挖掘机所在环境全方位的图像的前提下，可以根据实际情况确定。例如：可以通过设置于挖掘机驾驶室上方的红外全景相机，获取当前时刻挖掘机所在环境的360°全景图像；还可以通过设置于挖掘机回转平台周围的多个红外相机，获取当前时刻挖掘机所在环境全方位的图像。

需要说明的是，挖掘机所在环境可以指以挖掘机为圆心，预设长度为半径的圆周范围内的环境。预设长度可以根据实际情况确定。预设长度的具体取值在本发明实施例中不作具体限定。

毫米波雷达，指工作在毫米波波段的雷达。相较于通常情况下设置于挖掘机驾驶室顶部用于感知挖掘机周围障碍物的多线激光雷达，毫米波雷达具有更强的抗干扰能力，并且在自然条件良好或自然条件恶劣(雨、雪、雾、尘埃和烟尘)等条件下均具有较好的检测能力。

通过多个毫米波雷达对挖掘机所在环境进行全方位的扫描，可以获取当前时刻挖掘机所在环境的点云数据，作为当前时刻的第一点云数据。

各毫米波雷达的位置在确保可以对挖掘机所在环境进行全方位的扫描的前提下，可以根据实际情况确定。例如：可以通过设置于挖掘机回转平台周围的多个毫米波雷达，获取当前时刻挖掘机所在环境全方位的第一点云数据。

需要说明的是，点云数据可以包括雷达扫描区域中的多个点的位置信息、颜色信息和反射强度信息等数据。

固态激光雷达与机械式激光雷达均可以工作于0.5μm至10μm，但是固态激光雷达未设置旋转部件，使得固态激光雷达可以执行更精细的操作。相较于通常情况下设置于挖掘机驾驶室的前方或机械臂上的机械式激光雷达，一方面，固态激光雷达的点云密度更小，识别效果更好；另一方面，机械式激光雷达的覆盖面积远远大于所需扫描的区域，固态激光雷达的覆盖面积虽然较小，但仍可以覆盖所需扫描的区域，因此固态激光雷达的利用率更高。

通过若干个固态激光雷达扫描挖掘机所在环境中的作业面，可以获取当前时刻挖掘机所在环境中的作业面的点云数据，作为当前时刻的第二点云数据。

步骤102、基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，并基于第二点云数据，获取作业机械所在环境中作业面的信息。

具体地，获取当前时刻挖掘机所在环境全方位的图像后，基于人工识别或机器学习等方法，可以获取当前时刻挖掘机所在环境中障碍物的信息。

需要说明的是，障碍物的信息可以包括但不限于障碍物的类型、障碍物与挖掘机之间的距离与障碍物相对于挖掘机之间的速度等。

获取当前时刻的第一点云数据后，可以基于当前时刻的第一点云数据和当前时刻之前多个历史时刻的第一点云数据，通过统计分析方法获取当前时刻挖掘机所在环境中障碍物的信息。

需要说明的是，相较于第一点云数据，基于图像可以更准确的获取障碍物的类别，而基于第一点云数据，获取的障碍物与挖掘机之间的距离和相对于挖掘机之间的速度更准确。因此，可以通过信息融合技术或数理统计等方法，根据基于图像获取的障碍物的信息和基于第一点云数据获取的障碍物的信息，确定挖掘机所在环境中障碍物的信息，从而可以实现对挖掘机所在环境中障碍物的感知。

通过本发明实施例中的作业机械环境感知方法感知到当前时刻作业机械所在环境中存在障碍物之后，则可以根据该障碍物的信息，判断是否需要停止作业机械的当前作业。

基于当前时刻的第二点云数据和当前时刻之前多个历史时刻的第二点云数据，可以建立当前时刻挖掘机所在环境中作业面的三维模型，并可以基于当前时刻作业面的三维模型，获取当前时刻作业面的高度、深度、宽度、长度和底部平整度等数据中的任意若干个，实现对当前时刻挖掘机所在环境中作业面的感知。

具体地，基于各历史时刻的第二点云数据可以创建栅格图。

若当前时刻的第二点云数据中点云的高度与栅格图中栅格高度的差值的绝对值大于预设的高度阈值，则说明当前时刻挖掘机所在环境中的作业面发生形变，可以将栅格图中栅格的高度替换为当前时刻的第二点云数据中点云的高度，获取当前时刻对应的栅格图。

若当前时刻的第二点云数据中点云的高度与栅格图中栅格高度的差值的绝对值小于或等于预设的高度阈值，则说明当前时刻挖掘机所在环境中的作业面未发生形变，可以将第二点云数据累加至栅格图之后，计算栅格中所有点云的高度的均值，作为栅格图中的栅格高度，获取当前时刻对应的栅格图。将第二点云数据累加至栅格图之后的栅格图中所有点云的高度的均值，作为栅格图中栅格高度，可以减小固态激光雷达扫描作业面的过程中产生的误差。

通过曲线拟合方法可以计算获得当前时刻作业面的轮廓。

具体地，通过最小二乘法拟合当前时刻对应的栅格图中各最外围栅格的中心点后，可以获得当前时刻作业面的轮廓。

获取当前时刻作业面的轮廓后，通过平面拟合技术可以处理当前时刻作业面中的点云数据，获取作业面的信息。

具体地，通过随机抽样一致性技术拟合当前时刻作业面中的点云数据，可以得到当前时刻作业面对应的坡面方程，进而可以根据当前时刻作业面对应的坡面方程计算坡面倾角，获取作业面的高度或深度、宽度等数据，实现对当前时刻挖掘机所在环境中作业面的感知。

通过本发明实施例中的作业机械环境感知方法确定当前时刻挖掘机所在环境中作业面的信息后，可以将当前时刻作业面的信息与作业目标进行比对，并可以根据比对结果，确定挖掘机的下一步作业内容。例如：若作业目标为构建一个长宽深各5米的深坑，通过本发明实施例中的作业机械环境感知方法感知到当前时刻挖掘机所在环境中作业面的长和宽为5米，深度为3米，则可以确定挖掘机的下一步作业内容为作业面的深部继续挖掘。

需要说明的是，每一栅格的中心点可以代表该栅格的位置。栅格图中栅格的高度可以代表挖掘机所在环境中作业面的高度。预设的高度阈值可以根据实际情况确定。预设的高度阈值的具体取值在本发明实施例中不作具体限定。

需要说明的是，本发明实施例中的作业机械环境感知方法，可以同时对作业机械所在环境中的障碍物和作业面进行感知，从而可以提高作业效率。

本发明实施例通过获取作业机械所在环境全方位的图像、第一点云数据和作业机械所在环境中的作业面的第二点云数据后，基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，基于第二点云数据，获取作业机械所在环境中作业面的信息，能在各类条件下实现对作业机械所在环境更准确的感知，能通过对作业机械所在环境的实时感知为作业机械下一步作业提供参考，对作业机械所在环境进行感知的过程更简单、高效。

基于上述各实施例的内容，基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，具体包括：将图像输入识别模型，获取作业机械所在环境中障碍物的第一原始信息，并且基于第一点云数据，获取作业机械所在环境中障碍物的第二原始信息。

其中，识别模型是基于样本图像以及样本图像对应的识别标签进行训练后得到的；样本图像为包括样本障碍物的图像；识别标签是根据样本图像预先确定的；障碍物的第一原始信息，包括障碍物的类型；障碍物的第二原始信息，包括障碍物与作业机械之间的距离和障碍物相对于作业机械之间的速度。

具体地，获取当前时刻挖掘机所在环境的全方位图像后，可以将上述图像输入训练好的识别模型，该识别模型可以识别出当前时刻挖掘机所在环境的全方位图像中是否存在障碍物。

若该识别模型识别出当前时刻挖掘机所在环境的全方位图像中存在障碍物，则该识别模块还可以进一步识别障碍物的类型。该识别模型识别得到的障碍物的类型可以作为当前时刻障碍物的第一原始信息。

需要说明的是，基于当前时刻挖掘机所在环境的全方位图像，还可以获取当前时刻该障碍物的位置。根据当前时刻该障碍物的位置可以获取该障碍物与挖掘机之间的距离，并可以根据当前时刻和当前时刻之前的若干个历史时刻该障碍物与挖掘机之间的距离，计算得到当前时刻该障碍物相对于挖掘机之间的速度。可以将获得的当前时刻该障碍物与挖掘机之间的距离和该障碍物相对于挖掘机之间的速度添加至当前时刻该障碍物的第一原始信息中。

需要说明的是，将当前时刻挖掘机所在环境的全方位图像输入训练好的识别模型之前，还需要对识别模型进行训练，得到训练好的识别模型。

具体地，获取多张在有光或无光的条件下各类样本障碍物的图像之后，针对每一样本图像，对该样本图像进行标定，并根据标定后的样本图像中样本障碍物对应的区域和该样本图像中的样本障碍物的类型，对该标定后的样本图像进行标注，获取该标定后的样本图像对应的识别标签。

基于深度学习算法可以构建识别模型，并可以将每一标定后的样本图像和该标定后的样本图像对应的识别标签输入该识别模型，对识别模型进行训练。通过多次迭代之后，可以得到训练好的识别模型。

基于当前时刻的第一点云数据，可以通过聚类算法获取该障碍物的第二原始信息。

具体地，通过滤波算法对当前时刻的第一点云数据进行数据处理，可以滤除无效数据。通过聚类算法对滤除无效数据后的当前时刻的第一点云数据进行数据处理，可以检测到当前时刻挖掘机所处环境中的障碍物，并可以计算获得该障碍物与挖掘机之间的距离和障碍物相对于挖掘机之间的速度。将该障碍物与挖掘机之间的距离和障碍物相对于挖掘机之间的速度作为该障碍物的第二原始信息。

将第一原始信息与第二原始信息进行融合，获取作业机械所在环境中障碍物的信息。

具体地，获取该障碍物的第一原始信息和第二原始信息后，可以对该障碍物的第一原始信息和第二原始信息进行标定。

标定后的该障碍物的第一原始信息和第二原始信息，可以通过融合算法进行融合，确定包括挖掘机所在环境中障碍物的类型、障碍物与挖掘机之间的距离和障碍物相对于挖掘机的速度的障碍物的信息。

本发明实施例通过融合算法将基于图像识别获取的第一原始信息和基于聚类算法获取的第二原始信息进行融合，获取作业机械所在环境中障碍物的信息，能在各类条件下更准确的感知障碍物所在环境中的障碍物。

图2是本发明提供的作业机械环境感知装置的结构示意图。下面结合图2对本发明提供的作业机械环境感知装置进行描述，下文描述的作业机械环境感知装置与上文描述的作业机械环境感知方法可相互对应参照。基于上述各实施例的内容，如图2所示，该装置包括：数据获取模块201和环境感知模块202。

数据获取模块201，用于获取作业机械所在环境的图像、第一点云数据和第二点云数据。

环境感知模块202，用于基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，并基于第二点云数据，获取作业机械所在环境中作业面的信息。

其中，图像，是通过各图像采集设备获取的；第一点云数据，是通过各毫米波雷达获取的；第二点云数据，是通过各固态激光雷达获取的。

以下以作业机械为挖掘机为例，说明本发明实施例的作业机械环境感知装置。

利用一个或多个图像采集设备，获取当前时刻挖掘机所在环境全方位的图像之后，数据获取模块201可以获取上述当前时刻挖掘机所在环境全方位的图像。

通过多个毫米波雷达对挖掘机所在环境进行全方位的扫描，获取当前时刻的第一点云数据之后，数据获取模块201还可以获取上述当前时刻的第一点云数据。

通过若干个固态激光雷达，获取当前时刻的第二点云数据之后，数据获取模块201还可以获取上述当前时刻的第二点云数据。

环境感知模块202可以基于人工识别或机器学习的方法，获取当前时刻挖掘机所在环境中障碍物的信息。环境感知模块202还可以基于当前时刻的第一点云数据和当前时刻之前多个历史时刻的第一点云数据，通过统计分析方法获取当前时刻挖掘机所在环境中障碍物的信息。环境感知模块202还可以通过信息融合技术或数理统计等方法，根据基于图像获取的障碍物的信息和基于第一点云数据获取的障碍物的信息，确定挖掘机所在环境中障碍物的信息，从而可以实现对挖掘机所在环境中障碍物的感知。环境感知模块202还可以基于当前时刻的第二点云数据和当前时刻之前多个历史时刻的第二点云数据，建立当前时刻挖掘机所在环境中作业面的三维模型，并可以基于当前时刻作业面的三维模型，获取当前时刻作业面的高度、深度、宽度、长度和底部平整度等数据中的任意若干个，实现对当前时刻挖掘机所在环境中作业面的感知。

环境感知模块202还可以包括图像识别子模块、三维建模子模块和信息融合子模块。

其中，图像识别子模块、三维建模子模块和信息融合子模块电连接。

图像识别子模块，可以用于将图像输入识别模型，获取作业机械所在环境中障碍物的第一原始信息。

三维建模子模块，可以用于基于第一点云数据，获取作业机械所在环境中障碍物的第二原始信息。

信息融合子模块，可以用于将第一原始信息与第二原始信息进行融合，获取作业机械所在环境中障碍物的信息。

本发明实施例通过获取作业机械所在环境全方位的图像、第一点云数据和第二点云数据后，基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，基于第二点云数据，获取作业机械所在环境中作业面的信息，能在各类条件下实现对作业机械所在环境更准确的感知，能通过对作业机械所在环境的实时感知为作业机械下一步作业提供参考，对作业机械所在环境进行感知的过程更简单、高效。

图3是本发明提供的作业机械环境感知系统的结构示意图。下面结合图3对本发明提供的作业机械环境感知系统进行描述。基于上述各实施例的内容，如图3所示，该系统包括：多个图像采集设备301、多个毫米波雷达302、多个固态激光雷达303和上述作业机械环境感知装置203。

以下以作业机械为挖掘机为例，说明本发明实施例的作业机械环境感知系统。

具体地，图像采集设备301在有光或者无光的条件下均可以采集图像。例如：图像采集设备301可以为红外全景相机或红外相机。

毫米波雷达302，指工作在毫米波波段的雷达。相较于通常情况下设置于挖掘机驾驶室顶部用于感知挖掘机周围障碍物的多线激光雷达，毫米波雷达302具有更强的抗干扰能力，并且在尘埃和烟尘等条件下具有较好的检测能力。

固态激光雷达303与通常情况下设置于挖掘机驾驶室的前方或机械臂上的机械式激光雷达均可以工作于0.5μm至10μm，但是固态激光雷达未设置旋转部件，使得固态激光雷达302可以执行更精细的操作。相较于机械式激光雷达，固态激光雷达302还具有以下优势：一方面，固态激光雷达302的点云密度更小，识别效果更好；另一方面，机械式激光雷达的覆盖面积远远大于所需扫描的区域，而固态激光雷达302的覆盖面积较小，但可以覆盖所需扫描的区域，因此固态激光雷达302的利用率更高。

各图像采集设备301用于获取作业机械所在环境的图像。

具体地，利用一个或多个图像采集设备301，可以获取当前时刻挖掘机所在环境全方位的图像。若当前时刻挖掘机所在环境中出现障碍物，则上述图像中可以包括上述障碍物。

各毫米波雷达302用于获取作业机械所在环境的第一点云数据。

具体地，通过各毫米波雷达302对挖掘机所在环境进行全方位的扫描，可以获取当前时刻挖掘机所在环境的点云数据，作为当前时刻的第一点云数据。

各固态激光雷达303用于获取作业机械所在环境的第二点云数据。

具体地，通过各固态激光雷达303扫描挖掘机所在环境中的作业面，可以获取当前时刻挖掘机所在环境中的作业面的点云数据，作为当前时刻的第二点云数据。

作业机械环境感知装置203分别与各图像采集设备301、各毫米波雷达302和各固态激光雷达303电连接。

具体地，作业机械环境感知装置203中的数据获取模块201分别与各图像采集设备301、各毫米波雷达302和各固态激光雷达303电连接。

各图像采集设备301获取当前时刻挖掘机所在环境全方位的图像后，数据获取模块201可以获取上述当前时刻挖掘机所在环境全方位的图像。

具体地，各图像采集设备301可以将当前时刻挖掘机所在环境全方位的图像发送至数据获取模块201，数据获取模块201可以接收各图像采集设备301发送的当前时刻挖掘机所在环境全方位的图像。数据获取模块201还可以直接读取各图像采集设备301获取的当前时刻挖掘机所在环境全方位的图像。

各毫米波雷达302获取当前时刻的第一点云数据后，数据获取模块201可以获取上述当前时刻的第一点云数据。

各固态激光雷达303获取当前时刻的第二点云数据后，数据获取模块202可以获取上述当前时刻的第二点云数据。

数据获取模块202获取当前时刻的第一点云数据和获取当前时刻的第二点云数据的方法，可以与数据获取模块202获取当前时刻挖掘机所在环境全方位的图像的方法相同，此处不再赘述。

数据获取模块202获取当前时刻挖掘机所在环境的图像、第一点云数据和第二点云数据后，作业机械环境感知装置203中的环境感知模块202可以基于当前时刻挖掘机所在环境全方位的图像和第一点云数据，获取挖掘机所在环境中障碍物的信息。环境感知模块202还可以基于当前时刻的第二点云数据，获取当前时刻挖掘机所在环境中作业面的信息，从而可以实现当前时刻对挖掘机所在环境进行感知。

本发明实施例通过各图像采集设备获取作业机械所在环境全方位的图像，通过各毫米波雷达获取作业机械所在环境全方位的第一点云数据和通过各固态激光雷达获取作业机械所在环境中的作业面的第二点云数据之后，作业机械环境感知装置基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，作业机械环境感知装置基于第二点云数据，获取作业机械所在环境中作业面的信息，能在各类条件下实现对作业机械所在环境更准确的感知，能通过对作业机械所在环境的实时感知为作业机械下一步作业提供参考，对作业机械所在环境进行感知的过程更简单、高效。

基于上述各实施例的内容，各图像采集设备301设置于作业机械上，呈环形分布。

具体地，对于包括回转平台的挖掘机等作业机械，各图像采集设备301可以围绕挖掘机设置于挖掘机的回转平台上。每一图像采集设备301可以获取挖掘机所在环境中部分区域的图像，上述各部分区域的总和覆盖全方位的挖掘机所在环境，因此，各图像采集设备301获取的图像可以构成全方位的挖掘机所在环境。

图像采集设备301的数量在确保可以获取挖掘机所在环境全方位的图像的前提下，可以根据实际情况确定，例如：图像采集设备301的数量可以为4个至8个。图像采集设备301的具体数量在本发明实施例中不作具体限定。

需要说明的是，对于不包括回转平台的作业机械，各图像采集设备301可以设置于作业机械的本体上，并呈环形分布，以使得各图像采集设备301可以获取作业机械所在环境的全方位的图像。

本发明实施例中各图像采集设备呈环形分布设置于作业机械上，能通过各图像采集设备获取作业机械所在环境全方位的图像，能避免对作业机械所在环境进行感知时遗漏障碍物。

基于上述各实施例的内容，各毫米波雷达302设置于作业机械上，呈环形分布。

具体地，对于包括回转平台的挖掘机等作业机械，各毫米波雷达301可以围绕挖掘机设置于挖掘机的回转平台上。每一毫米波雷达301可以获取挖掘机所在环境中部分区域的第一点云数据。上述各部分区域的总和覆盖全方位的挖掘机所在环境，因此，各毫米波雷达302获取的第一点云数据可以对应全方位的挖掘机所在环境。

毫米波雷达302的数量在确保可以获取挖掘机所在环境全方位的第一点云数据的前提下，可以根据实际情况确定，例如：毫米波雷达302的数量可以为4个至8个。毫米波雷达302的具体数量在本发明实施例中不作具体限定。

需要说明的是，对于不包括回转平台的作业机械来说，各毫米波雷达301可以设置于作业机械的本体上，并呈环形分布，以使得各毫米波雷达301获取的第一点云数据可以对应全方位的挖掘机所在环境。

本发明实施例中各毫米波雷达呈环形分布设置于作业机械上，能通过各毫米波雷达获取作业机械所在环境全方位的第一点云数据，能避免对作业机械所在环境进行感知时遗漏障碍物。

基于上述各实施例的内容，各固态激光雷达303设置于作业机械的驾驶室的前方。

通常情况下，固态激光雷达303的水平方向上的扫描范围可以为110°至130°，垂直方向上的扫描范围可以为40°至60°。挖掘机所在环境中的作业面始终位于驾驶室的前方，因此，各固态激光雷达303设置于挖掘机驾驶室的前方，可以获取第二点云数据。

需要说明的是，对于驾驶室与控制室相同的作业机械，上述作业机械所在环境中的作业面始终位于驾驶室或控制室的前方。对于驾驶室与控制室不同的作业机械，上述作业机械所在环境中的作业面可能位于驾驶室的前方，也可能位于控制室的前方，因此，各固态激光雷达303可以根据实际情况，设置于驾驶室的前方和/或控制室的前方。

固态激光雷达303的数量可以根据挖掘机所在环境中作业面垂直方向上的范围确定，若挖掘机所在环境中作业面垂直方向上的范围较大，则可以将多个固态激光雷达303垂直排列，设置于挖掘机的驾驶室的前方。每一固态激光雷达303可以获取挖掘机所在环境中的部分作业区域的第二点云数据。各固态激光雷达303获取的第二点云数据可以对应整个挖掘机所在环境中的作业面。固态激光雷达303的具体数量在本发明实施例中不作具体限定。

本发明实施例中各固态激光雷达设置于作业机械的驾驶室的前方，能通过各固态激光雷达获取作业机械所在环境中的作业面的第二点云数据，能更全面的对作业机械所在环境中的作业面进行感知。

基于上述各实施例的内容，作业机械，包括：如上述任一所述的作业机械环境感知系统。

具体地，作业机械设置有如上述实施例中的作业机械环境感知系统之后，可以对作业机械所在环境进行感知，获取作业机械所在环境中障碍物的信息和作业机械所在环境中的作业面的信息。作业机械通过作业机械环境感知系统进行环境感知的过程如上述实施例所述，此处不再赘述。

本发明实施例中的作业机械包括作业机械环境感知系统，通过作业机械环境感知系统中的各图像采集设备获取作业机械所在环境全方位的图像，通过各毫米波雷达获取作业机械所在环境全方位的第一点云数据和通过各固态激光雷达获取作业机械所在环境中的作业面的第二点云数据之后，通过作业机械环境感知系统中的作业机械环境感知装置基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，作业机械环境感知装置基于第二点云数据，获取作业机械所在环境中作业面的信息，能使得作业机械在各类条件下对该作业机械所在环境更准确的感知，能使得该作业机械通过对所在环境的实时感知确定下一步作业内容。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行作业机械环境感知方法，该方法包括：获取作业机械所在环境的图像、第一点云数据和第二点云数据；基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，并基于第二点云数据，获取作业机械所在环境中作业面的信息；其中，图像，是通过各图像采集设备获取的；第一点云数据，是通过各毫米波雷达获取的；第二点云数据，是通过各固态激光雷达获取的。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的作业机械环境感知方法，该方法包括：获取作业机械所在环境的图像、第一点云数据和第二点云数据；基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，并基于第二点云数据，获取作业机械所在环境中作业面的信息；其中，图像，是通过各图像采集设备获取的；第一点云数据，是通过各毫米波雷达获取的；第二点云数据，是通过各固态激光雷达获取的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的作业机械环境感知方法，该方法包括：获取作业机械所在环境的图像、第一点云数据和第二点云数据；基于图像和第一点云数据，获取作业机械所在环境中障碍物的信息，并基于第二点云数据，获取作业机械所在环境中作业面的信息；其中，图像，是通过各图像采集设备获取的；第一点云数据，是通过各毫米波雷达获取的；第二点云数据，是通过各固态激光雷达获取的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。