基于车载激光扫描与人工智能的目标识别定位系统及方法

技术领域

本发明属于城市三维数字化建设技术领域，尤其涉及基于车载激光扫描与人工智能的目标识别定位系统及方法。

背景技术

随着智慧城市的广泛推广和发展，城市三维数字化建设越来越受到重视。然而在城市三维数字化的建设过程中，如何高效率、高精度的获取城市路灯、广告牌等目标的坐标、图像、内容等数据信息是当前面临的重要问题。

然而，现在全景影像多数仅运用在数据浏览和图像视觉方面，不能得到三维空间坐标。同时由于三维激光点云数据不能得到周围物体的色彩信息，因此在移动测量系统中，单一传感器获取的数据不能完成三维重建，不同的传感器设备只能获取扫描目标的部分信息，不能实现目标检测的同时获取其坐标。另外，通过激光雷达和全景相机等传感器将数据采集回来后，还需要人工进行内业整理，识别城市部件并标注坐标，效率依然不够高。

随着智慧城市的广泛推广和发展，城市三维数字化建设越来越受到重视，需要普查大量的城市信息，如灯杆、井盖、广告牌、店铺等城市部件，具有广阔的市场需求和前景。然而目前主要通过人工普查、标注、统计的形式，成本高、效率低，严重阻碍了智慧城市的发展进度。以点云数据与全景影像融合为基础的目标检测、定位算法，是实现高效普查、三维数字化建设的关键技术之一，对该领域的研究，不但有深刻的理论价值，更有广阔的应用前景，能够推动城市数字孪生、智慧城市建设快速发展。

对此，提成基于车载激光扫描与人工智能的目标识别定位系统及方法，解决或改善城市部件信息低效率，低精度的问题。

发明内容

为了解决或者改善城市部件信息低效率，低精度的问题，本发明提供了基于车载激光扫描与人工智能的目标识别定位系统及方法，具体技术方案如下：

本发明提供基于车载激光扫描与人工智能的目标识别定位系统，包括：

目标检测系统，目标检测系统用于检测目标，进行图像的特征提取，主要是对图像中的目标进行分类和定位。

数据采集系统，数据采集系统主要是通过将车载移动测量系统设备安装在汽车等载体上，按照预先规划的路线，采集道路及道路两侧物体的点云数据和全景影像。

数据处理系统，数据处理系统主要包括数据解压、轨迹解算、坐标转换、点云影像处理、点云纠正、点云去噪、点云裁切等流程。

质量检查系统，质量检查系统主要是对数据处理的结果进行质量检查。

优选的，目标检测主要采用GAN算法，GAN 是一种生成学习算法，可以使用少量样本有效地挖掘数据集的内在分布。

优选的，GAN是通过训练两个神经来实现生成模型，其中两个模型分别是生成器模型和判别器模型。判别器使用真实数据和假数据一起来进行训练来更新权值，而生成器只能使用完整模型（冻结的判别器，输入假的数据，但标记为真）通过判别器的误差来反馈到前面实现权值更新。

优选的，为了提升对畸变广告牌文字的识别效果，将对常规的文字识别算法进行优化，优化思路是先检测单个字符及字符间的连接关系，然后根据字符间的连接关系确定最终的文本行，即将一个character视为一个检测目标对象，而不是一个word（所有的word都由character构成）。

优选的，数据处理主要是采用高斯热度图来生成region score和affinityscore，能很好地处理没有严格包围的边界区域。

优选的，特征 region score标签生成采用近似估计的方法来生成标签，具体步骤如下：

（1），准备一个二维的高斯图；

（2），计算高斯图区域和每个文字框的透视变换；

（3），将高斯图变换到文字框区域。

本发明还提出基于车载激光扫描与人工智能的目标识别定位方法，包括以下步骤：

步骤一，使用全景图像数据集对算法模型进行训练；

步骤二，进行系统检校，为保证数据采集精度，在开始采集作业前应对系统进行检校；

步骤三，进行数据采集，得到道路及道路两侧物体的点云数据和全景影像；

步骤四，对步骤三采集的数据进行数据处理，将AI与车载激光雷达点云和全景影像融合，实现城市部件的自动、高效识别与定位；

步骤五，对步骤四做出的数据处理结果进行成果质量检查；

步骤六，通过步骤五的成果质量检查得到各类广告和文字的识别与定位。

优选的，数据采集分为基站架设和外业采集两个过程。

优选的，基站架设是根据测区范围，在测区中心位置架设基站进行静态观测，基站需满足以下要求：

（1）、要求基站上空尽可能开阔，在10°-15°高度角以上不能有成片的障碍物；

（2）、在测站周围约200m范围内不能有强电磁波干扰源，如大功率无线电发射设施、高压输电线；

（3）、基站应远离对电磁波信号反射强烈的地形、地物，如高层建筑、成片水域；

（4）、每次扫描前，GNSS 基站应提前0.5h开机，使得基站接收的GNSS 信号稳定

优选的，成果质量检查主要包含三个方面：点云质量检查、影像质量检查和成果精度检查，点云质量检查主要检查点云采集的完整性；点云密度是否超限；点云粗差率是否超限；点云是否分层错位；点云坐标系。影像质量检查主要检查全景相机、侧面相机和地面相机数据是否完整；影像质量是否达到要求；影像外方位元素是否输出完整；通过影像赋色得到的点云是否存在明显的影像接缝等。成果精度检查主要检查点云的平面精度和高程精度是否超限。

本发明的有益效果为：

本发明实现以车载激光扫描、人工智能融合为基础的目标识别定位关键技术，高效率、高精度的提取城市部件信息，提高对城市场景各类目标的检测感知能力，大幅提高城市相关普查工作效率，推动城市数字孪生、智慧城市建设工作的快速发展。

附图说明

图1是基于车载激光扫描与人工智能的目标识别定位系统的功能模块图；

图2是基于车载激光扫描与人工智能的目标识别定位方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

为了解决城市部件信息低效率，低精度的问题，提出如图1和图2所示的基于车载激光扫描与人工智能的目标识别定位系统及方法，基于车载激光扫描与人工智能的目标识别定位系统，包括：

目标检测系统，目标检测系统用于检测目标，进行图像的特征提取，主要是对图像中的目标进行分类和定位。

数据采集系统，数据采集系统主要是通过将车载移动测量系统设备安装在汽车等载体上，按照预先规划的路线，采集道路及道路两侧物体的点云数据和全景影像。

数据处理系统，数据处理系统主要包括数据解压、轨迹解算、坐标转换、点云影像处理、点云纠正、点云去噪、点云裁切等流程。

作为本发明的具体实施方式，目标检测主要采用GAN算法，GAN 是一种生成学习算法，可以使用少量样本有效地挖掘数据集的内在分布，GAN判别器的判别能力使得构建目标检测模型成为可能。因为 DNN 能够逼近任意非线性函数，所以它可以用于构建 GAN 中的生成器和判别器。生成器的 DNN 能够建立从随机噪声到生成样本的非线性映射，判别器中的DNN可以确定输入样本是否来自真实数据分布。由于GAN的训练过程不需要大量的标记数据，这些网络可以应用于训练数据不足的目标检测任务。

GAN是通过训练两个神经来实现生成模型，其中两个模型分别是生成器模型和判别器模型。在训练过程中，判别器将尽可能提高识别真数据和假数据的能力，而生成器将尽可能生成真的数据；判别器使用真实数据和假数据一起来进行训练来更新权值，而生成器只能使用完整模型（冻结的判别器，输入假的数据，但标记为真）通过判别器的误差来反馈到前面实现权值更新。直至最终的实现，判别器的损失数值很小，生成器可以生成非常好的样本，此时传递真标签的假数据，判别器已经不能分辨，就证明完成GAN的训练

作为本发明的具体实施方式，为了提升对畸变广告牌文字的识别效果，将对常规的文字识别算法进行优化，优化思路是先检测单个字符及字符间的连接关系，然后根据字符间的连接关系确定最终的文本行，即将一个character视为一个检测目标对象，而不是一个文字（所有的文字都由character构成）。

全景图像中，广告牌本身机器文字会发生变形畸变，而且广告牌的设计繁多，很多广告牌的文字不是整齐排列，可能是弧形、倾斜、曲线排列等。为了提升对畸变广告牌文字的识别效果，必须对常规的文字识别算法进行优化，优化思路是先检测单个字符及字符间的连接关系，然后根据字符间的连接关系确定最终的文本行。即将一个character视为一个检测目标对象，而不是一个word（所有的word都由character构成），不把文本框当做目标，先检测较小的bbox，再利用bbox之间的关系进行concat。这样的好处是只需要关注字符级别的内容而不需要关注整个文本实例，从而使用小感受野也能预测长文本。特征提取主干网络部分计划采用的是VGG-16 ；特征decode模块与U-Net相似，采用自顶向下的特征聚合方式；网络最终输出两个通道特征图，即region score map和affinity score map。

为降低成本，减少训练集标注数量，可以采用一些公开数据集。由于公开数据集大部分都是文本框级别的标注，而非字符级别的标注， 可以采用一种弱监督学习思路，先利用合成样本进行预训练，再将预训练模型对真实数据集进行检测，得到预测结果，经过处理后得到高斯热度图作为真实数据集的字符级标签。

作为本发明的具体实施方式，数据处理主要是采用高斯热度图来生成regionscore和affinity score，能很好地处理没有严格包围的边界区域，特征 region score标签生成采用近似估计的方法来生成标签，具体步骤如下：

（1），准备一个二维的高斯图；

（2），计算高斯图区域和每个文字框的透视变换；

（3），将高斯图变换到文字框区域。

而对于character affinity score标签生成，先画出每个字符框的对角线；再取每个文本对角线的上下两个三角形的中心点，将紧挨着的两个文本框中的中心点相连，得到affinity score（即附图中的红色框）。这样的标签生成可以使模型在较小感受野的情况下，也可以有效地检测很大很长的文本实例。同时使得模型只关注单个字符与字符间的联系，不需要关注整个文本行。

本发明还提出基于车载激光扫描与人工智能的目标识别定位方法，包括以下步骤：

步骤一，使用全景图像数据集对算法模型进行训练；

步骤二，进行系统检校，为保证数据采集精度，在开始采集作业前应对系统进行检校；

步骤三，进行数据采集，得到道路及道路两侧物体的点云数据和全景影像；

步骤四，对步骤三采集的数据进行数据处理，将AI与车载激光雷达点云和全景影像融合，实现城市部件的自动、高效识别与定位；

步骤五，对步骤四做出的数据处理结果进行成果质量检查；

步骤六，通过步骤五的成果质量检查得到各类广告和文字的识别与定位。

步骤一中，全景图像目标检测算法在对输入图像进行目标检测工作前，需要使用全景图像数据集对算法模型进行训练，通过训练可以使算法对全景图像中的广告牌等城市部件表现敏感，有利于检测的准确性。在对算法完成训练任务后，算法的性能达到检测要求，这时便可以使用该算法模型对输入的全景图像实现目标检测。本课题算法的整体架构分为训练阶段和预测阶段两部分组成，如附图 。

步骤二中，为保证数据采集精度，在开始采集作业前应对系统进行检校，系统检校流程如下：

1、在项目现场附近找一个十字路口，其周边必须有众多建筑物且墙面为平面，检校场需有良好的GNSS 卫星信号覆盖，在距离检校场小于5 km 的开阔地带布设一台GNSS基站。

2、沿着检校场十字路口的两条道路进行往返扫描，为保证数据质量，汽车在行进过程中尽量保持匀速行驶，速度控制在20～30 km/h。

3、基于地面GNSS 基站数据，利用专业软件对检校场数据进行解算，计算得到系统标定参数，系统标定参数主要包括惯导相位中心、扫描仪相位中心、GNSS 接收机、里程计(DMI) 中心等之间的相对位置关系。

步骤三中，数据采集主要是通过将车载移动测量系统设备安装在汽车等载体上，按照预先规划的路线，采集道路及道路两侧物体的点云数据和全景影像。数据采集分为基站架设和外业采集两个过程。

基站架设是根据测区范围，在测区中心位置架设基站进行静态观测，测区需在基站覆盖范围内且基站距离测区边缘不宜超过5km，测区内有CORS站点覆盖的无需另架基站。基站数据主要作为数据解算的基础。基站需满足以下要求：

（1）为保证对卫星的连续观测和卫星信号的质量，要求基站上空尽可能开阔，在10°-15°高度角以上不能有成片的障碍物。

（2）为减少各种电磁波对GPS卫星信号的干扰，在测站周围约200m范围内不能有强电磁波干扰源，如大功率无线电发射设施、高压输电线等。

（3）为减少多路径效应的发生，基站应远离对电磁波信号反射强烈的地形、地物，如高层建筑、成片水域等。

（4）每次扫描前，GNSS 基站应提前0.5h开机，使得基站接收的GNSS 信号稳定。

外业采集是在正式采集前需对仪器进行初始化自检校，主要包括GNSS静态初始化和IMU动态初始化。初始化结束后可正式开始采集，汽车在行进过程中尽量保持匀速行驶，车速一般控制在30-80km/h。扫描过程中应时刻关注电池电量和系统存储空间，合理规划任务。采集完成后需进行结束自检校，将车辆行驶至空旷位置，GNSS静态观测5分钟，无需再做动态初始化。扫描结束后需及时对数据进行拷贝和检查，保证数据完整。

作为本发明的具体实施方式，成果质量检查主要包含三个方面：点云质量检查、影像质量检查和成果精度检查，点云质量检查主要检查点云采集的完整性；点云密度是否超限；点云粗差率是否超限；点云是否分层错位；点云坐标系。影像质量检查主要检查全景相机、侧面相机和地面相机数据是否完整；影像质量是否达到要求；影像外方位元素是否输出完整；通过影像赋色得到的点云是否存在明显的影像接缝等。成果精度检查主要检查点云的平面精度和高程精度是否超限。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可结合为一个单元，一个单元可拆分为多个单元，或一些特征可以忽略等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。