掌桥专利:专业的专利平台
掌桥专利
首页

一种仿真模型的训练方法、点云数据的生成方法及装置

文献发布时间:2023-06-19 09:40:06


一种仿真模型的训练方法、点云数据的生成方法及装置

技术领域

本申请涉及机器学习技术领域,尤其涉及一种仿真模型的训练方法、点云数据的生成方法及装置。

背景技术

准确的环境感知和精确的定位是自动驾驶车辆在复杂环境中能够进行可靠导航,信息决策以及安全驾驶的关键。这两项任务需要获取和处理真实环境中准确且丰富的数据,为了获取此类数据,可通过激光雷达仿真模型生成用于模拟交通场景的点云数据。

在自动驾驶仿真系统中为了实现确保并提升点云数据的质量,目前,可采用数据筛选的方案。具体地,可基于点云中物体分布的统计性质以及物体检测正确率剔除异常值,由此得到用于训练的点云数据,再利用这些点云数据建立激光雷达仿真模型。

仿真数据的精确度主要取决于激光雷达仿真模型模拟得到的点云数据的精确度,然而,基于数据筛选方案得到的点云数据仍然具有较大的局限性,难以适应复杂的真实环境,导致激光雷达仿真模型的精度较低,因此,通过激光雷达仿真模型输出的点云数据与真实环境下的点云数据可能存在较大偏差。

发明内容

本申请实施例提供了一种仿真模型的训练方法、点云数据的生成方法及装置,激光雷达仿真模型可从更多层面上学习到复杂的真实环境对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

有鉴于此,本申请一方面提供一种仿真模型的训练方法,包括:

获取待训练对象的真实点云数据以及关联训练数据,其中,关联训练数据与真实点云数据具有对应关系,关联训练数据包括场景数据、环境数据以及属性数据中的至少一种;

基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据;

基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果;

根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。

本申请另一方面提供一种点云数据的生成方法,包括:

获取目标对象所对应的关联测试数据,其中,关联测试数据包括场景数据、环境数据以及属性数据中的至少一种;

基于目标对象所对应的关联测试数据,通过激光雷达仿真模型生成目标对象所对应的仿真点云数据,其中,激光雷达仿真模型为采用上述方面训练方法得到的。

本申请另一方面提供一种仿真模型训练装置,包括:

获取模块,用于获取待训练对象的真实点云数据以及关联训练数据,其中,关联训练数据与真实点云数据具有对应关系,关联训练数据包括场景数据、环境数据以及属性数据中的至少一种;

获取模块,还用于基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据;

确定模块,用于基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果;

训练模块,用于根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,待训练对象的关联训练数据包括场景数据;

获取模块,具体用于通过人机界面接收针对于待训练对象的运动数据;

基于运动数据,控制待训练对象在测试场景内进行运动;

基于待训练对象在测试场景内的运动情况,通过激光雷达设备获取真实点云数据;

基于待训练对象在测试场景内的运动情况,通过数据采集设备获取场景数据。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,场景数据包括距离、速度以及夹角中的至少一种;

获取模块,具体用于若场景数据包括距离,则基于待训练对象在测试场景内的运动情况,通过测距装置获取待训练对象与激光雷达设备之间的距离;

若场景数据包括速度,则基于待训练对象在测试场景内的运动情况,通过测速装置获取待训练对象相对于激光雷达设备的速度;

若场景数据包括夹角,则基于待训练对象在测试场景内的运动情况,通过测角装置获取待训练对象相对于激光雷达设备的夹角。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,待训练对象的关联训练数据包括环境数据;

获取模块,具体用于通过激光雷达设备获取真实点云数据;

通过人机界面接收环境数据。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,环境数据包括气象信息、温度、湿度、风向、风力以及紫外线指数中的至少一项;

获取模块,具体用于若环境数据包括气象信息,则通过人机界面接收气象选择指令,其中,气象选择指令携带气象信息的标识;

若环境数据包括温度,则通过人机界面接收针对于温度的第一参数;

若环境数据包括湿度,则通过人机界面接收针对于湿度的第二参数;

若环境数据包括风向,则通过人机界面接收风向选择指令,其中,风向选择指令携带风向的标识;

若环境数据包括风力,则通过人机界面接收针对于风力的第三参数;

若环境数据包括紫外线指数,则通过人机界面接收强度选择指令,其中,强度指令携带紫外线指数的标识。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,环境数据包括路面类型;

获取模块,具体用于通过人机界面接收类型选择指令,其中,类型选择指令携带路面类型的标识。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,待训练对象的关联训练数据包括属性数据,属性数据包括对象类型、对象尺寸以及反应级别中的至少一种;

获取模块,具体用于通过激光雷达设备获取真实点云数据;

通过数据输入界面获取针对于待训练对象的属性数据。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,

获取模块,具体用于获取待训练对象所对应的待匹配真实点云数据,其中,待匹配真实点云数据包括M个第一待匹配数据,每个第一待匹配数据对应于一个时间戳,M为大于或等于1的整数;

获取待匹配关联训练数据,其中,待匹配关联训练数据包括M个第二待匹配数据,每个第二待匹配数据对应于一个时间戳;

根据每个第一待匹配数据所对应的时间戳以及每个第二待匹配数据所对应的时间戳,对待匹配真实点云数据以及待匹配关联训练数据进行匹配,得到经过匹配的真实点云数据以及关联训练数据。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,

确定模块,具体用于基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器获取真实点云数据与仿真点云数据之间的相似度;

训练模块,具体用于若相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。

在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,

确定模块,具体用于根据待训练对象的真实点云数据,获取K个第一关键点的位置信息,其中,K为大于或等于1的整数;

根据待训练对象的仿真点云数据,获取K个第二关键点的位置信息,其中,第二关键点与第一关键点具有映射关系;

针对于K对关键点的位置信息,通过判别器确定真实点云数据与仿真点云数据之间的相似度,其中,每对关键点包括具有映射关系的第一关键点以及第二关键点;

训练模块,具体用于若相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。

本申请另一方面提供一种点云数据生成装置,包括:

获取模块,用于获取目标对象所对应的关联测试数据,其中,关联测试数据包括场景数据、环境数据以及属性数据中的至少一种;

生成模块,用于基于目标对象所对应的关联测试数据,通过激光雷达仿真模型生成目标对象所对应的仿真点云数据,其中,激光雷达仿真模型为采用上述方面训练方法得到的。

本申请另一方面提供一种计算机设备,包括:存储器、处理器以及总线系统;

其中,存储器用于存储程序;

处理器用于执行存储器中的程序,处理器用于根据程序代码中的指令执行上述各方面所提供的方法;

总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。

本申请的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。

本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方面所提供的方法。

从以上技术方案可以看出,本申请实施例具有以下优点:

本申请实施例中,提供了一种仿真模型的训练方法,首先获取待训练对象的真实点云数据以及关联训练数据,然后基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据,再基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果,最后根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。通过上述方式,在训练激光雷达仿真模型的过程中,还引入了场景数据、环境数据以及属性数据中的至少一种作为训练参数,因此,激光雷达仿真模型可从更多层面上学习到复杂的真实环境对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

附图说明

图1为本申请实施例中点云数据仿真系统的一个环境示意图;

图2为本申请实施例中自动驾驶仿真系统的一个架构示意图;

图3为本申请实施例中仿真模型训练方法的一个实施例示意图;

图4为本申请实施例中激光雷达仿真模型的一个训练框架示意图;

图5为本申请实施例中通过人机界面输入运动数据的一个示意图;

图6为本申请实施例中测试场景的一个示意图;

图7为本申请实施例中通过人机界面输入环境数据的一个示意图;

图8为本申请实施例中通过人机界面输入环境数据的另一个示意图;

图9为本申请实施例中通过人机界面输入属性数据的一个示意图;

图10为本申请实施例中对齐真实点云数据以及关联训练数据的一个示意图;

图11为本申请实施例中基于相似度算法实现激光雷达仿真模型训练的一个示意图;

图12为本申请实施例中点云数据生成方法的一个实施例示意图;

图13为本申请实施例中点云数据生成方法的一个流程示意图;

图14为本申请实施例中仿真模型训练装置的一个实施例示意图;

图15为本申请实施例中点云数据生成装置的一个实施例示意图;

图16为本申请实施例中服务器的一个结构示意图;

图17为本申请实施例中终端设备的一个结构示意图。

具体实施方式

本申请实施例提供了一种仿真模型的训练方法、点云数据的生成方法及装置,激光雷达仿真模型可从更多层面上学习到复杂的真实环境对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

点云数据是时下流行的空间实景三维信息的一种表现形式,具有大量成熟的应用实例,随着点云数据采集装备的不断进步,数据的精细程度也在不断提升。点云数据是由多个点构成的,利用三维重建(例如,泊松重建、表面重建、人体重建、建筑物重建以及实时重建)技术可构建出三维模型(例如,车辆、行人、建筑以及障碍物等),通过点云数据构建的三维模型可用于多种领域,例如,测绘领域,自动驾驶领域,农业领域,规划设计领域,考古领域以及医疗领域等。本申请将以应用于自动驾驶领域为例进行介绍,然而这不应理解为对本申请的限定。其中,自动驾驶领域涉及自动驾驶技术,自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自定驾驶技术有着广泛的应用前景,

应理解,采用本申请提供的仿真模型训练方法训练得到激光雷达仿真模型,通过激光雷达仿真模型生成仿真点云数据,由此,可直接使用仿真点云数据为自动驾驶平台提供大量用于训练或测试的数据。

为了生成更准确的仿真点云数据,本申请提供了一种点云数据仿真系统,请参阅图1,图1为本申请实施例中点云数据仿真系统的一个环境示意图,如图所示,点云数据仿真系统包括服务器和终端设备,人机界面(human machine interface,HMI)部署于终端设备上。本申请涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑、智能电视、智能手表等,但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。服务器和终端设备的数量也不做限制。

具体地,用户可以通过人机界面输入关联训练数据,然后基于关联训练数据控制待训练对象运动,并且控制环境作出相应反馈,由部署在测试场景中的激光雷达设备捕捉待训练对象的真实点云数据,并上传至服务器,由服务器根据关联训练数据、真实点云数据以及仿真点云数据,对激光雷达仿真模型进行训练。模型训练的过程涉及到基于人工智能(Artificial Intelligence,AI)领域的机器学习(Machine Learning,ML)技术。

AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,AI是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。AI也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。AI技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。AI基础技术一般包括如传感器、专用AI芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。AI软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及ML/深度学习等几大方向。

随着AI技术研究和进步,AI技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,AI技术将在更多的领域得到应用,并发挥越来越重要的价值。

而ML是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。ML是AI的核心,是使计算机具有智能的根本途径,其应用遍及AI的各个领域。ML和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

基于上述介绍可知,点云数据仿真系统的一个重要功能是,通过模拟真实环境和构建车辆模型,找出自动驾驶过程中可能存在的问题。在自动驾驶车辆中,车辆自动驾驶系统起着重要的安全性作用,车辆自动驾驶系统的中央控制器可以通过对各种信息的计算与分析,判断驾驶过程中的潜在危险以及应对各种突发情况,从而自动操纵车辆行驶,并且在危险发生之前提醒车上人员可能的潜在危险以及在危险发生时帮助驾驶员施加转向或制动。基于此,为了便于理解,请参阅图2,图2为本申请实施例中自动驾驶仿真系统的一个架构示意图,如图所示,下面将结合每个部分进行具体介绍。

一、场景模拟器;

对于场景模拟器而言,主要功能是构建不同的测试场景,测试场景内主要包括模拟对象行为、天气行为以及红绿灯行为。模拟对象行为包括车辆行为、行人行为和障碍物行为。天气行为包括气象、时间以及光照变化。红绿灯行为包括有保护的红绿灯、无保护的红绿灯以及无红绿灯,其中,有保护的红绿灯是较为普遍的,即有箭头的红绿灯,根据对应车道的红绿灯直行或者拐弯。无保护的红绿灯即圆形的红绿灯,对面可以直线的同时可以拐弯,需要注意对面直行的车辆,选择让车之后再拐弯。无红绿灯常见于郊区路口,需要判断有没有车辆经过而让行或者停止,然后再通过路口。

二、场景生成器;

为了能够根据不同的要求创建不同的场景,可动态添加地图,车和行为。场景生成器是一个框架,支持通过不同的配置,动态创建不同的场景来满要求。

三、应用程序接口(Application Programming Interface,API);

可以通过python API的方式来控制仿真器的行为,无需图形界面手工操作,可以实现自动化部署。API用于根据仿真器的功能实现统一的接口,实现交互。

四、容器部署;

为了提高测试效率,可以通过容器化的方式进行部署。即创建一个管理平台来实现对仿真器的管理。容器部署平台可以监控对应仿真器的状态,并且提供可视化的配置界面,生成和部署不同的场景。具体地,可监控仿真器的监控状态,显示正常和有问题的集群,保存日志,维护集群的稳定。通过可视化便于选择不同的配置(不同的地图、车和行为)来生成不同的场景,其次是通过可视化反馈仿真结果,屏蔽仿真集群的细节,使用起来更加直观方便。

五、仿真器;

仿真器通常具有复位、快照、回放和统计的功能。其中,复位是指在故障发生之后,能够复位环境和车辆到初始状态,同时也要求复位对应的自动驾驶系统。这样在每次故障后,无需人工操作就能自动恢复测试。快照能够生成对应帧的信息,保存快照的好处是能够恢复事故现场,同时也可以用于自动驾驶数据集的建设。保存的真实点云数据作为ML的输入来训练模型。回放功能主要是用于故障定位,在发生碰撞之后,回放信息用于定位问题。统计主要是用于衡量系统的稳定性。

结合上述介绍,本申请实施例提供的方案涉及AI的ML技术以及自动驾驶技术等,下面将对本申请中仿真模型的训练方法进行介绍,请参阅图3,本申请实施例中仿真模型训练方法的一个实施例包括:

101、获取待训练对象的真实点云数据以及关联训练数据,其中,关联训练数据与真实点云数据具有对应关系,关联训练数据包括场景数据、环境数据以及属性数据中的至少一种;

本实施例中,仿真模型训练装置首先需要确定待训练对象,然后获取该待训练对象所对应的真实点云数据以及关联训练数据。

其中,待训练对象包含但不仅限于车辆、模拟的行人以及障碍物。

关联训练数据包含但不仅限于场景数据、环境数据以及属性数据,场景数据表示待训练对象与激光雷达(Light Detection and Ranging,LiDAR)设备之间的相对关系,环境数据表示测试场景内的环境条件,属性数据表示与待训练对象相关的属性。

真实点云数据是指LiDAR设备产生的在一个三维坐标系统中的一组向量的集合,这些向量通常以X、Y、和Z三维坐标的形式表示,此外,还可以包括颜色、分类值、反射强度值以及时间等,此处不作穷举。

具体地,真实点云数据文件形式可以是3D坐标文件,因此,可以被仿真模型训练装置读取,示例性地,以一个灰度的真实点云数据为例,其在3D坐标文件的形式可以是“X1,Y1,Z1,灰度值1”。示例性地,以一个彩色的真实点云数据为例,其在3D坐标文件的形式可以是“X1,Y1,Z1,r1,g1,b1”。

需要说明的是,仿真模型训练装置可部署于服务器,也可以部署于终端设备,还可以部署于由服务器和终端设备构成的系统,本申请不做限定。

102、基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据;

本实施例中,仿真模型训练装置将待训练对象的关联训练数据输入至待训练激光雷达仿真模型,由待训练激光雷达仿真模型输出待训练对象所对应的仿真点云数据。在训练的过程中,可将关联训练数据转换为特征向量的形式。

103、基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果;

本实施例中,仿真模型训练装置将待训练对象的真实点云数据以及仿真点云数据作为判别器的输入,由判别器输出判别结果。

具体地,可采用生成式对抗网络(Generative Adversarial Networks,GAN)对待训练激光雷达仿真模型进行训练,GAN是一种深度学习模型,通过生成器(generator)和判别器(discriminator)的互相博弈学习产生更好的输出。其中,本申请中的待训练激光雷达仿真模型属于待训练的生成器,训练完成后的激光雷达仿真模型即为生成器。生成器用于学习真实点云数据的特征,从而让自身生成的仿真点云数据更加真实,以“骗过”判别器,而判别器需要对接收到的仿真点云数据进行真假判别。

104、根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。

本实施例中,仿真模型训练装置根据判别结果对生成器进行训练,即对待训练激光雷达仿真模型进行训练,在整个过程中,待训练激光雷达仿真模型尽量地让生成的仿真点云数据更加真实,而判别器则努力地去识别出仿真点云数据的真假,这个过程相当于博弈,随着时间的推移,待训练激光雷达仿真模型和判别器在不断地进行对抗,最终两个网络达到了一个动态均衡。待训练激光雷达仿真模型生成的仿真点云数据接近于真实点云数据,而判别器识别不出是真实点云数据还是仿真点云数据。

为了便于理解,请参阅图4,图4为本申请实施例中激光雷达仿真模型的一个训练框架示意图,如图所示,将关联训练数据输入至生成器(即待训练激光雷达仿真模型),由生成器输出待训练对象的仿真点云数据。而LiDAR设备可探测到待训练对象的真实点云数据,于是,由判别器对仿真点云数据和真实点云数据进行比对,得到判别结果,基于判别结果更新生成器(即待训练激光雷达仿真模型)的模型参数。

可以理解的是,模型训练条件可以包括三种情况,第一种情况为,如果判别结果为预测概率值为0.5,那么表示判别器无法判定仿真点云数据是真是假,此时满足模型训练条件。反之,如果判别器能够判定仿真点云数据的真假性,则不满足模型训练条件。第二种情况为,如果判别结果为仿真点云数据与真实点云数据之间的相似度,如果相似度大于或等于相似度阈值,则满足模型训练条件。反之,如果相似度小于相似度阈值,则不满足模型训练条件。第三种情况为,预先设置一个迭代阈值,如果迭代次数达到迭代阈值,则满足模型训练条件。反之,如果迭代次数未达到迭代阈值,则不满足模型训练条件。

本申请实施例中,提供了一种仿真模型的训练方法,首先获取待训练对象的真实点云数据以及关联训练数据,然后基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据,再基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果,最后根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。通过上述方式,在训练激光雷达仿真模型的过程中,还引入了场景数据、环境数据以及属性数据中的至少一种作为训练参数,因此,激光雷达仿真模型可从更多层面上学习到复杂的真实环境对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,待训练对象的关联训练数据包括场景数据;

获取待训练对象的真实点云数据以及关联训练数据,具体包括如下步骤:

通过人机界面接收针对于待训练对象的运动数据;

基于运动数据,控制待训练对象在测试场景内进行运动;

基于待训练对象在测试场景内的运动情况,通过激光雷达设备获取真实点云数据;

基于待训练对象在测试场景内的运动情况,通过数据采集设备获取场景数据。

本实施例中,介绍了一种自定义待训练对象运动状态的方式。如果仿真模型训练装置部署于服务器,则接收终端设备通过HMI接收到的运动数据,如果仿真模型训练装置部署于终端设备,则直接通过HMI接收到的运动数据,此处不做限定。

为了便于理解,请参阅图5,图5为本申请实施例中通过人机界面输入运动数据的一个示意图,如图所示,在提供的HMI中显示有测试日期的输入区域,测试人员的输入区域以及对象标识的输入区域,例如,在测试日期的输入区域内输入“2020年11月6日”。在测试人员的输入区域内输入测试人员的编号,可选地,也可以选择不填写测试人员的标号。在对象标识的输入区域内输入待训练对象的标识,每个标识对应于唯一的对象,例如,小轿车A的标识为C0006。在运动数据的输入区域内可以选择运动类型,输入待训练对象的速度、加速度以及运动时间等。输入完成后,点击“确认”按钮,即完成运动数据的配置。

需要说明的是,图5所示的运动数据主要是针对于车辆设定的,如果需要配置行人(即模拟的假人)的运动数据,还可以设定与行人相关的运动类型,例如,走路、奔跑以及跳跃等,此处不做限定。

具体地,在设置完待训练对象的运动数据之后,待训练对象根据设定好的运动数据在测试场景内开始运动,基于此,LiDAR设备可通过发射激光束探测待训练对象的位置、速度等特征量,由此得到真实点云数据。LiDAR设备的工作原理是向目标发射探测信号(或激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,以此可获得目标的有关信息,例如,距离、方位、高度、速度、姿态以及形状等参数,从而对车辆、行人和障碍物等目标进行探测、跟踪和识别。与此同时,通过数据采集设备获取场景数据。

LiDAR设备获取真实点云数据的方式主要分为三大类,即星载、机载和地面。星载LiDAR设备采用卫星平台,运行轨道高,观测视野广。机载LiDAR设备主要借助无人机进行大规模的点云数据采集。地面分为地上三维激光扫描,车载移动测量系统和手持激光扫描。

可以理解的是,在实际应用中,除了可以使用LiDAR设备获取真实点云数据,还可以使用立体摄像头(stereo camera),越渡时间相机(time-of-flight camera),这些设备用自动化的方式测量在物体表面的大量的点的信息,然后采用数据文件输出点云数据。这些点云数据就是扫描设备所采集到的真实点云数据。

其次,本申请实施例中,提供了一种自定义待训练对象运动状态的方式,通过上述方式,可以根据实际需求输入与待训练对象相关的运动数据,由此达到自动化控制待训练对象运动的目的,因此,具有较高的自动化程度,此外,设置不同的运动情况可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,场景数据包括距离、速度以及夹角中的至少一种;

基于待训练对象在测试场景内的运动情况,通过数据采集设备获取场景数据,具体包括如下步骤:

若场景数据包括距离,则基于待训练对象在测试场景内的运动情况,通过测距装置获取待训练对象与激光雷达设备之间的距离;

若场景数据包括速度,则基于待训练对象在测试场景内的运动情况,通过测速装置获取待训练对象相对于激光雷达设备的速度;

若场景数据包括夹角,则基于待训练对象在测试场景内的运动情况,通过测角装置获取待训练对象相对于激光雷达设备的夹角。

本实施例中,介绍了一种基于数据采集设备采集场景数据。在设置待训练对象的运动数据之后,控制待训练对象按照设定好的运动数据在测试场景内开始运动。为了便于介绍,请参阅图6,图6为本申请实施例中测试场景的一个示意图,如图所示,在实际测试中需要先构建测试场景,测试场景包含但不仅限于交通道路测试场,各种类型的车辆,行人(即模拟的假人)以及障碍物等,其中,K1所指示的为待训练对象,即小轿车。可以理解的是,图6所示的测试场景仅为一个示意,不应理解为本申请的限定。

具体地,基于待训练对象在测试场景内的运动情况,通过数据采集设备获取场景数据。其中,场景数据包括距离、速度以及夹角中的至少一种,数据采集设备包含但不仅限于测距装置、测速装置以及测角装置。下面将分别对获取距离、速度以及夹角的方式进行介绍,

一、距离;

当待训练对象在测试场景内运动或者静止时,测距装置可捕捉待训练对象与LiDAR设备之间的距离。测距装置包含但不仅限于光电测距仪以及声波测距仪,光电测距仪又分为相位法测距仪和脉冲测距仪。相位法测距仪是将激光的相位进行调制,通过测量反射回来的激光的相位差来获得距离的测距仪。脉冲测距仪是利用向目标物体发射一束光,测定目标物将光反射回来的时间,从而计算出仪器与目标物的距离。

声波测距仪是利用声波的反射特性而进行测量的一种仪器,一般采用超声波作为调制对象,即超声波测距仪。超声波发射器向某一方向发射超声波,在发射同时开始计时,超声波在空气中传播,途中碰到障碍物就立即返回来,超声波接收器收到反射波就立即中断停止计时。通过不断检测产生波发射后遇到障碍物所反射的回波,从而测出发射超声波和接收到回波的时间差,然后求出距离。

二、速度;

当待训练对象在测试场景内运动时,测速装置可捕捉待训练对象相对于LiDAR设备的速度。测速装置是用于测量待训练对象的行驶速度的仪器。测速装置包含但不仅限于雷达测速仪和激光测速仪。其中,雷达测速仪的测速原理为多普勒效应;激光测速仪的测速原理为激光测距。

三、夹角;

当待训练对象在测试场景内运动或者静止时,测角装置可捕捉待训练对象相对于LiDAR设备的夹角。测角装置包含但不仅限于经纬仪,晶体测角仪、单圈反射测角仪以及双圈反射测角仪,晶体测角仪是测量晶体面角以研究晶体几何形状的仪器。常用的有接触测角仪和反射测角仪。单圈反射测角仪主要由水平圈、光管、望远镜和掣晶台四部分组成。根据晶面对光线反射的性质,利用光学系统进行测量。双圈反射测角仪测得的则是每一个晶面的一组球面坐标值——方位角和极距角值。经纬仪包括游标经纬仪、光学经纬仪以及电子经纬仪。

再次,本申请实施例中,通过了一种基于数据采集设备采集场景数据,通过上述方式,还可以使用相关装置捕获相应的场景数据,使用这些场景数据进行模型训练,能够学习到对象运动情况对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,待训练对象的关联训练数据包括环境数据;

获取待训练对象的真实点云数据以及关联训练数据,具体包括如下步骤:

通过激光雷达设备获取真实点云数据;

通过人机界面接收环境数据。

本实施例中,介绍了一种自定义环境数据的方式。如果仿真模型训练装置部署于服务器,则接收终端设备通过人机界面接收到的环境数据,如果仿真模型训练装置部署于终端设备,则直接通过人机界面接收到的环境数据,此处不做限定。

示例性地,假设不但设置了待训练对象的运动数据,而且还设置了环境数据,那么待训练对象根据设定好的运动数据在测试场景内开始运动,LiDAR设备可通过发射激光束探测待训练对象的位置、速度等特征量,由此得到真实点云数据。与此同时,通过数据采集设备获取场景数据。采集到的场景数据与输入的环境数据均为关联训练数据。

示例性地,假设仅设置环境数据,那么待训练对象处于静止状态或者预置状态,LiDAR设备可得到真实点云数据。与此同时,通过数据采集设备获取场景数据。采集到的场景数据与输入的环境数据均为关联训练数据。

其次,本申请实施例中,提供了一种自定义环境数据的方式,通过上述方式,可以根据实际需求输入相关的环境数据,由此达到自动化控制环境的目的,因此,具有较高的自动化程度,此外,设置不同的环境数据可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,环境数据包括气象信息、温度、湿度、风向、风力以及紫外线指数中的至少一项;

通过人机界面接收环境数据,具体包括如下步骤:

若环境数据包括气象信息,则通过人机界面接收气象选择指令,其中,气象选择指令携带气象信息的标识;

若环境数据包括温度,则通过人机界面接收针对于温度的第一参数;

若环境数据包括湿度,则通过人机界面接收针对于湿度的第二参数;

若环境数据包括风向,则通过人机界面接收风向选择指令,其中,风向选择指令携带风向的标识;

若环境数据包括风力,则通过人机界面接收针对于风力的第三参数;

若环境数据包括紫外线指数,则通过人机界面接收强度选择指令,其中,强度指令携带紫外线指数的标识。

本实施例中,介绍了一种自定义气象信息、温度、湿度、风向、风力以及紫外线指数的方式。可通过HMI输入环境数据,在测试场景内模拟这些环境,于是待训练对象能够在模拟后的测试场景中进行运动或处于静止状态。

为了便于理解,请参阅图7,图7为本申请实施例中通过人机界面输入环境数据的一个示意图,如图所示,在提供的HMI中显示有测试日期的输入区域,测试人员的输入区域以及对象标识的输入区域,例如,在测试日期的输入区域内输入“2020年11月6日”。在测试人员的输入区域内输入测试人员的编号,可选地,也可以选择不填写测试人员的标号。

示例性地,在HMI上还显示有气象信息的可选项,例如,气象信息包括五个可选项,分别为“晴”、“雨”、“雪”、“阴”和“霜”,假设测试人员针对于选项“雪”触发气象选择指令,则在气象选择指令中携带“雪”所对应的标识,由此,在测试场景中模拟下雪天。输入完成后,点击“确认”按钮,即完成环境数据的配置。

可以理解的是,下雪对摄像头、LiDAR设备以及毫米波雷达都有影响。雾霾对LiDAR设备的影响较大,因为激光的波长和雾霾的颗粒大小差不多,穿透不了雾霾,同时摄像头在雾霾的时候也会影响视野范围,而毫米波的波长较长,可以绕过雾霾颗粒,受到的影响较小。下雨对摄像头的影响比较大,一个可见的原因就是镜头会模糊,如果雨很大,只能依赖车内的摄像头。进一步地,还可以调整不同的比率来模拟不同的天气情况对传感器的影响,云层主要是会影响光照变化,多云投射的阴影对车道线识别等会有影响。

示例性地,在HMI上还显示有温度的输入区域,例如,在温度的输入区域中输入“-10”,即得到第一参数为“-10”,由此,在测试场景中模拟零下10摄氏度的环境。

示例性地,在HMI上还显示有湿度的输入区域,例如,在湿度的输入区域中输入“70”,即得到第二参数为“70”,由此,在测试场景中模拟湿度为70%的环境。

示例性地,在HMI上还显示有风向的可选项,例如,风向包括六个可选项,分别为“北”、“东北”、“西北”、“南”、“东南”和“西南”,假设测试人员针对于选项“东北”触发风向选择指令,则在风向选择指令中携带“东北”所对应的标识,由此,在测试场景中模拟刮东北风的环境。

示例性地,在HMI上还显示有风力的输入区域,例如,在风力的输入区域中输入“8”,即得到第三参数为“8,由此,在测试场景中模拟八级大风的环境。

可以理解的是,风力可分为13个等级,等级“0”表示无风,等级“1”表示软风,等级“2”表示轻风,等级“3”表示微风,等级“4”表示和风,等级“5”表示清劲风,等级“6”表示强风,等级“7”表示疾风,等级“8”表示大风,等级“9”表示烈风,等级“10”表示狂风,等级“11”表示暴风,等级“12”表示台风。

示例性地,在HMI上还显示有紫外线指数的可选项,例如,风向包括六个可选项,分别为“北”、“东北”、“西北”、“南”、“东南”和“西南”,假设测试人员针对于选项“东北”触发风向选择指令,则在风向选择指令中携带“东北”所对应的标识,由此,在测试场景中模拟刮东北风的环境。

示例性地,在HMI上还显示有紫外线指数的可选项,例如,紫外线指数包括三个可选项,分别为“弱”、“中等”、和“强”,假设测试人员针对于选项“弱”触发强度选择指令,则在强度选择指令中携带“弱”所对应的标识,由此,在测试场景中模拟弱紫外线的环境。

输入完成后,点击“确认”按钮,即完成环境数据的配置。

再次,本申请实施例中,提供了一种自定义气象信息、温度、湿度、风向、风力以及紫外线指数的方式,通过上述方式,可以根据实际需求输入具体的环境数据,由此达到自动化控制环境的目的,因此,具有较高的自动化程度,此外,设置具体的环境数据可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,环境数据包括路面类型;

通过人机界面接收环境数据,具体包括如下步骤:

通过人机界面接收类型选择指令,其中,类型选择指令携带路面类型的标识。

本实施例中,介绍了一种自定义路面类型的方式。可通过HMI输入环境数据,在测试场景内模拟这些环境,于是待训练对象能够在模拟后的测试场景中进行运动。

为了便于理解,请参阅图8,图8为本申请实施例中通过人机界面输入环境数据的另一个示意图,如图所示,在提供的HMI中显示有测试日期的输入区域,测试人员的输入区域以及对象标识的输入区域,例如,在测试日期的输入区域内输入“2020年11月6日”。在测试人员的输入区域内输入测试人员的编号,可选地,也可以选择不填写测试人员的标号。此外,在HMI上还显示有路面类型的可选项,例如,路面类型包括五个可选项,分别为“高速公路”、“一级公路”、“二级公路”、“三级公路”和“四级公路”,假设测试人员针对于选项“一级公路”触发类型选择指令,则在类型选择指令中携带“一级公路”所对应的标识,由此,在测试场景中省道。

输入完成后,点击“确认”按钮,即完成环境数据的配置。

再次,本申请实施例中,提供了一种自定义路面类型的方式,通过上述方式,可以根据实际需求输入具体的环境数据,由此达到自动化控制环境的目的,因此,具有较高的自动化程度,此外,设置具体的环境数据可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,待训练对象的关联训练数据包括属性数据,属性数据包括对象类型、对象尺寸以及反应级别中的至少一种;

获取待训练对象的真实点云数据以及关联训练数据,具体包括如下步骤:

通过激光雷达设备获取真实点云数据;

通过数据输入界面获取针对于待训练对象的属性数据。

本实施例中,介绍了一种自定义属性数据的方式。如果仿真模型训练装置部署于服务器,则接收终端设备通过HMI接收到的运动数据,如果仿真模型训练装置部署于终端设备,则直接通过HMI接收到的运动数据,此处不做限定。

为了便于理解,请参阅图9,图9为本申请实施例中通过人机界面输入属性数据的一个示意图,如图所示,在提供的HMI中显示有测试日期的输入区域,测试人员的输入区域,对象标识的输入区域,对象类型的输入区域,对象尺寸的输入区域,以及反映级别的可选项。例如,在测试日期的输入区域内输入“2020年11月6日”。在测试人员的输入区域内输入测试人员的编号,可选地,也可以选择不填写测试人员的标号。例如,在对象类型的输入区域内输入“小轿车”,或者其他车辆类型,例如,“卡车”、“大巴”或“摩托车”等,还可以输入“行人(即模拟的假人)”。例如,在对象尺寸的输入区域内输入“5×2.5×1.2”。例如,反映级别包括五个可选项,分别为“极慢”、“慢”、“中等”、“快”和“极快”,假设测试人员针对于选项“快”触发选择指令,则在选择指令中携带“快”所对应的标识,由此,在测试场景中待训练对象的反应力较快。

输入完成后,点击“确认”按钮,即完成环境数据的配置。

再次,本申请实施例中,提供了一种自定义属性数据的方式,通过上述方式,可以根据实际需求输入相关的属性数据,由此,能够灵活地为待训练对象配置参数,定义待训练对象的相关属性可适应不同的场景,从而提升训练的真实性和适应能力。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,获取待训练对象的真实点云数据以及关联训练数据,具体包括如下步骤:

获取待训练对象所对应的待匹配真实点云数据,其中,待匹配真实点云数据包括M个第一待匹配数据,每个第一待匹配数据对应于一个时间戳,M为大于或等于1的整数;

获取待匹配关联训练数据,其中,待匹配关联训练数据包括M个第二待匹配数据,每个第二待匹配数据对应于一个时间戳;

根据每个第一待匹配数据所对应的时间戳以及每个第二待匹配数据所对应的时间戳,对待匹配真实点云数据以及待匹配关联训练数据进行匹配,得到经过匹配的真实点云数据以及关联训练数据。

本实施例中,介绍了一种对真实点云数据以及关联训练数据进行对齐的方式。通过LiDAR设备可采集到待训练对象所对应的待匹配真实点云数据,LiDAR设备具有内置参数和外置参数,内置参数包括LiDAR线数、扫描频率、测量精度以及测距采样率等,外置参数包括LiDAR设备的X,Y和Z方向上的坐标信息。其中,LiDAR线数表示在垂直方向上具有多个发射器和接收器,通过电机的旋转,获得多条线束,线数越多,物体表面轮廓越完善,当然处理的数据量越大,对硬件要求越高。扫描频率表示一秒内LiDAR设备进行扫描的次数。测量精度表示可以感知的距离变化最小量。测距采样率表示一秒内进行测距输出的次数。

通过数据采集设备可采集到待匹配关联训练数据,类似地,数据采集设备也具有内置参数和外置参数,内置参数包括数据探测频率等,外置参数包括数据采集设备的X,Y和Z方向上的坐标信息。

基于此,LiDAR设备可对每个时间戳下采集到的一帧待匹配真实点云数据进行标识,例如,在第一个时间戳下采集到的待匹配真实点云数据为“第一待匹配数据1”,在第二个时间戳下采集到的待匹配真实点云数据为“第一待匹配数据2”,以此类推,直至得到在第M个时间戳下采集到的待匹配真实点云数据,即得到“第一待匹配数据M”。

类似地,数据采集设备可对每个时间戳下采集到的一帧待匹配关联训练数据进行标识,例如,在第一个时间戳下采集到的待匹配关联训练数据为“第二待匹配数据1”,在第二个时间戳下采集到的待匹配关联训练数据为“第二待匹配数据2”,以此类推,直至得到在第M个时间戳下采集到的待匹配关联训练数据,即得到“第二待匹配数据M”。

具体地,为了便于理解,请参阅图10,图10为本申请实施例中对齐真实点云数据以及关联训练数据的一个示意图,如图所示,假设待匹配真实点云数据包括M个第一待匹配数据,且待匹配关联训练数据包括M个第二待匹配数据,于是将具有相同时间戳的第一待匹配数据和第二待匹配数据关联起来,例如,第一待匹配数据1和第二待匹配数据1均关联至时间戳1,第一待匹配数据2和第二待匹配数据2均关联至时间戳2,以此类推,直至将M个第一待匹配数据以及M个第二待匹配数据。经过对齐后的M个第一待匹配数据即为真实点云数据,而经过对齐后的M个第二待匹配数据即为关联训练数据。

再次,本申请实施例中,提供了一种对真实点云数据以及关联训练数据进行对齐的方式,通过上述方式,可以对LiDAR设备采集到的待匹配真实点云数据,以及数据采集设备采集到待匹配关联训练数据进行匹配,实现时间上的同步,由此,能够达到训练数据的一致性,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果,具体包括如下步骤:

基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器获取真实点云数据与仿真点云数据之间的相似度;

根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型,具体包括如下步骤:

若相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。

本实施例中,介绍了一种基于感知模块实现激光雷达仿真模型训练的方式。由前述实施例可知,GAN包括用于生成仿真点云数据的生成器(即激光雷达仿真模型)以及用于对仿真点云数据真实性进行判定的判别器,其中,判别器可以为感知模块。

具体地,感知模块使用深度学习算法实现精准地检测和识别,以判别器为基于点云数据的深度学习网络为例,首先,分别对真实点云数据以及仿真点云数据进行数据处理,包括进行去噪、压缩、分割以及特征提取等操作。其中,去噪可以尽量保持细节的情况下使平面更光滑,去除设备带来的噪声。压缩之后的点云数据保留重要的部分,例如,保留边缘数据以及高频部分的数据等。分割是指采用语义分割技术对真实点云数据和仿真点云数据分别进行分割处理,即根据真实点云数据的分割结果得到待训练对象的第一感兴趣区域,并根据仿真点云数据的分割结果得到待训练对象的第二感兴趣区域。

基于此,判别器(即基于点云数据的深度学习网络)判断第一感兴趣区域与第二感兴趣区域之间的相似度,即得到真实点云数据与仿真点云数据之间的相似度,将该相似度作为判别结果。如果相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。反之,如果相似度小于相似度阈值,则还未满足模型训练条件,即需要继续对待训练激光雷达仿真模型进行训练。

进一步地,本申请实施例中,提供了一种基于感知模块实现激光雷达仿真模型训练的方式,通过上述方式,将感知模块作为判别器的重要组成部分,感知模块作为已经训练好的神经网络模型,能够更好地识别出真实点云数据与仿真点云数据之间的差异,从而提升判别结果的可靠性。

可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果,具体包括如下步骤:

根据待训练对象的真实点云数据,获取K个第一关键点的位置信息,其中,K为大于或等于1的整数;

根据待训练对象的仿真点云数据,获取K个第二关键点的位置信息,其中,第二关键点与第一关键点具有映射关系;

针对于K对关键点的位置信息,通过判别器确定真实点云数据与仿真点云数据之间的相似度,其中,每对关键点包括具有映射关系的第一关键点以及第二关键点;

根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型,具体包括如下步骤:

若相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。

本实施例中,介绍了一种基于相似度算法实现激光雷达仿真模型训练的方式。由前述实施例可知,GAN包括用于生成仿真点云数据的生成器(即激光雷达仿真模型)以及用于对仿真点云数据真实性进行判定的判别器,其中,判别器采用相似度算法。

具体地,为了便于理解,请参阅图11,图11为本申请实施例中基于相似度算法实现激光雷达仿真模型训练的一个示意图,如图所示,假设待训练对象是车辆,基于该车辆的真实点云数据以及仿真点云数据,分别提取相应位置上的关键点,以提取6个关键点为例,(即K等于6),其中,基于真实点云数据提取第一关键点Q1、第一关键点Q2、第一关键点Q3、第一关键点Q4、第一关键点Q5和第一关键点Q6,基于仿真点云数据提取第二关键点P1、第二关键点P2、第二关键点P3、第二关键点P4、第二关键点P5和第二关键点P6。于是,根据第一关键点Q1的位置信息与第二关键点P1的位置信息,得到两者的相似度W1,类似地,根据第一关键点Q2的位置信息与第二关键点P2的位置信息,得到两者的相似度W2,根据第一关键点Q3的位置信息与第二关键点P3的位置信息,得到两者的相似度W3,根据第一关键点Q4的位置信息与第二关键点P4的位置信息,得到两者的相似度W4,根据第一关键点Q5的位置信息与第二关键点P5的位置信息,得到两者的相似度W5,根据第一关键点Q6的位置信息与第二关键点P6的位置信息,得到两者的相似度W6。

基于此,对于两两关键点的相似度,可计算平均值,该平均值即为真实点云数据与仿真点云数据之间的相似度,将该相似度作为判别结果。如果相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。反之,如果相似度小于相似度阈值,则还未满足模型训练条件,即需要继续对待训练激光雷达仿真模型进行训练。

需要说明的是,位置信息具体可以是X轴,Y轴和Z轴的坐标位置。而相似度可以是余弦相似度,皮尔森相关系数,杰卡德(Jaccard)相似系数或者对数似然相似度等,此处不做限定。

进一步地,本申请实施例中,提供了一种基于相似度算法实现激光雷达仿真模型训练的方式,通过上述方式,运用相似度算法能够高效地实现真实点云数据与仿真点云数据之间的比对,得到两者之间的相似度,从而提升判别结果的可靠性。

结合上述介绍,下面将对本申请中点云数据的生成方法进行介绍,请参阅图12,本申请实施例中点云数据生成方法的一个实施例包括:

201、获取目标对象所对应的关联测试数据,其中,关联测试数据包括场景数据、环境数据以及属性数据中的至少一种;

本实施例中,点云数据生成装置可通过HMI获取测试人员输入的相关数据,由前述实施例可知,相关数据包括针对于目标对象的运动数据以及属性数据,还可以包括包括环境数据,因此,在实际测试的过程中,点云数据生成装置可根据设置的运动数据,通过数据采集设备采集目标对象的场景数据。

具体地,点云数据生成装置可将通过HMI输入的相关数据转换为特征向量的形式。为了便于说明,请再次参阅图5,由图5可知,测试人员输入的运动类型为“超车”,即运动类型所对应的特征向量可表示为[0,0,1,0],元素为“1”时,该元素位置所对应的类型即为测试人员选择的类型。而速度、加速度以及运动时间等,可直接使用相应的数值,基于此,运动数据所对应的特征向量可表示为[0,0,1,0,36,5,30]。类似地,请再次参阅图7,由图7可知,测试人员输入的气象为“雪”,即气象信息所对应的特征向量可表示为[0,0,1,0,0],测试人员输入的风向为“东北”,即风向所对应的特征向量可表示为[0,1,0,0,0],测试人员输入的紫外线指数为“弱”,即风向所对应的特征向量可表示为[1,0,0]。

需要说明的是,点云数据生成装置可部署于服务器,也可以部署于终端设备,还可以部署于由服务器和终端设备构成的系统,本申请不做限定。

202、基于目标对象所对应的关联测试数据,通过激光雷达仿真模型生成目标对象所对应的仿真点云数据,其中,激光雷达仿真模型为采用上述方法训练得到的。

本实施例中,在点云数据生成装置获取到关联测试数据之后,将该关联测试数据输入至训练好的激光雷达仿真模型中,由激光雷达仿真模型输出目标对象的仿真点云数据。

可选地,关联测试数据不但可以包括场景数据、环境数据以及属性数据,还可以包括运动数据,此时,可以将测试人员通过HMI输入的运动数据、环境数据以及属性数据中的至少一种,输入至训练好的激光雷达仿真模型中,由激光雷达仿真模型输出目标对象的仿真点云数据。

具体地,假设测试人员通过HMI输入针对于目标对象(例如,车辆)的关联测试数据速度为36千米每小时,且加速度为0,于是可控制目标对象沿着直线以36千米每小时的速度匀速行驶,通过激光雷达仿真模型输出目标对象的仿真点云数据,后续还可以将仿真点云数据应用于自动驾驶算法。其中,自动驾驶算法泛指感知、定位、决策、规划以及控制等算法。一般点云数据都是直接给感知模块处理,感知模块将处理结果(物体识别或者物体检测等)发送给决策模块,决策模块再根据策略进行路径规划,最后控制模块控制车辆的行驶(如加速、减速或者转向等)。

为了便于理解,请参阅图13,图13为本申请实施例中点云数据生成方法的一个流程示意图,如图所示,整个框架由数据采集,GAN训练部分以及数据仿真三大部分组成,数据采集部分涉及到多个模块,包括HMI调度中心、交通场景设施(例如,交通道路测试场、各种类型的车辆、假人和障碍物等)、LiDAR设备、数据采集设备(例如,测距装置、测速装置以及测角装置等)以及数据处理模块(例如,数据融合模块以及数据传输模块)等。下面将结合具体步骤进行介绍:

在步骤S1中,通过HMI构造特定的测试场景,通过HMI调度中心,在测试场构造典型的交通测试场景,例如,通过驱动器控制交通车辆和假人的移动,将车辆、假人以及障碍物部署在轨道上,使其沿特定轨道移动等。

在步骤S2中,在测试场景中部署所需的数据采集设备,例如,部署测距装置,可通过测距装置获取测试场景内车辆、行人以及静态障碍物等交通参与者与LiDAR设备的距离。又例如,通过测速装置,可通过测速装置获取动态物体(如车辆以及行人)相对LiDAR设备的移动速度。

在步骤S3中,在测试场地内固定好LiDAR设备的位置,获取LiDAR设备的内部参数以及外部参数,其中,内部参数包括激光雷达线数以及扫描频率等,外部参数包括X轴,Y轴和Z轴的坐标信息等。

在步骤S4中,数据处理模块获取真实点云数据以及关联训练数据,其中,关联训练数据包括通过数据采集设备采集到的场景数据,以及通过HMI输入的环境数据以及属性数据等。基于此,通过事先标定好的时间戳,通过时间戳同步,将各个交通要素(例如,车辆、行人以及静态障碍物等)的关联训练信息,与真实点云数据进行关联匹配。各交通要素的信息即为激光点云数据的标注真值。对每帧数据进行对齐操作,数据传输模块将对齐好的数据上传到GAN训练平台。

需要说明的是,环境数据即为模拟真实环境的参数,例如,根据需要可在构造交通场景时,模拟人工降雨或降雪等场景,将这些数据也作为环境数据,添加到标注好的真值向量中,这样后续训练的生成器(即激光雷达仿真模型),还可根据不同天气设置,模拟出相应的仿真点云数据。

在步骤S5中,将LiDAR设备探测到的真实点云数据以及关联训练数据作为真值数据。

在步骤S6中,同时将对齐好的数据通过数据传输模块上传到GAN训练平台。

在步骤S7中,GAN训练平台接收LiDAR设备探测到的真实点云数据。

在步骤S8中,GAN训练平台接收关联训练数据。

在步骤S9中,由判别器对真实点云数据与仿真点云数据进行相似性判断,如果两者非常相似,则表示训练完成。判别器可以是基于深度学习网络已经训练好的感知模块,或者是点云数据相似度判定模块,用于判定仿真点云数据与真实点云数据的差异性,但两者相似度很高时,训练结束。

在步骤S10中,将关联训练数据输入至生成器(即激光雷达仿真模型)。

在步骤S11中,通过生成器(即激光雷达仿真模型)输出仿真点云数据,再将输出的仿真输入至判别器。

在步骤S12中,GAN包括仿真激光雷达数据生成器(即激光雷达仿真模型)和判别器,当判别器无法判别仿真点云数据真假时结束训练,并获取生成器(即激光雷达仿真模型)。

在步骤S13中,最终将训练好的生成器(即激光雷达仿真模型)部署到自动驾驶仿真系统中,于是可以在虚拟环境下模拟真实的LiDAR设备。

本申请实施例中,提供了一种点云数据的生成方法,首先获取目标对象所对应的关联测试数据,然后基于目标对象所对应的关联测试数据,通过激光雷达仿真模型生成目标对象所对应的仿真点云数据。通过上述方式,由于在训练激光雷达仿真模型的过程中,还引入了场景数据、环境数据以及属性数据中的至少一种作为训练参数,因此,激光雷达仿真模型可从更多层面上学习到复杂的真实环境对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

下面对本申请中的仿真模型训练装置进行详细描述,请参阅图14,图14为本申请实施例中仿真模型训练装置的一个实施例示意图,仿真模型训练装置30包括:

获取模块301,用于获取待训练对象的真实点云数据以及关联训练数据,其中,关联训练数据与真实点云数据具有对应关系,关联训练数据包括场景数据、环境数据以及属性数据中的至少一种;

获取模块301,还用于基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据;

确定模块302,用于基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果;

训练模块303,用于根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。

本申请实施例中,提供了一种仿真模型训练装置,采用上述装置,在训练激光雷达仿真模型的过程中,还引入了场景数据、环境数据以及属性数据中的至少一种作为训练参数,因此,激光雷达仿真模型可从更多层面上学习到复杂的真实环境对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,待训练对象的关联训练数据包括场景数据;

获取模块301,具体用于通过人机界面接收针对于待训练对象的运动数据;

基于运动数据,控制待训练对象在测试场景内进行运动;

基于待训练对象在测试场景内的运动情况,通过激光雷达设备获取真实点云数据;

基于待训练对象在测试场景内的运动情况,通过数据采集设备获取场景数据。

本申请实施例中,提供了一种仿真模型训练装置,采用上述装置,可以根据实际需求输入与待训练对象相关的运动数据,由此达到自动化控制待训练对象运动的目的,因此,具有较高的自动化程度,此外,设置不同的运动情况可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,场景数据包括距离、速度以及夹角中的至少一种;

获取模块301,具体用于若场景数据包括距离,则基于待训练对象在测试场景内的运动情况,通过测距装置获取待训练对象与激光雷达设备之间的距离;

若场景数据包括速度,则基于待训练对象在测试场景内的运动情况,通过测速装置获取待训练对象相对于激光雷达设备的速度;

若场景数据包括夹角,则基于待训练对象在测试场景内的运动情况,通过测角装置获取待训练对象相对于激光雷达设备的夹角。

本申请实施例中,提供了一种仿真模型训练装置,采用上述装置,还可以使用相关装置捕获相应的场景数据,使用这些场景数据进行模型训练,能够学习到对象运动情况对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,待训练对象的关联训练数据包括环境数据;

获取模块301,具体用于通过激光雷达设备获取真实点云数据;

通过人机界面接收环境数据。

本申请实施例中,提供了一种仿真模型训练装置,采用上述装置,可以根据实际需求输入相关的环境数据,由此达到自动化控制环境的目的,因此,具有较高的自动化程度,此外,设置不同的环境数据可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,环境数据包括气象信息、温度、湿度、风向、风力以及紫外线指数中的至少一项;

获取模块301,具体用于若环境数据包括气象信息,则通过人机界面接收气象选择指令,其中,气象选择指令携带气象信息的标识;

若环境数据包括温度,则通过人机界面接收针对于温度的第一参数;

若环境数据包括湿度,则通过人机界面接收针对于湿度的第二参数;

若环境数据包括风向,则通过人机界面接收风向选择指令,其中,风向选择指令携带风向的标识;

若环境数据包括风力,则通过人机界面接收针对于风力的第三参数;

若环境数据包括紫外线指数,则通过人机界面接收强度选择指令,其中,强度指令携带紫外线指数的标识。

本申请实施例中,提供了一种仿真模型训练装置,采用上述装置,可以根据实际需求输入具体的环境数据,由此达到自动化控制环境的目的,因此,具有较高的自动化程度,此外,设置具体的环境数据可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

在可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,环境数据包括路面类型;

获取模块301,具体用于通过人机界面接收类型选择指令,其中,类型选择指令携带路面类型的标识。

本申请实施例中,提供了一种仿真模型训练装置,采用上述装置,可以根据实际需求输入具体的环境数据,由此达到自动化控制环境的目的,因此,具有较高的自动化程度,此外,设置具体的环境数据可以更好地适应不同的场景,从而提升训练的真实性和适应能力。

在可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,待训练对象的关联训练数据包括属性数据,属性数据包括对象类型、对象尺寸以及反应级别中的至少一种;

获取模块301,具体用于通过激光雷达设备获取真实点云数据;

通过数据输入界面获取针对于待训练对象的属性数据。

本申请实施例中,提供了一种仿真模型训练装置,采用上述装置,可以根据实际需求输入相关的属性数据,由此,能够灵活地为待训练对象配置参数,定义待训练对象的相关属性可适应不同的场景,从而提升训练的真实性和适应能力。

在可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,

获取模块301,具体用于获取待训练对象所对应的待匹配真实点云数据,其中,待匹配真实点云数据包括M个第一待匹配数据,每个第一待匹配数据对应于一个时间戳,M为大于或等于1的整数;

获取待匹配关联训练数据,其中,待匹配关联训练数据包括M个第二待匹配数据,每个第二待匹配数据对应于一个时间戳;

根据每个第一待匹配数据所对应的时间戳以及每个第二待匹配数据所对应的时间戳,对待匹配真实点云数据以及待匹配关联训练数据进行匹配,得到经过匹配的真实点云数据以及关联训练数据。

本申请实施例中,提供了一种点云数据生成装置,采用上述装置,可以对LiDAR设备采集到的待匹配真实点云数据,以及数据采集设备采集到待匹配关联训练数据进行匹配,实现时间上的同步,由此,能够达到训练数据的一致性,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

在可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,

确定模块302,具体用于基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器获取真实点云数据与仿真点云数据之间的相似度;

训练模块303,具体用于若相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。

本申请实施例中,提供了一种点云数据生成装置,采用上述装置,将感知模块作为判别器的重要组成部分,感知模块作为已经训练好的神经网络模型,能够更好地识别出真实点云数据与仿真点云数据之间的差异,从而提升判别结果的可靠性。

在可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的仿真模型训练装置30的另一实施例中,

确定模块302,具体用于根据待训练对象的真实点云数据,获取K个第一关键点的位置信息,其中,K为大于或等于1的整数;

根据待训练对象的仿真点云数据,获取K个第二关键点的位置信息,其中,第二关键点与第一关键点具有映射关系;

针对于K对关键点的位置信息,通过判别器确定真实点云数据与仿真点云数据之间的相似度,其中,每对关键点包括具有映射关系的第一关键点以及第二关键点;

训练模块303,具体用于若相似度大于或等于相似度阈值,则确定满足模型训练条件,并将待训练激光雷达仿真模型作为激光雷达仿真模型。

本申请实施例中,提供了一种点云数据生成装置,采用上述装置,运用相似度算法能够高效地实现真实点云数据与仿真点云数据之间的比对,得到两者之间的相似度,从而提升判别结果的可靠性。

下面对本申请中的点云数据生成装置进行详细描述,请参阅图15,图15为本申请实施例中点云数据生成装置的一个实施例示意图,点云数据生成装置40包括:

获取模块401,用于获取目标对象所对应的关联测试数据,其中,关联测试数据包括场景数据、环境数据以及属性数据中的至少一种;

生成模块402,用于基于目标对象所对应的关联测试数据,通过激光雷达仿真模型生成目标对象所对应的仿真点云数据,其中,激光雷达仿真模型为采用上述方面训练方法得到的。

本申请实施例中,提供了一种点云数据生成装置,采用上述装置,由于在训练激光雷达仿真模型的过程中,还引入了场景数据、环境数据以及属性数据中的至少一种作为训练参数,因此,激光雷达仿真模型可从更多层面上学习到复杂的真实环境对于生成点云数据的影响,从而有利于提升激光雷达仿真模型的精度,减小仿真点云数据与真实点云数据之间的偏差。

本申请提供了一种可部署于服务器中的仿真模型训练装置以及点云数据生成装置,请参阅图16,图16是本申请实施例提供的一种服务器结构示意图,该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在服务器500上执行存储介质530中的一系列指令操作。

服务器500还可以包括一个或一个以上电源526,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口558,和/或,一个或一个以上操作系统541,例如Windows Server

在本申请实施例中,该服务器所包括的CPU 522还具有以下功能:

获取待训练对象的真实点云数据以及关联训练数据,其中,关联训练数据与真实点云数据具有对应关系,关联训练数据包括场景数据、环境数据以及属性数据中的至少一种;

基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据;

基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果;

根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。

在本申请实施例中,该服务器所包括的CPU 522还具有以下功能:

获取目标对象所对应的关联测试数据,其中,关联测试数据包括场景数据、环境数据以及属性数据中的至少一种;

基于目标对象所对应的关联测试数据,通过激光雷达仿真模型生成目标对象所对应的仿真点云数据。

本申请提供了一种可部署于终端设备中的仿真模型训练装置以及点云数据生成装置,如图17所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。在本申请实施例中,以终端设备为智能手机为例进行说明:

图17示出的是与本申请实施例提供的终端设备相关的智能手机的部分结构的框图。参考图17,智能手机包括:射频(radio frequency,RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wireless fidelity,WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解,图17中示出的智能手机结构并不构成对智能手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

下面结合图17对智能手机的各个构成部件进行具体的介绍:

RF电路610可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器680处理;另外,将设计上行的数据发送给基站。通常,RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。

存储器620可用于存储软件程序以及模块,处理器680通过运行存储在存储器620的软件程序以及模块,从而执行智能手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据智能手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元630可用于接收输入的数字或字符信息,以及产生与智能手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触控面板631以及其他输入设备632。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器680,并能接收处理器680发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元640可用于显示由用户输入的信息或提供给用户的信息以及智能手机的各种菜单。显示单元640可包括显示面板641,可选的,可以采用液晶显示器(liquidcrystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板641。进一步的,触控面板631可覆盖显示面板641,当触控面板631检测到在其上或附近的触摸操作后,传送给处理器680以确定触摸事件的类型,随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图17中,触控面板631与显示面板641是作为两个独立的部件来实现智能手机的输入和输入功能,但是在某些实施例中,可以将触控面板631与显示面板641集成而实现智能手机的输入和输出功能。

智能手机还可包括至少一种传感器650,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板641的亮度,接近传感器可在智能手机移动到耳边时,关闭显示面板641和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别智能手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于智能手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

音频电路660、扬声器661,传声器662可提供用户与智能手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,传声器662将收集的声音信号转换为电信号,由音频电路660接收后转换为音频数据,再将音频数据输出处理器680处理后,经RF电路610以发送给比如另一智能手机,或者将音频数据输出至存储器620以便进一步处理。

WiFi属于短距离无线传输技术,智能手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图17示出了WiFi模块670,但是可以理解的是,其并不属于智能手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。

处理器680是智能手机的控制中心,利用各种接口和线路连接整个智能手机的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行智能手机的各种功能和处理数据,从而对智能手机进行整体监控。可选的,处理器680可包括一个或多个处理单元;可选的,处理器680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器680中。

智能手机还包括给各个部件供电的电源690(比如电池),可选的,电源可以通过电源管理系统与处理器680逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出,智能手机还可以包括摄像头、蓝牙模块等,在此不再赘述。

在本申请实施例中,该终端设备所包括的处理器680还具有以下功能:

获取待训练对象的真实点云数据以及关联训练数据,其中,关联训练数据与真实点云数据具有对应关系,关联训练数据包括场景数据、环境数据以及属性数据中的至少一种;

基于待训练对象的关联训练数据,通过待训练激光雷达仿真模型获取待训练对象的仿真点云数据;

基于待训练对象的真实点云数据以及待训练对象的仿真点云数据,通过判别器确定判别结果;

根据判别结果对待训练激光雷达仿真模型进行训练,直至满足模型训练条件,得到激光雷达仿真模型。

在本申请实施例中,该终端设备所包括的处理器680还具有以下功能:

获取目标对象所对应的关联测试数据,其中,关联测试数据包括场景数据、环境数据以及属性数据中的至少一种;

基于目标对象所对应的关联测试数据,通过激光雷达仿真模型生成目标对象所对应的仿真点云数据。

本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述各个实施例描述的方法。

本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行前述各个实施例描述的方法。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

相关技术
  • 一种仿真模型的训练方法、点云数据的生成方法及装置
  • 一种仿真点云数据的生成方法、装置、设备及存储介质
技术分类

06120112251318