数据处理方法、训练方法、目标对象检测方法及装置

技术领域

本申请涉及计算机视觉、图像处理、深度学习等人工智能技术领域，可应用于自动驾驶、智慧城市等场景。

背景技术

随着科技的快速发展，基于激光雷达等探测装置以及深度学习模型等先进技术实现的智能驾驶功能被广泛地应用于家用车辆驾驶、无人车辆作业等多种应用场景中。例如，基于深度学习算法构建的目标检测模型通常可以基于训练样本训练后，用于处理探测装置对检测空间进行探测后得到的数据，并相应地输出目标检测结果。

发明内容

本申请提供了一种数据处理方法、训练方法、目标对象检测方法、装置、电子设备、存储介质以及程序产品。

根据本申请的一方面，提供了一种数据处理方法，包括：对待标注的点云数据进行图像特征提取，得到所述点云数据的图像特征；将与所述点云数据所表征的目标对象相对应的第一点云标注信息，以及所述点云数据的图像特征输入至深度学习模型的识别层，输出与所述目标对象相对应的目标点云标注信息，其中，所述目标点云标注信息包括所述第一点云标注信息和第二点云标注信息。

根据本申请的另一方面，提供了一种深度学习模型的训练方法，包括：利用训练样本和与所述训练样本对应的样本标签训练初始深度学习模型，得到训练后的深度学习模型，其中，所述样本标签包括与所述样本点云数据所表征的样本目标对象相对应的样本目标点云标注信息，所述样本目标点云标注信息包括样本第一点云标注信息和样本第二点云标注信息，所述训练样本包括样本点云数据和所述样本第一点云标注信息，其中，所述深度学习模型用于如上所述的数据处理方法。

根据本申请的另一方面，提供了一种目标对象检测方法，包括：将待检测点云数据输入至目标对象检测模型，输出目标对象检测结果；其中，所述目标对象检测模型是利用如上所述的方法训练得到的。

根据本申请的另一方面，提供了一种数据处理装置，包括：图像特征提取模块，用于对待标注的点云数据进行图像特征提取，得到所述点云数据的图像特征；识别模块，用于将与所述点云数据所表征的目标对象相对应的第一点云标注信息，以及所述点云数据的图像特征输入至深度学习模型的识别层，输出与所述目标对象相对应的目标点云标注信息，其中，所述目标点云标注信息包括所述第一点云标注信息和第二点云标注信息。

根据本申请的另一方面，提供了一种深度学习模型的训练装置，包括：训练模块，用于利用训练样本和与所述训练样本对应的样本标签训练初始深度学习模型，得到训练后的深度学习模型，其中，所述样本标签包括与所述样本点云数据所表征的样本目标对象相对应的样本目标点云标注信息，所述样本目标点云标注信息包括样本第一点云标注信息和样本第二点云标注信息，所述训练样本包括样本点云数据和所述样本第一点云标注信息，其中，所述深度学习模型用于如上所述的数据处理方法。

根据本申请的另一方面，提供了一种目标对象检测装置，包括：检测模块，用于将待检测点云数据输入至目标对象检测模型，输出目标对象检测结果；其中，所述目标对象检测模型是利用如上所述的方法训练得到的。

根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。

图1示意性示出了根据本申请实施例的可以应用数据处理方法及装置的示例性系统架构。

图2示意性示出了根据本申请实施例的数据处理方法的流程图。

图3示意性示出了根据本申请实施例的将与点云数据所表征的目标对象相对应的第一点云标注信息，以及点云数据的图像特征输入至深度学习模型的识别层的流程图。

图4示意性示出了根据本申请实施例的数据处理方法的应用场景图。

图5示意性示出了根据本申请实施例的深度学习模型的训练方法的流程图。

图6示意性示出了根据本申请实施例的目标对象检测方法的应用场景图。

图7示意性示出了根据本申请实施例的数据处理装置的框图。

图8示意性示出了根据本申请实施例的深度学习模型的训练装置的框图。

图9示意性示出了根据本申请实施例的目标对象检测装置的框图。

图10示出了可以用来实施本申请的实施例的示例电子设备的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本申请的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。相应地，在对所涉及的用户个人信息的获取之前，均已向用户告知所需获取的信息的用途，并获取到用户的授权后获取所涉及的信息。

在实现本申请的发明构思过程中，发明人发现相关技术中通常需要具有完整标注信息的点云数据来监督的目标对象检测模型的训练，而点云数据的标注通常需要人工标注，但是由于点云数据的数据量庞大，难以短时间内实现点云数据的标注，导致大量的点云数据难以用于训练目标对象检测模型，使目标对象检测模型的检测精度较低，难以满足实际需求。

本申请提供了数据处理方法、目标对象检测方法、训练方法、装置、电子设备、存储介质以及程序产品。

根据本申请的实施例，数据处理方法包括：对待标注的点云数据进行图像特征提取，得到点云数据的图像特征；将与点云数据所表征的目标对象相对应的第一点云标注信息，以及点云数据的图像特征输入至深度学习模型的识别层，输出与目标对象相对应的目标点云标注信息，其中，目标点云标注信息包括第一点云标注信息和第二点云标注信息。

根据本申请的实施例，通过将从点云数据中提取得到的图像特征和第一点云标注信息输入至深度学习模型的识别层，可以使识别层充分地学习到第一点云标注信息与图像特征的关联属性，并将第一点云标注信息和图像特征进行融合，这样可以使识别层输出的包含有第二点云标注信息和第一点云标注信息的目标点云标注信息，提升待标注的点云数据的标注信息完整性，提升后续用于训练目标检测模型的点云数据的数据质量，同时还可以扩充数据规模，至少部分解决相关技术中因点云数据标注效率较低造成的训练样本的数据量少，数据质量较低导致的模型训练效果较差的技术问题，实现提升目标检测模型的训练效率和鲁棒性的技术效果。

图1示意性示出了根据本申请实施例的可以应用数据处理方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用内容处理方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本申请实施例提供的内容处理方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等（仅为示例）。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。

需要说明的是，本申请实施例所提供的数据处理方法一般可以由服务器105执行。相应地，本申请实施例所提供的数据处理装置一般可以设置于服务器105中。本申请实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本申请实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

或者，本申请实施例所提供的数据处理方法一般也可以由终端设备101、102、或103执行。相应地，本申请实施例所提供的数据处理装置也可以设置于终端设备101、102、或103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本申请实施例的数据处理方法的流程图。

如图2所示，该数据处理方法包括操作S210~S220。

在操作S210，对待标注的点云数据进行图像特征提取，得到点云数据的图像特征。

在操作S220，将与点云数据所表征的目标对象相对应的第一点云标注信息，以及点云数据的图像特征输入至深度学习模型的识别层，输出与目标对象相对应的目标点云标注信息，其中，目标点云标注信息包括第一点云标注信息和第二点云标注信息。

根据本申请的实施例，待标注的点云数据可以包括探测装置对待检测空间探测后生成的数据，点云数据可以至少部分表征待检测空间中的车辆、交通标识牌等目标对象。

需要说明的是，本申请的实施例中，点云数据的生成可以是基于任意类型的探测装置对待检测空间进行探测后得到的，例如可以基于激光雷达探测后生成点云数据。但不仅局限于此，还可以基于毫米波雷达等其他类型的探测装置对待检测空间探测后生成点云数据，本申请的实施例对生成点云数据的探测装置的具体类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，对点云数据进行图像特征提取的方式可以基于相关技术中任意的图像特征提取方法来实现，例如可以基于卷积神经网络等神经网络算法来提取得到图像特征。但不仅局限于此，还可以基于相关目标检测算法中的骨干网络（BackboneNetwork）层来进行图像特征提取，目标检测算法例如可以是VoxelNet算法（体素网络算法）、CenterPoint算法（中心点算法）等，本申请的实施例对图像特征提取的具体方式不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，深度学习模型的识别层可以包括基于神经网络算法构建得到的神经网络层，例如可以基于多层感知器（Multi-Layer Perceptron，MLP）来构建识别层。但不仅局限于此，还可以基于其他神经网络算法来构建识别层，例如BERT（Bidirectional Encoder Representation from Transformers）算法等，本申请的实施例对构建识别层的具体算法类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，第一点云标注信息和/或第二点云标注信息可以包括用于表征目标对象的形状、尺寸、位置等属性的信息。第一点云标注信息和第二点云标注信息之间至少有部分信息类型，或者至少有部分信息内容存在不同，因此可以通过包含有第一点云标注信息和第二点云标注信息的目标点云标注信息来较为完整地表征待标注的点云数据对应的标注信息。

应该理解的是，可以通过人工标注的方式针对待标注的点云数据进行标注后，得到第一点云标注信息，或者还可以通过其他方式来得到第一点云标注信息。例如利用图像识别模型对点云数据处理后得到相应的第一点云标注信息，实现第一点云数据的自动标注。本申请的实施例对得到第一点云标注信息的具体方式不做限定，本领域技术人员可以根据实际需求进行设计。

本申请的实施例对第一点云标注信息和/或第二点云标注信息各自的标注信息类型不做限定，例如第一点云标注信息可以包括分类标注信息和位置标注信息，第二点云标注信息可以包括尺寸标注信息。但不仅局限于此，第一点云标注信息和/或第二点云标注信息各自还可以具有其他标注信息类型，只要能够满足实际需求即可。

需要说明的是，目标对象的数量可以是1个，或者也可以是多个，本申请的实施例对目标对象的数量不做限定，只要能够满足点云数据关联有各自的目标对象即可。

根据本申请的实施例，通过将从待标注的点云数据中提取得到的图像特征和第一点云标注信息输入至深度学习模型的识别层，可以使识别层充分地学习到第一点云标注信息与图像特征的关联属性，并将第一点云标注信息和图像特征进行融合，这样可以使识别层输出的包含有第二点云标注信息和第一点云标注信息的目标点云标注信息，提升待标注的点云数据的标注信息完整性，提升后续用于训练目标检测模型的点云数据的数据质量，同时还可以扩充数据规模，至少部分解决相关技术中因点云数据标注效率较低造成的训练样本的数据量少，数据质量较低导致的模型训练效果较差的技术问题，实现提升目标检测模型的训练效率和鲁棒性的技术效果。

下面结合具体实施例，以及参考图3~图4对图2所示的方法做进一步说明。

根据本申请的实施例，图像特征可以包括鸟瞰图特征。

操作S210中，对待标注的点云数据进行图像特征提取可以包括如下操作。

将点云数据输入至深度学习模型的图像特征提取层，输出鸟瞰图特征。

根据本申请的实施例，鸟瞰图特征可以包括用于表征点云数据的属性的二维图像特征。根据鸟瞰图特征可以转换针对待检测空间中目标对象的表征视角，即可以从俯视视角表征待检测空间中的目标对象。在待检测空间中包含有多个目标对象的情况下，可以通过鸟瞰图特征来克服多个目标对象之间相互遮挡的技术问题，提升图像特征表征目标对象的准确性。同时还可以提升针对目标对象的位置属性、尺寸属性的检测准确性，进而实现提升后续的标注信息识别精度。

需要说明的是，在本申请的任意实施例中深度学习模型不是针对某一特定用户的检测模型，并不用于检测出某一特定用户的个人信息。深度学习模型的处理，以及点云数据的获取，可以是在经用户授权后执行的，或者还可以是经过具有相关权限的机构或用户确认或授权后实施的，符合相关法律法规。

根据本申请的实施例，图像特征提取层包括以下至少一项：

中心点网络层、点支柱网络层。

根据本申请的实施例，中心点网络层可以包括基于中心点（CenterPoint）算法构建得到的神经网络层。例如可以基于CenterPoint算法模型中的体素网格特征提取器、稀疏卷积层和RPN（Region Proposal Network，区域候选网络）层等特征提取层来提取待标注的点云数据中的图像特征，实现将点云数据的三维特征信息转换为二维图像特征信息，同时减少点云数据的特征信息丢失，提升图像特征表征目标对象的属性的准确性，进而实现提升后续输出的第二点云标注数据精度的技术效果。

根据本申请的实施例，点支柱网络层可以包括基于点支柱网络（PointPillarsNetwork）算法构建得到的神经网络层，例如可以基于点支柱网络模型中的特征编码器网络模块和卷积骨干网络模块来构建点支柱网络层，从而可以利用基于点支柱网络层将点云数据转换为二维图像信息，并捕获点云数据中表征不同尺度属性下的特征信息，使其充分进行融合，实现输出的图像特征可以提升后续第二点云标注信息的准确率。

根据本申请的实施例，识别层包括基于注意力机制构建得到的神经网络层。

图3示意性示出了根据本申请实施例的将与点云数据所表征的目标对象相对应的第一点云标注信息，以及点云数据的图像特征输入至深度学习模型的识别层的流程图。

如图3所示，操作S220中，将与点云数据所表征的目标对象相对应的第一点云标注信息，以及点云数据的图像特征输入至深度学习模型的识别层包括操作S310~S330。

在操作S310，根据图像特征，确定与目标对象相对应的键特征和值特征。

在操作S320，根据第一点云标注信息，确定查询特征。

在操作S330，将键特征、值特征和查询特征输入至识别层。

根据本申请的实施例，识别层可以基于自注意力机制构建得到，例如可以基于Transformer算法来构建识别层，从而可以利用识别层具有的自注意力机制充分学习并融合第一点云标注信息和图像特征之间的属性关系，提升后续目标点云标注信息的识别准确性。

应该理解的是，查询特征可以包括输入至识别层中自注意力头的查询向量（query）。相应地，键特征和值特征分别可以是输入至识别层中自注意力头的键向量（key）和值向量（value）。本领域技术人员可以根据实际需求分别对第一点云标注信息和图像特征进行处理后生成相应的query、key 和value，本申请的实施例对处理第一点云标注信息和/或图像特征的具体方式不做限定，只要能够满足要求即可。

需要说明的是，深度学习模型可以是经过训练后得到的，本领域技术人员可以基于相关技术中的任意训练方法来训练得到深度学习模型，例如可以基于梯度下降算法等方法训练得到深度学习模型，本申请的实施例对训练得到深度学习模型的具体训练方法不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，第一点云标注信息包括以下至少一项：

目标对象的关键点位置信息、目标对象的分类信息。

根据本申请的实施例，目标对象的关键点位置信息可以包括表征该目标对象的任意关键点的位置信息，关键点例如可以是表征该目标对象的点云数据的中心点、或者表征该目标对象的轮廓边缘点，本申请的实施例对关键点的确定方式不做限定，本领域技术人员可以根据实际需求进行选择。

需要说明的是，关键点位置信息可以包括关键点的三维坐标位置，或者还可以包括二维坐标位置，本申请的实施例对关键点位置信息的具体类型不做限定，只要能够表征关键点位置即可。

根据本申请的实施例，相对于相关技术中采用中心点的位置信息作为点云标注信息，通过确定点云数据表征的目标对象的任意点作为关键点，可以有效地减少筛选关键点的操作步骤与筛选时长，提升数据处理的整体效率。

根据本申请的实施例，在采用人工标注方式确定第一点云标注信息的情况下，将目标对象的分类信息作为第一点云标注信息，可以减少对于第一点云标注信息的标注难度，从而减少第一点云标注信息的错误率，进而实现提升后续识别得到的目标点云标注信息的精度。

根据本申请的实施例，可以将关键点的二维坐标位置和分类信息作为第一点云标注信息，以融合多个类型的第一点云标注信息，提升后续识别得到的第二点云标注数据的精度。

根据本申请的实施例，在第一点云标注信息包括目标对象的关键点位置信息的情况下，关键点位置信息包括以下至少一项：

与目标对象相对应的中心点的中心点位置信息、与目标对象相对应的邻近关键点的邻近关键点位置信息。

其中，邻近关键点与中心点的间距小于或等于预设间距阈值。

根据本申请的实施例，中心点和/或邻近关键点可以从鸟瞰图特征中确定，或者还可以基于相关目标检测模型的检测分支输出的结果中确定，或者还可以基于人工标注来确定，本申请的实施例对确定中心点和/或邻近关键点的具体方式不做限定。

根据本申请的实施例，预设间距阈值可以通过预先确定的方式获得，通过预设间距阈值来筛选出与中心点邻近的邻近关键点，可以获取到邻近关键点的邻近关键点位置信息。相对于随机筛选出表征目标对象的关键点的位置信息作为关键点位置信息，或者将中心点位置信息确定为关键点位置信息，本申请实施例提供的确定邻近关键点的邻近关键点位置信息不仅可以提升针对目标对象的位置信息的识别准确性，还可以减少筛选关键点的筛选时长，提升数据处理效率。

在本申请的一个实施例中，还可以将与中心点邻接的点作为邻近关键点，从而进一步提升表征目标对象的位置信息的准确性。

根据本申请的实施例，可以将邻近关键点的二维坐标位置作为邻近关键点位置信息。相应地，第二点云标注信息中至少可以包括该邻近关键点的三维坐标位置，或者第二点云标注信息中可以包括与目标对象对应的中心点的二维坐标位置，或和中心点的三维坐标位置。

根据本申请的实施例，第一点云标注信息包括多个。

操作S320中，根据第一点云标注信息，确定查询特征可以包括如下操作。

对多个第一点云标注信息分别进行特征提取，得到多个第一点云标注信息各自对应的第一点云标注特征；以及融合多个第一点云标注特征，得到查询特征。

根据本申请的实施例，多个第一点云标注信息可以包括目标对象的分类信息和关键点位置信息，该关键点位置信息可以是邻近关键点的二维坐标位置。通过分类特征提取层处理分类信息，并通过位置特征提取层处理关键点位置信息，可以分别得到与目标对象对应的分类特征和关键点位置特征。然后对分量特征和关键点位置特征进行融合，得到相应的查询特征。

需要说明的是，融合多个第一点云标注特征的方式可以是通过将多个第一点云标注特征进行累加。但不仅限于此，还可以将多个第一点云标注特征拼接实现融合多个第一点云标注特征。本申请的实施例对融合多个第一点云标注特征的具体方式不做限定，本领域技术人员可以根据实际需求进行设计。

根据本申请的实施例，相对于采用随机编码的方式生成查询特征，通过融合多个第一点云标注信息各自的第一点云标注特征来确定查询特征，可以使后续识别层充分学习到的第一点云标注信息的属性，从而提升后续目标点云标注信息的识别准确率。

根据本申请的实施例，可以将多个第一点云标注信息分别输入至相同的或不同的特征提取层来实现输出第一点云标注特征。特征提取层可以基于神经网络算法来构建得到，例如可以基于多层感知器（Muti-Layer Perception，MLP）来构建特征提取层，但不仅限于此，还可以基于其他类型的神经网络算法来构建特征提取层，例如还可以基于全连接层（Fully Connected Layer）构建特征提取层，本申请的实施例对此不做限定。

根据本申请的实施例，第二点云标注信息包括以下至少一项：

与目标对象相对应的尺寸标注信息、朝向角标注信息、深度标注信息。

根据本申请的实施例，尺寸标注信息可以用于表征目标对象的大小，例如可以包括与目标对象对应的三维检测框的长、宽、高等尺寸。

根据本申请的实施例，深度标注信息可以表征目标对象在待检测空间中的空间位置，通过深度标注信息可以表征点云数据的空间位置属性，进而提升点云数据的数据质量。

根据本申请的实施例，第二点云标注信息还可以包括与目标对象对应的速度标注信息等其他类型的点云标注信息。相应地，可以通过对深度学习模型的识别层设置与标注信息的类型相对应的检测分支（检测头）即可以实现相应类型的点云标注信息的输出，以丰富第二点云标注信息的数据类型，进一步提升点云数据的数据质量。

图4示意性示出了根据本申请实施例的数据处理方法的应用场景图。

如图4所示，该应用场景400中可以包括待标注的点云数据411、与目标对象对应的第一点云标注信息，即目标对象的分类信息412和关键点位置信息413。

本申请实施例中的关键点位置信息可以是邻近关键点的邻近关键点位置信息，邻近关键点可以与目标对象的中心点相距小于预设间距阈值。该邻近关键点位置信息可以是邻近关键点的二维坐标位置。

将点云数据411、分类信息412和关键点位置信息413分别输入至深度学习模型420中。深度学习模型420可以包括图像特征提取层421、分类编码层422、位置编码层423、第一卷积层424a、第二卷积层424b和识别层425。

图像特征提取层421可以基于中心点（CenterPoint）算法构建得到，将点云数据411输入至图像特征提取层421，可以得到鸟瞰图特征431。

相应地，可以将鸟瞰图特征431分别输入至第一卷积层424a和第二卷积层424b，输出值特征441与键特征442。

分类编码层422（分类特征提取层）和位置编码层423（位置特征提取层）可以分别提取分类信息412和关键点位置信息413各自的分类特征432和位置特征433。分类特征432和位置特征433可以通过累加的方式融合为查询特征443。

识别层425可以是基于Transformer算法模型构建得到的自注意力网络层。将查询特征443、值特征441与键特征442输入至识别层425，可以基于识别层425的自注意力机制，充分学习分类信息412和关键点位置信息413的属性，进而输出目标点云标注信息450。该目标点云标注信息450可以包含有第一点云标注信息，即可以包含有分类信息412和关键点位置信息413，还可以包含有表征目标对象的三维检测框的长、宽、高，朝向角等与第一点云标注信息不同的第二点云标注信息。由于该关键点位置信息413可以是邻近关键点的二维坐标位置，因此第二点云标注信息还可以包括与目标对象相对应的邻近关键点的三维坐标位置，或者与目标对象相对应的中心点的三维坐标位置。

因此，目标点云标注信息可以较为完整地标注待标注的点云数据，实现点云数据的自动标注，提升标注效率。

根据本申请的实施例，数据处理方法还可以包括如下操作。

根据目标点云标注信息和待标注的点云数据，确定训练数据，其中，训练数据适用于训练待训练的目标检测模型。

根据本申请的实施例，通过上述任意实施例的数据处理方法得到的目标点云标注信息，可以实现对待标注的点云数据的标注信息进行扩充，从而得到数据质量较高的训练数据。同时，相对于人工标注的方式确定待标注的点云数据的标注信息，本申请实施例提供的数据处理方法可以提升针对点云数据的标注速度，进而实现在相对较短时间内对海量的点云数据完成标注工作，提升了用于训练目标检测模型的训练数据的数据规模，这样可以实现提升目标检测模型的鲁棒性，以及检测精确性的技术效果。

根据本申请的实施例，目标点云标注信息包括与目标对象相对应的三维目标检测框。

根据本申请的实施例，可以通过对深度学习模型设置目标检测框检测头来实现深度学习模型输出三维目标检测框，三维目标检测框可以包含有与目标对象对应的三维空间位置、三维目标检测框的长、宽、高等检测框尺寸，以及目标对象的分类等目标对象的属性信息。

根据本申请的实施例，数据处理方法还可以包括如下操作。

根据与目标对象相对应的三维目标检测框，确定针对目标对象的检测结果。

根据本申请的实施例，通过三维目标检测框，可以快速且较为精准地确定目标对象的位置、尺寸等检测结果。因此基于本申请实施例提供的数据处理方法，可以基于弱标注的点云数据，即基于标注信息不完整的点云数据来实现精准地检测目标对象，从而降低了目标对象检测对于点云数据的数据质量要求，进一步提升针对目标对象的检测效率。

图5示意性示出了根据本申请实施例的深度学习模型的训练方法的流程图。

如图5所示，该深度学习模型的训练方法包括操作S510。

在操作S510，利用训练样本和与训练样本对应的样本标签训练初始深度学习模型，得到训练后的深度学习模型，其中，样本标签包括与样本点云数据所表征的样本目标对象相对应的样本目标点云标注信息，样本目标点云标注信息包括样本第一点云标注信息和样本第二点云标注信息，训练样本包括样本点云数据和样本第一点云标注信息，其中，深度学习模型用于如上文描述的数据处理方法。

根据本申请的实施例，样本点云数据可以包括探测装置对待检测空间探测后生成的数据，样本点云数据可以至少部分表征待检测空间中的车辆、交通标识牌等样本目标对象。

需要说明的是，本申请的实施例中，样本点云数据的生成可以是基于任意类型的探测装置对待检测空间进行探测后得到的，例如可以基于激光雷达探测后生成样本点云数据。但不仅局限于此，还可以基于毫米波雷达等其他类型的探测装置对待检测空间探测后生成样本点云数据，本申请的实施例对生成样本点云数据的探测装置的具体类型不做限定，本领域基于人员可以根据实际需求进行选择。

根据本申请的实施例，样本第一点云标注信息和/或样本第二点云标注信息可以包括用于表征样本目标对象的形状、尺寸、位置等属性的信息。样本第一点云标注信息和样本第二点云标注信息之间至少有部分信息类型，或者至少有部分信息内容存在不同，因此可以通过包含有样本第一点云标注信息和样本第二点云标注信息的样本目标点云标注信息来较为完整地表征样本点云数据对应的标注信息。

应该理解的是，可以通过人工标注的方式针对待标注的样本点云数据进行标注后，得到样本第一点云标注信息，或者还可以通过其他方式来得到样本第一点云标注信息。例如利用图像识别模型对点云数据处理后得到相应的样本第一点云标注信息，实现样本第一点云数据的自动标注。本申请的实施例对得到样本第一点云标注信息的具体方式不做限定，本领域技术人员可以根据实际需求进行设计。

本申请的实施例对样本第一点云标注信息和/或样本第二点云标注信息各自的标注信息类型不做限定，例如样本第一点云标注信息可以包括分类标注信息和位置标注信息，样本第二点云标注信息可以包括尺寸标注信息。但不仅局限于此，样本第一点云标注信息和/或样本第二点云标注信息各自还可以具有其他标注信息类型，只要能够满足实际需求即可。

需要说明的是，样本目标对象的数量可以是1个，或者也可以是多个，本申请的实施例对样本目标对象的数量不做限定，只要能够满足样本点云数据关联有各自的样本目标对象即可。

根据本申请的实施例，操作S510中，利用训练样本训练初始深度学习模型，得到训练后的深度学习模型可以包括如下操作。

将样本点云数据输入至初始深度学习模型的初始图像特征提取层，输出样本图像特征；将与样本点云数据所表征的样本目标对象相对应的样本第一点云标注信息，以及样本点云数据的样本图像特征输入至初始深度学习模型的初始识别层，输出与样本目标对象相对应的识别目标点云标注信息，其中，识别目标点云标注信息包括初始识别层输出的识别第二点云标注信息；利用损失函数处理样本目标点云标注信息和识别目标点云标注信息，得到损失值；基于损失值调整初始深度学习模型的参数，直至损失函数收敛；以及将损失函数收敛的情况下对应的初始学习模型确定为训练后的深度学习模型。

根据本申请的实施例，对初始图像特征提取层可以基于卷积神经网络等神经网络算法来构建得到。但不仅局限与此，还可以基于相关目标检测算法中的骨干网络（BackboneNetwork）层来构建得到，目标检测算法例如可以是VoxelNet算法（体素网络算法）、CenterPoint算法（中心点算法）等，本申请的实施例对初始图像特征提取层的具体算法类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，初始深度学习模型的初始识别层可以包括基于神经网络算法构建得到的神经网络层，例如可以基于多层感知器（Multi-Layer Perceptron，MLP）来构建初始识别层。但不仅局限于此，还可以基于其他神经网络算法来构建初始识别层，例如BERT（Bidirectional Encoder Representation from Transformers）算法等，本申请的实施例对构建初始识别层的具体算法类型不做限定，本领域技术人员可以根据实际需求进行选择。

根据本申请的实施例，初始识别层包括基于注意力机制构建得到的神经网络层。

其中，将与样本点云数据所表征的样本目标对象相对应的样本第一点云标注信息，以及样本点云数据的样本图像特征输入至初始深度学习模型的初始识别层包括下操作。

根据样本图像特征，确定与样本目标对象相对应的样本键特征和样本值特征；根据样本第一点云标注信息，确定样本查询特征；以及样本键特征、样本值特征和样本查询特征输入至初始识别层。

根据本申请的实施例，初始识别层可以基于自注意力机制构建得到，例如可以基于Transformer算法来构建识别层，从而可以利用初始识别层具有的自注意力机制充分学习并融合样本第一点云标注信息和样本图像特征之间的属性关系。

应该理解的是，样本查询特征可以包括输入至初始识别层中自注意力头的查询向量（query）。相应地，样本键特征和样本值特征分别可以是输入至初始识别层中自注意力头的键向量（key）和值向量（value）。本领域技术人员可以根据实际需求分别对样本第一点云标注信息和样本图像特征进行处理后生成相应的query、key 和value，本申请的实施例对处理样本第一点云标注信息和/或样本图像特征的具体方式不做限定，只要能够满足要求即可。

根据本申请的实施例，样本第一点云标注信息包括多个。

其中，根据样本第一点云标注信息，确定样本查询特征可以包括如下操作。

对多个样本第一点云标注信息分别进行特征提取，得到多个样本第一点云标注信息各自对应的样本第一点云标注特征；以及融合多个样本第一点云标注特征，得到样本查询特征。

根据本申请的实施例，多个样本第一点云标注信息可以包括目标对象的样本分类信息和样本关键点位置信息，该样本关键点位置信息可以是样本邻近关键点的二维坐标位置。通过分类特征提取层处理分类信息，并通过位置特征提取层处理关键点位置信息，可以分别得到与样本目标对象对应的样本分类特征和样本关键点位置特征。然后对样本分量特征和样本关键点位置特征进行融合，得到相应的样本查询特征。

需要说明的是，融合多个样本第一点云标注特征的方式可以是通过将多个样本第一点云标注特征进行累加。但不仅限于此，还可以将多个样本第一点云标注特征拼接实现融合多个样本第一点云标注特征。本申请的实施例对融合多个样本第一点云标注特征的具体方式不做限定，本领域技术人员可以根据实际需求进行设计。

根据本申请的实施例，样本第一点云标注信息包括以下至少一项：

样本目标对象的样本关键点位置信息、样本目标对象的样本分类信息。

根据本申请的实施例，其中，在样本第一点云标注信息包括样本目标对象的样本关键点位置信息的情况下，训练方法还包括如下操作。

对与样本目标对象相对应的样本中心点位置信息进行位置更新，得到更新后的样本关键点位置信息。

根据本申请的实施例，更新样本中心点位置信息的方式可以包括对样本中心点坐标位置与位置修正值相加，例如，在样本中心点坐标位置为（x，y）的情况下，可以将位置修正值（a，b）与样本中心点坐标位置（x，y）相加，得到更新后的样本关键点位置信息（x+a，y+b）。

需要说明的是，上述实施例不用于限定更新样本中心点位置信息的方式，本领域技术人员还可以基于其他的方式来更新得到样本关键点位置信息。

根据本申请的实施例，通过更新得到样本关键点位置信息，可以使训练后得到深度学习模型，通过处理待检测的点云数据中的任意点的位置信息来识别得到目标点云标注信息，增强深度学习模型的适用性与鲁棒性。

根据本申请的实施例，样本图像特征包括鸟瞰图特征。

根据本申请的实施例，初始图像特征提取层包括以下至少一项：

中心点网络层、点支柱网络层。

根据本申请的实施例，样本第二点云标注信息包括以下至少一项：

与样本目标对象相对应的样本尺寸标注信息、样本朝向角标注信息、样本深度标注信息。

根据本申请的实施例，样本目标点云标注信息包括与样本目标对象相对应的样本三维目标检测框，识别目标点云标注信息包括三维目标检测框。

需要说明的是，在本申请的实施例中深度学习模型不是针对某一特定用户的检测模型，并不用于检测出某一特定用户的个人信息。深度学习模型的训练过程可以是在经用户授权后执行的，或者还可以是经过具有相关检测权限的机构或用户确认或授权后进行深度学习模型的训练，符合相关法律法规。

本申请的实施例还提供了一种目标对象检测方法，该目标对象检测方法可以包括如下操作。

将待检测点云数据输入至目标对象检测模型，输出目标对象检测结果；其中，目标对象检测模型是利用上述任意实施例中提供的深度学习模型的训练方法训练得到的。

图6示意性示出了根据本申请实施例的目标对象检测方法的应用场景图。

如图6所示，该应用场景600中可以包括安装有激光雷达等探测装置的车辆610，车辆610可以基于探测装置对待检测空间620进行探测，并获取到至少表征待检测空间620中的货车621的点云数据。

车辆610中还可以安装有处理器，处理器可以执行上述实施例中的目标对象检测方法。例如，可以通过相关程序编辑语言将训练后的目标对象检测模型611灌入处理器，以使待检测的点云数据可以输入至目标对象检测模型611，输出目标对象检测结果。目标对象检测模型611可以是利用上述实施例中提供的深度学习模型的训练方法训练后得到的。

目标对象检测结果可以包括表征货车621在待检测空间中的三维检测框，从而使车辆610可以根据目标对象检测结果来执行减速、刹车、超车等行驶操作。

需要说明的是，在本申请的实施例中目标对象检测模型不是针对某一特定用户的检测模型，并不用于检测出某一特定用户的个人信息。目标对象检测模型的检测可以是在经用户授权后执行的，或者还可以是经过具有相关检测权限的机构或用户确认或授权后进行目标对象检测，其检测过程符合相关法律法规。

图7示意性示出了根据本申请实施例的数据处理装置的框图。

如图7所示，数据处理装置700可以包括：图像特征提取模块710和识别模块720。

图像特征提取模块710，用于对待标注的点云数据进行图像特征提取，得到点云数据的图像特征。

识别模块720，用于将与点云数据所表征的目标对象相对应的第一点云标注信息，以及点云数据的图像特征输入至深度学习模型的识别层，输出与目标对象相对应的目标点云标注信息，其中，目标点云标注信息包括第一点云标注信息和第二点云标注信息。

根据本申请的实施例，识别层包括基于注意力机制构建得到的神经网络层。

其中，识别模块包括：第一特征确定子模块、查询特征确定子模块和识别子模块。

第一特征确定子模块，用于根据图像特征，确定与目标对象相对应的键特征和值特征。

查询特征确定子模块，用于根据第一点云标注信息，确定查询特征。

识别子模块，用于将键特征、值特征和查询特征输入至识别层。

根据本申请的实施例，第一点云标注信息包括多个。

其中，查询特征确定子模块包括：第一点云标注信息特征提取单元和融合单元。

第一点云标注信息特征提取单元，用于对多个第一点云标注信息分别进行特征提取，得到多个第一点云标注信息各自对应的第一点云标注特征。

融合单元，用于融合多个第一点云标注特征，得到查询特征。

根据本申请的实施例，第一点云标注信息包括以下至少一项：

目标对象的关键点位置信息、目标对象的分类信息。

根据本申请的实施例，在第一点云标注信息包括目标对象的关键点位置信息的情况下，关键点位置信息包括以下至少一项：

与目标对象相对应的中心点的中心点位置信息、与目标对象相对应的邻近关键点的邻近关键点位置信息。其中，邻近关键点与中心点的间距小于或等于预设间距阈值。

根据本申请的实施例，图像特征包括鸟瞰图特征。

其中，图像特征提取模块包括鸟瞰图特征提取子模块。

鸟瞰图特征提取子模块，用于将点云数据输入至深度学习模型的图像特征提取层，输出鸟瞰图特征。

根据本申请的实施例，图像特征提取层包括以下至少一项：

中心点网络层、点支柱网络层。

根据本申请的实施例，第二点云标注信息包括以下至少一项：

与目标对象相对应的尺寸标注信息、朝向角标注信息、深度标注信息。

根据本申请的实施例，数据处理装置还包括训练数据确定模块。

训练数据确定模块，用于根据目标点云标注信息和待标注的点云数据，确定训练数据，其中，训练数据适用于训练待训练的目标检测模型。

根据本申请的实施例，目标点云标注信息包括与目标对象相对应的三维目标检测框。

根据本申请的实施例，数据处理装置还包括检测结果确定模块。

检测结果确定模块，用于根据与目标对象相对应的三维目标检测框，确定针对目标对象的检测结果。

图8示意性示出了根据本申请实施例的深度学习模型的训练装置的框图。

如图8所示，深度学习模型的训练装置800可以包括训练模块810。

训练模块810，用于利用训练样本和与训练样本对应的样本标签训练初始深度学习模型，得到训练后的深度学习模型，其中，样本标签包括与样本点云数据所表征的样本目标对象相对应的样本目标点云标注信息，样本目标点云标注信息包括样本第一点云标注信息和样本第二点云标注信息，训练样本包括样本点云数据和样本第一点云标注信息。

其中，深度学习模型用于如上文描述的数据处理方法。

根据本申请的实施例，训练模块包括：样本图像特征提取子模块、识别子模块、损失值确定子模块、参数调整子模块和深度学习模型确定子模块。

样本图像特征提取子模块，用于将样本点云数据输入至初始深度学习模型的初始图像特征提取层，输出样本图像特征。

识别子模块，用于将与样本点云数据所表征的样本目标对象相对应的样本第一点云标注信息，以及样本点云数据的样本图像特征输入至初始深度学习模型的初始识别层，输出与样本目标对象相对应的识别目标点云标注信息，其中，识别目标点云标注信息包括初始识别层输出的识别第二点云标注信息。

损失值确定子模块，用于利用损失函数处理样本目标点云标注信息和识别目标点云标注信息，得到损失值。

参数调整子模块，用于基于损失值调整初始深度学习模型的参数，直至损失函数收敛。

深度学习模型确定子模块，用于将损失函数收敛的情况下对应的初始学习模型确定为训练后的深度学习模型。

根据本申请的实施例，初始识别层包括基于注意力机制构建得到的神经网络层。

其中，识别子模块包括：第一样本特征确定单元、样本查询特征确定单元和样本识别单元。

第一样本特征确定单元，用于根据样本图像特征，确定与样本目标对象相对应的样本键特征和样本值特征。

样本查询特征确定单元，用于根据样本第一点云标注信息，确定样本查询特征。

样本识别单元，用于将样本键特征、样本值特征和样本查询特征输入至初始识别层。

根据本申请的实施例，样本第一点云标注信息包括多个。

其中，样本查询特征确定单元包括：点云标注特征提取子单元和样本融合子单元。

点云标注特征提取子单元，用于对多个样本第一点云标注信息分别进行特征提取，得到多个样本第一点云标注信息各自对应的样本第一点云标注特征。

样本融合子单元，用于融合多个样本第一点云标注特征，得到样本查询特征。

根据本申请的实施例，在样本第一点云标注信息包括样本目标对象的样本关键点位置信息的情况下，训练装置还包括样本更新模块。

样本更新模块，用于对与样本目标对象相对应的样本中心点位置信息进行位置更新，得到更新后的样本关键点位置信息。

图9示意性示出了根据本申请实施例的目标对象检测装置的框图。

如图9所示，目标对象检测装置900可以包括检测模块910。

检测模块910，用于将待检测点云数据输入至目标对象检测模型，输出目标对象检测结果；其中，目标对象检测模型是利用上述深度学习模型的训练方法训练得到的。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本申请的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本申请的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本申请的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图10示出了可以用来实施本申请的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器（ROM）1002中的计算机程序或者从存储单元1008加载到随机访问存储器（RAM）1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出（I/O）接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如数据处理方法、训练方法或者目标对象检测方法。例如，在一些实施例中，数据处理方法、训练方法或者目标对象检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM1003并由计算单元1001执行时，可以执行上文描述的数据处理方法、训练方法或者目标对象检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行数据处理方法、训练方法或者目标对象检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。