跨域抓取识别方法、装置、电子设备及存储介质

技术领域

本发明涉及视觉技术领域，尤其是涉及一种跨域抓取识别方法、装置、电子设备及存储介质。

背景技术

抓取操作作为机器人的一项基本功能，在推进机器人智能化道路上起着至关重要的作用。该项技术一直备受广泛关注，尤其近几年，深度学习在物体检测、场景理解、风格迁移等领域取得了突破性成果，在深度学习方法方面开展了大量机器人抓取识别算法的研究工作，并取得了丰硕成果。

机器人抓取识别算法主要针对简单环境的物体抓取识别，一些方法尽管实现了复杂场景中多物体抓取位姿的测量，但采用了两步甚至多步的识别方法，使抓取位姿测量过程变的繁琐，降低了识别速度。而在传统识别算法的基础上提出的基于深度学习的机器人抓取识别算法，虽然在识别效果上取得了显著优势，但需要海量带有标签的训练样本，而获取这些样本的人力物力成本十分昂贵，且周期漫长。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明实施例提出一种跨域抓取识别方法，一方面建立图像跨域生成机制，将源域图像生成具有目标域风格的伪目标域图像，并保留源域图像中目标物体特征及其标签信息，从数据层面减小两异域数据的特征差异；另一方面构建具有域混淆功能的多目标物体抓取识别模型，在模型训练过程中使两领域数据的隐层网络特征彼此难分，从网络结构层面减小异域数据的特征差异。并且该方法构建了标签噪声鲁棒性损失函数，同时利用带标签的伪目标域与无标签的目标域数据训练多目标物体抓取识别模型，进一步提升抓取识别模型的跨域识别能力。

本发明实施例还提出一种跨域抓取识别装置。

本发明实施例还提出一种电子设备。

本发明实施例还提出一种计算机可读存储介质。

根据本发明的第一方面实施例的跨域抓取识别方法，包括：

建立图像跨域生成机制；

利用所述图像跨域生成机制将源域图像生成具有目标域风格的伪目标域图像，并保留源域图像中目标物体的特征信息；

构建初始抓取识别模型；

利用所述伪目标域图像训练所述初始抓取识别模型；

根据预设的域分类器和所述初始抓取识别模型得到目标物体跨域抓取识别模型；

利用所述伪目标域图像和目标域图像训练所述目标物体跨域抓取识别模型；

建立多目标物体抓取数据集，根据所述多目标物体抓取数据集和所述目标物体跨域抓取识别模型进行复杂场景中目标物体的跨域抓取识别。

根据本发明第一方面实施例的跨域抓取识别方法，至少具有如下有益效果：首先通过建立图像跨域生成机制，利用图像跨域生成式对抗网络将源域图像生成具有目标域风格的伪目标域图像，并保留原域图像中目标物体的特征与标签信息，实现数据标签的跨域迁移，并从数据层面减小两领域数据的差异；然后构建初始抓取识别模型，利用伪目标域图像预训练初始抓取识别模型；接着建立具有域混淆功能的目标物体跨域抓取识别模型，并建立标签噪声鲁棒性的多目标物体抓取损失函数，从网络结构与优化方法层面减小两领域的差异，提高识别模型跨域识别性能；最后建立多目标物体抓取数据集，根据多目标物体抓取数据集和目标物体跨域抓取识别模型进行复杂场景中目标物体的跨域抓取识别，实现机器人抓取识别模型对环境变换的强鲁邦性。

根据本发明的一些实施例，所述建立图像跨域生成机制，包括：获取对抗损失函数、循环一致性损失函数和重构损失函数；根据所述对抗损失函数、所述循环一致性损失函数和所述重构损失函数得到全局损失函数；根据所述全局损失函数建立所述图像跨域生成机制。

根据本发明的一些实施例，所述构建初始抓取识别模型，包括：设置物体检测损失函数与抓取位姿测量损失函数；根据所述物体检测损失函数与抓取位姿测量损失函数得到目标优化函数；根据所述目标优化函数建立所述初始抓取识别模型。

根据本发明的一些实施例，所述利用所述伪目标域图像训练所述初始抓取识别模型，包括：根据所述伪目标域图像得到伪目标数据集；根据所述伪目标数据集训练所述初始抓取识别模型。

根据本发明的一些实施例，所述所述根据预设的域分类器和所述初始抓取识别模型得到目标物体跨域抓取识别模型，包括：建立域分类器；将所述域分类器嵌入所述初始抓取识别模型中，得到所述目标物体跨域抓取识别模型；根据所述目标域图像得到目标域数据集；根据所述初始抓取识别模型与所述目标数据集构建标签噪声鲁棒性损失函数；根据所述标签噪声鲁棒性损失函数、所述伪目标数据集和所述目标域数据集训练所述目标物体跨域抓取识别模型。

根据本发明的一些实施例，所述所述根据所述目标数据集构建标签噪声鲁棒性损失函数，包括：获取所述目标数据集对应的伪标签；根据所述伪标签的可信度构建标签噪声鲁棒性损失函数。

根据本发明的一些实施例，所述所述建立多目标物体抓取数据集，根据所述多目标物体抓取数据集和所述目标物体跨域抓取识别模型进行图像的跨域抓取识别，包括：建立第一数据集、第二数据集和第三数据集；分别对所述第一数据集、所述第二数据集和所述第三数据集中的数据进行标注，得到待检测标注信息；根据所述待检测标注信息和所述目标物体跨域抓取识别模型进行复杂场景中目标物体的跨域抓取识别。

根据本发明的第二方面实施例的跨域抓取识别装置，包括：

建立模块，用于构建图像跨域生成式对抗网络；

生成模块，用于利用所述图像跨域生成式对抗网络将源域图像生成具有目标域风格的伪目标域图像，并保留源域图像中目标物体的特征信息与标签信息；

构建模块，用于构建初始抓取识别模型；

预训练模块，用于利用所述伪目标域图像预训练所述初始抓取识别模型；

混淆模块，用于利用预设的域分类器神经网络减小所述目标域与源域数据在隐层网络中特征的差异；

训练模块，用于利用伪目标域图像和目标域图像训练所述目标物体跨域抓取识别网络；

检测模块，用于建立多目标物体抓取数据集，根据所述多目标物体抓取数据集和所述目标物体跨域抓取识别模型进行复杂场景中目标物体的跨域抓取识别。

根据本发明第二方面实施例的跨域抓取识别装置，至少具有如下有益效果：通过执行本发明第一方面实施例的跨域抓取识别方法，能够从数据层面和网络结构层面减小异域数据的差异，实现了抓取识别模型的有效跨域迁移，提高抓取识别模型跨域识别的准确率，增强基于视觉识别的智能机器人跨域抓取应用时的鲁棒性。

根据本发明第三方面实施例的电子设备，包括：至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现第一方面所述的跨域抓取识别方法。

根据本发明第三方面实施例的电子设备，至少具有如下有益效果：通过执行本发明第一方面实施例的跨域抓取识别方法，能够保留原图像中目标物体的特征信息，实现了抓取识别标签的跨域迁移，最大限度的提升机器人抓取识别模型的跨域识别能力。

根据本发明第四方面实施例的计算机可读存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行第一方面所述的跨域抓取识别方法。

根据本发明第四方面实施例的计算机可读存储介质，至少具有如下有益效果：通过执行本发明第一方面实施例的跨域抓取识别方法，能够从数据层面和网络结构层面减小异域数据的差异，实现了抓取识别模型的有效跨域迁移，提高抓取识别模型跨域识别的准确率，增强基于视觉识别的智能机器人跨域抓取应用时的鲁棒性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的跨域抓取识别方法的流程示意图；

图2为本发明实施例的跨域抓取识别网络结构的结构示意图；

图3为本发明实施例的第一数据集、第二数据集和第三数据集的示意图；

图4为本发明实施例的图像的跨域抓取识别结果的示意图；

图5为本发明实施例的跨域抓取识别装置的结构示意图；

图6为本发明实施例的电子设备的结构示意图。

附图标记：

建立机制500、生成模块510、构建模块520、预训练模块530、混淆模块540、训练模块550、检测模块560、处理器600、存储器610、数据传输模块620、摄像头630、显示屏640。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

首先，对本申请中涉及的若干名词进行解析：

1、GAN：生成式对抗网络是由Goodfellow等巧妙利用博弈论中零和博弈的思想提出的一种机器学习算法，该算法主要通过两个神经网络相互博弈进行学习，生成与目标域数据无差别的伪目标域图像，达到以假乱真的目的。

2、CycleGAN：循环生成对抗网络算法，CycleGAN本质上是两个镜像对称的GAN，构成了一个环形网络。不同于GAN，CycleGAN不需要配对的训练图像

3、PatchGAN：普通的GAN判别器是将输入映射成一个实数，即输入样本为真样本的概率，而PatchGAN是将输入映射为N×N的patch(矩阵)X，X

参照图1，根据本发明第一方面实施例的跨域抓取识别方法，包括：

步骤S100，建立图像跨域生成机制。

其中，图像跨域生成机制可以是在机器人跨域抓取识别任务中，用于生成伪目标域图像的数学模型。可选的，在机器人跨域抓取识别任务中，生成的伪目标域图像除了尽可能的含有目标域图像中的背景、光照、相机参数等相关的特征信息外，还需保留原图像中目标抓取物体的各种特征信息，如纹理、色彩、位置等信息，即生成对抗网络跨域生成的图像与原始图像具有一一对应关系。由于获取图像对数据集十分困难，且成本十分昂贵，因此可以采用基于弱监督的循环生成对抗网络算法(CycleGAN)，无需训练集中的源域数据与目标域数据具有强烈的对应关系，不需要图像配对的训练图像，即可生成理想的目标图像。该算法的训练数据集易获得，利于机器人抓取识别算法的快速实现，因此，本发明实施例可以采用CycleGAN生成对抗网络完成图像的跨域生成任务，即图像跨域生成机制由目标域与源域生成器G

步骤S110，利用图像跨域生成机制将源域图像生成具有目标域风格的伪目标域图像，并保留源域图像中目标物体的特征信息。

其中，源域图像可以是相机从源域环境中直接拍摄的图像，为原始图像；伪目标域图像为对抗生成网络生成的与目标域数据无差别的伪图像，即具有目标域图像风格的生成图像。可选的，源域图像是泛指源域数据集中的图像。在图像跨域生成式对抗网络训练中，每批次输入图像跨域生成式对抗网络的图像数量为1，即每批次输入一张图像进行训练。如图2所示，在图2所示的图像跨域生成式对抗网络中，目标域生成器G

步骤S120，构建初始抓取识别模型。

其中，初始抓取识别模型可以是初始的多目标抓取识别模型，多目标可以是指的图像中的目标物体数量为多个，类别亦可为多种。可选的，初始抓取识别模型可以采用多目标物体抓取识别网络，主要包含物体检测与抓取位姿测量两部分，可实现目标物体抓取位姿的端对端识别。

步骤S130，利用伪目标域图像训练初始抓取识别模型。

其中，伪目标域数据为图像跨域生成网络生成的带有标签的伪图像数据集。可选的，为使初始抓取识别模型的开始具有一定的识别能力，可以利用带标签的伪目标域数据预训练抓取识别模型。

步骤S140，根据预设的域分类器和初始抓取识别模型得到目标物体跨域抓取识别模型。

其中，域分类器可以是目标物体跨域抓取识别网络的一分部；目标物体跨域抓取识别模型可以是对初始抓取识别模型进行预训练后所得的、性能较为理想的具有域混淆功能的多目标物体抓取识别模型。可选的，域分类器可以由2个卷积层和1个全连接层组成，初始抓取识别模型和域分类器都属于如图2所示的具有域混淆功能的多目标物体抓取识别网络(即目标物体跨域抓取识别模型)的部分。由于在图像跨域生成式对抗网络的训练过程中存在的训练数据量不足或陷入局部最优的问题，常常导致伪目标域数据与真实目标域数据分布产生不一致的现象，为解决上述问题，进一步减小两领域数据的差异，可以构建域分类器模型并嵌入到如图2所示的多目标物体抓取识别网络中。

步骤S150，建立多目标物体抓取数据集，根据多目标物体抓取数据集和目标物体跨域抓取识别模型进行目标物体的跨域抓取识别。

其中，目标域图像可以是机器人实际抓取应用场景中拍摄的图像；多目标物体抓取数据集可以是跨域多目标物体抓取的图像数据集，多目标物体抓取数据集可以是多个。多目标可以是指的图像中的目标物体数量为多个，多目标抓取数据集中的目标物体类型丰富多样，形状各异。可选的，可以利用带标签的伪目标域数据和无标签的目标域数据共同训练初始抓取识别网络模型，同时可以优化域分类器参数和其它部分的网络参数，得到基于领域自适应学习的目标物体跨域抓取识别模型。可以在目标物体跨域抓取识别模型的训练过程中，通过学习难以区分数据域的分类器，使两域数据的隐层特征彼此难分，在网络结构层面减小两领域的差异，提高机器人的跨域识别能力。同时，为充分并有效利用无标签的目标域数据，在模型训练过程中根据当前抓取识别模型设置目标域数据的伪标签，并根据伪标签的可信度建立标签造成鲁棒性损失函数，联合伪目标域数据优化训练跨域抓取识别模型。可选的，为验证目标物体跨域抓取识别模型的跨域识别性能，可以建立三个背景完全不一致的跨域多目标物体抓取数据集，并根据这三个多目标物体抓取数据集开展目标物体跨域抓取识别模型的跨域抓取识别实验，即进行图像的跨域抓取识别。根据实验结果可得，基于领域自适应的目标物体跨域抓取识别模型在机器人跨域抓取识别任务中表现出了优良的跨域适应能力，大幅度地提升了物体检测和抓取位姿测量的准备率。

上述跨域抓取识别方法，首先通过建立图像跨域生成机制，构建图像跨域生成式对抗网络，利用图像跨域生成式对抗网络将源域图像生成具有目标域风格的伪目标域图像，并保留源域图像中目标物体的特征信息，接着构建初始抓取识别模型，利用伪目标域图像预训练初始抓取识别模型，随之根据预设的域分类器和初始抓取识别模型得到目标物体跨域抓取识别模型，同时利用当前抓取识别模型设置目标域数据的伪标签，并根据伪标签的可信度构建标签噪声鲁棒性损失函数，然后利用伪目标域图像和目标域图像训练目标物体跨域抓取识别模型，最后建立多目标物体抓取数据集，根据多目标物体抓取数据集和目标物体跨域抓取识别模型进行复杂场景中目标物体的跨域抓取识别。该方法能够从数据层面和网络结构层面减小异域数据的差异，实现抓取识别模型的有效跨域迁移，提高抓取识别模型跨域识别的准确率，进而增强基于视觉识别的智能机器人跨域抓取应用时的鲁棒性。

在本发明的一些实施例中，建立图像跨域生成机制，包括：

获取对抗损失函数、循环一致性损失函数和重构损失函数。其中，对抗损失函数可以是实现图像跨域生成式对抗网络的生成器与识别器的对抗学习的损失函数；循环一致性损失函数可以可实现两个功能：一方面保证目标域生成器生成的伪目标域图像能够通过源域生成器生成原始的源域图像，即源域图像循环生成，另一方面保证由目标域图像生成的伪源域图像能够复原成原始的目标域图像，即目标域图像循环生成；理论上，目标域生成器将源域图像生成具有目标域风格的伪目标域图像的同时，也具有自我重构功能，且两功能相互促进，因此可以增加自我重构损失函数(即重构损失函数)促进图像跨域生成式对抗网络的自我重构。

可选的，循环生成对抗网络与经典生成对抗网络的对抗损失函数功能相似，都是实现生成器与识别器的对抗学习。为防止模型在训练过程中出现梯度振荡、不稳定现象，并取得更好的图像生成效果，图像跨域生成式对抗网络的生成器与判别器的优化函数可以采用基于最小二乘法的对偶式对抗损失函数，即得到对抗损失函数，对抗损失函数如式(1)所示：

其中：

式中x

可选的，若只运用对抗损失函数训练图像跨域生成式对抗网络，可能会出现模型崩溃的现象，即学习到的最优生成器会将所有源域图像映射到同一伪目标域图像上，丧失生成多样图像的能力。为使图像跨域生成式对抗网络生成的图像具有可控性，可以引入循环一致性损失函数L

以源域图像循环生成为例：令源域图像X

可选的，理论上目标域生成器将源域图像生成具有目标域风格的图像的同时，也具有自我重构功能，且两功能相互促进。对于源域生成器，亦是如此。因此，为训练出性能更加优良的图像生成器，可以增加自我重构损失函数。该重构损失函数采用L

由此，可以分别得到如式(1)所示的对抗损失函数、如式(2)所示的循环一致性损失函数和如式(3)所示的重构损失函数。

根据对抗损失函数、循环一致性损失函数和重构损失函数得到全局损失函数。其中，全局损失函数可以是图像跨域生成式对抗网络的优化函数。可选的，全局损失函数可以包括对抗损失函数、循环一致性损失函数和重构损失函数三个部分。设对抗损失函数如式(1)所示、循环一致性损失函数如式(2)所示、重构损失函数如式(3)所示，则全局损失函数如下述式(4)所示：

L(G,D,X

式中λ为调节循环一致性损失函数的权重系数，β为调节重构损失的权重系数。则可以根据上述公式(4)联合对抗损失函数、循环一致性损失函数和重构损失函数得到全局损失函数。

根据全局损失函数建立图像跨域生成式对抗网络。可选的，图像跨域生成式对抗网络可以是循环生成对抗网络结构，循环生成对抗网络由目标域与源域生成器G

在本发明的一些实施例中，构建初始抓取识别模型，包括：

设置物体检测损失函数与抓取位姿测量损失函数。可选的，初始抓取识别模型采用多目标物体抓取识别网络，主要包含物体检测与抓取位姿测量两部分，以实现目标物体抓取位姿的端对端识别，因此，可以分别设置物体检测损失和抓取位姿测量两部分的损失函数，即设置物体检测损失函数和抓取位姿测量损失函数。其中上述两损失函数的位置损失可以采用smoothL1函数，类别损失可以采用逻辑回归损失。

根据物体检测损失函数与抓取位姿测量损失函数得到目标优化函数。其中，目标优化函数可以是初始抓取识别模型的优化函数。可选的，伪目标域图像X

L

式中Θ为抓取识别网络参数，G为机器人抓取识别，L

根据目标优化函数获取初始抓取识别模型。可选的，设初始抓取模型采用多目标物体抓取识别网络，则可以根据目标优化函数优化该多目标物体抓取识别网络，得到预训练的初始抓取识别模型。通过物体检测损失函数和抓取位姿测量损失函数得到目标优化函数，再根据目标优化函数优化初始抓取识别模型，可使初始抓取识别模型取得良好的识别效果，用于预设置目标域数据伪标签，利于后期训练出性能优良的跨域抓取识别模型。

在本发明的一些实施例中，利用伪目标域图像和真实目标域图像训练初始抓取识别模型，包括：

根据伪目标域图像得到伪目标数据集。其中，伪目标域图像可以是跨域生成领域的图像，目标域图像可以是相机从机器人实际应用场景中直接拍摄的图像。可选的，由于伪目标域图像X

根据伪目标数据集构建标签噪声鲁棒性损失函数。其中，标签噪声鲁棒性损失函数可以通过改编初始抓取识别模型的目标优化函数(即损失函数)，使得初始抓取识别模型在含有标签噪声的数据集上训练后的性能与在干净的噪音数据集上的性能相当。可选的，鉴于目标域数据X

式(6)中，下标o表示物体检测，下标g表示抓取位姿测量。虽然利用当前识别器可设置目标域数据的伪标签，但难以保证这些伪标签的真实性，即伪标签中可能含有大量标签噪声。在初始抓取识别模型的训练过程中，标签噪声会给模型的优化带来负面影响，导致反传梯度振荡或发散，进而造成训练出的抓取识别模型性能不稳定与识别精度下降的问题出现。针对该问题，可以根据伪标签的可信度构建基于标签噪声鲁棒性的物体检测与抓取位姿测量的回归损失函数，两函数分别表示为式(7)和(8)的形式：

式中H、M和L分别表示物体检测或者抓取位姿伪标签为真实标签的高、中、低可信度，且L

根据标签噪声鲁棒性损失函数、伪目标数据集和真实目标域数据集训练初始抓取识别模型。可选的，为充分利用无标签的目标域数据，运用当前学习到的识别器对目标域数据设置伪标签，在根据伪标签的可信度构建标签噪声鲁棒性损失函数之后，可以根据标签噪声鲁棒性损失函数、伪目标数据集和目标域数据集训练初始抓取识别模型，以减小错误标签对识别模型的负面影响，提升机器人抓取识别模型的跨域识别能力。

在本发明的一些实施例中，根据伪目标数据集构建标签噪声鲁棒性损失函数，包括：

获取伪目标域数据集对应的伪标签。可以是对当前学习到的识别器对目标域数据设置伪标签。可选的，为利用无标签的目标域数据，在抓取识别模型自适应学习过程中，每迭代训练一次可以利用当前学到的识别器设置目标域数据的伪标签。

根据伪标签的可信度构建标签噪声鲁棒性损失函数。可选的，可以根据伪标签的可信度，重新构建物体检测与抓取位姿测量的标签噪声鲁棒性回归损失函数，如上述式(7)和式(8)所示，以减小错误标签对识别模型迁移时造成的负面效应。

在本发明的一些实施例中，根据预设的域分类器和初始抓取识别模型得到目标物体跨域抓取识别模型，包括：

建立域分类器。可选的，在利用带标签的伪目标域数据和无标签的目标域数据训练初始抓取识别模型的同时，可以优化域分类器参数和其它部分的网络参数，从网络层面减小伪目标域数据与目标域数据两领域的特征差异。

将域分类器嵌入初始抓取识别模型中，得到目标物体跨域抓取识别模型，在识别模型训练过程中，域分类器和初始抓取识别模型一起优化。可选的，在识别网络训练过程中，通过学习难以区分数据域的分类器，使两域数据的隐层特征相混淆，在网络结构层面减小两领的差异，提高机器人的跨域识别能力。域分类器的优化函数采用逻辑回归损失，其表达式如式(9)所示。

式中h(x

L

式中L

在本发明的一些实施例中，建立多目标物体抓取数据集，根据多目标物体抓取数据集和目标物体跨域抓取识别模型进行复杂场景中目标物体的跨域抓取识别，包括：

建立第一数据集、第二数据集和第三数据集。其中，第一数据集、第二数据集和第三数据集可以是三个背景色差明显、数据特征分布相差较大的多目标抓取数据集。可选的，参照图3，图3示出了第一数据集(a)、第二数据集(b)和第三数据集(c)的图像背景和图像中多个目标物体。图3所示的三个数据集的图像背景分别为片岩石墙纸、不规则外形的鹅卵石路与岩层玉石地板，每个数据集可以含有1017张图像，每张图像中有1～15个不同类型的物体，物体类别数为17，皆为日常用品，如骰子、乐高、螺丝、螺丝刀、笔、胶带等等。每类物体含有5～12个不同尺寸、不同外形的物体。部分物体的抓取识别标签如图4中主对角线上的三个子图所示。

分别对第一数据集、第二数据集和第三数据集中的数据进行标注，得到待检测标注信息。其中，待检测标注信息可以是需要检测的、对第一数据集、第二数据集和第三数据集中的数据进行标注的信息。可选的，为获取抓取识别标注信息，可以对第一数据集、第二数据集和第三数据集中的数据进行标注，得到待检测标注信息主要包含：目标物体的类别及其在图像中的位置矩形框信息、适合机器人二指抓取的位置矩形框及角度。

根据待检测标注信息和目标抓取识别模型进行图像的跨域抓取识别。可选的，可以根据第一数据集、第二数据集和第三数据集对应的待检测标注信息，开展目标抓取识别模型的跨域识别与机器人跨域抓取分拣实验。如图4所示，图4示出了图像跨域生成式对抗网络跨域生成图像的可视化结果，图4中，“钳子：16”表示目标物体为钳子，类别为16；“杯子：9”表示目标物体为杯子，类别为9；“易拉罐：14”表示目标物体为易拉罐，类别为14。图4中主对角线上的三个子图为相机拍摄得到的原始图像，同一行的其它子图都是由当前主对角线上的原始图像跨域生成，而每一列子图则为具有同一风格的真实目标域图像和伪目标域图像。对比图4中各子图的可视化效果可知，根据图像跨域生成式对抗网络生成的伪目标域图像与真实目标域图像的背景极为相近，几乎达到以假乱真的程度。而对于图像中目标物体的特征信息，在图像跨域风格迁移过程中几乎未发生变化，尤其是它们的像素位置信息。源域图像中的物体检测及抓取位姿标签信息在源域图像与生成的图像上的可视化效果如图4所示，由图可知源域图像的标签信息完全适用于伪目标域图像。因此，伪目标域数据集亦可视为带有抓取识别标签的数据集。通过建立三个背景完全不一致的跨域多目标抓取数据集，开展抓取识别模型的跨域识别与机器人跨域抓取分拣实验，得到优良的识别效果，可以验证基于领域自适应学习的目标物体跨域抓取识别模型的跨域识别性能。

下面以一个具体的实施例详细描述本发明实施例的跨域抓取识别方法的过程。需要理解的是，下面描述仅是示例性说明，而不是对本发明的具体限制。

跨域抓取识别方法，执行以下步骤：

第一步，建立图像跨域生成机制，利用循环生成对抗网络将源域图像生成具有目标域风格的伪目标域图像。

在机器人跨域抓取识别任务中，生成的伪目标域图像除了尽可能的含有目标域图像中的背景、光照、相机参数等相关的特征信息外，还需保留原图像中目标抓取物体的各种特征信息，如纹理、色彩、位置等信息，即生成对抗网络跨域生成的图像与原始图像具有一一对应关系。目前，这种图像生成方法主要采用基于监督学习的生成对抗网络模型，即训练数据集为图像对数据集

第二步，构建具有域混淆功能的多目标抓取识别网络。

在生成对抗网络训练过程中存在的训练数据量不足或陷入局部最优的问题，常导致伪目标域数据与目标域数据分布产生不一致的现象。为进一步减小两领域数据的差异，本发明实施例构建了域分类器模型并嵌入到多目标抓取识别网络中。在识别网络训练过程中，通过学习难以区分数据域的分类器，使两域数据的隐层特征信息相混淆，在网络结构层面减小两领的差异，提高机器人的跨域识别能力。域分类器的优化函数采用逻辑回归损失，其表达式如上述式(9)所示，在利用伪目标域图像和真实目标域图像联合训练抓取识别模型的同时，优化了域分类器，从网络层面减小两领域的特征差异。

第三步，对无标签的目标域样本设置物体检测与抓取位姿测量伪标签，并构建多目标抓取识别的标签噪声鲁棒性损失函数。

为利用无标签的目标域数据，在抓取识别模型自适应学习过程中，每迭代训练一次便利用当前学到的识别器设置目标域数据的伪标签，并根据伪标签的可信度，重新构建物体检测与抓取位姿测量的标签噪声鲁棒性回归损失函数。

第四步，建立多目标物体跨域抓取数据集。

为验证跨域自适应抓取识别算法的性能，可以建立三个背景色差明显、数据特征分布相差较大的跨域多目标抓取数据集。这三个数据集的图像背景分别为片岩石墙纸、不规则外形的鹅卵石路与岩层玉石地板，如图3所示。每个数据集含有1017张图像，每张图像中有1～15个不同类型的物体，物体类别数为17，皆为日常用品，如骰子、乐高、螺丝、螺丝刀、笔、胶带等等。每类物体含有5～12个不同尺寸、不同外形的物体。因此，跨域多目标抓取数据集中的物体类型丰富多样，形状各异。为获取抓取识别标注信息，可以对跨域多目标抓取数据集中的数据进行标注，标注信息主要包含：目标物体的类别及其在图像中的位置矩形框信息；适合机器人二指抓取的位置矩形框及角度。部分物体的抓取识别标签如图4中主对角线上的三个子图所示。可以根据三个跨域多目标抓取数据集对应的标注信息，开展目标抓取识别模型的跨域识别与机器人跨域抓取分拣实验。

第五步，验证基于领域自适应抓取识别算法的抓取识别模型的跨域识别性能

抓取识别模型可以基于多目标物体抓取识别网络，主干网络采用VGG16。不同之处在于，跨域自适应抓取识别模型的最后层网络根据物体类别数进行了重构，且增加了域分类器模块，其中域分类器由2个卷积层和1个全连接层组成。VGG16网络参数用在ImageNet数据集上学习到的参数进行初始化，其余网络参数用服从正态分布的随机数进行初始化，随机数的均值为0，均方误差为0.03。抓取识别模型的优化方法采用随机梯度下降法。抓取识别模型输入图像的尺寸为300×300。

在网络模型训练过程中，首先运用带标签的伪目标域数据训练出性能较为理想的识别模型，再同时运用伪目标域与真实目标域数据联合学习领域自适应抓取识别模型。为利用无标签的目标域数据，在抓取识别模型自适应学习过程中，每迭代训练一次便利用当前学到的识别器设置目标域数据的伪标签，并根据伪标签的可信度，重新构建物体检测与抓取位姿测量的标签噪声鲁棒性回归损失函数。跨域抓取识别网络的优化过程可表述为下述表1的形式。在跨域识别模型预训练时，网络每批次输入的图像数量为16，学习率为0.0001。训练跨域识别模型时，网络每批次输入目标域图像与伪目标域图像的数量均为8，学习率为0.00025。

表1

基于跨域自适应的机器人抓取识别算法及其对比实验结果如下述表2和表3所示。其中Self为常规的机器人多目标抓取识别方法，即训练集和测试集皆来自同一领域，服从独立同分布。CR为简单跨域抓取识别方法，即运用源域数据训练的抓取识别模型直接应用到其它领域进行物体抓取识别。在表2与表3中，CR跨域识别任务代号中的箭头左边的第一个数字代表源域训练集，箭头右边的数字代表目标域数据集，如21→1表示运用数据集2训练的抓取识别模型应用到数据集1中进行目标物体的抓取识别。CyDA表示利用伪目标域数据集训练的抓取识别模型应用到其它领域进行物体抓取识别。CyDA跨域识别任务代号中的箭头左边的数字表示跨域生成的伪目标域数据集的编号，右边数字代表测试数据集，如21→1表示先用数据集2作为源域，生成具有数据集1风格的伪目标域数据集21，然后再利用生成的伪目标域数据训练抓取识别模型，并应用到数据集1上进行抓取识别。为进一步提升抓取识别模型的跨域识别能力，抓取识别模型在CyDA的基础上融入了标签噪声鲁棒性回归损失与异域特征混淆技术，演化成了更加鲁棒的跨域自适应机器人抓取识别算法CRDA。该抓取识别模型的训练数据为带有标签的伪目标域图像和无标签的目标域图像。上述各个抓取识别模型的训练集数据是由源域数据集中随机抽取的80％图像或这些图像生成的伪目标域图像组成，测试集则是由抽样后剩余的数据组成。

表2

表3

由表2和表3中的实验数据可知，基于CR的跨域抓取识别任务的物体检测精度与抓取位姿测量精度都较低，识别精度基本都在30～40％范围内。造成这一现象的主要原因是跨域多目标抓取数据集中各领域的背景差别大，致使抓取识别模型在跨域识别时性能大幅度下降。而运用生成对抗网络生成的伪目标域数据中融入了大量目标域数据的特征信息，尤其是背景特征与目标域图像的极为相似，大大减小了异域数据之间的特征分布差异。而且伪目标域图像中保留了源域图像中目标物体的特征与位置信息，实现了标签的跨域迁移。因此，在跨域识别任务中，相比CR抓取识别模型，抓取识别模型CyDA的性能有了大幅度的提升，物体检测精度与位姿测量精度均提高了30％以上，甚至部分跨域抓取识别任务的识别精度提高了50％以上，如133。但与Self抓取识别模型相比，CyDA的物体检测精度与抓取位姿测量精度仍较低。为进一步提升抓取识别模型的性能，本发明实施例在CyDA模型的基础上建立了CRDA自适应抓取识别算法。相比CyDA抓取识别方法，SDA模型的性能有了明显的提升：物体检测精度最大提高了近20％，抓取位姿测量精度最大提高了近18％。

利用基于领域自适应学习的目标物体跨域识别模型，一方面可从数据层面与网络结构层面减小异域数据的特征差异，另一方面可通过构建标签噪声鲁棒性损失函数，降低错误标签对跨域识别模型迁移时造成的负面效应，充分利用无标签目标域数据，提升抓取识别模型的跨域识别能力。

第六步，跨域图像生成式对抗网络跨域生成图像的性能测试。

可以根据三个跨域多目标物体抓取数据集及其对应的标注信息，开展图像跨域生成式对抗网络的图像跨域生成实验，如图4所示。图4示为跨域图像生成式对对抗网络跨域生成图像的实验结果的可视化效果图，图4中主对角线上的三个子图为相机拍摄得到的原始图像，同一行的其它子图都是由当前主对角线上的原始图像跨域生成，而每一列子图则为具有同一风格的真实目标域图像和伪目标域图像。对比图4中各子图的可视化效果可知，根据目标抓取识别模型生成的伪目标域图像与真实目标域图像的背景极为相近，几乎达到以假乱真的程度。而对于图像中目标物体的特征信息，在图像跨域风格迁移过程中几乎未发生变化，尤其是它们的像素位置信息。源域图像中的物体检测及抓取位姿标签信息在源域图像与生成的图像上的可视化效果如图4所示，由图可知源域图像的标签信息完全适用于伪目标域图像。因此，伪目标域数据集亦可视为带有抓取识别标签的数据集。通过建立三个背景完全不一致的跨域多目标抓取数据集，开展抓取识别模型的跨域识别与机器人跨域抓取分拣实验，得到优良的识别效果，大幅度地提升了物体检测和抓取位姿测量精度。

上述图像跨域生成式对抗网络能够将源域图像生成具有目标域图像风格的伪目标图像，并且能够保留原图像中目标物体的特征信息，实现抓取识别标签的跨域迁移，可大幅度地提升机器人抓取识别模型的跨域识别能力。

参照图5，根据本发明第二方面实施例的跨域识别抓取装置，包括：

建立机制500，用于建立图像跨域生成机制；

生成模块510，用于建立图像跨域生成式对抗网络，利用图像跨域生成式对抗网络将源域图像生成具有目标域风格的伪目标域图像，并保留源域图像中目标物体的特征信息及标签信息；

构建模块520，用于构建初始抓取识别模型；

预训练模块530，用于利用伪目标域图像预训练初始抓取识别模型；

混淆模块540，用于根据预设的域分类器和初始抓取识别模型得到目标物体跨域抓取识别模型；

训练模块550，用于利用伪目标域图像和目标域图像训练初始抓取识别模型；

检测模块560，用于建立多目标物体抓取数据集，根据多目标物体抓取数据集和目标物体跨域抓取识别模型进行复杂场景中目标物体的跨域抓取识别。

上述跨域抓取识别装置，通过执行本发明第一方面实施例的跨域抓取识别方法，能够从数据层面和网络结构层面减小异域数据的差异，实现抓取识别模型的有效跨域迁移，提高抓取识别模型跨域识别的准确率，进而增强基于视觉识别的智能机器人跨域抓取应用时的鲁棒性。

参照图6，本发明第三方面实施例还提供了一种电子设备的功能模块图，包括：至少一个处理器600，以及与至少一个处理器600通信连接的存储器610；还可以包括数据传输模块620、摄像头630、显示屏640。

其中，处理器600通过调用存储器610中存储的计算机程序，用于执行第一方面实施例中的跨域抓取识别方法。

数据传输模块620通过与处理器600连接，用于实现数据传输模块620与处理器600之间的数据交互。

摄像头630可以包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(VirtualReality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头630还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

显示屏640可用于显示由用户输入的信息或提供给用户的信息。显示屏640可包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板。进一步的，触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器600以确定触摸事件的类型，随后处理器600根据触摸事件的类型在显示面板上提供相应的视觉输出。在某些实施例中，可以将触控面板与显示面板集成而实现输入和输出功能。

存储器作为一种非暂态存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明第一方面实施例中的跨域抓取识别方法。处理器通过运行存储在存储器中的非暂态软件程序以及指令，从而实现上述第一方面实施例中的跨域抓取识别方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述第一方面实施例中的跨域抓取识别方法。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述第一方面实施例中的跨域抓取识别方法所需的非暂态软件程序以及指令存储在存储器中，当被一个或者多个处理器执行时，执行上述第一方面实施例中的跨域抓取识别方法。

本发明第四方面实施例还提供了计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令用于：执行第一方面实施例中的跨域抓取识别方法。

在一些实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被第三方面实施例的电子设备中的一个处理器执行，可使得上述一个或多个处理器执行上述第一方面实施例中的跨域抓取识别方法。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。