工件三维缺陷检测方法、装置、系统及存储介质

技术领域

本公开涉及器件缺陷检测领域，特别是涉及一种工件三维缺陷检测方法、装置、系统及存储介质。

背景技术

目前高精密光电子制造业正在向着体积小、密度高的趋势发展。由于在来料、作业、搬运等等过程中及其容易对工件造成损伤。如果不能在生产流程中及时发现并检查并除去缺陷工件，会造成后端产品很高的返修率，甚至报废。

现有方案中有采用相机拍摄工件的图像，然后通过对所拍摄单帧图片进行缺陷监测的方式。但是这种方式由于拍摄角度单一、算法传统、单帧照片采样等等因素，不能满足快速、高准确度的工件三维缺陷检测需求。而且由于零部件高度差异以及相机有限景深的限制，只能实现单一面内的缺陷识别，而无法对被检零部件进行有效、准确的三维缺陷监测，存在遗漏缺失问题，因此目前业内大都采用人工检测来完成。但人工进行缺陷检测的效率低，成本高，且产线检测工人长时间高专注度的人眼识别很容易视觉疲劳而导致漏检。因此业内亟需一种自动化来完成高精密电子零工件的缺陷检测方案。

发明内容

基于此，有必要针对上述技术问题，提供一种工件三维缺陷检测方法、设备、系统及存储介质。其中，一种工件三维缺陷检测方法，包括如下步骤：

一种工件三维缺陷检测方法，包括步骤：

将待检测工件置于视频采集装置的采集区域；

对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

将所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

在其中一个实施例中，所述缺陷检测结果包括：

所述待检测工件的类别，以及当判断所述待检测工件含有缺陷时所述缺陷所在的位置信息。

在其中一个实施例中，所述将待检测工件置于视频采集装置的采集区域包括：

控制所述待检测工件移动到预采集位置，根据当前视频拍摄的清晰度来控制所述视频采集装置在不同方向上的运动和/或调节所述视频采集装置的焦距；

当所述清晰度符合视频拍摄的要求时，确定所述待检测工件已置于视频采集装置的采集区域。

在其中一个实施例中，所述视频采集装置包括一组或多组摄像装置；

当所述视频采集装置包括多个摄像装置时，所述三维视频包括所述多个摄像装置采集的多路三维视频，所述将所述三维视频输入预先构建的缺陷检测模型包括将采集的多路三维视频同步输入至所述缺陷检测模型。

在其中一个实施例中，所述缺陷检测模型包括用于检测工件所属类别的第一目标检测网络和用于检测工件缺陷位置的第二目标检测网络；

所述通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果包括：

利用所述第一目标检测网络检测出所述待检测工件的类别；

利用所述第二目标检测网络从所述三维视频中提取待检测工件多维度的工件特征分布数据；

从数据库中提取与所述待检测工件的类别相对应的样本特征分布数据；

将所述工件特征数据与所述样本特征分布数据进行比较，获取所述工件特征差数据；

根据所述工件特征差数据判断所述待检测工件是否含有缺陷，以及当判断含有缺陷时，根据所述工件特征差数据计算所述缺陷所在的位置信息。

在其中一个实施例中，所述控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动包括：

通过机械手臂控制所述待检测工件模拟人工检测动作进行运动，所述人工检测动作包括预先设置的模拟人工对不同类别的检测工件进行缺陷检测的预设执行动作。

在其中一个实施例中，视频拍摄和控制所述待检测工件在三维空间上进行运动同步进行，以及在检测出所述待检测工件的类别之后，所述方法还包括：

获取所述类别对应的视频拍摄的景深要求，所述景深要求包括所述检测工件指定景深部位的拍摄视频需要满足预设的景深效果；

当确定所述待检测工件需要满足所述景深要求时，所述控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动包括：按照预设规则选取所述待检测工件上的点作为三维坐标系的中心点，不同的景深部位有对应的三维坐标系；在各个所述三维坐标系中，控制所述待检测工件围绕所述中心点进行三维空间上的旋转，获取所述待检测工件在所述中心点上旋转的三维视频。

一种工件三维缺陷检测装置，包括：

视频模块，用于将待检测工件置于视频采集装置的采集区域；

多维度视频获取模块，用于对所述采集区域的待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

缺陷检测模块，用于将所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

一种工件三维缺陷检测系统，包括：第一视觉模块组、第一多维机械手模块组、第一解析模块组，其中，

第一视觉模块组，包括包含一组或多组摄像装置的视频采集装置，可以用于对所述采集区域的待检测工件进行视频拍摄；

第二多维机械手模块组，用于将待检测工件置于视频采集装置的采集区域并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

第一缺陷检测模块，用于将所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

本公开的另一方面，还提供一种工件三维缺陷检测方法，包括步骤：

检测设备将待检测工件置于视频采集装置的采集区域；

所述检测设备对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

所述检测设备将所述三维视频传输至服务端进行存储；

所述服务端将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到；

所述服务端将所述缺陷检测结果推送至所述检测设备和/或指定的终端设备。

本公开的另一方面，还提供一种工件三维缺陷检测方法，包括步骤：

检测设备将待检测工件置于视频采集装置的采集区域；

所述检测设备对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

所述检测设备将所述三维视频传输至服务端进行存储；

所述检测设备接收所述服务端返回的缺陷检测结果，所述缺陷检测结果包括所述服务端将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端用于存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

本公开的另一方面，还提供一种工件三维缺陷检测方法，包括步骤：

服务端接收检测终端上传的待检测工件的三维视频，所述三维视频包括检测设备将待检测工件置于视频采集装置的采集区域，并对待检测工件进行视频拍摄，以及控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取的所述待检测工件在所述运动过程中的三维视频；

所述服务端存储所述三维视频；

所述服务端将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到；

所述服务端将所述缺陷检测结果推送至所述检测设备和/或指定的终端设备。

本公开的另一方面，还提供一种工件三维缺陷检测系统，包括检测设备、服务端，其中，

所述检测设备用于将待检测工件置于视频采集装置的采集区域；还用于对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；还用于将所述三维视频传输至所述服务端进行存储；还用于接收在所述服务端将所述缺陷检测结果推送至所述检测设备时接受所述缺陷检测结果；

所述服务端用于接收所述检测终端上传的所述待检测工件的三维视频，还用于存储所述三维视频；还用于将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到；还用于将所述缺陷检测结果推送至所述检测设备和/或指定的终端设备。

一种工件三维缺陷检测装置，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本公开任一项所述的方法的步骤。

一种工件三维缺陷检测服务器，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本公开任一项所述的方法的步骤。

一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被执行时，能够执行本公开任一项所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本公开任一项所述的方法的步骤。

本公开提供工件三维缺陷检测方法、装置、系统及存储介质，至少包括以下有益效果：

本公开的实施例方案通过对待检测工件进行多维度的拍摄，可以获得待检测工件多个角度的三维视频，通过对三维视频中的帧图像进行缺陷检测。由于三维视频是采集到的工件各个维度的视频数据，如翻转、平移等，可以获得工件拍摄角度更加全面的拍摄图像(视频中的帧图像)，同时，将预先训练构建的缺陷检测模型与三维视频相结合来对缺陷检测，提高了三维缺陷检测的检测速度和检测准确度。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开提供的一种工件三维缺陷检测系统的模块结构示意图；

图2为一实施例中提供的工件三维缺陷检测方法的流程示意图；

图3为一实施例中提供的通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果流程示意图；

图4为本公开提供的一种工件三维缺陷检测装置的模块结构示意图；

图5为本公开提供的另一种工件三维缺陷检测系统的模块结构示意图；

图6为本公开提供的另一种工件三维缺陷检测系统的结构示意图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

工件的缺陷检测技术在对工件的维护和筛选，提高工件品质领域有着重要的意义，因此，为了提高工件的缺陷检测技术的准确性，解决现有的工件的表面缺陷检测受到角度局限性的问题，本公开提供了一种工件三维缺陷检测方法，本方法可以应用到高精密光电子制造业等其他工件检测领域，适用于包括但不限于表面不透光、表面透光的各种工件表面缺陷检测。

需要说明的是，本公开实施例中所述的工件，不局限于制造过程中的一个产品部件或构件，或者构成部件的构建，如叫制件、作件、课件、五金件等，也可以指其自身是一个完整的产品部件。待检测工件可以是指当前系统或设备正在或需要检测的工件。本公开实施例中所述的维度通常可以包括在三维空间上，待检测工件不同的观测角度，或不同的观测方向。相应的，涉及到的多维度拍摄可以包括对待检测工件在不同角度上或不同方向上进行拍摄。三维视频可以包括多维度拍摄获取得到的视频数据。

另外，由于视频可以理解为是连续图像的集合，因此，本公开的一些实施例中，所述的视频拍摄、三维视频等可以包括满足最低帧率要求(如每秒不低于24帧图像)的拍摄或视频数据，也可以包括低于最低帧率要求，或者可以包括使用多台相机对待检测工件进行多维度的拍照获得的图片数据。如使用多台相机从不同维度以一定拍照速率(如每秒拍10次照片)对待检测工件进行拍摄或者对多维度的运动的待检测工件进行拍照获得三维照片数据(视为三维视频)。

现以高精密光电子制造业检测工件流水线应用场景为例对本公开的一些实施例进行说明。请参阅图1，图1是本公开提供的一种工件三维缺陷检测系统的模块结构示意图。在本公开的实施方案中，可以采用深度学习+视频流的方式来对目标进行缺陷检测。具体的如图1所示，所述系统可以包括视觉模块组10、多维机械手模块组20、解析模块组30，所述的模块组可以包括一个或多个实现相应功能的模块。其中：

视觉模块组10主要是用于模拟人眼观测，可以实时录制待检测工件的三维视频。

本公开提供的视觉模块组10的其中一个实施方式中，具体的参数设置或功能实现可以包括如下所示中的至少一种：

1、视频采集装置，如摄像机(具有视频录制功能)，可以采用或设置具备光学防抖功能；

2、光学变焦倍数在预设数值以下，所述预设数值可以根据采集需求或硬件要求等进行设置，如可以设置为10倍、15倍等

3、视频帧的清晰度满足预设清晰度要求，如4K及以上；

4、存储介质支持指定的存储方式，如闪存方式、利用光学的存储方式、利用石墨烯特性的存储方式等；

5、帧像素要求符合像素要求，如像素要求可以为600万以上；

6.保障视频的清晰度方案采用下述中的一种或多种：

6.1、摄像使用自动变焦镜头；

6.2、使用定焦镜头，利用选取的软件算法来协同机械手运动来完成硬件方式对焦。如：依据视频的清晰度来控制机械手在不同方向上的运动，确保待测物能够落入镜头的焦平面；

6.3、使用另一些软件算法对不在焦平面的视频进行算法的修复，以提高视频的清晰度。

多维机械手模组20，主要用于通过机械手臂拾取待检测工件，并将工件在视觉模组下模拟人工检测动作，可以多维度转动(翻转)工件、移动工件等，从而可以通过视觉模组得到待检零工件的多维度的视频流。

一些实施例中的机械手运动示例可以如下：

机械手夹取到工件之后，获取三维视频的拍摄所执行的运动在视频采集装置的采集区域之内，如可以在镜头朝向的方向。

对于景深要求较小(可以预先确定好视频拍摄景深要求)的工件，可以在焦平面方向上进行运动即可，也可以设置在焦平面进行三维空间上的小角度的翻转等。

对于某些对景深有要求的工件或工件的一些部位(景深部位)，可以按照预设规则选取工件某点为三维坐标系的中心点，如可以选取景深部位作为中心点或者根据部件类别或景深部位特征来确定三维坐标系的中心点。整个工件可以围绕该中心点进行三维空间上的旋转，进而可以针对该景深部位或该景深部位的特点有针对性的进行视频拍摄，进而获得更加全面的三维视频，提高缺陷检测的精准度。

解析模组30，可以包括一个或多个机器学习网络，机器学习网络可以通过缺陷工件的三维视频的样本特征分布数据训练得到缺陷检测模型。所述缺陷工件通常是指含有缺陷的工件。在前期模型训练过程中，可以选取含有缺陷的工件，以从缺陷工件作为样本来提取缺陷的特征信息进行训练，使得模型可以识别出含有缺陷的工件。在模型应用中，可以通过深度学习缺陷工件的多维度的三维视频获取目标零部件的特征信息；然后实时分析视觉模组得到的待检零部件的多维度的三维视频，通过选取的目标识别算法等提取待检零部件特征信息，并实现缺陷判断检测。

在所述系统的一些实施方式中，可以采用多线程的模式进行视频拍摄和解析：

视频拍摄可以存在一个或者多个相机同时进行多个维度的视频拍摄；

机械手的运动(工件翻转、平移等)与视频拍摄并行进行；

缺陷检测模型解析三维视频时，可以同时解析一路或者多路视频，一组摄像装置(通常可以是一个拍摄角度)可以对应一路视频。

一些实施例中，解析模组30可以分为三个阶段：目标检测检测、正样本学习阶段、缺陷检测阶段。

(1)、目标检测阶段：通过人工标注需要检测的机种部件，可以使用深度学习目标检测网络训练出成熟应用的部件检测网络。

(2)、正样本学习阶段：通过第一阶段中的目标检测网络对大量机种部件的检测应用，收集足够多的正常部件数据，通过深度学习应用到部件数据上进行对正常样本的特征学习，充分地学习到正常部件的特征，最终达到完全覆盖需检测的合格部件特征分布。

(3)、缺陷检测阶段：通过第一阶段对部件的检测和第二检测对部件的学习，在此阶段中，首先检测到需要判断的部件，然后提取部件特征分布，与数据库中正常样本的特征分布使用深度学习算法进行特征层面的求差，根据误差判断器件是否含有缺陷，并且进一步通过误差特征判断缺陷的位置。

基于前述实施例场景的描述，本公开实施例提供一种工件三维缺陷检测方法，如图2所示，可以包括以下步骤：

S202：将待检测工件置于视频采集装置的采集区域；

S204：对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

S206：将所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

本实施例可以通过构建缺陷检测模型来对待检测工件的多维度的三维视频进行分析处理，得到待检测工件的缺陷检测结果。缺陷检测模型中可以包括工件的标准特征信息，缺陷检测模型可以通过数据库存储标准特征信息。缺陷检测模型可以基于深度学习框架进行构建，如深度学习框架可以包括但不限于tensorflow、pytorch、PaddlePaddle、keras、Deeplearning4j、mxnet Caffe&Caffe2、chainer、Theano或者其他用于各类机器学习算法的编程实现的平台框架。

三维视频可以包括待检测工件多个视觉角度的视频影像。可以通过上述所述的机械手控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频。三维视频可以输入缺陷检测模型中，由缺陷检测模型进行缺陷检测。

缺陷检测模型在接收到三维视频后，可以对三维视频进行解析处理。如可以根据三维视频提取出待检测工件的待测特征信息，待测特征信息可以包括待检测工件每个面上的特征信息，特征信息可以是待检测工件每个面上的光学信号如像素、光强度等的特征分布。

具体的，缺陷检测模型可以将提取得到的待检测工件的待测特征信息与预先存储的标准特征信息进行对比判断，得出待检测工件是否存在缺陷判断所述待检测工件含有缺陷时所述缺陷所在的位置信息，输出缺陷检测结果。缺陷检测结果可以待检测工件是否存在缺陷的信息以及具体的缺陷位置。缺陷检测结果可以是文本、图标、库、表、多媒体信息等一种或多种数据格式的集合。

在本公开的另一些实施例中，所述缺陷检测结果可以包括：所述待检测工件的类别，以及当判断所述待检测工件含有缺陷时所述缺陷所在的位置信息。

如前实施例所示，可以使用深度学习目标检测网络训练出成熟应用的部件检测网络(第一目标检测网络)，该部件检测网络可以检测出工件所属的类别。因此，整个缺陷检测网络输出的缺陷检测结果中可以包括所述待检测工件的类别，以及当判断所述待检测工件含有缺陷时所述缺陷所在的位置信息。有了待检测工件的类别，可以更加完善存在缺陷的工件的信息为后续缺陷信息统计、分析等提供便利，提升产品的用户使用体验。

如一些实施方式张红，在构建缺陷检测模型时，可以先生成用于检测待检测工件所属类别的第一目标检测网络。可以通过人工选择需要检测的所有工件种类，采集并解析所有工件种类的标准工件的三维视频，提取用于表征工件种类的特征信息，通过深度学习目标检测网络训练生成满足预设种类检测准确率的工件种类检测网络。

然后解析标准工件的三维视频，通过工件种类检测网络确定标准工件种类。通过对上述第一目标检测网络的应用，继续采集并解析所有工件种类的标准工件的三维视频，根据第一目标检测网络确定标准工件的类别，并为类别打标。

在确定标准工件的类别后，提取用于表征工件表面信息的特征信息，通过深度学习获得标准特征信息，将标准特征信息与对应的工件种类进行关联对应，存储至缺陷检测模型的数据库中。

本公开提供的所述方法的另一个实施例中，所述将待检测工件置于视频采集装置的采集区域包括：

控制所述待检测工件移动到预采集位置，根据当前视频拍摄的清晰度来控制所述视频采集装置在不同方向上的运动和/或调节所述视频采集装置的焦距；

当所述清晰度符合视频拍摄的要求时，确定所述待检测工件已置于视频采集装置的采集区域。

本实施例中，可以通过机械手抓取待检测工件，然后将待检测工移动到进行视频拍摄的初始位置(预采集位置)。此时可以开启对待检测工件的视频拍摄，并实施监控当前视频拍摄的清晰度。进行缺陷检测的三维视频通常具有一定的清晰度要求，因此，可以根据当前视频拍摄的清晰度来控制所述视频采集装置在不同方向上的运动和/或调节所述视频采集装置的焦距。在当前视频拍摄的清晰度符合视频拍摄的要求时，可以确定所述待检测工件此时已置于视频采集装置的采集区域，符合多维度拍摄获取三维视频的要求。

本公开的另一些实施例中，如前所述，视频拍摄时可以存在一个或者多个相机同时进行多个维度的视频拍摄，那么相应的，可以采集得到多路三维视频。因此，所述视频采集装置包括一组或多组摄像装置；

当所述视频采集装置包括多个摄像装置时，所述三维视频包括所述多个摄像装置采集的多路三维视频，所述将所述三维视频输入预先构建的缺陷检测模型包括将采集的多路三维视频同步输入至所述缺陷检测模型。

如前述实施例所述，可以在解析模块中可以包含检测工件类别的部件检测网络，也可以包括进行缺陷检测的网络。当然，本公开不排除其他的实施方式中还可以包括其他的网络。具体的，本公开提供的所述方法的另一些实施例中，所述缺陷检测模型包括用于检测工件所属类别的第一目标检测网络和用于检测工件缺陷位置的第二目标检测网络；

所述通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果包括：

S302：利用所述第一目标检测网络检测出所述待检测工件的类别；

S304：利用所述第二目标检测网络从所述三维视频中提取待检测工件多维度的工件特征分布数据；

S306：从数据库中提取与所述待检测工件的类别相对应的样本特征分布数据；

S308：将所述工件特征数据与所述样本特征分布数据进行比较，获取所述工件特征差数据；

S310：根据所述工件特征差数据判断所述待检测工件是否含有缺陷，以及当判断含有缺陷时，根据所述工件特征差数据计算所述缺陷所在的位置信息。

本实施例提供的工件三维缺陷检测方法在确定检测模型时，包括构建用于检测工件所属类别的第一目标检测网络和用于检测工件缺陷位置的第二目标检测网络。第一目标检测网络可以实现工件种类与对应标准特征信息的关联，有助于提高工件检测的场景适应力，便于在工件流水线检测时同时检测多种工件，提高了工件缺陷检测的效率。而通过工件特征数据与所述样本特征分布数据进行比较获得的工件特征差数据来判断是否存在缺陷，如将工件特征差数据与预设的相应工件类别的差值阈值比较，并进一步通过工件特征差数据或者再结合三维坐标系等来确定缺陷的位置，可以提供缺陷判断的准确性以及查找缺陷位置的准确性。

本公开的一些实施例方案中，所述控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动包括：

通过机械手臂控制所述待检测工件模拟人工检测动作进行运动，所述人工检测动作包括预先设置的模拟人工对不同类别的检测工件进行缺陷检测的预设执行动作。

对待检测工件的翻转、平移等操作，可以是预先设置的特定执行动作。本公开的提供的另一些实施方案中，控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的各个运动可以是模拟人工检测方式中人工通常或主要执行的指定动作，例如人工检测动作通常会执行以待检测部件的指定的某条垂直中分线为中心轴对待检测部件向左翻转90度(或90度以上)或者向右翻转90度(或90度以上)，以实现待检测不见上下表面的全部维度的视频拍摄。当然，也可以执行以待检测部件的指定的某条水平中分线为中心轴对待检测部件向上翻转90度(或90度以上)或者向下翻转90度(或90度以上)，以实现待检测部件前后表面的全部维度的视频拍摄。当然，也可以互相结合，模拟人工检测动作或者再结合其他设计的方案对待检测部件全方位视角的视频拍摄，获得全面的三维视频。这样，模拟人工检测动作或者再结合其他设计的方案来实现对待检测部件运动操作，可以获得更加贴近人工检测的三维视频，使得检测结果更加符合人工检测的预期，提高检测效率和精度，节省人工检测成本。

基于所述实施例所述，本公开提供的所述方法的另一些实施例中，视频拍摄和控制所述待检测工件在三维空间上进行运动同步进行，以及在检测出所述待检测工件的类别之后，所述方法还包括：

获取所述类别对应的视频拍摄的景深要求，所述景深要求包括所述检测工件指定景深部位的拍摄视频需要满足预设的景深效果；

当确定所述待检测工件需要满足所述景深要求时，所述控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动包括：按照预设规则选取所述待检测工件上的点作为三维坐标系的中心点，不同的景深部位有对应的三维坐标系；在各个所述三维坐标系中，控制所述待检测工件围绕所述中心点进行三维空间上的旋转，获取所述待检测工件在所述中心点上旋转的三维视频。

本公开的实施例方案通过对待检测工件进行多维度的拍摄，可以获得待检测工件多个角度的三维视频，通过对三维视频中的帧图像进行缺陷检测。由于三维视频是采集到的工件各个维度的视频数据，如翻转、平移等，可以获得工件拍摄角度更加全面的拍摄图像(视频中的帧图像)，同时，将预先训练构建的缺陷检测模型与三维视频相结合来对缺陷检测，提高了三维缺陷检测的检测速度和检测准确度，节省了人力成本，提高用户工件缺陷检测体验。

基于前述实施例所述，本公开还提供另一种工件三维缺陷检测方法的实施方式。在另一些实施方式中，检测设备可以在本地对待检测工件进行放置、平移、翻转以及相应的进行视频拍摄等，获取的三维视频等数据可以上传至服务端(如云端的服务器)，由服务端来保存采集的视频数据。并且，缺陷检测模型的训练、构建，以及理由缺陷检测模型对待检测工件进行缺陷检测的处理也可以由服务端执行，处理后得到的缺陷检测结果可以由服务端进行存储。服务端也可以将缺陷检测结果返回给检测设备或者指定的其他终端设备，如返回给登记的检测人员的移动终端或检测设备中的数据存储单元。这样，由于服务器通常具有更好的存储空间和数据处理能力，因此可以更加快速的对工件进行缺陷检测并稳定、可靠的存储中间数据(如三维视频)和结果数据(如缺陷检测结果)，可以提高整个工件的三维缺陷检测效率。

具体的，本公开提供的所述方法的另一些实施例中，可以包括：

检测设备将待检测工件置于视频采集装置的采集区域；

所述检测设备对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

所述检测设备将所述三维视频传输至服务端进行存储；

所述服务端将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到；

所述服务端将所述缺陷检测结果推送至所述检测设备和/或指定的终端设备。

上述提供了检测设备与服务端相互交互实现工件三维缺陷检测的实施方式。本公开还提供另一种工件三维缺陷检测方法，可以实施于检测设备一侧，具体的可以包括：

检测设备将待检测工件置于视频采集装置的采集区域；

所述检测设备对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

所述检测设备将所述三维视频传输至服务端进行存储；

所述检测设备接收所述服务端返回的缺陷检测结果，所述缺陷检测结果包括所述服务端将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端用于存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

上述提供了检测设备与服务端相互交互实现工件三维缺陷检测的实施方式。本公开还提供另一种工件三维缺陷检测方法，可以实施于服务端备一侧，具体的可以包括：

服务端接收检测终端上传的待检测工件的三维视频，所述三维视频包括检测设备将待检测工件置于视频采集装置的采集区域，并对待检测工件进行视频拍摄，以及控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取的所述待检测工件在所述运动过程中的三维视频；

所述服务端存储所述三维视频；

所述服务端将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到；

所述服务端将所述缺陷检测结果推送至所述检测设备和/或指定的终端设备。

基于前述描述，本公开还一种工件三维缺陷检测系统，如图6所示，可以包括检测设备610、服务端620，其中，

所述检测设备610用于将待检测工件置于视频采集装置的采集区域；还用于对待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；还用于将所述三维视频传输至所述服务端620进行存储；还用于接收在所述服务端620将所述缺陷检测结果推送至所述检测设备610时接受所述缺陷检测结果；

所述服务端620用于接收所述检测终端610上传的所述待检测工件的三维视频，还用于存储所述三维视频；还用于将存储的所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述服务端620存储所述缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到；还用于将所述缺陷检测结果推送至所述检测设备620和/或指定的终端设备630。

图6中的66为待检测工件，如光学器件；60为检测设备中用于视频采集中的摄像机，可以包括多个摄像机；62为机械手；64为检测设备的控制器，可以控制机械手62捡取待检测工件，并将其放置在采集区域，还可以控制机械手62对待检测工件66进行多维度的翻转和/平移等运动，还可以控制摄像机60进行视频拍摄，还可以将拍摄的三维视频发送给服务端620或接收服务端620返回的缺陷检测结果。

上述利用服务端实现的方式可以参照本公开其他实施例具体的实现方式进行实施，本实施例重点的描述的是不同实施例之间的差异，对于相同或本领域技术人员基于其他实施例可以明确且毫无疑问的实现部分，在此不做一一赘述。

基于上述的工件三维缺陷检测方法实施例的描述，本公开还提供了一种工件三维缺陷检测装置，装置可以包括使用了本说明书实施例方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

请参阅图4，在一个实施例中，提供了一种工件三维缺陷检测装置，包括：

视频模块402，可以用于将待检测工件置于视频采集装置的采集区域；

多维度视频获取模块404，可以用于对所述采集区域的待检测工件进行视频拍摄，并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

缺陷检测模块406，可以用于将所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

本公开提供一种工件三维缺陷检测系统，如图5所示，可以包括：第一视觉模块组502、第一多维机械手模块组504、第一解析模块组506，其中，

第一视觉模块组502，可以包括包含一组或多组摄像装置的视频采集装置，可以用于对所述采集区域的待检测工件进行视频拍摄；

第二多维机械手模块组504，可以用于将待检测工件置于视频采集装置的采集区域并控制所述待检测工件在三维空间上进行多维度的翻转和/按照预设轨迹平移的运动，获取所述待检测工件在所述运动过程中的三维视频；

第一缺陷检测模块506，可以用于将所述三维视频输入预先构建的缺陷检测模型，通过所述缺陷检测模型输出所述待检测工件的缺陷检测结果，所述缺陷检测模型基于缺陷工件的三维视频的样本特征分布数据训练得到。

需要说明的，上述的装置或系统根据方法实施例的描述还可以包括其它的实施方式，具体的实现方式可以参照前述工件三维缺陷检测方法的实施例的描述，在此不作一一赘述。上述工件三维缺陷检测装置的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

基于前述方法实施例描述，本公开提供的装置的另一个实施例中，可以包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述实施例中工件三维缺陷检测方法的步骤。

基于前述方法实施例描述，本公开提供的装置的另一个实施例中，提供了一种计算机程序产品，计算机程序产品中包括指令，指令被执行时，能够执行上述实施例中工件三维缺陷检测方法的步骤。

基于前述方法实施例描述，本公开提供的装置的另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中工件三维缺陷检测方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

应该理解的是，虽然附图中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，附图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。