目标检测方法和设备

技术领域

本发明涉及图像测量与处理领域，特别涉及一种用于目标检测方法和设备。

背景技术

三维信息，亦可称深度信息或景深信息。目前三维信息测量技术多采用激光进行辅助，例如可以通过三角测量法计算得出待测目标表面的空间深度值。上述空间深度值可以描述待测目标的特征，因此可以在广泛领域用于目标对象的检测。

但由于深度信息提取的计算密度较高，在需要进行快速或大量目标对象检测的场景下，会消耗过高的功率和算力。

因此，需要一种能够快速准确地进行目标检测的方案。

发明内容

本发明所要解决的一个技术问题是，提供一种目标检测方法，该方法通过对常规图像进行目标区域提取，并通过映射将深度图像的深度计算局限在提取的目标区域内来提供一种快速准确的目标检测方案。

根据本发明的第一方面，提供了一种目标检测方法，包括：拍摄成像空间的第一图像，所述第一图像包含成像空间内目标对象的平面信息；处理所述第一图像以检测包含所述目标对象的目标区域；拍摄所述成像空间的第二图像，所述第二图像包含所述目标对象的深度信息；基于拍摄所述第一图像的第一图像传感器与拍摄所述第二图像的第二图像传感器的相对位置关系，将所述第一图像中的目标区域映射至第二图像；以及计算所述第二图像中目标区域内的深度信息。由此，通过对目标区域的提取缩小深度信息的计算范围，提升目标识别效率。

优选地，可以基于目标特征提取算法，查找所述第一图像中包含的所述目标对象，并确定包含所述目标对象的目标区域的第一坐标。随后，基于所述第一坐标，可以确定所述目标区域在所述第二图像内的第二坐标，并且计算所述第二坐标标识的所述目标区域内的深度信息。由此通过坐标目标区域提升计算效率。

优选地，可以基于检测出的所述目标对象的第一特征点，确定所述第一图像中包含所述目标对象。随后，将所述第一特征点映射至所述第二图像作为第二特征点，并据此计算所述目标区域内第二特征点的深度信息。由此可以进一步降低目标检测所需的算力。

优选地，可以基于所述第二坐标所指示的目标区域的大小，调整所述第二图像内目标区域内的深度信息计算密度。由此可以确保针对大小不同目标区域内的算力不变，提升系统整体计算效率。

基于计算出的深度信息，可以检测出目标对象。进一步地，可以基于上述深度信息将目标对象与参考目标进行匹配，从而提升本发明方案的应用范围。

在本发明中，第一图像传感器和所述第二图像传感器以相同或起码高度相近的焦距拍摄所述成像空间。由此方便目标区域的快速准确映射。

第一图像传感器可以是利用可见光成像的可见光图像传感器，也可以是基于投射红外光的红外面光源成像的红外图像传感器。

在采用双目方案时，，第二图像传感器可以包括相对位置固定的两个图像传感器，所述两个图像传感器用于对投射的红外图案进行成像，以获取拍摄区域内的深度信息。在采用单目方案时，第二图像传感器可以包括与投射装置相对位置固定的一个图像传感器，所述图像传感器用于对所述投射装置投射的红外图像进行成像，以获取拍摄区域内的深度信息。第一图像传感器和第二图像传感器还可以合成为RGB-IR图像传感器，由此实现像素级的对齐，从而进一步简化映射步骤。

根据本发明的第二方面，提供了一种目标检测设备，包括：第一图像传感器，用于拍摄成像空间的第一图像，所述第一图像包含成像空间内目标对象的平面信息；第二图像传感器，用于拍摄所述成像空间的第二图像，其中，所述第一图像传感器和所述第二图像传感器具有相对固定的成像位置，并且，所述第二图像包含所述目标对象的深度信息；以及处理器，用于：处理所述第一图像以检测包含所述目标对象的目标区域；基于拍摄所述第一图像的第一图像传感器与拍摄所述第二图像的第二图像传感器的相对位置关系，将所述第一图像中的目标区域映射至第二图像；以及计算所述第二图像中目标区域内的深度信息。

通过使用本发明的目标检测设备和方法，能够通过分帧拍摄获取深度图和平面图的方式实现对目标深度信息的获取，从而提升目标检测的效率。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明一个实施例的目标检测方法的示意性流程图。

图2示出了确定第一图像中的目标区域坐标的一个例子。

图3示出了目标区域坐标映射至第二图像的一个例子。

图4示出了根据本发明一个实施例的目标检测设备的测量组件的组成例。

图5示出根据本发明另一个实施例的目标检测设备的测量组件的组成例。

图6示出了根据本发明的目标检测设备的框图例。

图7示出根据本发明的景深信息测量方法的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

三维信息，亦可称深度信息或景深信息。目前三维信息测量技术多采用激光进行辅助，例如可以通过三角测量法计算得出待测目标表面的空间深度值。上述空间深度值可以描述待测目标的特征，因此可以在广泛领域用于目标对象的检测。但由于度信息提取的计算密度较高，在需要进行快速或大量目标对象检测的场景下，会消耗过高的功率和算力。

为此，本发明提出了一种能够快速准确地进行目标检测的方案。图1示出了根据本发明一个实施例的目标检测方法的示意性流程图。该目标检测方法，或至少其图像采集步骤优选使用集成在一个部件内的三维摄像头实现，例如，如图4和5所示的测量头，而非在空间上物理分开布置的多个相机(和投射装置)实现。

在步骤S110，拍摄成像空间的第一图像。第一图像包含成像空间内目标对象的平面信息。在此，可以使用第一图像传感器来拍摄所述第一图像。在一个实施例中，第一图像传感器可以是常规的可见光传感器，例如，RGB或是黑白传感器，用于拍摄被摄空间的平面图像。在另一个实施例中，第一图像传感器可以是红外图像传感器，其可以基于投射红外光的红外面光源进行成像。此时，用于实现本方法的例如上述三维摄像头优选配置有一个红外面光源。

在步骤S120，处理第一图像以检测包含目标对象的目标区域。目标区域的处理可由与三维摄像头有线或无线连接的处理器执行。该处理器可与三维摄像头集成在一个较小的物理空间内，也可以是分开的主机，本发明对此不作限制。可以使用二维图像适用的目标提取方法，来检测第一图像中的目标对象，并由此划定包含该对象的目标区域。

在步骤S130，拍摄成像空间的第二图像。第二图像包含所述目标对象的深度信息。第二图像包含所述目标对象的深度信息并非表示第二图像是直接包括目标对象深度读数的图像，而是可以从中提取出深度信息的图像。换句话说，第二图像与第一图像相同，都是二维平面图像，但只是被用来提取深度信息。例如，第二图像可以是同时拍摄的两幅红外散斑二维图像，并且可以通过后续的三角测量法从中计算出成像空间内所含对象的深度数据。在此，可以使用第二图像传感器来拍摄所述第二图像。在一个单目实现的实施例中，第二图像传感器可以包括与投射装置相对位置固定的一个图像传感器。所述图像传感器用于对所述投射装置投射的红外图像进行成像，由此可以基于投射装置与单目传感器的预定距离，根据基准图像基于三角测量法来获取拍摄区域内的深度信息。在一个双目实现的实施例中，第二图像传感器可以是利用激光辅助光，通过三角测量法计算待测目标表面深度值的单目或双目红外图像传感器。其可以基于投射红外光的红外面光源进行成像。此时，用于实现本方法的例如上述三维摄像头需要配置有一个投射红外图案的投射装置。在一个实施例中，第二图像传感器可以是相对位置固定的两个图像传感器。这两个图像传感器用于对投射的红外图案进行成像，以获取拍摄区域内的深度信息。此时，第二图像传感器和红外图案投射装置组成了一个双目深度成像装置。在本发明中，“第一”和“第二”用于确保针对同类对象的不同功能或实体，而非对先后顺序、重要性和各自包含的个数进行任何暗示或限制。在一个实施例中，第二图像传感器也可以用作拍摄第一图像的第一图像传感器。例如，在单目实现中，三维摄像头可以配备有一个红外图像传感器、一个红外面光源和一个红外图案投射装置。该红外传感器之可以在红外面光源点亮的情况下进行拍摄，得到第一图像。随后，该红外传感器可以在红外图案投射装置投射红外图案的情况下进行拍摄，得到包含深度信息的第二图像。此时，拍摄第一图像和拍摄第二图像的图像传感器完全相同，但它在不同的时刻，分别起到了第一和第二图像传感器的功能。例如，在双目实现中，三维摄像头可以配备有两个红外图像传感器、一个红外面光源和一个红外图案投射装置。两个红外传感器之一或两者可以在红外面光源点亮的情况下进行拍摄，得到第一图像。随后，两个红外传感器可以在红外图案投射装置投射红外图案的情况下进行拍摄，得到包括两张图像的、且包含深度信息的第二图像。此时，拍摄第一图像和拍摄第二图像的图像传感器至少部分相同，但它们在不同的时刻，分别起到了第一和第二图像传感器的功能。

应该理解的是，可以先拍摄第一图像，再拍摄第二图像；也可以先拍摄第二图像，再拍摄第一图像；也可以同时拍摄第一和第二图像(例如，在基于可见光拍摄第一图像，基于投射的红外图案拍摄第二图像的情况下)，并且对第一图像的处理与第二图像的拍摄无关。换句话说，步骤S130可以位于步骤S110之前或同时，位于步骤S120之前，上述次序的变换不会影响本发明的效果。

随后，在步骤S140，基于拍摄第一图像传感器与第二图像传感器的相对位置关系，将所述第一图像中的目标区域映射至第二图像。如前所述，第一图像传感器与第二图像传感器可以是安装在同一个摄像头内的相同或不同的图像传感器。如果拍摄第一和第二图像的传感器相同，则可以直接将第一图像中的目标区域映射至第二图像。如果拍摄第一和第二图像的传感器不同，则需要基于传感器之间的相对位置微调目标区域在第二图像内的位置。在一个实施例中，第一图像传感器和第二图像传感器可以是合成的RGB-IR图像传感器。该RGB-IR图像传感器中的每个像素单元可以包括RGB和IR像素。RGB和IR像素可以同时工作，各自对可见光和红外光进行成像，从而得到同时拍摄且像素级对齐的第一和第二图像。此时，第一图像中的目标区域可以直接映射至第二图像的相同位置。随后，在步骤S150，仅仅计算所述第二图像中目标区域内的深度信息，而无需计算目标区域之外其他区域的深度信息，由此通过目标区域内算出的深度数据来实现目标检测。

另外，应该理解的是，在本发明中，第一图像传感器和第二图像传感器优选是以相同或至少极为接近的焦距拍摄所述成像空间。这样，相同的成像空间在第一图像和第二图像中是等大的，以方便后续的目标区域映射。

在一个实施例中，可以基于特征提取算法和坐标标识来实现坐标的映射。于是，步骤S120可以包括：基于目标特征提取算法，查找所述第一图像中包含的所述目标对象，并确定包含所述目标对象的目标区域的第一坐标。相应地，步骤S140可以包括：基于所述第一坐标，确定所述目标区域在所述第二图像内的第二坐标；步骤S150可以包括：计算所述第二坐标标识的所述目标区域内的深度信息。

例如，当目标对象是自行车时，可以基于目标特征提取算法，从第一图像中提取自行车的特征(例如，表征车头、车身、车轮的形状或点)，并形成一个包含自行车的区域(例如，一个矩形区域)。图2示出了确定第一图像中的目标区域坐标的一个例子。图2例如是使用黑白可见光传感器拍摄的第一图像。图中以(x1,y1)和(x2,y2)两个坐标表示提取出的目标区域。应该理解的是，图2是为了解释标识目标区域的例子。在实际操作中，无需实际生成一副如图2所示的经处理图像，而仅需向后传递计算出的第一坐标即可。随后，将该矩形区域的坐标信息(例如，图2所示的对角线两端点的坐标，或是左上角的坐标以及长宽像素值等其他表示方式)用于第二图像上目标对象的映射。可以基于第一和第二图像传感器之间的相对关系，进行坐标变换。图3示出了目标区域坐标映射至第二图像的一个例子。图3是使用红外图像传感器对投射红外图案进行拍摄的第二图像。图2所示的第一坐标(x1,y1)和(x2,y2)可以变换为用于第二图像的第二坐标(x’1,y’1)和(x’2,y’2)，从而在图3中框出相应的目标区域。随后在实际计算中，仅需计算(x’1,y’1)和(x’2,y’2)框出的目标区域内的深度数据，从而降低了整体计算量。同样应该理解的是，图3是为了解释目标区域映射的例子。在实际操作中，无需实际生成一副如图3所示的经处理图像，而仅需对目标区域内的像素读数进行处理以提取目标区域内的深度数据即可。在其他实施例中，目标区域也可以是矩形之外的其他形状区域。

在一个优选实施例中，可以基于检测出的所述目标对象的第一特征点，确定所述第一图像中包含所述目标对象。例如，可以基于自行车车头、车身和车轮的关键点的提取，确定第一图像中包含有自行车。相应地，可以将所述第一特征点映射至所述第二图像作为第二特征点，并计算所述目标区域内第二特征点的深度信息。例如，第一特征点可以被映射至第二图像作为第二特征点。可以直接计算各个第二特征点的深度值(例如，zyx坐标系中的z值)，由此实现对表征目标对象的关键点的深度值的求取，从而实现对目标对象的检测。

由于在拍摄时，目标对象距离摄像头的位置不同，换句话说，包括目标对象的目标区域大小可以不同。因此，在一个优选实施例中，可以基于所述第二坐标所指示的目标区域的大小，调整所述第二图像内目标区域内的深度信息计算密度。例如，在第二坐标指示目标区域较大(即，目标对象距离摄像头位置较近时)，由于目标区域内包括了较多的信息，因此可以以更为稀疏的密度计算目标区域内的深度数据，例如，在400x400像素的区域内，计算100x100像素的深度数据。而在第二坐标指示目标区域较小(即，目标对象距离摄像头位置较远时)，由于目标区域内包括了有限的信息，因此可以以更高的密度计算目标区域内的深度数据，例如，在80x80像素的区域内，计算全部80x80像素的深度数据。由此可以确保针对大小不同目标区域内的算力不变或保持在一个较小的范围内，提升系统的整体计算效率。

上述计算密度的调整还可以跟特征点的提取和计算相结合。例如，对于相同个数的第一特征点，可以基于相同个数的第二特征点和一定的插值比例，来保证每个目标区域内实际计算的特征点数相同或近似。

基于计算出的深度信息，可以将目标对象与参考目标进行匹配。例如，根据自行车的深度信息，与参考目标库中的自行车进行匹配，以识别自行车的型号。上述匹配和识别可以应用于广泛的场景。例如，在包裹分拣中识别包装箱的大小和型号，在活体识别场景中匹配和识别人类或是动物的面部等。上述场景可以通过对目标对象的关键点(例如，包装箱的各个角，面部五官等)进行平面识别和深度计算，来实现快速且准确的匹配。

本发明还可以实现为一种目标检测设备。该目标检测设备至少包括第一图像传感器、第二图像传感器和处理器。

第一图像传感器用于拍摄成像空间的第一图像。所述第一图像包含成像空间内目标对象的平面信息。第二图像传感器用于拍摄所述成像空间的第二图像，其中，所述第一图像传感器和所述第二图像传感器具有相对固定的成像位置，并且，所述第二图像包含所述目标对象的深度信息。处理器用于：处理所述第一图像以检测包含所述目标对象的目标区域；基于拍摄所述第一图像的第一图像传感器与拍摄所述第二图像的第二图像传感器的相对位置关系，将所述第一图像中的目标区域映射至第二图像；以及计算所述第二图像中目标区域内的深度信息。

在一个实施例中，处理器用于：基于目标特征提取算法，查找所述第一图像中包含的所述目标对象；确定包含所述目标对象的目标区域的第一坐标；基于所述第一坐标，确定所述目标区域在所述第二图像内的第二坐标；以及计算所述第二坐标标识的所述目标区域内的深度信息。

在一个优选实施例中，处理器用于：基于检测出的所述目标的第一特征点，确定所述第一图像中包含所述目标对象；将所述第一特征点映射至所述第二图像作为第二特征点，以及计算所述目标区域内第二特征点的深度信息。该处理器还可以用于：基于所述第二坐标所指示的目标区域的大小，调整所述第二图像内目标区域内的深度信息计算密度。进一步地，该处理器还可以用于：基于计算出的深度信息，将目标对象与参考目标进行匹配。

第一图像传感器可以包括可见光图像传感器；或者所述设备还包括红外面光源，并且所述第一图像传感器包括基于投射红外光的红外面光源成像的红外图像传感器。

第二图像传感器包括相对位置固定的两个图像传感器，所述两个图像传感器用于对投射的红外图案进行成像，以获取拍摄区域内的深度信息。于是所述设备还包括红外图案投射装置，用于向所述成像空间投射红外图案。

图4示出了根据本发明一个实施例的目标检测设备的测量组件的组成例。如图4所示，该实施例中的测量组件1可以包括第一投射装置10、第二投射装置20、第一成像单元30与第二成像单元40。上述投射和成像单元可由连接机构70固定，其各自的引线可经由上述连接机构70汇总至线缆60，以方便与处理和控制单元，例如处理器的连接。

该测量组件在第一投射装置10点亮的情况下使用第一成像单元30和第二成像单元40拍摄获取目标深度信息所需的第二图像(包括两张二维图像)，并且在第二投射装置20点亮的情况下进行拍摄以获取第一图像。在此，第一投射装置10是红外图案，例如散斑投射装置。第二投射装置20是红外面光源投射装置。第一和第二投射装置不同时工作。

由测量组件分帧获取的至少三幅二维图像可以经由线缆60送至处理器(图4中未示出)。处理器可以从第一图像中提取目标区域，映射至两幅第二图像中，并基于两幅第二图像的子图像获取目标区域中的目标对象深度图信息，并且还可以根据深度图信息确定拍摄区域中的目标是否与存储的目标相同。

在另一个实施例中，对均匀光照射下目标图像的拍摄可由可见光成像装置进行。图5示出了根据本发明另一个实施例的目标检测设备的测量组件的组成例。

除了具有与图1的测量组件相同的第一投射装置10、第二投射装置20、第一成像单元30与第二成像单元40、以及类似的线缆60和连接结构70之外，图2所示的测量组件还包括第三成像单元50。该第三成像单元50在可见光波段进行成像，可以用于对所述拍摄区域进行拍摄以获得二维彩色图像，例如，RGB图像或是黑白图像。与图4相类似的，虽然图5中示出了测量组件中各器件的排列方式，但可以理解的是，这只是器件排列的一个具体例子，各器件及线缆还可以以其他合适的方式布置。

图6示出了根据本发明的目标检测设备的框图例。如图6所示，该实施例中的目标检测设备100可以包括前述实施例中的测量组件1(图6示意性示出测量组件1的主要部件)，以及处理器130，用于基于第一和第二图像以及第一成像单元30和第二成像单元40之间的预定相对位置关系，计算目标对象上的多个离散斑点的深度数据，深度数据表示目标对象上的点相对于第一成像单元30和/或第二成像单元40的距离。例如，处理器130可以从第一成像单元与第二成像单元在同一时刻拍摄的不同二维图像中包含目标对象的同一目标区域搜索相同的激光编码片段，进而计算并获得图像深度信息。应该理解的是，图中处理器130具备控制测量组件1中各个部件，并从第一和第二成像单元中获取数据的能力。图中示出了处理器与各部件的连线，上述连线用于表示各部件与处理器130之间存在控制信号和/或数据信号的往来，在实际实现中，上述连线也可以通过汇总的线缆，例如图1中的线缆60来实现。

另外，图中各部件与目标对象(例如，本发明中位于成像空间内的目标对象)之间的连线用于示意性地表示投射装置向其投射光，成像设备拍摄从其反射的光，而非真的与待测对象之间存在有线连接。

如上所述，目标对象表面的三维测量计算可以通过目标检测设备100中的处理器130完成，处理器130的功能可以在计算机处理器上通过编写的计算机程序来实现。可替代地，该处理器130的部分或全部功能可在定制的或半定制的集成电路上实现，也可以在DSP(Digital Signal Processor，数字信号处理器)或FPGA(Field Programmable GateArray，现场可编程门阵列)等通用计算芯片上通过运行预先编写的程序实现。

该实施例采用激光散斑作为辅助标记手段，在测量过程中对待测对象表面三维信息进行抽样测量，最后对离散的三维信息进行数据重建，从而无限拟合物体表面实际的三维信息。当待测对象表面为复杂曲面，尤其是多个曲面相互连接，且表面没有任何具有可识别的纹理时，能够测量并拟合得到没有纹理信息的曲面的三维信息。

图7示出根据本发明的景深信息测量方法的示意图。

如图7所示，第一成像单元30和第二成像单元40在布置上有固定的空间关系，在应用中，第一成像单元30和第二成像单元40一般被固定在平整的电路板表面，并保持一定的距离B，该距离B称为基线长度。因为基线距离B的存在会导致同一待测对象在第一成像单元30和第二成像单元40上成像的位置有所不同。这一原理可以理解为，第一成像单元30在O

根据相似三角形Ppp’和PO

其中，Z为待测对象P到基线的距离，即，需要测量的景深距离，f为图像的焦距，b为基线B的长度。取d＝x

由上面的公式可以看出，b与f都是常数，因此当待测对象P的景深距离Z越大，则其在第一成像单元30和第二成像单元40上的视差d越小，反之亦然。因此对待测对象P的景深距离Z的测量可以根据以上数学模型转换为计算待测对象P在不同成像单元上成像的像素差，该转换过程可以通过坐标转换模型实现。

上文中已经参考附图详细描述了根据本发明的目标检测设备和方法。本发明通过对常规图像进行目标区域提取，并通过映射将深度图像的深度计算局限在提取的目标区域内来提供一种快速准确的目标检测方案。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。