插座位姿确定方法、装置、设备及存储介质

技术领域

本公开涉及机器人感知技术领域，尤其涉及一种插座位姿确定方法、装置、设备及存储介质。

背景技术

相关技术中，通常可以基于几何的姿态估计方法实现物体姿态估计，而基于几何的姿态估计方法包括基于特征匹配的算法和基于模板匹配的算法。其中，基于特征匹配的算法只适用于纹理特征比较丰富的物体，而对于插座等纹理较少的物体，其进行特征匹配的效果不好，进而导致姿态输出精度较低。而基于模板匹配的算法虽可以适用于无纹理场景，但需要在前期制作目标物体的多种姿态模板，因而需要采用R-GBD相机采集深度图像，导致设备成本较高。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种插座位姿确定方法、装置、设备及存储介质，用以解决相关技术中的缺陷。

根据本公开实施例的第一方面，提供一种插座位姿确定方法，所述方法包括：

响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息；

基于所述插座局部图像确定所述各个插孔的局部图像特征点信息；

基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿。

在一些实施例中，所述基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息，包括：

将所述原始图像输入到预先训练的深度学习模型中，得到所述目标插座的二维边框的位置及大小，以及所述目标插座中各个插孔的关键点信息；

基于所述二维边框的位置及大小，将所述二维边框内的图像从所述原始图像分割出来，得到所述插座局部图像。

在一些实施例中，所述基于所述插座局部图像确定所述各个插孔的局部图像特征点信息，包括：

对所述插座局部图像进行图像处理，得到处理图像，所述处理图像用于区别显示所述目标插座的各个插孔与面板；

基于所述处理图像确定所述各个插孔的局部图像特征点信息。

在一些实施例中，所述对所述插座局部图像进行图像处理，得到处理图像，包括：

将所述插座局部图像转化为灰度图像；

获取所述灰度图像的二值化图像；

基于所述二值化图像确定所述处理图像。

在一些实施例中，所述将所述插座局部图像转化为灰度图像，包括：

对所述插座局部图像进行去噪处理和/或边缘强化处理，得到处理后图像；

将所述处理后图像转化为灰度图像。

在一些实施例中，所述获取所述灰度图像的二值化图像，包括：

对所述灰度图像进行直方图均衡化，得到均衡化图像；

采用阈值分割方式将所述均衡化图像进行二值化处理，得到所述二值化图像。

在一些实施例中，所述方法还包括：

基于预设边缘检测算法对所述均衡化图像进行边缘检测，得到边缘检测图像；

所述基于所述二值化图像确定所述处理图像，包括：

将所述边缘检测图像与所述二值化图像进行或运算，得到或运算图像；

对所述或运算图像进行形态学闭运算处理，得到所述处理图像。在一些实施例中，所述基于所述处理图像确定所述各个插孔的局部图像特征点信息，包括：

对所述处理图像进行轮廓提取，得到至少一个第一图像轮廓；

确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓；

基于所述目标图像轮廓的最小凸包围轮廓确定所述局部图像特征点信息。

在一些实施例中，所述确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓，包括：

获取所述至少一个第一图像轮廓中，所占像素面积大于或等于第一设定面积阈值的第二图像轮廓，所述第一设定面积阈值基于所述处理图像的面积的第一预设比例确定；

确定所述第二图像轮廓的凸包围轮廓；

将所述第二图像轮廓中，所占像素面积大于或等于第二设定面积阈值的轮廓，确定为所述目标图像轮廓，所述第二设定面积阈值基于所述凸包围轮廓所占像素面积的第二预设比例确定。

在一些实施例中，所述基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿，包括：

将所述局部图像特征点信息与所述插座标准图像进行匹配，得到所述插座标准图像中的标准图像特征点信息；

基于所述关键点信息与所述标准图像特征点信息的对应关系，确定相应的单应矩阵；

对所述单应矩阵进行奇异值分解，得到所述目标插座的位姿。

在一些实施例中，所述基于所述关键点信息与所述标准图像特征点信息的对应关系，确定相应的单应矩阵，包括：

将所述关键点信息作为参考值，与所述标准图像特征点信息进行一一对应，得到多个特征点信息对；

基于所述多个特征点信息对构建所述单应矩阵；

基于所述单应矩阵的系数矩阵的最小特征值对应的特征向量，确定所述单应矩阵。

根据本公开实施例的第二方面，提供一种插座位姿确定装置，所述装置包括：

局部图像确定模块，用于响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息；

局部特征点确定模块，用于基于所述插座局部图像确定所述各个插孔的局部图像特征点信息；

插座位姿确定模块，用于基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿。

在一些实施例中，所述局部图像确定模块，包括：

关键点信息确定单元，用于将所述原始图像输入到预先训练的深度学习模型中，得到所述目标插座的二维边框的位置及大小，以及所述目标插座中各个插孔的关键点信息；

局部图像确定单元，用于基于所述二维边框的位置及大小，将所述二维边框内的图像从所述原始图像分割出来，得到所述插座局部图像。

在一些实施例中，所述局部特征点确定模块，包括：

处理图像获取单元，用于对所述插座局部图像进行图像处理，得到处理图像，所述处理图像用于区别显示所述目标插座的各个插孔与面板；

局部特征点确定单元，用于基于所述处理图像确定所述各个插孔的局部图像特征点信息。

在一些实施例中，所述处理图像获取单元还用于：

将所述插座局部图像转化为灰度图像；

获取所述灰度图像的二值化图像；

基于所述二值化图像确定所述处理图像。

在一些实施例中，所述处理图像获取单元还用于：

对所述插座局部图像进行去噪处理和/或边缘强化处理，得到处理后图像；

将所述处理后图像转化为灰度图像。

在一些实施例中，所述处理图像获取单元还用于：

对所述灰度图像进行直方图均衡化，得到均衡化图像；

采用阈值分割方式将所述均衡化图像进行二值化处理，得到所述二值化图像。

在一些实施例中，所述局部特征点确定模块，还包括：

边检图像获取单元，用于基于预设边缘检测算法对所述均衡化图像进行边缘检测，得到边缘检测图像；

所述处理图像获取单元还用于：

将所述边缘检测图像与所述二值化图像进行或运算，得到或运算图像；

对所述或运算图像进行形态学闭运算处理，得到所述处理图像。

在一些实施例中，所述局部特征点确定单元还用于：

对所述处理图像进行轮廓提取，得到至少一个第一图像轮廓；

确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓；

基于所述目标图像轮廓的最小凸包围轮廓确定所述局部图像特征点信息。

在一些实施例中，所述局部特征点确定单元还用于：

获取所述至少一个第一图像轮廓中，所占像素面积大于或等于第一设定面积阈值的第二图像轮廓，所述第一设定面积阈值基于所述处理图像的面积的第一预设比例确定；

确定所述第二图像轮廓的凸包围轮廓；

将所述第二图像轮廓中，所占像素面积大于或等于第二设定面积阈值的轮廓，确定为所述目标图像轮廓，所述第二设定面积阈值基于所述凸包围轮廓所占像素面积的第二预设比例确定。

在一些实施例中，所述插座位姿确定模块，包括：

标准特征点确定单元，用于将所述局部图像特征点信息与所述插座标准图像进行匹配，得到所述插座标准图像中的标准图像特征点信息；

单应矩阵确定单元，用于基于所述关键点信息与所述标准图像特征点信息的对应关系，确定相应的单应矩阵；

插座位姿确定单元，用于对所述单应矩阵进行奇异值分解，得到所述目标插座的位姿。

在一些实施例中，所述单应矩阵确定单元还用于：

将所述关键点信息作为参考值，与所述标准图像特征点信息进行一一对应，得到多个特征点信息对；

基于所述多个特征点信息对构建所述单应矩阵；

基于所述单应矩阵的系数矩阵的最小特征值对应的特征向量，确定所述单应矩阵。

根据本公开实施例的第三方面，提供一种电子设备，所述设备包括：

处理器以及用于存储计算机程序的存储器；

其中，所述处理器被配置为在执行所述计算机程序时，实现：

响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息；

基于所述插座局部图像确定所述各个插孔的局部图像特征点信息；

基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现：

响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息；

基于所述插座局部图像确定所述各个插孔的局部图像特征点信息；

基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息，并基于所述插座局部图像确定所述各个插孔的局部图像特征点信息，进而基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿，可以实现根据插座的孔位几何特征准确地进行插座位姿估计，而无需在前期制作目标物体的多种姿态模板，因而可以节省位姿估计前期投入的人力物力，且无需采用R-GBD相机采集深度图像，因而可以降低设备成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1A是根据本公开一示例性实施例示出的一种插座位姿确定方法的流程图；

图1B是根据本公开一示例性实施例示出的一种插座标准图像的示意图；

图2是根据本公开一示例性实施例示出的如何基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息的流程图；

图3是根据本公开一示例性实施例示出的如何基于所述插座局部图像确定所述各个插孔的局部图像特征点信息的流程图；

图4是根据本公开一示例性实施例示出的如何对所述插座局部图像进行图像处理的流程图；

图5A是根据本公开再一示例性实施例示出的如何基于所述处理图像确定所述各个插孔的局部图像特征点信息的流程图；

图5B是根据本公开一示例性实施例示出的一种插座插孔图像的示意图；

图6是根据本公开一示例性实施例示出的如何基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿的流程图；

图7是根据本公开一示例性实施例示出的如何基于所述关键点信息与所述标准图像特征点信息的对应关系确定相应的单应矩阵的流程图；

图8是根据本公开一示例性实施例示出的一种插座位姿确定装置的框图；

图9是根据本公开一示例性实施例示出的又一种插座位姿确定装置的框图；

图10是根据本公开一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1A是根据一示例性实施例示出的一种插座位姿确定方法的流程图；本实施例的方法可以由插座位姿确定装置来执行，该插座位姿确定装置可以配置在电子设备中，例如服务器、工作站、个人电脑、移动终端(如手机、平板电脑等)、可穿戴设备(如眼镜、手表等)等。具体地，如图1A所示，该方法包括以下步骤S101-S103：

在步骤S101中，响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息。

本实施例中，当电子设备确定插座位姿时，可以基于单目摄像头等图像采集装置采集当前环境的原始图像(如，未经处理的图像)，进而可以基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息。

其中，上述目标插座可以为五孔插座、三孔插座或两孔插座，本实施例对此不进行限定。上述插座局部图像可以为原始图像中目标插座所在的局部区域，目标插座中各个插孔的关键点信息指目标插座中各个插孔的关键点的信息，如关键点的坐标、关键点所属插孔的标签等。而插孔的关键点实际上为插孔的特征点(如插孔的中心点)的粗略估计结果。

在一些实施例中，可以基于图像识别及图像分割等技术从原始图像中提取出目标插座的插座局部图像，进而识别出目标插座中各个插孔的关键点信息，本实施例对于具体的识别方式不进行限定。

在另一些实施例中，还可以基于下述图2所示实施例的方式确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息，本实施例对此先不进行详述。

在步骤S102中，基于所述插座局部图像确定所述各个插孔的局部图像特征点信息。

本实施例中，当基于所述原始图像确定目标插座的插座局部图像后，可以基于该插座局部图像确定所述各个插孔的局部图像特征点信息。

其中，上述局部图像特征点信息指目标插座中各个插孔位于插座局部图像中的局部图像特征点的信息，如局部图像特征点的坐标、局部图像特征点所属插孔的标签等。而插孔的局部图像特征点实际上为插孔的特征点(如插孔的中心点)的精细识别结果。

在一些实施例中，还可以基于下述图3所示实施例的方式确定所述各个插孔的局部图像特征点信息，本实施例对此先不进行详述。

在步骤S103中，基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿。

本实施例中，当确定目标插座中各个插孔的关键点信息以及所述各个插孔的局部图像特征点信息后，可以基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿。

示例性地，上述插座标准图像可以为国标五孔插座的孔位分布图(如图1B所示)，如图1B所示，该国标五孔插座包括插孔1～5。进一步地，该图中还可以包括目标插座标准的尺寸信息(图中未示出)。

在一些实施例中，当得到目标插座中各个插孔的关键点信息以及所述各个插孔的局部图像特征点信息后，可以通过计算单应矩阵并用奇异值分解(SVD)计算出目标插座的位姿，例如目标插值的位置和旋转矩阵。

在另一些实施例中，还可以基于下述图6所示实施例的方式确定所述目标插座的位姿，本实施例对此先不进行详述。

由上述描述可知，本实施例的方法通过响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息，并基于所述插座局部图像确定所述各个插孔的局部图像特征点信息，进而基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿，可以实现根据插座的孔位几何特征准确地进行插座位姿估计，而无需在前期制作目标物体的多种姿态模板，因而可以节省位姿估计前期投入的人力物力，且无需采用R-GBD相机采集深度图像，因而可以降低设备成本。

图2是根据本公开一示例性实施例示出的如何基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息的流程图；

本实施例在上述实施例的基础上以如何基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息为例进行示例性说明。

如图3所示，上述步骤S101中所述的基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息，可以包括以下步骤S201-S202：

在步骤S201中，将所述原始图像输入到预先训练的深度学习模型中，得到所述目标插座的二维边框的位置及大小，以及所述目标插座中各个插孔的关键点信息。

本实施例中，可以预先基于样本图像训练用于识别插座的二维边框及插孔的关键点信息的深度学习模型，进而当得到当前环境的原始图像img_ori后，可以将原始图像img_ori输入到该预先训练的深度学习模型中，得到目标插座的二维边框的位置及大小，以及所述目标插座中各个插孔的关键点信息。

值得说明的是，上述深度学习模型的具体类型可以基于实际业务需要进行选取，如选取为YOLOv8深度神经网络等，本实施例对此不进行限定。

本实施例通过采用深度学习模型进行目标插座和插孔关键点的检测，可以在去除原始图像的背景干扰的同时生成插孔孔位参考点(即上述插孔的关键点)，进而可以降低后续进行关键点匹配计算的复杂度。

在步骤S202中，基于所述二维边框的位置及大小，将所述二维边框内的图像从所述原始图像分割出来，得到所述插座局部图像。

本实施例中，当得到所述目标插座的二维边框的位置及大小，以及所述目标插座中各个插孔的关键点信息后，可以基于所述二维边框的位置及大小，将所述二维边框内的图像从所述原始图像分割出来，得到所述插座局部图像img_tgt，其中，该插座局部图像中包括上述各个插孔的关键点信息P＝{p

由上述描述可知，本实施例通过将所述原始图像输入到预先训练的深度学习模型中，得到所述目标插座的二维边框的位置及大小，以及所述目标插座中各个插孔的关键点信息，并基于所述二维边框的位置及大小，将所述二维边框内的图像从所述原始图像分割出来，得到所述插座局部图像，可以实现准确地确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息，进而为后续基于所述插座局部图像确定所述各个插孔的局部图像特征点信息，以及基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿奠定基础，可以实现准确地进行插座位姿估计，可以节省位姿估计前期投入的人力物力以及降低设备成本。

图3是根据本公开一示例性实施例示出的如何基于所述插座局部图像确定所述各个插孔的局部图像特征点信息的流程图；本实施例在上述实施例的基础上以如何基于所述插座局部图像确定所述各个插孔的局部图像特征点信息为例进行示例性说明。

如图3所示，上述步骤S102中所述的基于所述插座局部图像确定所述各个插孔的局部图像特征点信息，可以包括以下步骤S301-S302：

在步骤S301中，对所述插座局部图像进行图像处理，得到处理图像。

本实施例中，当基于所述原始图像确定目标插座的插座局部图像后，可以对所述插座局部图像进行图像处理，得到处理图像。

其中，上述处理图像可以用于区别显示所述目标插座的各个插孔与面板。

举例来说，可以对上述插座局部图像进行灰度化、二值化处理，进而得到上述处理图像。

在一些实施例中，上述对所述插座局部图像进行图像处理的方式可以参见下述图4所示实施例，在此先不进行详述。

在步骤S302中，基于所述处理图像确定所述各个插孔的局部图像特征点信息。

本实施例中，当通过对所述插座局部图像进行图像处理，得到处理图像后，可以基于插孔孔位的几何特征，在所述处理图像中确定目标插座的各个插孔的局部图像特征点信息。

在一些实施例中，上述确定所述各个插孔的局部图像特征点信息的方式可以参见下述图5A所示实施例，在此先不进行详述。

由上述描述可知，本实施例通过对所述插座局部图像进行图像处理，得到处理图像，所述处理图像用于区别显示所述目标插座的各个插孔与面板，并基于所述处理图像确定所述各个插孔的局部图像特征点信息，可以实现基于图像处理方式准确的确定所述各个插孔的局部图像特征点信息，进而可以实现后续基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿奠定基础，可以实现准确地进行插座位姿估计，可以节省位姿估计前期投入的人力物力以及降低设备成本。

图4是根据本公开一示例性实施例示出的如何对所述插座局部图像进行图像处理的流程图；

本实施例在上述实施例的基础上以如何对所述插座局部图像进行图像处理为例进行示例性说明。

如图4所示，上述步骤S301中所述的对所述插座局部图像进行图像处理，得到处理图像，可以包括以下步骤S401-S403：

在步骤S401中，将所述插座局部图像转化为灰度图像。

本实施例中，当得到插座局部图像后，可以将所述插座局部图像转化为灰度图像。

在一些实施例中，可以对所述插座局部图像进行去噪处理和/或边缘强化处理，得到处理后图像，进而可以将所述处理后图像转化为灰度图像。

举例来说，可以对所述插座局部图像img_tgt(该图像为RGB图像)进行高斯滤波，以去除该图像中的噪声，得到滤波后的图像，然后可以采用拉普拉斯算子对滤波后的图像进行边缘强化，得到边缘强化后的RGB图像，进而可以基于加权平均法将边缘强化后的RGB图像转化为灰度图像。

在步骤S402中，获取所述灰度图像的二值化图像。

本实施例中，当将所述插座局部图像转化为灰度图像后，可以获取所述灰度图像的二值化图像。

举例来说，可以对所述灰度图像进行直方图均衡化，得到均衡化图像，即通过将灰度值均匀分散开，起到提高对比度的作用。进一步地，本实施例中考虑到插座的明显特征主要存在于插座孔上，最明显的特征是插孔内的亮度低于周围环境的平均亮度，因此本实施例可以采用阈值分割方式将所述均衡化图像进行二值化处理，得到所述二值化图像。示例性地，该阈值分割方式中阈值T的计算方式可以如下式(4-1)所示：

T＝mean(top_k(sort(img_tgt))/； (4-1)

上式中，sort()表示对图像所有像素按照从小到大顺序排列，top_k()表示取前k项数据值，mean()表示计算数据的平均值。也即是说，本实施例中是将均衡化图像中全部像素值按从小到大顺序进行排序，再取灰度最小的k个像素计算平均值作为分割阈值T，从而可以有效地将低亮度的插孔与高亮度的面板区分开来。

在步骤S403中，基于所述二值化图像确定所述处理图像。

本实施例中，当获取所述灰度图像的二值化图像后，可以基于所述二值化图像确定所述处理图像。

举例来说，当得到上述的二值化图像后，可以将该二值化图像作为所述处理图像。

在另一些实施例中，考虑到仅采用阈值分割的二值化方法在光照较强的环境下易产生边缘失真的情况，影响特征点提取的准确性，因而本实施例可以基于预设边缘检测算法对所述均衡化图像进行边缘检测，得到边缘检测图像。在此基础上，可以将所述边缘检测图像与所述二值化图像进行“或”运算，得到或运算图像，并对所述或运算图像进行形态学闭运算处理(即补充边缘细节)，得到最终的二值化图像img_thr，即上述的处理图像。

值得说明的是，上述预设边缘检测算法可以基于实际业务需要进行选取，如选取为Canny边缘检测算法等，本实施例对此不进行限定。具体地，Canny边缘检测算法是由JohnF.Canny于1986年提出的，其核心思想是通过滤波器对图像进行平滑处理以去除噪声，然后使用梯度算子来检测出图像中的边缘，最后通过非极大值抑制和双阈值处理来确定最终的边缘信息。由于该算法能够有效地从图像中提取出边缘信息，因而可以提升处理图像的质量，以使其更准确地区别显示所述目标插座的各个插孔与面板。

由上述描述可知，本实施例通过将所述插座局部图像转化为灰度图像，并获取所述灰度图像的二值化图像，进而基于所述二值化图像确定所述处理图像，可以实现获取用于区别显示所述目标插座的各个插孔与面板的处理图像，进而可以实现后续基于所述处理图像确定所述各个插孔的局部图像特征点信息，可以确保确定所述各个插孔的局部图像特征点信息的准确性，进而可以提升后续确定插座位姿的准确性。

图5A是根据本公开再一示例性实施例示出的如何基于所述处理图像确定所述各个插孔的局部图像特征点信息的流程图；本实施例在上述实施例的基础上以如何基于所述处理图像确定所述各个插孔的局部图像特征点信息为例进行示例性说明。

如图5A所示，上述步骤S302中所述的基于所述处理图像确定所述各个插孔的局部图像特征点信息，可以包括以下步骤S501-S503：

在步骤S501中，对所述处理图像进行轮廓提取，得到至少一个第一图像轮廓。

本实施例中，当得到所述处理图像img_thr后，可以对所述处理图像进行轮廓提取，得到至少一个第一图像轮廓。

具体来说，可以采用相关技术中的轮廓提取算法对处理图像进行轮廓提取，以获取图像中的至少一个前景轮廓(为了便于区分，命名为第一图像轮廓)。

在步骤S502中，确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓。

本实施例中，当得到至少一个第一图像轮廓后，为了去除干扰轮廓，可以确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓。

举例来说，可以获取上述至少一个第一图像轮廓中，所占像素面积大于或等于第一设定面积阈值的第二图像轮廓，其中，该第一设定面积阈值可以基于所述处理图像的面积的第一预设比例确定。例如，该第一设定面积阈值可以设置为所述处理图像的面积的2％(即，第一预设比例为2％)，也即是说，将至少一个第一图像轮廓中，所占像素面积小于处理图像的面积的2％的轮廓去除，得到剩余的第一图像轮廓，即上述第二图像轮廓。作为示例，上述第一图像轮廓所占像素面积的算法可以为基于广度优先搜索算法(BFS)。

进一步地，考虑到国标插座孔固定为矩形，其在图像中投影一定是凸多边形，因此本实施例可以通过判断原始轮廓与凸包围面积的比值的方式来过滤严重失真轮廓。具体来说，可以确定所述第二图像轮廓的凸包围轮廓，其中，该凸包围轮廓具体可以为第二图像轮廓的最小凸包围轮廓。具体地，当第二图像轮廓为凸图形时，则第二图像轮廓的最小凸包围轮廓为第二图像轮廓本身；而当第二图像轮廓为非凸图形时，则可以对第二图像轮廓应用sklansky算法，以获得该轮廓的最小凸包围轮廓。

在此基础上，可以将上述第二图像轮廓中，所占像素面积大于或等于第二设定面积阈值的轮廓，确定为所述目标图像轮廓，其中，所述第二设定面积阈值可以基于所述凸包围轮廓所占像素面积的第二预设比例确定。例如，该第二设定面积阈值可以设置为所述处理图像的面积的80％(即，第二预设比例为80％)。也即是说，将第二图像轮廓中，所占像素面积小于处理图像的面积的80％的轮廓去除，得到剩余的第二图像轮廓，即上述目标图像轮廓。

在步骤S503中，基于所述目标图像轮廓的最小凸包围轮廓确定所述局部图像特征点信息。

本实施例中，当确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓后，可以基于所述目标图像轮廓的最小凸包围轮廓的最大内接四边形的重心，确定所述局部图像特征点信息。

举例来说，图5B是根据本公开一示例性实施例示出的一种插座插孔图像的示意图；如图5B所示，当确定上述的目标图像轮廓510后，可以确定该目标图像轮廓510的最小凸包围轮廓520，进而确定该最小凸包围轮廓520的最大内接四边形530，从而将该最大内接四边形530的重心540，确定为所述局部图像特征点信息。

由上述描述可知，本实施例通过对所述处理图像进行轮廓提取，得到至少一个第一图像轮廓，并确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓，进而基于所述目标图像轮廓的最小凸包围轮廓确定所述局部图像特征点信息，可以实现基于插座的孔位几何特征准确地确定局部图像特征点信息，可以提升确定所述各个插孔的局部图像特征点信息的准确性，进而实现后续准确地确定插座位姿。

图6是根据本公开一示例性实施例示出的如何基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿的流程图；本实施例在上述实施例的基础上以如何基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿为例进行示例性说明。

如图6所示，上述步骤S103中所述的基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿，可以包括以下步骤S601-S603：

在步骤S601中，将所述局部图像特征点信息与所述插座标准图像进行匹配，得到所述插座标准图像中的标准图像特征点信息。

本实施例中，当得到局部图像特征点信息后，可以将该局部图像特征点信息与预设的插座标准图像进行匹配，得到所述插座标准图像中的标准图像特征点信息。

以目标插座为国标五孔插座为例，当得到该目标插座的5个局部图像特征点信息后，可以将5个局部图像特征点信息分别匹配到插座标准图像上，以得到插座标准图像中的5个标准图像特征点信息。

在步骤S602中，基于所述关键点信息与所述标准图像特征点信息的对应关系，确定相应的单应矩阵。

本实施例中，当得到所述插座标准图像中的标准图像特征点信息后，可以基于所述关键点信息与所述标准图像特征点信息的对应关系，确定相应的单应矩阵(即，用于表征上述关键点信息与标准图像特征点信息之间的对应关系的矩阵)。

在一些实施例中，在获取到上述插座标准图像中的标准图像特征点信息后，可以基于相关技术中的单应矩阵确定方式确定该单应矩阵，本实施例对于具体的确定方式不进行限定。

在另一些实施例中，上述单应矩阵的确定方式还可以参见下述图7所示实施例，在此先不进行详述。

在步骤S603中，对所述单应矩阵进行奇异值分解，得到所述目标插座的位姿。

本实施例中，当确定相应的单应矩阵后，可以对所述单应矩阵进行奇异值分解(SVD)，得到所述目标插座的位姿。

由上述描述可知，本实施例通过将所述局部图像特征点信息与所述插座标准图像进行匹配，得到所述插座标准图像中的标准图像特征点信息，并基于所述关键点信息与所述标准图像特征点信息的对应关系，确定相应的单应矩阵，进而对所述单应矩阵进行奇异值分解，得到所述目标插座的位姿，可以实现基于单应矩阵以及奇异值分解(SVD)算法准确地进行插座位姿估计，而无需在前期制作目标物体的多种姿态模板，因而可以节省位姿估计前期投入的人力物力，且无需采用R-GBD相机采集深度图像，因而可以降低设备成本。

图7是根据本公开一示例性实施例示出的如何基于所述关键点信息与所述标准图像特征点信息的对应关系确定相应的单应矩阵的流程图；本实施例在上述实施例的基础上以如何基于所述关键点信息与所述标准图像特征点信息的对应关系确定相应的单应矩阵为例进行示例性说明。

如图7所示，上述步骤S602中所述的基于所述关键点信息与所述标准图像特征点信息的对应关系确定相应的单应矩阵，可以包括以下步骤S701-S703：

在步骤S701中，将所述关键点信息作为参考值，与所述标准图像特征点信息进行一一对应，得到多个特征点信息对。

本实施例中，为了确定上述单应矩阵，可以将所述关键点信息作为参考值，与所述标准图像特征点信息进行一一对应，得到多个特征点信息对。

举例来说，针对每个关键点信息，可以选择与其欧式距离最小的标准图像特征点信息，以将二者组成一对，得到多个特征点信息对。

在步骤S702中，基于所述多个特征点信息对构建所述单应矩阵。

本实施例中，当得到多个特征点信息对后，可以基于所述多个特征点信息对构建所述单应矩阵。

仍以目标插座为国标五孔插座为例，则基于上述步骤S701可以得到5个特征点信息对。进而本实施例中可以遍历的所有的组合，即从5个特征点信息对中选出4个特征点信息对(单应矩阵需要4个参考点，由于实施例中标准图像特征点有5个，因此可以将随机采样变为遍历所有情况，即取出其中4个标准图像特征点，得到相应的4个特征点信息对)，计算单应矩阵，再用剩下的第5个特征点信息对进行验证，如果验证通过，则可以针对该5个特征点信息对，采用最小二乘法构建单应矩阵，再通过求解系数矩阵的最小特征值对应的特征向量，得到单应矩阵。而如果验证未通过，则从上述5个特征点信息对中重新选取4个特征点信息对，再次执行上述过程，直至使用剩下的第5个特征点信息对进行验证后可以验证通过。而如果遍历了所有的组合后，仍没有找到可以验证通过的组合，则可以采用验证结果较好的一个组合(即4个特征点信息对)来计算单应矩阵。

举例来说，当取出4个特征点信息对后，可以构建下式(7-1)：

上式中，x

上式中，像素点x

将上式(7-2)中第三个约束代入前两个约束中，可以得到：

对上述两式进行整理，得到：

h

h

由此可见，一个特征点信息对可以提供两个方程，单应矩阵的自由度为8，因此代入4个特征点信息对即可解出矩阵

在此基础上，可以利用剩下的第5个特征点信息对进行验证，即利用得到的单应矩阵计算第5个特征点的投影点，并计算其与标准图像中第5个特征点之间的欧氏距离作为单边投影误差：

/>

进一步地，若ε大于阈值，则重新选取4个特征点信息对，直到单边投影误差小于或等于阈值，此时可以加入第5个特征点信息对，并采用最小二乘法重新构建出下式(7-8)：

值得说明的是，相关技术中求解单应矩阵仅需要4个特征点信息对，本实施例采用5个可以进一步减小误差。

然而，若所有组合遍历结束仍未出现满足条件(即，单边投影误差小于或等于阈值)的组合，则可以选择欧氏距离最小的特征点组合计算单应矩阵。

在步骤S703中，基于所述单应矩阵的系数矩阵的最小特征值对应的特征向量，确定所述单应矩阵。

本实施例中，当基于所述多个特征点信息对构建所述单应矩阵后，可以基于所述单应矩阵的系数矩阵的最小特征值对应的特征向量，确定所述单应矩阵。

也即是说，当构建上述单应矩阵后，可以求解该单应矩阵的系数矩阵A

由上述描述可知，本实施例通过将所述关键点信息作为参考值，与所述标准图像特征点信息进行一一对应，得到多个特征点信息对，并基于所述多个特征点信息对构建所述单应矩阵，进而基于所述单应矩阵的系数矩阵的最小特征值对应的特征向量，确定所述单应矩阵，可以实现合理、准确地确定单应矩阵，进而可以实现后续基于单应矩阵确定目标插座的位姿，可以提高插座位姿估计的准确性，且可以节省位姿估计前期投入的人力物力，以及可以降低设备成本。

图8是根据本公开一示例性实施例示出的一种插座位姿确定装置的框图；本实施例的装置可以配置在电子设备，例如机器人，或作为机器人控制设备的服务器、工作站、个人电脑、移动终端(如手机、平板电脑等)、可穿戴设备(如眼镜、手表等)等。具体地，如图8所示，该装置可以包括：局部图像确定模块110、局部特征点确定模块120和插座位姿确定模块130，其中：

局部图像确定模块110，用于响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息；

局部特征点确定模块120，用于基于所述插座局部图像确定所述各个插孔的局部图像特征点信息；

插座位姿确定模块130，用于基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿。

由上述描述可知，本实施例的装置通过响应于获取到当前环境的原始图像，基于所述原始图像确定目标插座的插座局部图像以及所述目标插座中各个插孔的关键点信息，并基于所述插座局部图像确定所述各个插孔的局部图像特征点信息，进而基于预设的插座标准图像、所述关键点信息和所述局部图像特征点信息确定所述目标插座的位姿，可以实现根据插座的孔位几何特征准确地进行插座位姿估计，而无需在前期制作目标物体的多种姿态模板，因而可以节省位姿估计前期投入的人力物力，且无需采用R-GBD相机采集深度图像，因而可以降低设备成本。

图9是根据本公开一示例性实施例示出的又一种插座位姿确定装置的框图；本实施例的装置可以配置在电子设备，例如机器人，或作为机器人控制设备的服务器、工作站、个人电脑、移动终端(如手机、平板电脑等)、可穿戴设备(如眼镜、手表等)等。其中，局部图像确定模块210、局部特征点确定模块220和插座位姿确定模块230与前述图8所示实施例中的局部图像确定模块110、局部特征点确定模块120和插座位姿确定模块130的功能相同，在此不进行赘述。

如图9所示，局部图像确定模块210，可以包括：

关键点信息确定单元211，用于将所述原始图像输入到预先训练的深度学习模型中，得到所述目标插座的二维边框的位置及大小，以及所述目标插座中各个插孔的关键点信息；

局部图像确定单元212，用于基于所述二维边框的位置及大小，将所述二维边框内的图像从所述原始图像分割出来，得到所述插座局部图像。

在一些实施例中，局部特征点确定模块220，可以包括：

处理图像获取单元221，用于对所述插座局部图像进行图像处理，得到处理图像，所述处理图像用于区别显示所述目标插座的各个插孔与面板；

局部特征点确定单元222，用于基于所述处理图像确定所述各个插孔的局部图像特征点信息。

在一些实施例中，处理图像获取单元221还可以用于：

将所述插座局部图像转化为灰度图像；

获取所述灰度图像的二值化图像；

基于所述二值化图像确定所述处理图像。

在一些实施例中，处理图像获取单元221还用于：

对所述插座局部图像进行去噪处理和/或边缘强化处理，得到处理后图像；

将所述处理后图像转化为灰度图像。

在一些实施例中，处理图像获取单元221还用于：

对所述灰度图像进行直方图均衡化，得到均衡化图像；

采用阈值分割方式将所述均衡化图像进行二值化处理，得到所述二值化图像。

在一些实施例中，局部特征点确定模块220，还可以包括：

边检图像获取单元223，用于基于预设边缘检测算法对所述均衡化图像进行边缘检测，得到边缘检测图像；

进而，处理图像获取单元221还可以用于：

将所述边缘检测图像与所述二值化图像进行或运算，得到或运算图像；

对所述或运算图像进行形态学闭运算处理，得到所述处理图像。

在一些实施例中，局部特征点确定单元222还可以用于：

对所述处理图像进行轮廓提取，得到至少一个第一图像轮廓；

确定所述至少一个第一图像轮廓中，所占像素面积满足设定条件的目标图像轮廓；

基于所述目标图像轮廓的最小凸包围轮廓确定所述局部图像特征点信息。

在一些实施例中，局部特征点确定单元222还可以用于：

获取所述至少一个第一图像轮廓中，所占像素面积大于或等于第一设定面积阈值的第二图像轮廓，所述第一设定面积阈值基于所述处理图像的面积的第一预设比例确定；

确定所述第二图像轮廓的凸包围轮廓；

将所述第二图像轮廓中，所占像素面积大于或等于第二设定面积阈值的轮廓，确定为所述目标图像轮廓，所述第二设定面积阈值基于所述凸包围轮廓所占像素面积的第二预设比例确定。

在一些实施例中，插座位姿确定模块230，可以包括：

标准特征点确定单元231，用于将所述局部图像特征点信息与所述插座标准图像进行匹配，得到所述插座标准图像中的标准图像特征点信息；

单应矩阵确定单元232，用于基于所述关键点信息与所述标准图像特征点信息的对应关系，确定相应的单应矩阵；

插座位姿确定单元233，用于对所述单应矩阵进行奇异值分解，得到所述目标插座的位姿。

在一些实施例中，单应矩阵确定单元232还用于：

将所述关键点信息作为参考值，与所述标准图像特征点信息进行一一对应，得到多个特征点信息对；

基于所述多个特征点信息对构建所述单应矩阵；

基于所述单应矩阵的系数矩阵的最小特征值对应的特征向量，确定所述单应矩阵。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种电子设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图10，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的插座位姿确定方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示面板和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示面板和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述的插座位姿确定方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述的插座位姿确定方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。