一种货架识别方法、物流机器人、存储介质

技术领域

本发明涉及机器人控制技术领域，尤其涉及一种货架识别方法、物流机器人、存储介质。

背景技术

现有物流系统中为了适配任务的多样性以及控制整体的设备成本，通常采用分体式机器人，即机器人和货架之间并非一对一固定捆绑，机器人在作业时需要寻找并对接相应的货架进行自动装卸货。

常见的货架识别方案主要有依靠反光贴纸和视觉标签来识别货架。由于反光贴纸的反光特性，在机器人与货架距离较近的情况下会导致某些激光数据失效；而基于视觉标签(例如二维码)的方案，容易受到光照条件的影响。

因此，需要一种兼具可靠性、稳定性和高精度的货架识别方案。

发明内容

为了解决上述技术问题，本发明提供一种货架识别方法、物流机器人、存储介质。

具体的，本发明的技术方案如下：

第一方面，本申请提供一种货架识别方法，应用于物流机器人，所述货架识别方法包括：

获取目标区域的激光点云数据和深度数据；所述目标区域为若干货架所处的空间区域，所述货架底部设置有辅助识别组件；

根据所述深度数据，从所述目标区域中识别出目标货架所在的空间区域；

从所述目标货架所在的空间区域对应的所述激光点云数据中，筛选出所述目标货架的侧面以及所述目标货架底部的辅助识别组件对应的所述激光点云数据，得到第一激光点云数据；

基于所述第一激光点云数据，计算所述目标货架底部的辅助识别组件的位姿信息。

在一些实施方式中，所述的根据所述深度数据，从所述目标区域中识别出目标货架所在的空间区域，包括：

将所述深度数据输入至目标检测器中，通过所述目标检测器内部的目标检测算法对所述深度数据进行处理，输出所述目标货架的位姿信息；

基于所述目标货架的位姿信息，在所述目标区域中定位所述目标货架所在的空间区域。

在一些实施方式中，所述的基于所述第一激光点云数据，计算所述目标货架底部的辅助识别组件的位姿信息，包括：

基于所述第一激光点云数据对所述目标货架所在的空间区域进行目标检测，识别出所述目标货架底部的辅助识别组件所在区域；

根据所述辅助识别组件所在区域的激光点云数据，计算得到所述目标货架底部的辅助识别组件的位姿信息。

在一些实施方式中，所述的从所述目标货架所在的空间区域对应的所述激光点云数据中，筛选出所述目标货架的侧面以及所述目标货架底部的辅助识别组件对应的激光点云数据，得到第一激光点云数据，包括：

根据所述目标货架的位姿信息，将所述目标货架所在的空间区域对应的所述激光点云数据转换为所述目标货架正视方向下的激光点云数据，得到第二激光点云数据；

从所述第二激光点云数据中，筛选出所述目标货架的侧面以及所述目标货架底部的辅助识别组件对应的激光点云数据，得到所述第一激光点云数据。

在一些实施方式中，所述的基于所述第一激光点云数据对所述目标货架所在的空间区域进行目标检测，识别出所述目标货架底部的辅助识别组件所在区域，包括：

将所述第一激光点云数据转换为第一深度图像；

对所述第一深度图像进行稠密深度图估计，得到第二深度图像；

通过预设的目标检测算法对所述第二深度图像进行处理，输出所述目标货架底部的辅助识别组件的位姿信息；

基于所述目标货架底部的辅助识别组件的位姿信息，从所述目标货架所在的空间区域中识别出所述目标货架底部的辅助识别组件所在区域。

在一些实施方式中，所述辅助识别组件为挡板，所述挡板的表面为磨砂材质。

第二方面，本申请还提供一种物流机器人，包括：

感知设备，用于获取目标区域的激光点云数据和深度数据；所述目标区域为若干货架所处的空间区域，所述货架底部设置有辅助识别组件；

识别单元，用于根据所述深度数据，从所述目标区域中识别出目标货架所在的空间区域；

筛选单元，还用于从所述目标货架所在的空间区域对应的所述激光点云数据中，筛选出所述目标货架的侧面以及所述目标货架底部的辅助识别组件对应的所述激光点云数据，得到第一激光点云数据；

计算单元，用于基于所述第一激光点云数据，计算所述目标货架底部的辅助识别组件的位姿信息。

在一些实施方式中，所述感知设备包括至少一个激光雷达和至少一个深度传感器，

所述激光雷达，安装在所述物流机器人的前端和/或后端，用于获取所述目标区域的激光点云数据；

所述深度传感器，安装在所述物流机器人的侧面，用于获取所述目标区域的深度数据。

在一些实施方式中，所述感知设备包括两个所述激光雷达和一个所述深度传感器，

所述物流机器人的前端和后端各安装有一个所述激光雷达，且两个所述激光雷达对角设置；所述物流机器人的一侧安装有所述深度传感器。

第三方面，本申请提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述任一所述的货架识别方法所执行的操作。

与现有技术相比，本发明至少具有以下一项有益效果：

(1)本实施例中利用深度数据和激光点云数据进行货架识别，由于激光点云数据具有单帧稀疏的特点，如果仅采用激光点云数据进行识别，无法提供足够多的有效数据，会导致识别结果不准确。因此采用深度数据对激光点云数据进行补充，先利用深度数据检测出一个基本区域，再用激光点云数据进行高精度的识别，能够在保证识别精度的同时，提高货架识别的可靠性。

(2)本申请中通过设置辅助识别器件进行货架识别，与传统的利用反光贴纸和视觉标签进行识别的方案，更加易于识别且对检测环境的要求不高，方案易于实现。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本申请中一种货架识别方法的一个实施例的流程图；

图2是本申请中货架底部的结构示意图；

图3是本申请中物流机器人的一个实施例的结构示意图。

附图标号说明：

感知设备100，识别单元200，筛选单元300，计算单元400。

具体实施方式

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对照附图说明本申请的具体实施方式。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

现有物流系统中为了适配任务的多样性以及控制整体的设备成本，通常采用分体式物流机器人，即机器人和货架之间并非一对一固定捆绑，机器人根据不同的装卸货任务，可以与不同的货架对接，例如在医院物流系统中，物流机器人需要兼顾较小的整体空间占有率以及外型美观程度，底盘与货架的长宽尺寸相差不会很大，因此对货架识别的精度要求非常高。

现有的货架识别方案，主要是依靠反光贴纸和视觉标签(例如二维码)来进行识别。基于反光贴纸的方案，利用的是激光雷达的反射强度特性，实际部署的时候需要针对性的粘贴反光贴纸，一定程度上影响外观；同时在距离较近的情况下，由于贴纸的反光特性，会导致某些激光数据失效，影响识别的可靠性。基于视觉标签的方案，是一种性价比很高的选择，但是其需要在显著位置放置二维码，同时视觉标签对光照条件具有一定的敏感性，在不同光照条件下识别结果存在差异，无法保证识别结果的稳定性。

基于此，本申请实施例提供一种货架识别方法，通过在货架底部设置辅助识别组件，并结合深度数据和激光点云数据进行货架识别。下面结合附图进行说明，如图1所示，本申请的一个实施例，一种货架识别方法，应用于物流机器人，包括步骤：

S101获取目标区域的激光点云数据和深度数据；目标区域为若干货架所处的空间区域，货架底部设置有辅助识别组件。

具体的，货架结构主要分为上下两个部分：上部为货箱部分，用于放置货物；下部为支撑结构，用于承载货物。对于不同的货架而言，货箱部分放置的货物大小以及种类都不相同，如果基于货架上部进行识别，容易影响机器人的视野和识别的效果。

因此，本申请实施例中，基于货架下部的支撑结构进行货架识别，并在支撑结构上设置了辅助识别组件，能够帮助机器人更加快速地与货架对接，提高货架识别效率。目标区域为若干货架所处的空间区域，目标区域中的货架为机器人可能对接的货架，机器人需要从目标区域中识别出目标货架并与之对接。

S102根据深度数据，从目标区域中识别出目标货架所在的空间区域。

S103从目标货架所在的空间区域对应的激光点云数据中，筛选出目标货架的侧面以及目标货架底部的辅助识别组件对应的激光点云数据，得到第一激光点云数据。

S104基于第一激光点云数据，计算目标货架底部的辅助识别组件的位姿信息。

具体的，深度数据可通过深度传感器采集，能够对目标区域中的货架进行初步观测，识别出要对接的目标货架所在的基本空间区域。

激光点云数据可通过激光雷达采集，用于在前述初步观测的基础上，进一步进行识别。首先将目标货架所在的空间区域对应的激光点云数据，从目标区域的激光点云数据中筛选出来，在此基础上继续进行筛选，过滤无关数据，把目标货架侧面以及辅助识别组件所在区域对应的激光点云数据提取出来(即得到第一激光点云数据)。货架底部如图2所示，两边为支撑脚，机器人可在支撑脚之间的区域与货架对接，货架底部数据虽然具有较强的判别能力，但是数据量较少，货架的侧面接近于一个较大的平面，且数据量比较充分，因此可以保留这样的数据用于辅助进行货架整体的区分。通过对第一激光点云数据进行处理，能够计算得到辅助识别组件的位姿信息，机器人根据该位姿信息与辅助识别组件对接，从而实现与目标货架的对接。

本实施例中利用深度数据和激光点云数据进行货架识别，由于激光点云数据具有单帧稀疏的特点，如果仅采用激光点云数据进行识别，无法提供足够多的有效数据，会导致识别结果不准确。因此采用深度数据对激光点云数据进行补充，先利用深度数据检测出一个基本区域，再用激光点云数据进行高精度的识别，有利于在保证识别精度的同时，提高货架识别的可靠性。

进一步的，考虑到加工与安装的便利性，货架底部的辅助识别组件可采用方形挡板，如图2所示，方形挡板几何特性显著，相比于其他结构更加易于识别。挡板材料选择不易形变的材料，并且挡板表面做磨砂处理，确保表面平整，降低激光扫描时的反射率，避免激光高反影响激光点云数据的可靠性。挡板的尺寸(长、宽、高)可根据货架底部空间的大小以及货架支撑脚之间的距离进行设置。本申请实施例中，以辅助识别组件代替了传统货架识别方案中的反光贴纸和二维码，更加易于识别。

本申请的一个实施例，一种货架识别方法，应用于物流机器人，包括步骤：

S201获取目标区域的激光点云数据和深度数据；目标区域为若干货架所处的空间区域，货架底部设置有辅助识别组件。

S202将深度数据输入至目标检测器中，通过目标检测器内部的目标检测算法对深度数据进行处理，输出目标货架的位姿信息。

具体的，目标检测器内置有目标检测模型及对应的目标检测算法，目标检测器的输入为深度数据，输出为原始二维检测结果加上yaw、cx、cy、cz四维数据，其中，yaw表示的是目标货架的朝向，cx、cy、cz表示的是目标货架中心位置的三维坐标。

S203基于目标货架的位姿信息，在目标区域中定位目标货架所在的空间区域。

具体的，知道了目标货架中心的三维坐标cx、cy、cz，以及朝向yaw，并且根据货架的尺寸(长、宽、高)也是已知量，只需要在目标区域中按照中心和朝向简单确定目标所占据的空间范围，然后在此基础上进行一定的扩展，例如将货架的长、宽、高各放大10％，那么货架整体的数据就会包含在这个空间范围中。

S204根据目标货架的位姿信息，将目标货架所在的空间区域对应的激光点云数据转换为目标货架正视方向下的激光点云数据，得到第二激光点云数据。

具体的，机器人底盘进行对接任务的时候，由于货架摆放的存在一定的模糊性以及机器人自身定位精度存在一定的偏差，甚至是环境因素影响导致不能完全到达预定的位置，导致进行货架识别的时候货架并不是正对着传感器，造成货架边界检测不准确。因此，将目标货架所在的空间区域对应的激光点云数据转换为目标货架正视方向下的数据。另外，在后续步骤中，用到深度图像进行

另外，至于为什么要旋转到正视图，因为转到正视图方向后，1是检测目标的边界更加准确，2是我们需要根据检测的结果进行位姿计算，我们后续的计算是利用深度图进行的，转换到正视图意味着目标的物体边界不会丢失，否则直接转换为深度图可能存在一定的映射关系需要处理。

S205从第二激光点云数据中，筛选出目标货架的侧面以及目标货架底部的辅助识别组件对应的激光点云数据，得到第一激光点云数据。

S206基于第一激光点云数据对目标货架所在的空间区域进行目标检测，识别出目标货架底部的辅助识别组件所在区域。

具体的，同样可采用目标检测器，将第一激光点云数据输入至目标检测器内置的目标检测模型中，通过预设的目标检测算法进行处理，识别出辅助识别组件所在的区域。

在一些实施方式中，具体包括：将第一激光点云数据转换为第一深度图像；对第一深度图像进行稠密深度图估计，得到第二深度图像；通过预设的目标检测算法对第二深度图像进行处理，输出目标货架底部的辅助识别组件的位姿信息；基于目标货架底部的辅助识别组件的位姿信息，从目标货架所在的空间区域中识别出目标货架底部的辅助识别组件所在区域。

具体的，虽然激光点云数据具有单帧稀疏的特点，但是激光雷达具备非重复式扫描特性，可以经过累积达到稠密的高分辨率数据，因此在采用目标检测算法进行处理之前，将第一激光点云数据转化内深度图像，并对该深度图像进行稠密深度图估计，将稀疏深度图像转化为稠密深度图像，提高图像质量，使得后续的识别结果更加准确。

S207根据辅助识别组件所在区域的激光点云数据，计算得到目标货架底部的辅助识别组件的位姿信息。

具体的，对辅助识别组件的点云数据进行中心计算与朝向计算，得到辅助识别组件的位姿信息，基于此信息控制机器人与目标货架进行对接。

基于相同的技术构思，本申请还提供一种物流机器人，可用于实现上述任一种货架识别方法，具体的，本申请的一个实施例，一种物流机器人，如图3所示，包括感知设备100、识别单元200、筛选单元300、计算单元400，其中：

感知设备100，用于获取目标区域的激光点云数据和深度数据；目标区域为若干货架所处的空间区域，货架底部设置有辅助识别组件。

识别单元200，用于根据深度数据，从目标区域中识别出目标货架所在的空间区域。

筛选单元300，还用于从目标货架所在的空间区域对应的激光点云数据中，筛选出目标货架的侧面以及目标货架底部的辅助识别组件对应的激光点云数据，得到第一激光点云数据。

计算单元400，用于基于第一激光点云数据，计算目标货架底部的辅助识别组件的位姿信息。

在一个实施例中，在前一实施例的基础上，感知设备100包括至少一个激光雷达和至少一个深度传感器。激光雷达，安装在物流机器人的前端和/或后端，用于获取目标区域的激光点云数据；深度传感器，安装在物流机器人的侧面，用于获取目标区域的深度数据。

具体的，激光雷达可采用mid360雷达，mid360激光雷达的水平视角比较大，因此可安装在物流机器人的前端和/或后端，提供一个较为宽阔的扫描视野，提高货架识别效率。但是激光点云数据具有单帧稀疏的特点，导致检测结果的准确度下降，因此在机器人的侧面安装深度传感器，对激光雷达进行补充。深度传感器的分辨率较低且有效测量距离较短，因此安装在机器人的侧面，用于获取目标区域的深度数据，对目标区域进行初步检测，辅助快速判断目标区域内是否包含目标货架。

进一步的，感知设备100包括第一激光雷达、第二激光雷达、深度传感器130，其中，第一激光雷达和第二激光雷达对角设置，利用两只雷达实现水平方向上360度全覆盖，第一激光雷达安装在物流机器人前端，第二激光雷达安装在物流机器人后端，深度传感器设置在物流机器人的一侧。

需要说明的是，本发明提供的物流机器人的实施例与前述提供的货架识别方法的实施例均基于同一发明构思，能够取得相同的技术效果，因而，物流机器人的实施例的其它具体内容可以参照前述货架识别方法的实施例内容的记载。

此外，本申请还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述任一货架识别方法实施例中所执行的操作。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

应当说明的是，上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。