机器人配送场景识别拥堵的方法、机器人以及配送系统

技术领域

本公开涉及机器人技术领域，尤其涉及一种机器人配送场景识别拥堵的方法、一种机器人、一种配送系统以及一种计算机可读存储介质。

背景技术

餐饮配送机器人是从事送餐、回盘及接待等工作的商用服务机器人，主要应用于餐厅、酒店等商业场景，具备自动驾驶、语音交互等功能，同时能够满足大重量食品及餐具的承载需求。当多台机器人在场景中运行时，其中一台机器人在行进过程中，遇到行人或机器人较多的路段，该机器人能根据现场环境进行避障及重新规划路径，但是，其它机器人不能及时获知该段路况，如果继续前往此路段，会加剧拥堵，增加任务耗时，影响配送效率。因此，如何识别拥堵、提前调度、进而优化路径等，是目前需解决的问题。

背景技术部分的内容仅仅是公开发明人所知晓的技术，并不当然代表本领域的现有技术。

发明内容

有鉴于现有技术的一个或多个缺陷，本发明涉及一种机器人配送场景识别拥堵的方法，包括：

采集所述机器人行进方向上的至少一个时刻的点云信息，检测预设面积内的障碍物数量，获取第一量值；

基于所述第一量值和第一阈值，获取第一拥挤度；

采集所述机器人行进方向上的至少一帧图像，识别所述至少一帧图像中的障碍物数量，获取第二量值；

基于所述第二量值与第二阈值，获取第二拥挤度；和

基于所述第一拥挤度与所述第二拥挤度，获取所述预设面积内的当前拥挤度。

根据本发明的一个方面，其中所述获取第一量值的步骤包括：根据机器人的当前速度和位姿，将所述至少一个时刻的点云信息与栅格地图对应，比较相邻时刻各栅格的占用情况，并基于所述占用情况获取所述预设面积内的与障碍物数量对应的第一量值。

根据本发明的一个方面，其中所述获取第一量值的步骤包括：将所述至少一个时刻的点云信息投影到实时图像中，比较相邻时刻的像素差异，获取所述预设面积内的与障碍物数量对应的第一量值。

根据本发明的一个方面，还包括：通过增加预设面积内的障碍物，获取达到预设感知拥堵时的障碍物数量，作为所述第一阈值，其中所述获取第一拥挤度的步骤包括：基于所述第一量值和第一阈值的比值，获取第一拥挤度。

根据本发明的一个方面，其中所述获取第二量值的步骤包括：基于神经网络，识别所述至少一帧图像中的障碍物轮廓，获取与所述障碍物轮廓的数量对应的第二量值。

根据本发明的一个方面，还包括：通过增加预设面积内的障碍物，识别障碍物轮廓的数量，获取达到预设感知拥堵时的障碍物数量，作为所述第二阈值，其中所述获取第二拥挤度的步骤包括：基于所述第二量值与所述第二阈值的比值，获取第二拥挤度。

根据本发明的一个方面，其中所述获取所述预设面积内的当前拥挤度的步骤包括：基于所述第一拥挤度、所述第二拥挤度以及所述第一拥挤度和第二拥挤度的预设权重，获取所述预设面积内的当前拥挤度。

根据本发明的一个方面，还包括：基于所述机器人的当前行进速度与最大行进速度，获取第三拥挤度。

根据本发明的一个方面，其中所述获取所述预设面积内的当前拥挤度的步骤包括：基于所述第一拥挤度、所述第二拥挤度、所述第三拥挤度以及所述第一拥挤度、第二拥挤度和第三拥挤度的预设权重，获取所述预设面积内的当前拥挤度。

根据本发明的一个方面，还包括：针对不同配送场景，训练和/或选择所述预设权重。

根据本发明的一个方面，还包括：

基于多个时刻的当前拥挤度的平均值，获取当前路段的拥挤度；和

基于所述当前路段的拥挤度，确定当前路段对应的拥堵等级，并且当所述拥堵等级达到预设等级时，发送提示消息。

本发明还涉及一种机器人，包括：

激光雷达，配置为采集所述机器人行进方向上的点云信息；

图像采集器，配置为采集所述机器人行进方向上的图像；

处理器，与所述图像采集器和所述激光雷达耦接，配置为实施如上所述的方法。

本发明还涉及一种配送系统，包括：

一个或多个配送机器人，包括激光雷达和图像采集器，其中所述激光雷达配置为采集所述机器人行进方向上的点云信息，所述图像采集器配置为采集所述机器人行进方向上的图像；和

调度服务器，与所述配送机器人通信，并配置成实施如上所述的方法，以确定配送场景中不同区域的当前拥挤度，并且当一个区域的当前拥挤度超过阈值时，避免其他配送机器人进入该区域。

本发明还涉及一种计算机可读存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的方法。

采用本发明的技术方案，机器人可以识别当前行走路段的拥挤度，并及时通知其它机器人，提供建设性意见，有助于其它机器人合理规划路径以避开拥挤路段，解决拥堵问题，提升用户体验。

附图说明

构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1示出了本发明一个实施例的机器人配送场景识别拥堵的方法流程图；

图2示出了本发明一个实施例的栅格地图的示意图；

图3示出了本发明一个实施例的机器人坐标系和栅格坐标系的示意图；

图4示出了本发明一个实施例的机器人识别拥堵的示意图；

图5示出了本发明一个实施例的机器人及配送系统的示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明涉及一种机器人配送场景识别拥堵的方法，所述配送场景例如为餐厅或酒店，至少一台机器人在该场景进行配送服务，参考图1，所述方法10包括如下步骤：

采集机器人行进方向上的至少一个时刻的点云信息，检测预设面积内的障碍物数量，获取第一量值。机器人配置有外部传感器，例如激光雷达，配置为发射激光束，并接收被障碍物反射的回波，对接收的回波进行处理生成点云信息。基于一个时刻或多个时刻的点云信息，识别预设面积内的障碍物的数量，并将识别出的障碍物数量作为第一量值。通常来说，机器人在餐桌之间的过道区域、酒店走廊区域运行，所述预设面积可以基于运行区域宽窄、路段长短、以及激光雷达的视场范围等进行调整。在餐厅或酒店的配送场景中，障碍物通常为动态障碍物，例如移动的人或机器人。

根据本发明的一个优选实施例，获取第一量值的步骤包括：根据机器人的当前速度和位姿，将至少一个时刻的点云信息与栅格地图对应，比较相邻时刻各栅格的占用情况，并基于占用情况获取预设面积内的与障碍物数量对应的第一量值。

图2示出了本发明一个实施例的栅格地图的示意图，将机器人的运行区域划分为相互关联的栅格，栅格的大小即栅格地图的精确度，可以根据运行环境、机器人或调度服务器的运算能力等进行设定。例如，地图分辨率为0.05，则1米的深度被划分为20个栅格。其中，栅格的状态分为占用、空闲以及未测量三种。机器人通过激光雷达确定每个栅格的状态，如图2所示，栅格为深灰色代表被障碍物占用，栅格为白色代表未被占用(空闲状态)，栅格为浅灰色代表未测量。其中，白色栅格的区域范围大致为机器人的视场范围。

图3示出了本发明一个实施例的机器人坐标系和栅格坐标系的示意图。机器人发射激光束，对视场范围或预设范围进行扫描，获取一帧点云信息。其中，点云信息包括若干扫描点的方位信息(例如距离和角度)，基于点云信息构建机器人坐标系(为方便描述，假设激光雷达坐标系与机器人坐标系相同)。然后计算机器人当前位置的栅格坐标，例如地图分辨率为0.5，在机器人坐标系中机器人的当前位置坐标为(1，1)，则对应的栅格坐标系的坐标为(20，20)。最后，基于机器人的当前位置和位姿(例如航向角)，将该帧点云信息与栅格地图对应，即从机器人坐标系转换为栅格坐标系，再基于点云信息中障碍物的方位，更新栅格状态。因为机器人行进时，不同时刻的位置一直在变化，将机器人坐标系转化为栅格坐标系时，还需要考虑机器人的行进速度。优选地，根据机器人的当前速度，将不同时刻的点云信息与栅格地图对应，以保证每个时刻识别的预设面积对应同一现实区域。

基于栅格地图构建算法，根据激光雷达的测量值更新栅格状态的关系式如下：

S

S

其中，S

图4示出了本发明一个实施例的机器人识别拥堵的示意图。其中，机器人设置有单线激光雷达。

在t0时刻，将该时刻的点云信息与栅格地图相对应，此时各栅格的初始状态值为0，即未测量状态。假设looccu＝0.9，lofree＝-0.7，其中，对于已测量的栅格，栅格状态的数值越大(颜色越浅)，就表示该栅格被占用的概率越大；反之，栅格空闲的概率越大(颜色越深)。

在t1时刻，机器人开始扫描，并将该时刻的点云信息与栅格地图对应，将障碍物占用的栅格的状态值从0更新为0.9，将未被占用的栅格的状态值从0更新为-0.7，由于是单线扫描，其它未被测量的栅格状态值没有更新。

在t2时刻，机器人通过改变位姿或者激光雷达发射的激光束的出射方向获取该时刻的点云信息，并与栅格地图对应，再次更新栅格状态。其中，颜色越深越表示栅格是空闲的，颜色越浅越表示栅格是被占用的。此时，各栅格的状态值仅代表被占用的概率，可以与预先设定的阈值做比较，确定栅格的状态。

比较t1时刻和t2时刻各栅格的占用情况，识别预设面积内的障碍物数量。例如，激光雷达安装在机器人正面距离地面20cm的高度，可以根据被占用的栅格的分布，判断是人的腿部还是机器人的机身，进而确定障碍物的数量，并将其作为第一量值。

根据本发明的一个优选实施例，方法10中另一种获取第一量值的步骤包括：将至少一个时刻的点云信息投影到实时图像中，比较相邻时刻的像素差异，获取预设面积内的与障碍物数量对应的第一量值。其中，预设面积例如机器人前方宽度2米、深度3米的范围，也可以基于运行区域宽窄、路段长短、以及激光雷达的视场范围等进行调整。

例如，机器人设置有激光雷达和图像采集器(相机)，每个传感器都有各自的坐标系。通过激光雷达采集三维点云信息，通过相机采集二维图像数据，将点云信息投影到图像中，亦即，将点云信息与图像数据进行融合。首先，读取相机的标定参数文件，获得相机内参矩阵、基于相机0的旋转矩阵以及外参矩阵，三个参数的乘积即为点云到图像的投影矩阵；然后，基于投影矩阵将点云中的每个点进行平移、旋转或缩放等操作，实现从激光雷达坐标系到相机坐标系的转换；最后，将三维点云映射到二维图像上，获得该时刻的融合图像。比较相邻时刻的融合图像中的像素差异，利用对比图像像素法识别动态障碍物，例如移动的人或机器人等，确定障碍物的总数，将其作为第一量值。

以上通过两种方式获得表征障碍物数量的第一量值。

根据本发明的一个优选实施例，方法10还包括：通过增加预设面积内的障碍物，获取达到预设感知拥堵时的障碍物数量，作为所述第一阈值，其中获取第一拥挤度的步骤包括：基于第一量值和第一阈值的比值，获取第一拥挤度。具体地，在预设面积内增加障碍物的数量，从非拥堵场景直至拥堵场景，达到预设感知拥堵时，确定障碍物的数量，作为第一阈值，即衡量拥堵的第一个参考值。障碍物优选动态障碍物，例如移动的人或机器人，可以按照经验或实际情况调整两者的比例，经过多次测量确定第一阈值。例如，第一量值为A，第一阈值为A0，第一拥挤度P1＝A/A0。当计算得出的P1大于1时，设定P1＝1，即第一拥挤度P1最大为1，代表拥堵；非拥堵情况时，0＜P1＜1。

采集机器人行进方向上的至少一帧图像，识别至少一帧图像中的障碍物数量，获取第二量值。机器人设置有图像采集器，例如设置在机器人正面靠近顶部位置的单目相机或深度相机，通过相机采集行进方向的图像。对图像进行预处理、特征提取以及图像识别，确定该时刻的图像中障碍物的数量，优选地，在预设面积内的行人或行走的机器人的总数量。其中，图像识别例如人脸识别、头肩部识别、人体轮廓识别等。

根据本发明的一个实施例，方法10中获取第二量值的步骤包括：基于神经网络，识别至少一帧图像中的障碍物轮廓，获取与障碍物轮廓的数量之和对应的第二量值。其中，障碍物例如为人、机器人、动态小推车等。以人和机器人为例，基于卷积神经网络，从行人库学习行人特征，从机器人库中学习移动的机器人特征，根据训练好的网络，实时识别图像中的人轮廓和机器人轮廓，统计两者的数量之和，作为第二量值。其中，识别人轮廓例如可以优先识别人脸，如果人脸被遮挡，则识别人体骨架。

根据本发明的一个优选实施例，方法10还包括：通过增加预设面积内的障碍物，识别障碍物轮廓的数量，获取达到预设感知拥堵时的障碍物数量，作为第二阈值，其中所述获取第二拥挤度的步骤包括：基于所述第二量值与所述第二阈值的比值，获取第二拥挤度。具体地，在预设面积内增加障碍物的数量，从非拥堵场景直至拥堵场景，达到预设感知拥堵时，识别图像中的障碍物轮廓，确定障碍物的数量，作为第二阈值，即衡量拥堵的第二个参考值。障碍物优选动态障碍物，例如移动的人或机器人，可以按照经验或实际情况调整轮廓的种类或比例，经过多次测量确定第二阈值。例如，第二量值为B，第二阈值为B0，第二拥挤度P2＝B/B0。当计算得出的P2大于1时，设定P2＝1，即第二拥挤度P2最大为1，代表拥堵；非拥堵情况时，0＜P2＜1。

基于第一拥挤度P1与第二拥挤度P2，获取预设面积内的当前拥挤度，亦即当前帧的拥挤度。

综上所述，通过激光雷达采集点云信息，通过图像采集器采集图像信息，基于点云信息和图像信息获得第一拥挤度P1与第二拥挤度P2，进而获得预设面积内的当前拥挤度，作为评估对应区域或路段的拥挤情况的量度。

根据本发明的一个优选实施例，其中获取预设面积内的当前拥挤度的步骤包括：基于第一拥挤度P1、第二拥挤度P2以及第一拥挤度P1和第二拥挤度P2的预设权重，获取预设面积内的当前拥挤度。基于两种方式获得的第一拥挤度P1以及第二拥挤度P2，是从不同的维度评估场景的拥堵情况，可以根据两者的重要程度或者在特定场景的准确度来设置权重。例如，第一拥挤度P1的权重为W1，第二拥挤度P2的权重为W2，则当前拥挤度P＝P1*W1+P2*W2。

根据本发明的一个优选实施例，方法10还包括：基于机器人的当前行进速度与最大行进速度，获取第三拥挤度。在人少、环境简单的场景下，机器人可以最大速度运行，当环境复杂时，机器人的行进速度也会降低。根据本发明的一个优选实施例，将机器人的当前行进速度作为第三量值C，将最大行进速度作为第三阈值C0，从而获得第三拥挤度P3＝1-C/C0。第三拥挤度P3是一个速度参考量，用以衡量机器人是否进入拥堵场景。优选地，机器人的当前速度为靠近或通过预设面积区域时的速度。

根据本发明的一个优选实施例，其中获取预设面积内的当前拥挤度的步骤包括：基于第一拥挤度、第二拥挤度、第三拥挤度以及第一拥挤度、第二拥挤度和第三拥挤度的预设权重，获取预设面积内的当前拥挤度。基于上述方法获得第一拥挤度P1、第二拥挤度P2、第三拥挤度P3，再根据场景需求设置三者的权重，例如第一拥挤度P1的权重为W1，第二拥挤度P2的权重为W2，第三拥挤度P3的权重为W3，则当前拥挤度P＝P1*W1+P2*W2+P3*W3，其中W1+W2+W3＝1。

根据本发明的一个优选实施例，方法10还包括：基于配送场景的环境参数，获取第四拥挤度。例如，非拥堵场景的空中灰尘浓度较低，当动态障碍物增多时，移动的人和机器人会带起浮尘，导致灰尘浓度升高。因此，在机器人上设置灰尘检测传感器，用于检测当前路段或区域的灰尘的浓度值，将当前灰尘的浓度值作为第四量值D，将拥堵场景的灰尘的浓度值作为第四阈值D0，从而获得第四拥挤度P4＝D/D0。又例如，非拥堵场景的环境温度较低，当动态障碍物增多时，移动的人和机器人都是热源，会导致环境温度升高。因此，在机器人上设置温度传感器，用于检测当前路段或区域的环境温度，将当前温度值作为第四量值，将拥堵场景的温度值作为第四阈值，从而获得第四拥挤度。可以根据配送场景需求，有针对性的选择用于获取第四拥挤度的传感器，比如酒店走廊可以检测灰尘，提供沙拉或冷食的餐厅可以检测温度等。优选地，根据实际情况调整各拥挤度的权重，获取当前拥挤度P＝P1*W1+P2*W2+P3*W3+P4*W4，其中W1+W2+W3+W4＝1。

根据本发明的一个优选实施例，方法10还包括：针对不同配送场景，训练和/或选择各预设权重。例如，不同的配送场景会出现不同的拥堵状况，相同配送场景的不同时段也可能出现不同的拥堵状况，因此针对配送场景或时段对各拥挤度的权重进行训练或者根据经典模型选择合适的预设权重。优选地，还可以针对配送场景，对第一阈值、第二阈值、第三阈值以及第四阈值中的一个或多个进行训练，以使得最后获取的当前拥挤度更准确。

根据以上方法10获得的当前拥挤度可以衡量当前时刻的拥堵状况，为了提高识别准确率，根据本发明的一个优选实施例，方法10还包括：基于多个时刻的当前拥挤度的平均值，获取当前路段的拥挤度。例如，连续测量多个时刻的当前拥挤度P，取其平均值后得到此路段的拥挤度P

根据本发明的一个优选实施例，方法10还包括：基于当前路段的拥挤度，确定当前路段对应的拥堵等级，并且当拥堵等级达到预设等级时，发送提示消息。例如，设置拥堵等级P

综上所述，基于多个时刻测量的障碍物数量、机器人行进速度以及环境参数等获得当前路段的拥挤度P

本发明还涉及一种机器人20，包括：

激光雷达21，配置为采集所述机器人20行进方向上的点云信息；

图像采集器22，配置为采集所述机器人20行进方向上的图像；

处理器23，与所述图像采集器22和所述激光雷达21耦接，配置为实施如上所述的方法10。

本发明还涉及一种配送系统30，包括：

一个或多个配送机器人20，包括激光雷达21和图像采集器22，其中所述激光雷达21配置为采集所述机器人20行进方向上的点云信息，所述图像采集器22配置为采集所述机器人20行进方向上的图像；和

调度服务器31，与所述配送机器人20通信，并配置成实施如上所述的方法10，以确定配送场景中不同区域的当前拥挤度，并且当一个区域的当前拥挤度超过阈值时，避免其他配送机器人20进入该区域。

本发明还涉及一种计算机可读存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的方法10。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。