掌桥专利:专业的专利平台
掌桥专利
首页

清扫方法、装置、移动机器人及存储介质

文献发布时间:2023-06-19 18:37:28


清扫方法、装置、移动机器人及存储介质

技术领域

本发明涉及机器人技术领域,尤其涉及一种清扫方法、装置、移动机器人及存储介质。

背景技术

当前主流的清扫方式主要包括三种:用户使用移动设备在APP中选中或划区以使机器人根据选中的区域进行清扫,但该方式下用户无法脱离APP的使用;在机器人预先已经新建地图且具有房间分区功能的,但该方式下用户需预先记住机器人分区的结果,且该方案下机器人清扫时不灵活,若机器人自身的分区功能不佳,会导致无法快速响应用户需求;基于视觉传感器检测用户,进而跟随用户进行移动,该方式下虽然无需用户使用APP且记住机器人的分区,但在跟随时会出现对用户的唯一性交叉,在多人同时出现时容易导致机器人跟随混乱进而导致机器人跟随失败。

发明内容

本发明的主要目的在于提供一种清扫方法、装置、移动机器人及存储介质,旨在解决现有技术中如何保证行人跟随的稳定性和唯一性的技术问题。

为实现上述目的,本发明提供了一种清扫方法,所述清扫方法包括:

接收到唤醒指令,采集环境图像并基于采集的环境图像对引导对象进行跟随;

若确定基于采集的环境图像对所述引导对象跟随丢失,则确定预测跟踪方向;

根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随;

跟随所述引导对象移动至清扫区域,按照预设规则对所述清扫区域进行清扫。

可选地,所述采集环境图像并基于采集的环境图像对引导对象进行跟随,包括:

确定采集的环境图像是否存在检测对象;

若是,则从所述检测对象中确定引导对象,并对所述引导对象进行跟随;

若否,则按照预设规则重新采集具有检测对象的环境图像,从所述检测对象中确定引导对象,并对所述引导对象进行跟随。

可选地,所述确定采集的环境图像是否存在检测对象,包括:

若所述环境图像中存在具有预设特征的对象,且所述对象的轮廓面积大于等于预设轮廓面积时,则确定采集的环境图像存在检测对象,否则,则确定采集的环境图像不存在检测对象;

所述从所述检测对象中确定引导对象,包括:

根据所述检测对象进行标识计算,得到所述检测对象的检测一维向量;

根据所述检测一维向量确定所述检测对象的检测特征数值;

将所述检测特征数值与特征注册表进行特征匹配,确定所述检测对象是否为引导对象。

可选地,所述按照预设规则重新采集具有检测对象的环境图像,包括:

获取点云数据和/或获取预设时间段内的环境图像帧,基于所述点云数据和/或预设时间段内的环境图像帧确定检测对象的位置,并采集包括检测对象的环境图像;

或者,确定预设采集区域,提示检测对象移动到所述预设采集区域,并采集所述预设采集区域中包括检测对象的环境图像。

可选地,所述确定基于采集的环境图像对所述引导对象跟随丢失,包括:

当采集的环境图像中无所述引导对象则确定所述引导对象跟随丢失;

所述确定预测跟踪方向,包括:

采集当前的环境图像,确定采集的当前的环境图像中是否至少部分包含所述引导对象;若是,则根据所述引导对象在所述当前的环境图像中的位置确定预测跟踪方向;或/和,

获取当前环境的点云数据,基于点云数据确定所述引导对象的预测坐标,并根据所述引导对象的预测坐标确定预测跟踪方向。

可选地,所述根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随之后,还包括:

若确定基于采集的环境图像对所述引导对象跟随丢失,则根据当前位置坐标和预存全局地图确定当前是否处于预设区域;

在当前处于所述预设区域时,根据所述预存全局地图和所述当前位置坐标确定目标跟随路径和目标进入区域;

根据所述目标跟随路径移动至所述目标进入区域;

根据所述目标进入区域,采集环境图像并基于采集的环境图像对所述引导对象进行跟随。

可选地,所述对所述引导对象进行跟随,包括:

获取预设时间段内的环境图像帧,根据所述预设时间段内的环境图像帧确定所述引导对象的移动速度和移动方向,根据所述移动速度和所述移动方向跟随所述引导对象;或/和,

获取当前环境的点云数据,根据所述点云数据确定所述引导对象的移动速度和移动方向,根据所述移动速度和所述移动方向跟随所述引导对象。

可选地,所述采集环境图像并基于采集的环境图像对引导对象进行跟随之前,还包括:

确定对应所述唤醒指令的引导对象;

采集所述引导对象的特征图像,并对各特征图像进行对象检测,确定所述引导对象的信息;

根据多个信息进行标识计算,得到各信息分别对应的一维向量;

根据各一维向量确定所述引导对象的多个唯一特征数值;

根据多个唯一特征数值构建所述引导对象的特征注册表。

可选地,所述接收到唤醒指令之后,所述采集环境图像并基于采集的环境图像对引导对象进行跟随之前,还包括:

当所述引导对象的检测时间达到预设时间时确定预设采集区域或者直接确定预设采集区域,在地面上标示预设采集区域和/或广播语音,以提示检测对象移动到所述预设采集区域;

则所述采集环境图像包括采集所述预设采集区域中包括检测对象的环境图像。

可选地,所述按照预设规则对所述清扫区域进行清扫,包括以下几种方式之一:

对所述清扫区域所在房间进行清扫;

对所述清扫区域中靠近所述引导对象预设距离的区域进行清扫;

对所述引导对象所做的预设姿态所指向的区域进行清扫;

将移动机器人当前所处的位置作为清扫定位点,根据所述清扫定位点和预设清扫范围确定清扫区域进行清扫。

可选地,所述按照预设规则对所述清扫区域进行清扫之后,所述清扫方法还包括以下几种方式之一:

接收到预设停止清扫指令后停止清扫;

接收到预设停止清扫指令后停止清扫,并返回执行接收到唤醒指令之前的任务。

可选地,所述预设停止清扫指令、所述唤醒指令的接收方式包括但不限于以下的任意一种方式:

语音指令;

对基站的触控指令;

对移动机器人的触控指令或终端控制指令;

手势指令;

脚部动作指令。

此外,为实现上述目的,本发明还提出一种清扫装置,所述清扫装置包括:

跟随模块,用于接收到唤醒指令,采集环境图像并基于采集的环境图像对引导对象进行跟随;

确定模块,用于若确定基于采集的环境图像对所述引导对象跟随丢失,则确定预测跟踪方向;

跟随模块,还用于根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随;

清扫模块,用于跟随所述引导对象移动至清扫区域,按照预设规则对所述清扫区域进行清扫。

此外,为实现上述目的,本发明还提出一种移动机器人,所述移动机器人包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的清扫程序,所述清扫程序配置为实现如上文所述的清扫方法。

此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有清扫程序,所述清扫程序被处理器执行时实现如上文所述的清扫方法。

本发明通过接收到唤醒指令,采集环境图像并基于采集的环境图像对引导对象进行跟随;若确定基于采集的环境图像对所述引导对象跟随丢失,则确定预测跟踪方向;根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随;跟随所述引导对象移动至清扫区域,按照预设规则对所述清扫区域进行清扫。通过上述方式,根据采集的环境图像对引导对象进行跟随,在跟随丢失时基于确定的预测跟踪方向采集环境图像,从而对引导对象进行跟随,保证了在对引导对象跟随时的唯一性和稳定性,使用户能够脱离应用程序,以移动的方式与移动机器人进行自然交互,减少了移动机器人与用户的语音交互次数,提升了用户的使用体验感。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的清扫移动机器人的结构示意图;

图2为本发明清扫方法一实施例的流程示意图;

图3为本发明清扫方法一实施例的预测跟踪方向确定示意图;

图4为本发明清扫方法一实施例的目标进入区域确定示意图;

图5为本发明清扫方法一实施例的流程示意图;

图6为本发明清扫方法一实施例的流程示意图;

图7为本发明清扫装置一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。

参照图1,图1为本发明实施例方案涉及的硬件运行环境的清扫移动机器人结构示意图。

如图1所示,该清扫移动机器人可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解,图1中示出的结构并不构成对清扫移动机器人的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及清扫程序。

在图1所示的清扫移动机器人中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明清扫移动机器人中的处理器1001、存储器1005可以设置在清扫移动机器人中,所述清扫移动机器人通过处理器1001调用存储器1005中存储的清扫程序,并执行本发明实施例提供的清扫方法。

本发明实施例提供了一种清扫方法,参照图2,图2为本发明一种清扫方法一实施例的流程示意图。

清扫方法包括以下步骤:

步骤S10:接收到唤醒指令,采集环境图像并基于采集的环境图像对引导对象进行跟随。

需要说明的是,本实施例的执行主体为移动机器人,移动机器人可实现智能清扫机器人的所有功能,包括但不限于定点清扫、移动跟随以及与用户之间的语音交互,还可包括其他功能,本实施例对此不加以限制。

可以理解的是,唤醒指令指的是用户发出的唤醒移动机器人启动跟随清扫模式的指令。移动机器人对唤醒指令的接收方式包括但不限于以下的任意一种方式:语音指令,即接收到的用户通过语音交互发出的指令;对基站的触控指令,即接收到的用户对移动机器人的基站上按键的触控;对移动机器人的触控指令或终端控制指令,即接收到的用户对移动机器人上按键的触控,或接收到的用户在移动机器人对应的终端上的指令;手势指令,即识别到的用户的预设手势,比如拍手、招手、手臂指向区域等手部动作;脚步指令动作,即识别到的用户的预设脚部动作,比如跺脚等。

在具体实现中,移动机器人在接收到唤醒指令后,启动跟随清扫模式,并确定发出唤醒指令的对应用户,发出唤醒指令的对应用户即为引导对象,移动机器人仅对引导对象进行跟随,从而移动至引导对象指定的清扫区域进行清扫。

需要说明的是,移动机器人在接收到唤醒指令后,移动机器人上的视觉检测模块采集监控范围内的环境图像,并对采集的环境图像进行检测,确定环境图像中是否包含引导对象,在包含引导对象时则跟随引导对象。

可以理解的是,为了避免在跟随过程中引导对象突然掉头时跟随丢失或距离引导对象过近导致移动机器人发生损坏的情况,同时为了保证跟随过程的稳定性以及提升引导对象具有良好的产品体验感,进一步地,所述对所述引导对象进行跟随,包括:获取预设时间段内的环境图像帧,根据所述预设时间段内的环境图像帧确定所述引导对象的移动速度和移动方向,根据所述移动速度和所述移动方向跟随所述引导对象;或/和,获取当前环境的点云数据,根据所述点云数据确定所述引导对象的移动速度和移动方向,根据所述移动速度和所述移动方向跟随所述引导对象。

在具体实现中,移动机器人在确定引导对象的移动速度和移动方向时,可采用两种方式中的任意一种,其一,移动机器人获取预设时间段内连续的环境图像帧,连续的环境图像帧中均包含引导对象,根据预设时间段内的环境图像帧可确定引导对象的移动速度和移动方向,例如,获取预设时间段内连续的环境图像帧中的第一帧环境图像帧确定引导对象的第一位置,根据最后一帧环境图像帧确定引导对象的第二位置,根据第一位置和第二位置可确定引导对象在预设时间段内的移动距离和偏移方向,根据移动距离和预设时间段对应的时间值即可确定引导对象的移动速度,根据偏移方向即可确定引导对象的移动方向。

需要说明的是,其二,移动机器人获取当前环境的点云数据,点云数据包括移动机器人采集的三维坐标系统的向量的集合、激光雷达数据以及红外数据。移动机器人根据获取的点云数据确定引导对象的三维坐标和三维坐标对应的时间信息,根据三维坐标和三维坐标对象的时间信息即可确定引导对象的移动速度和移动方向。

可以理解的是,移动机器人在确定引导对象的移动速度和移动方向后,将当前的跟随速度调整为移动速度,并按照引导对应的移动方向进行移动,从而实现对引导对象进行跟随,保证在跟随过程中与引导对象保持距离,同时又能紧跟引导对象的步伐。

在具体实现中,为了避免出现移动机器人采集的环境图像中不存在检测图对象的情况,进一步地,所述接收到唤醒指令之后,所述采集环境图像并基于采集的环境图像对引导对象进行跟随之前,还包括:当所述引导对象的检测时间达到预设时间时确定预设采集区域或者直接确定预设采集区域,在地面上标示预设采集区域和/或广播语音,以提示检测对象移动到所述预设采集区域;则所述采集环境图像包括采集所述预设采集区域中包括检测对象的环境图像。

需要说明的是,移动机器人在接收到唤醒指令后,启动对采集的环境图像进行检测,确定环境图像中是否包含检测对象时即开始计时,在确定环境图像中包含检测对象后则结束计时,计时时间即为检测时间,当检测时间达到预设时间仍未结束计时,则说明移动机器人检测不到引导对象,此时移动机器人可根据视觉检测模块的监控范围确定预设采集区域。或者,在移动机器人接收到唤醒指令后,跳过在检测时间达到预设时间时确定预设采集区域的步骤,直接确定预设采集区域。

可以理解的是,移动机器人在确定预设采集区域后,可在地面上标示预设采集区域,以提示检测对象移动到预设采集区域,标示方式可为移动机器人发出的指示光线,指示光线的位置即为预设采集区域的边界线,也可为其他方式,本实施例对此不加以限制。

在具体实现中,移动机器人除了采用在地面上标示预设采集区域的方式外,也可采用发出广播语音告知检测对象预设采集区域的方式,以提示检测对象移动到预设采集区域,或者可采用在地面上标示预设采集区域的同时广播语音预设采集区域的方式。

需要说明的是,移动机器人在提示检测对象移动到预设采集区域后,则执行采集环境图像的步骤,采集的环境图像即为预设采集区域内包括检测对象的环境图像。

步骤S20:若确定基于采集的环境图像对所述引导对象跟随丢失,则确定预测跟踪方向。

需要说明的是,移动机器人在采集的环境图像中无法检测到引导对象时,则确定基于采集的环境图像对引导对象跟随丢失,此时需要对引导对象可能存在的位置坐标进行预测,根据预测的引导对象的位置坐标确定跟踪方向,根据预测的引导对象的位置坐标确定的跟踪方向即为预测跟踪方向。

可以理解的是,为了保证预测跟踪方向的准确性,以使跟随过程保持稳定,进一步地,所述确定基于采集的环境图像对所述引导对象跟随丢失,包括:当采集的环境图像中无所述引导对象则确定所述引导对象跟随丢失;所述确定预测跟踪方向,包括:采集当前的环境图像,确定采集的当前的环境图像中是否至少部分包含所述引导对象;若是,则根据所述引导对象在所述当前的环境图像中的位置确定预测跟踪方向;若否,则获取当前环境的点云数据,基于点云数据确定所述引导对象的预测坐标,并根据所述引导对象的预测坐标确定预测跟踪方向。在其他的一些示例中也可以只通过采集当前的环境图像,直至确定采集的当前的环境图像中至少部分包含所述引导对象,并对确定预测跟踪方向。在另外的一些示例下可以不采集当前的环境图像,直接获取当前环境的点云数据,基于点云数据确定所述引导对象的预测坐标,并根据所述引导对象的预测坐标确定预测跟踪方向。

在具体实现中,移动机器人中的多目标跟踪模块采集当前的环境图像,确定采集的当前的环境图像中是否包含引导对象的部分躯干,且包含的引导对象的部分躯干的面积应不低于预设轮廓面积,在确定采集的当前的环境图像中包含引导对象的部分躯干则确定至少部分包含引导对象,此时根据引导对象在环境图像中的位置确定预测跟踪方向,在确定采集的当前的环境图像中未至少包含引导对象时,则获取当前环境的点云数据,根据点云数据确定引导对象可能存在的位置坐标,可能存在的位置坐标即为预测坐标,根据预测坐标确定预测跟踪方向。在根据点云数据进行位置坐标预测时,可采用卡尔曼滤波算法和匈牙利算法,也可采用其他方式,本实施例对此不加以限制。如图3所示,在第十秒时引导对象所处位置为1,移动机器人根据当前的环境图像确定包含引导对象,在第十一秒时引导对象所处位置为2,移动机器人确定采集的当前环境图像中未至少包含引导对象,则根据当前环境的点云数据,确定引导对象的预测坐标为(x,y,z),此时根据(x,y,z)确定引导对象的预测跟踪方向如图3中箭头所示。

步骤S30:根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随。

需要说明的是,移动机器人在确定预测跟踪方向后,调整当前的跟踪方向至预测跟踪方向,保证视觉检测模块能够采集到预测跟踪方向上的环境图像,并基于采集的环境图像进行检测,确定环境图像中是否包含引导对象,在包含引导对象时则跟随引导对象。

可以理解的是,为了避免出现引导对象在区域拐角处进入另一个区域导致移动机器人跟随丢失或移动机器人处于难脱困区域导致跟随丢失的情况,进一步地,所述根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随之后,还包括:若确定基于采集的环境图像对所述引导对象跟随丢失,则根据当前位置坐标和预存全局地图确定当前是否处于预设区域;在当前处于所述预设区域时,根据所述预存全局地图和所述当前位置坐标确定目标跟随路径和目标进入区域;根据所述目标跟随路径移动至所述目标进入区域;根据所述目标进入区域,采集环境图像并基于采集的环境图像对所述引导对象进行跟随。

在具体实现中,若根据预测跟踪方向,采集环境图像并确定基于采集的环境图像对引导对象跟随丢失时,则获取移动机器人自身的定位模块确定当前所处位置的当前位置坐标和预存全局地图。预存全局地图指的是移动机器人预先存储的整个房间的地图,且该地图上对整个房间进行了区域划分,标注了预设区域,预设区域指的是区域拐角或用户预先标定的难脱困区域。

需要说明的是,将当前位置坐标和预存全局地图进行坐标匹配,确定移动机器人当前是否位于预设区域,在移动机器人当前处于预设区域时,根据当前位置坐标以及预存全局地图确定目标进入区域。例如,如图4所示,移动机器人当前位置坐标为(x,y,z),与预存全局地图进行匹配后确定移动机器人当前处于房间A与房间B的区域拐角,但(x,y,z)为房间A侧的区域拐角,此时确定目标进入区域为房间B。

可以理解的是,移动机器人在确定目标进入区域后,根据当前位置坐标、预存全局地图以及目标进入区域进行路径规划,确定移动机器人从当前位置坐标移动至目标进入区域的移动路径,从当前位置坐标移动至目标进入区域的移动路径即为目标跟随路径。在进行路径规划时,可以目标进入区域的入口处作为移动终点,也可将目标进入区域内的其他位置作为移动终点,本实施例对此不加以限制。

在具体实现中,移动机器人根据目标跟随路径移动至目标进入区域后,采集目标进入区域内的环境图像,并基于环境图像进行检测,确定环境图像中是否包含引导对象,在包含引导对象时则跟随引导对象。

步骤S40:跟随所述引导对象移动至清扫区域,按照预设规则对所述清扫区域进行清扫。

需要说明的是,移动机器人跟随引导对象进行移动,在引导对象停止移动时,确定已到达清扫区域,按照移动机器人存储的用户设定的清扫规则对清扫区域进行清扫,用户设定的清扫规则即为预设规则。

可以理解的是,为了保证清扫方式的多样性,从而保证用户在清扫时的各种清扫需求,提升用户的产品体验感,进一步地,所述按照预设规则对所述清扫区域进行清扫,包括以下几种方式之一:对所述清扫区域所在房间进行清扫;对所述清扫区域中靠近所述引导对象预设距离的区域进行清扫;对所述引导对象所做的预设姿态所指向的区域进行清扫;将移动机器人当前所处的位置作为清扫定位点,根据所述清扫定位点和预设清扫范围确定清扫区域进行清扫。

在具体实现中,按照预设规则对清扫区域进行清扫包括但不限于以下的任意一种方式:对清扫区域所在房间进行清扫,即移动机器人在到达清扫区域后,根据预存全局地图确定清扫区域的所在房间,从而对所在房间进行全面清扫;对清扫区域中靠近引导对象预设距离的区域进行清扫,即在到达清扫区域后,获取用户设定的清扫距离,用户设定的清扫距离即为预设距离,对清扫区域中靠近引导对象预设距离的区域进行清扫;对引导对象所做的预设姿态所指向的区域进行清扫,预设姿态指的是对引导对象的手部/脚步动作所指向的区域进行清扫,比如对引导对象手指指向的区域进行清扫,或对引导对象脚步跺脚时脚部所接触的区域进行清扫;将移动机器人当前所处的位置作为清扫定位点,根据清扫定位点和预设清扫范围确定清扫区域进行清扫,即移动机器人在到达清扫区域后,获取用户设定的清扫范围,用户设定的清扫范围即为预设清扫范围,以当前所处的位置作为清扫定位点,以预设清扫范围为半径确定清扫区域,并对清扫区域进行清扫。

需要说明的是,为了保证移动机器人在清扫时能够及时停止,减少移动机器人与引导对象之间不必要的交互,同时节省移动机器人的电力资源,进一步地,所述按照预设规则对所述清扫区域进行清扫之后,所述清扫方法还包括以下几种方式之一:接收到预设停止清扫指令后停止清扫;接收到预设停止清扫指令后停止清扫,并返回执行接收到唤醒指令之前的任务。

可以理解的是,预设停止清扫指令指的是引导对象发出的使移动机器人关闭跟随清扫模式的指令。移动机器人在清扫之后,还包括但不限于以下任意一种方式之一:接收到预设停止清扫指令后停止清扫,即移动机器人在接收到引导对象发出的预设停止清扫指令后,则立即停止清扫并停留于停止清扫时所处位置;接收到预设停止清扫指令后停止清扫,并返回执行接收到唤醒指令之前的任务,即移动机器人在接收到引导对象发出的预设停止清扫指令后,则立即停止清扫并获取在接收到唤醒指令之前正在执行或即将执行的任务,在获取到正在执行或即将执行的任务后立即返回执行该任务。

在具体实现中,为了保证移动机器人能够准确接收到引导对象的指令,保证与用户之间交互的流畅性和准确度,进一步地,所述预设停止清扫指令、所述唤醒指令的接收方式包括但不限于以下的任意一种方式:语音指令;对基站的触控指令;对移动机器人的触控指令或终端控制指令;手势指令;脚部动作指令。

需要说明的是,移动机器人对唤醒指令和预设停止清扫指令的接收方式包括但不限于以下的任意一种方式:语音指令,即接收到的用户通过语音交互发出的指令;对基站的触控指令,即接收到的用户对移动机器人的基站上按键的触控;对移动机器人的触控指令或终端控制指令,即接收到的用户对移动机器人上按键的触控,或接收到的用户在移动机器人对应的终端上的指令;手势指令,即识别到的用户的预设手势,比如拍手、招手、手臂指向区域等手部动作;脚步指令动作,即识别到的用户的预设脚部动作,比如跺脚等。

本实施例通过接收到唤醒指令,采集环境图像并基于采集的环境图像对引导对象进行跟随;若确定基于采集的环境图像对所述引导对象跟随丢失,则确定预测跟踪方向;根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随;跟随所述引导对象移动至清扫区域,按照预设规则对所述清扫区域进行清扫。通过上述方式,根据采集的环境图像对引导对象进行跟随,在跟随丢失时基于确定的预测跟踪方向采集环境图像,从而对引导对象进行跟随,保证了在对引导对象跟随时的唯一性和稳定性,使用户能够脱离应用程序,以移动的方式与移动机器人进行自然交互,减少了移动机器人与用户的语音交互次数,提升了用户的使用体验感。

参考图5,图5为本发明一种清扫方法更详尽的的流程示意图。

基于上述内容更进一步的介绍本发明提供的清扫方法,其中采集环境图像并基于采集的环境图像对引导对象进行跟随,包括:

步骤S11:确定采集的环境图像是否存在检测对象。

需要说明的是,检测对象指的是用户,移动机器人上的视觉检测模块在采集到环境图像后,会进行图像识别,判断环境图像中是否有用户存在,若环境图像中存在用户,且该用户在图像中的轮廓面积大于等于预设轮廓面积时,则说明环境图像中存在检测对象,若环境图像中不存在用户,或者存在用户但该用户在环境图像中的轮廓面积不大于预设轮廓面积时,或者存在非引导对象对应的用户时,则说明环境图像中不存在检测对象。

可以理解的是,为保证后续基于环境图像对引导对象进行跟随的准确性,需对环境图像是否存在检测对象进行准确识别,进一步地,所述确定采集的环境图像是否存在检测对象,包括:若所述环境图像中存在具有预设特征的对象,且所述对象的轮廓面积大于等于预设轮廓面积时,则确定采集的环境图像存在检测对象,否则,则确定采集的环境图像不存在检测对象;所述从所述检测对象中确定引导对象,包括:根据所述检测对象进行标识计算,得到所述检测对象的检测一维向量;根据所述检测一维向量确定所述检测对象的检测特征数值;将所述检测特征数值与特征注册表进行特征匹配,确定所述检测对象是否为引导对象。

在具体实现中,预设特征指的是预先设定的人物对应的所有特征,预设轮廓面积指的是预先设定的对象检测面积阈值,若环境图像中具有预设特征的对象,则说明该对象为人物,此时获取该对象在环境图像中的人物图像部分,根据人物图像部分确定该对象在环境图像中出现的轮廓面积,在轮廓面积大于等于预设轮廓面积时,说明该对象的大部分躯干均出现在环境图像中,此时可确定采集的环境图像中存在检测对象,以便后续从检测对象中确定引导对象,但若该对象的轮廓面积不大于预设轮廓面积时,说明该对象仅有小部分躯干出现在环境图像中,在后续基于小部分躯干从检测对象中确定引导对象时检测准确率较低,为了保证从检测对象中确定引导对象时的检测准确率,在对象的轮廓面积不大于预设轮廓面积时,确定采集的环境图像中不存在检测对象。

需要说明的是,移动机器人在确定采集的环境图像中存在检测对象时,需要从检测对象中确定引导对象,具体过程为:在环境图像中确定检测对象的最小外接轮廓,将最小外接轮廓作为移动机器人中行人重识别模块的输入源,行人重识别模块计算出该检测对象的检测一维向量,检测一维向量代表最小外接轮廓的唯一标识符。

可以理解的是,检测特征数值指的是根据检测一维向量确定的引导对象的唯一特征数值,将检测特征数值与特征注册表进行特征匹配,特征匹配的具体过程为:计算检测特征数值与特征注册表中每个唯一特征数值之间的距离,得到检测特征数值与各唯一特征数值之间的距离,如果检测特征数值与至少一个唯一特征数值之间的距离小于预设距离阈值,则说明检测特征数值与特征注册表匹配成功,此时检测对象即为引导对象,如果检测特征数值与各唯一特征数值之间的距离均不小于预设距离阈值,则说明检测特征数值与特征注册表匹配失败,此时检测对象中不存在引导对象。在本实施例中,特征注册表指的是引导对象的特征数值集,每个特征数值均由识别包含引导对象的图像中引导对象的最小外接轮廓,基于最小外接轮廓和行人重识别模块计算得到。

步骤S12:若是,则从所述检测对象中确定引导对象,并对所述引导对象进行跟随。

需要说明的是,移动机器人在确定采集的环境图像中存在检测图像时,则基于行人重识别模块和特征注册表从检测对象中确定引导对象,并对引导对象进行跟随。

步骤S13:若否,则按照预设规则重新采集具有检测对象的环境图像,从所述检测对象中确定引导对象,并对所述引导对象进行跟随。

需要说明的是,移动机器人在确定采集的环境图像中不存在检测图像时,则按照预设规则重新采集具有检测对象的环境图像,从检测对象中确定引导对象,并对引导对象进行跟随。预设规则包括但不限于根据检测对象在环境中的连续性确定检测对象位置、根据点云数据确定检测对象位置以及确定预设采集区域以提示检测对象移动到预设采集区域。

可以理解的是,为了保证跟随过程中的准确性和稳定性,在环境图像中不存在检测对象时,需对检测对象进行再次寻找,进一步地,所述按照预设规则重新采集具有检测对象的环境图像,包括:获取点云数据和/或获取预设时间段内的环境图像帧,基于所述点云数据和/或预设时间段内的环境图像帧确定检测对象的位置,并采集包括检测对象的环境图像;或者,确定预设采集区域,提示检测对象移动到所述预设采集区域,并采集所述预设采集区域中包括检测对象的环境图像。

在具体实现中,移动机器人在环境图像中未查找到检测对象时,获取点云数据,根据点云数据确定检测对象的位置,此时调整跟随方向,以使视觉检测模块能够采集到检测对象的位置对应方向上的环境图像,检测对象的位置对应方向上的环境图像即为包括检测对象的环境图像。

需要说明的是,移动机器人在重新寻找检测对象时,也可获取预设时间段内连续的环境图像帧,连续的环境图像帧中均包括检测对象,由于检测对象的移动方向是有趋势的,且移动时间也具有联系性,因此,根据预设时间段内的环境图像帧对检测对象的位置进行预测,从而确定检测对象可能出现的位置,预测过程可采用卡尔曼滤波算法和匈牙利算法,也可采用其他方式,本实施例对此不加以限制。在确定检测对象的位置后,此时调整跟随方向,以使视觉检测模块能够采集到检测对象的位置对应方向上的环境图像,检测对象的位置对应方向上的环境图像即为包括检测对象的环境图像。

可以理解的是,移动机器人在重新寻找检测对象时,也可采用确定预设采集区域的方式,提示检测对象移动到预设采集区域,执行采集环境图像的步骤,采集的环境图像即为预设采集区域内包括检测对象的环境图像。

本实施例中通过确定采集的环境图像是否存在检测对象;若是,则从所述检测对象中确定引导对象,并对所述引导对象进行跟随;若否,则按照预设规则重新采集具有检测对象的环境图像,从所述检测对象中确定引导对象,并对所述引导对象进行跟随。通过确定采集的环境图像是否存在检测对象,在存在检测对象时则从检测对象中确定引导对象,在不存在检测对象时则按照预设规则重新采集具有检测对象的环境图像,最终实现对引导对象进行跟随,从而进一步保证了跟随过程中的稳定性和准确性。

参考图6,图6为本发明提供的一种清扫方法更详尽的流程示意图。

基于上述内容继续介绍本发明提供的清扫方法,本实施例清扫方法中所述采集环境图像并基于采集的环境图像对引导对象进行跟随之前,还包括:

步骤S21:确定对应所述唤醒指令的引导对象。

需要说明的是,移动机器人在接收到唤醒指令后,确定发出唤醒指令的对应用户,发出唤醒指令的对应用户即为引导对象。

步骤S22:采集所述引导对象的特征图像,并对各特征图像进行对象检测,确定所述引导对象的信息。

需要说明的是,移动机器人在确定引导对象后,需采集多张包含引导对象的特征图像,并对各特征图像进行对象检测,对引导对象进行特征提取,确定引导对象的信息,引导对象的信息即为引导对象的特征信息,包括但不限于引导对象的颜色、体态、动作、最小外接轮廓。

步骤S23:根据多个信息进行标识计算,得到各信息分别对应的一维向量。

需要说明的是,移动机器人将每张特征图像得到的引导对象的信息分别输入至行人重识别模块进行标识计算,得到每张特征图像的引导对象的信息分别对应的一维向量,一维向量即代表着引导对象的唯一标识符。例如,移动机器人共采集了引导对象的20张特征图像,根据20张特征图像得到了20份引导对象的最小外接轮廓信息,将20份引导对象的信息分别输入至行人重识别模块进行标识计算,得到了20份引导对象的信息分别对应的一维向量。

步骤S24:根据各一维向量确定所述引导对象的多个唯一特征数值。

需要说明的是,移动机器人在多个一维向量后,每个一维向量确定对应着一个特征数值,该特征数值是唯一的,因此根据各一维向量可得到引导对象的多个唯一特征数值。

步骤S25:根据多个唯一特征数值构建所述引导对象的特征注册表。

需要说明的是,移动机器人在得到引导对象的多个唯一特征数值后,将各唯一特征数值进行汇总,从而得到引导对象的特征数值集,特征数值集即为特征注册表。

本实施例通过确定对应所述唤醒指令的引导对象;采集所述引导对象的特征图像,并对各特征图像进行对象检测,确定所述引导对象的信息;根据多个信息进行标识计算,得到各信息分别对应的一维向量;根据各一维向量确定所述引导对象的多个唯一特征数值;根据多个唯一特征数值构建所述引导对象的特征注册表。通过上述方式,根据引导对象的特征图像确定引导对象的信息,并基于引导对象的信息确定多个一维向量,进一步基于一维向量确定唯一特征数值,最终构建特征注册表,从而保证了后续确定引导对象过程的准确性。

此外,参照图7,本发明实施例还提出一种清扫装置,所述清扫装置包括:

跟随模块10,用于接收到唤醒指令,采集环境图像并基于采集的环境图像对引导对象进行跟随。

确定模块20,用于若确定基于采集的环境图像对所述引导对象跟随丢失,则确定预测跟踪方向。

所述跟随模块10,还用于根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随。

清扫模块30,用于跟随所述引导对象移动至清扫区域,按照预设规则对所述清扫区域进行清扫。

本实施例通过接收到唤醒指令,采集环境图像并基于采集的环境图像对引导对象进行跟随;若确定基于采集的环境图像对所述引导对象跟随丢失,则确定预测跟踪方向;根据所述预测跟踪方向,采集环境图像并基于采集的环境图像对引导对象进行跟随;跟随所述引导对象移动至清扫区域,按照预设规则对所述清扫区域进行清扫。通过上述方式,根据采集的环境图像对引导对象进行跟随,在跟随丢失时基于确定的预测跟踪方向采集环境图像,从而对引导对象进行跟随,保证了在对引导对象跟随时的唯一性和稳定性,使用户能够脱离应用程序,以移动的方式与移动机器人进行自然交互,减少了移动机器人与用户的语音交互次数,提升了用户的使用体验感。

在一实施例中,所述跟随模块10,还用于确定采集的环境图像是否存在检测对象;

若是,则从所述检测对象中确定引导对象,并对所述引导对象进行跟随;

若否,则按照预设规则重新采集具有检测对象的环境图像,从所述检测对象中确定引导对象,并对所述引导对象进行跟随。

在一实施例中,所述确定模块20,若所述环境图像中存在具有预设特征的对象,且所述对象的轮廓面积大于等于预设轮廓面积时,则确定采集的环境图像存在检测对象,否则,则确定采集的环境图像不存在检测对象;

所述从所述检测对象中确定引导对象,包括:

根据所述检测对象进行标识计算,得到所述检测对象的检测一维向量;

根据所述检测一维向量确定所述检测对象的检测特征数值;

将所述检测特征数值与特征注册表进行特征匹配,确定所述检测对象是否为引导对象。

在一实施例中,所述跟随模块10,还用于获取点云数据和/或获取预设时间段内的环境图像帧,基于所述点云数据和/或预设时间段内的环境图像帧确定检测对象的位置,并采集包括检测对象的环境图像;

或者,确定预设采集区域,提示检测对象移动到所述预设采集区域,并采集所述预设采集区域中包括检测对象的环境图像。

在一实施例中,所述确定模块20,还用于当采集的环境图像中无所述引导对象则确定所述引导对象跟随丢失;

采集当前的环境图像,确定采集的当前的环境图像中是否至少部分包含所述引导对象;

若是,则根据所述引导对象在所述当前的环境图像中的位置确定预测跟踪方向;

若否,则获取当前环境的点云数据,基于点云数据确定所述引导对象的预测坐标,并根据所述引导对象的预测坐标确定预测跟踪方向。

在一实施例中,所述跟随模块10,还用于若确定基于采集的环境图像对所述引导对象跟随丢失,则根据当前位置坐标和预存全局地图确定当前是否处于预设区域;

在当前处于所述预设区域时,根据所述预存全局地图和所述当前位置坐标确定目标跟随路径和目标进入区域;

根据所述目标跟随路径移动至所述目标进入区域;

根据所述目标进入区域,采集环境图像并基于采集的环境图像对所述引导对象进行跟随。

在一实施例中,所述跟随模块10,还用于获取预设时间段内的环境图像帧,根据所述预设时间段内的环境图像帧确定所述引导对象的移动速度和移动方向,根据所述移动速度和所述移动方向跟随所述引导对象;或/和,

获取当前环境的点云数据,根据所述点云数据确定所述引导对象的移动速度和移动方向,根据所述移动速度和所述移动方向跟随所述引导对象。

在一实施例中,所述跟随模块10,还用于确定对应所述唤醒指令的引导对象;

采集所述引导对象的特征图像,并对各特征图像进行对象检测,确定所述引导对象的信息;

根据多个信息进行标识计算,得到各信息分别对应的一维向量;

根据各一维向量确定所述引导对象的多个唯一特征数值;

根据多个唯一特征数值构建所述引导对象的特征注册表。

在一实施例中,所述跟随模块10,还用于当所述引导对象的检测时间达到预设时间时确定预设采集区域或者直接确定预设采集区域,在地面上标示预设采集区域和/或广播语音,以提示检测对象移动到所述预设采集区域;

则所述采集环境图像包括采集所述预设采集区域中包括检测对象的环境图像。

在一实施例中,所述清扫模块30,还用于对所述清扫区域所在房间进行清扫;

对所述清扫区域中靠近所述引导对象预设距离的区域进行清扫;

对所述引导对象所做的预设姿态所指向的区域进行清扫;

将移动机器人当前所处的位置作为清扫定位点,根据所述清扫定位点和预设清扫范围确定清扫区域进行清扫。

在一实施例中,所述清扫模块30,还用于接收到预设停止清扫指令后停止清扫;

接收到预设停止清扫指令后停止清扫,并返回执行接收到唤醒指令之前的任务。

由于本装置采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。

此外,本发明实施例还提出一种存储介质,所述存储介质上存储有清扫程序,所述清扫程序被处理器执行时实现如上文所述的清扫方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。

需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。

另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的清扫方法,此处不再赘述。

此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端移动机器人(可以是手机,计算机,服务器,或者网络移动机器人等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

技术分类

06120115631599