一种智能购物车的工作方法及智能购物车

技术领域

本发明涉及购物车技术领域，特别是一种智能购物车的工作方法及智能购物车。

背景技术

当前的大型商场中仍旧采用传统的手推式购物车，依靠顾客自己将购物车推到指定的地点。顾客拿取货架上的商品，放置到购物车当中，最后再将其推到结算地点进行结算。这种购物车基本上只实现了一种暂存商品的功能，一方面需要靠人力推动，如果顾客选择的商品较多，那么推着放满商品的购物车行走便会十分费力。当商场中顾客较多时，全部的顾客将购物车推到指定的地点去结算，也有可能造成一定程度的拥挤，所以，对于传统的手推式购物车，有必要探索更多实用的功能，以解决传统购物车存在的诸多问题。

目前已经有提出自动跟随或者可实现顾客自助结算的购物车技术，例如专利文件CN205387157U公开了一种可自动跟随特定目标、方便购物的购物车，可实现手推模式和自动跟随模式。当顾客选择自动跟随模式时，购物车上搭载的RGB-D摄像头采集周围的环境信息并获取移动目标的具体位置信息，然后由计算机进行处理，再将控制购物车运动速度和方向的命令下传给动力控制装置，动力控制装置再驱动车轮转动，达到自动跟随的目的。然而，该购物车仅仅考虑对目标的自动跟随，忽略了在购物超市这种充满动态物体(如人、移动的购物车)的可变环境中可能需要实时地检测动态障碍物，并进行快速的自主避障的实际问题，因此并不能完全适用于实际的购物环境当中。

另外还有专利文件CN211055226U，其公开了一种智能结算购物车，购物车上集成的RFID读写器可用来读取放入购物车当中的商品的RFID芯片信息，微处理器中存储有超市内商品信息的数据库，读取的RFID芯片信息在后台与数据库中的内容进行匹配，然后自动计算当前全部商品的总价格，顾客可以通过液晶触控显示屏来决定继续添加商品或者结束添加并开始结算。这种自助结算功能虽然大大节约了排队结算支付的时间，但也存在的明显的不足：首先，该智能结算购物车仍旧是靠人力推动，存在着传统购物车的缺点；其次，该智能结算购物车是依靠读取商品中的RFID芯片信息来确定添加的商品的种类信息，那么就需要对每个商品都增加RFID芯片，而当是应用在大型的超市时，所有商品都增加RFID芯片会造成非常大的工作量，费时费力；另外需要在每个购物车上安装可以触控交互的显示屏，也会增加了超市成本。

综上，单一的自动跟随购物车功能上仍不完善，不一定能适应复杂多变的超市环境，并在自主避障方面功能缺失；而拥有自助结算功能的购物车又依然存在着需要手推的缺点，且商品信息的采集不便；一些智能购物车上虽然安装上了可以触控交互的显示屏，可用于自助结算，但是却大大增加了成本。此外，顾客也希望智能购物车可以有更多的工作模式，例如可以带领顾客找到指定的商品，满足顾客多样的购物习惯和需求。

发明内容

本发明的第一目的在于解决现有技术的不足，提出一种智能购物车的工作方法，可自动跟随顾客、智能导航和自主避障，为顾客提供更便捷的购物体验。

本发明的第二目的在于提出一种智能购物车，具备自动跟随、智能导航和自主避障的功能。

本发明的第一目的通过下述技术方案实现：

一种智能购物车的工作方法，包括如下步骤：

(1)当顾客在商场使用智能购物车开始购物时，智能购物车的工控机先通过无线通信定位模块与用户终端相连接，并接收用户终端输入的控制信息；

(2)在购物的过程中，智能购物车的深度摄像头实时采集周围环境的彩色图像和深度图像，智能购物车的惯性测量单元实时检测购物车的位姿、角速度，智能购物车的里程计实时检测购物车的速度，智能购物车的激光雷达模块实时检测周围的静、动态障碍物，并且分别将采集的数据发送给智能购物车的底层控制板；

底层控制板将采集的数据上传给智能购物车的工控机，工控机根据采集的数据和用户终端输入的控制信息生成相应的控制指令，并下发给底层控制板；

底层控制板根据控制指令控制智能购物车的直流电机的工作状态，直流电机进而驱动智能购物车的麦克纳姆轮转动，使智能购物车朝移动目标全向移动；

(3)当顾客将商品放入智能购物车的购物篮时，智能购物车的扫描摄像头扫描商品的标签以获取对应的商品信息，并将商品信息发送给工控机，工控机将扫描摄像头所获取的商品信息发送到用户终端上进行显示；

(4)当顾客在用户终端完成商品支付后，工控机通过直流电机控制麦克纳姆轮转动，使智能购物车移动至商场集中回收购物车的位置。

优选的，在步骤(1)中，用户终端输入的控制信息包括智能购物车的启停指令和车速、智能购物车的运动模式、待购买的商品以及智能购物车的移动目标；

智能购物车的运动模式进一步包括自动跟随模式和智能导航模式，当智能购物车为自动跟随模式时，移动目标为顾客，无线通信定位模块检测顾客的方向和顾客与智能购物车的距离，工控机将顾客的方位作为目标点，根据周围环境的彩色图像、深度图像以及障碍物的情况，控制其所在的智能购物车跟随顾客以及躲避智能购物车与顾客之间的障碍物；

当智能购物车为智能导航模式时，移动目标为待购买的商品，工控机根据智能购物车的位置、待购买商品的位置和商场全局地图生成导航路线，并按照该导航路线控制其所在的智能购物车到达待购买商品所在位置；每到达其中一个待购买商品的位置，工控机控制智能购物车停止并进入等待状态，直到顾客将商品放到购物篮并在用户终端选择继续导航时，才前往下一个待购买商品的位置。

更进一步的，当智能购物车为智能导航模式时，工控机生成导航路线具体有如下三种：

(1)以用户终端上输入待购买商品的顺序作为默认的购买顺序，工控机根据智能购物车的位置、默认的购买顺序和商场全局地图生成导航路线；

(2)顾客在用户终端调整待购买商品的购买顺序，工控机根据智能购物车的位置、调整后的购买顺序和商场全局地图生成导航路线；

(3)工控机根据购物车自身的位置、待购买商品的位置和商场全局地图计算出最短路线，该最短路线即作为导航路线。

更进一步的，在智能导航模式下，工控机在控制智能购物车全向移动的过程中，实时运行着动态环境下的SLAM算法和和实时运动规划算法：

先采用深度神经网络算法对深度摄像头实时采集的彩色图像进行语义分割，得到语义图像，并识别出语义图像中的动态障碍物；

然后将深度图像与语义图像相融合，结合激光雷达模块检测到的动态障碍物的位置，得到动态障碍物在商场中的精确位置；

利用惯性测量单元实时检测的智能购物车位姿预测动态障碍物的轨迹，并估计出动态障碍物未来一段时间之内可行驶的区域，从而生成包含可行驶区域和动态障碍物的局部地图；

根据商场全局地图和SLAM算法得到的局部地图，利用改进的VFH*规划算法生成适用于全向移动的智能购物车的局部轨迹，并根据智能购物车与障碍物的距离计算对应的速度和旋转角速度，生成相应的控制指令下达给底层控制板。

更进一步的，工控机利用改进的VFH*规划算法生成智能购物车的局部轨迹的过程包括：

针对智能购物车全向移动的特点，将智能购物车的360°周围区域划分为n个扇区，每个扇区的角度为360°/n；

根据各个扇区的障碍物分布情况构造一个直方图，直方图的横坐标为扇区号，纵坐标为智能购物车与该扇区内障碍物发生碰撞的概率，纵坐标的值越高，表示朝该扇区的方向运动，越容易与障碍物发生碰撞；

设定一个阈值，将直方图中小于阈值的扇区定义为可通行扇区，然后根据连续的可通行扇区的大小选定若干个候选方向，再根据设定的代价函数对每一个候选方向打分，从中选出分值最低的候选方向作为接下来的运动方向；

代价函数g(c

其中，c

优选的，在步骤(3)中，扫描摄像头扫描商品的标签时，还结合深度学习识别算法识别商品。

优选的，在步骤(1)中，用户终端扫描智能购物车上的二维码来无线连接至智能购物车；用户终端通过购物车控制系统输入对智能购物车的控制信息，以及显示扫描摄像头所获取的商品信息、商品的待支付总金额，连接该智能购物车的全部用户终端的账号信息。

本发明的第二目的通过下述技术方案实现：

一种智能购物车，包括：从下至上依次连接的底座、可调节支架以及用于放置商品的购物篮；其中，购物篮安装有深度摄像头和扫描摄像头，深度摄像头显露在购物篮外表面，用于实时采集周围环境的彩色图像和深度图像；扫描摄像头显露在购物篮内表面，用于扫描商品的标签以获取对应的商品信息；

底座包含有工控机、底层控制板、惯性测量单元、里程计、无线通信定位模块、多个直流电机，以及分别与对应的一个直流电机相连接的多个麦克纳姆轮；工控机通过无线通信定位模块无线连接使用该智能购物车的对应顾客的用户终端，并接收用户终端输入的控制信息，以及向用户终端发送扫描摄像头所获取的商品信息；

购物篮或者底座上安装有激光雷达模块；惯性测量单元用于实时检测购物车的位姿、角速度，里程计用于实时检测购物车的速度，激光雷达模块用于实时检测周围的障碍物；惯性测量单元、里程计、深度摄像头、扫描摄像头和激光雷达模块分别连接底层控制板，并向其发送所采集的数据；

工控机连接底层控制板，用于通过底层控制板获取采集的数据，并根据采集的数据和用户终端输入的控制信息生成相应的控制指令，底层控制板连接直流电机，并根据工控机下发的控制指令控制直流电机，直流电机进而驱动麦克纳姆轮转动，使智能购物车朝移动目标全向移动。

优选的，智能购物车设有对应的二维码，用户终端通过扫描该二维码，以无线连接至该智能购物车的无线通信定位模块。

优选的，用户终端安装有购物车控制系统，购物车控制系统包括用户管理模块、商品信息显示模块、控制信息输入模块和结算模块，用户管理模块和商品信息显示模块分别连接控制信息输入模块，控制信息输入模块连接结算模块；

其中，用户管理模块用于生成包含连接至同一智能购物车的全部用户终端的账号信息的用户列表；

商品信息显示模块用于显示扫描摄像头所获取的商品信息和购物篮中已结算商品的待支付总金额；

控制信息模块用于选择智能购物车的运动模式，查询及选择商场中待购买的商品，输入智能购物车的启停指令和设置智能购物车的车速、移动目标，移动目标为用户列表中的某一用户终端或者是待购买的商品；

结算模块用于结算和支付购物篮内的商品。

本发明相对于现有技术具有如下的优点及效果：

1、本发明智能购物车可与用户终端交互，能够集用户可控、自动跟随用户、智能导航、自主避障、自助结算支付等多项功能于一体，具有较高的智能化水平，因此适用于复杂多变的超市环境，可辅助顾客购物。

2、本发明智能购物车搭载了多个可以全向运动的麦克纳姆轮，能够对周围的障碍物及时反应，实现任意方向的快速避障，对于商场这种复杂动态环境更具适应性。

3、本发明智能购物车为顾客提供不同的运行模式，比如在自动跟随模式下能够自动跟随特定的顾客，在智能导航模式下能带领顾客找到所需要的所有商品，不同的工作模式满足需求习惯不同的顾客，为顾客提供更便捷的购物体验。

4、本发明智能购物车以工控机为核心，搭载了深度摄像头和激光雷达等传感器，结合动态环境中的SLAM算法，能够在充满动态物体的超市商场之中准确地对周围的环境进行建模并精确地定位自身的位置，探测到周围的静态和动态障碍物，之后再通过运动规划算法实时快速地规划出导航路线并相应控制智能购物车移动，实现了在复杂动态环境中的自主导航和避障。

5、本发明智能购物车将自助结算支付功能和运动控制功能分开，各自独立运行，可提高各自的数据处理效率。

附图说明

图1是实施例1智能购物车的示意图。

图2是实施例1智能购物车的连接示意图。

其中，1-麦克纳姆轮，2-底座，3-可调节支架，4-购物篮，5-扫描摄像头，6-二维码，7-深度摄像头，8-激光雷达模块。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例提供了一种智能购物车，可投放在超市商场中供顾客使用。如图1所示，包括底座2、安装在底座上的可调节支架3以及固定在可调节支架上的购物篮4，购物篮可用于放置顾客选择的商品。可调节支架可通过上下伸缩来调整购物篮的高度，以便适应不同身高的顾客。

如图1和图2所示，购物篮安装有深度摄像头7和扫描摄像头5，深度摄像头显露在购物篮外表面，具体可设置在购物篮前方，以便实时采集周围环境的彩色图像和深度图像。扫描摄像头显露在购物篮内表面，可用于扫描商品的标签以获取对应的商品信息。

底座由保护外壳、位于保护外壳内的微型的工控机、底层控制板、惯性测量单元(IMU)、里程计、无线通信定位模块和多个直流电机，以及分布在保护外壳侧面的多个麦克纳姆轮1构成。

惯性测量单元可用于实时检测购物车的位姿、角速度，里程计可用于实时检测购物车的速度。购物篮或者底座的保护外壳上还安装有激光雷达模块8，激光雷达模块具体可以设置在购物篮或者保护外壳的前方，以便实时检测周围的障碍物。惯性测量单元、里程计、深度摄像头、扫描摄像头和激光雷达模块分别连接底层控制板，并向其发送所采集的数据。

每个直流电机分别连接对应的一个麦克纳姆轮，可用来驱动所连接的麦克纳姆轮转动，本实施例的麦克纳姆轮和直流电机的数量均为4个，4个麦克纳姆轮对称分布在保护外壳左、右两侧，智能购物车可以朝着任意方向移动，实现灵活的运动和避障。

工控机通过无线通信定位模块无线连接使用该智能购物车的对应顾客的用户终端，工控机通过线缆连接底层控制板，底层控制板再通过线缆连接直流电机，工控机可通过底层控制板获取采集的数据，并根据采集的数据和用户终端输入的控制信息生成相应的控制指令。底层控制板可以根据工控机下发的控制指令控制直流电机，直流电机进而驱动麦克纳姆轮转动，使智能购物车朝移动目标全向移动。

在本实施例中，工控机上搭载有开源机器人操作系统(ROS)，是控制智能购物车运动的核心，数据的处理以及各种算法都在工控机上运行。底层控制板可采用STM32系列芯片，接收工控机传来的速度和角速度命令再输出PWM电平来驱动直流电机转动，直流电机的减速比可设为35:1。

用户终端可以是智能手机，且还安装有购物车控制系统，购物车控制系统可以是客户端，也可以是小程序。智能购物车可以在购物篮上设置对应的二维码6，可参见图1，用户终端通过扫码来无线连接至该智能购物车的无线通信定位模块，从而无线通信定位模块可以接收用户终端在购物车控制系统输入的控制信息，以及向用户终端发送扫描摄像头所获取的商品信息。无线通信定位模块可以是蓝牙模块，无线连接方式即对应是蓝牙连接。

例如，顾客可以先打开智能手机中的蓝牙，然后使用智能手机的微信客户端来扫描购物篮上的二维码，使智能手机中的蓝牙与智能购物车中的蓝牙模块进行连接，之后即可进入到购物车控制系统中进行数据的收发和查看。当多人使用同辆智能购物车一起购物时，可以一起扫描该智能购物车上的二维码以进入购物车控制系统界面，从而都可以对该智能购物车进行控制。

这里，购物车控制系统包括用户管理模块、商品信息显示模块、控制信息输入模块和结算模块，用户管理模块和商品信息显示模块分别连接控制信息输入模块，控制信息输入模块连接结算模块。

其中，用户管理模块可用于生成包含连接至同一智能购物车的全部用户终端的账号信息的用户列表。

商品信息显示模块可用于显示扫描摄像头所获取的商品信息和购物篮中已结算商品的待支付总金额。具体来说，当顾客将商品从货架上取出，拿到购物篮内扫描商品标签，再放入到购物篮后，该商品即可同时添加到已添加商品列表中，该商品列表即显示当前放置在购物篮中待支付的商品的信息。

控制信息模块可用于选择智能购物车的运动模式为自动跟随模式或智能导航模式，搜索及选择商场中待购买的商品，被选中的商品可生成对应的购物清单。控制信息模块可以向后台服务器的数据库查询商场中的商品，顾客可以根据商品类别、商品名称进行搜索，也可以语音进行搜索，搜索到的商品信息包括商品的位置、价格、生产日期、重量等信息。

控制信息模块还可用于输入智能购物车的启停指令和设置智能购物车的车速、移动目标，这里，移动目标可以是用户列表中的某一用户终端，也可以是待购买的商品。

智能购物车在自动跟随模式下，可根据顾客在用户列表选择的需要跟随的一个顾客，由无线通信定位模块实时地检测该顾客的位置，工控机再根据顾客的位置控制直流电机驱动麦克纳姆轮转动以跟随该顾客。在智能导航模式下，智能购物车自主移动带领顾客到达每一个待购买商品的位置，每到达一个商品的位置，购物车停下，以便顾客将商品拿到购物篮中扫描商品标签并放入购物篮，之后顾客再通过用户终端启动智能购物车，则开始导航到下一个商品。

结算模块可用于结算和支付购物篮内的商品，顾客无需再排队结账。商品在放入购物篮并扫描商品标签的过程相当于对商品进行结算，此时后台自动计算商品的待支付总金额，在结算模块列出商品的总清单，顾客在结算模块确认后，即可通过电子钱包输入密码进行支付，无需排队结算，节省时间。

在此需要说明的是，本实施例的购物车控制系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

另外，本实施例还提供了一种智能购物车的工作方法，可应用于上述智能购物车，包括如下步骤：

(1)当顾客在商场使用智能购物车开始购物时，智能购物车的工控机先通过无线通信定位模块与用户终端相连接，并接收用户终端输入的控制信息。具体来说，用户终端扫描智能购物车上的二维码来无线连接至智能购物车，并进入购物车控制系统的界面，然后输入对智能购物车的控制信息如智能购物车的启停指令和车速、智能购物车的运动模式(自动跟随模式或智能导航模式)，录入待购买的商品、智能购物车的移动目标，该界面显示用户列表和购物清单。

(2)在购物的过程中，智能购物车的深度摄像头实时采集周围环境的彩色图像和深度图像，智能购物车的惯性测量单元实时检测购物车的位姿、角速度，智能购物车的里程计实时检测购物车的速度，智能购物车的激光雷达模块实时检测周围的静态障碍物(如货物柜)、动态障碍物(如走动的顾客、移动的购物车)，并且分别将采集的数据发送给智能购物车的底层控制板；

底层控制板将采集的数据上传给工控机，工控机根据采集的数据和用户终端输入的控制信息生成相应的控制指令，并下发给底层控制板；

底层控制板根据控制指令控制智能购物车的直流电机的工作状态，直流电机进而驱动智能购物车的麦克纳姆轮转动，使智能购物车朝移动目标全向移动。

其中，1)当智能购物车为自动跟随模式时，移动目标为顾客：

无线通信定位模块检测顾客的方向和顾客与智能购物车的距离，工控机将顾客的方位作为目标点，根据周围环境的彩色图像、深度图像以及障碍物的情况，控制其所在的智能购物车跟随顾客以及躲避智能购物车与顾客之间的障碍物。

2)当智能购物车为智能导航模式时，移动目标为待购买的商品：

工控机根据智能购物车的位置、待购买商品的位置和商场全局地图生成导航路线，并按照该导航路线控制其所在的智能购物车到达待购买商品所在位置；每到达其中一个待购买商品的位置，工控机控制智能购物车停止并进入等待状态，直到顾客将商品放到购物篮并在用户终端选择继续导航时，才前往下一个待购买商品的位置。

这里，顾客可以先在用户终端上进行设置，工控机再生成对应的导航路线，具体有如下三种情况：

a)若以用户终端上输入待购买商品的顺序(即购物清单中商品的顺序)作为默认的购买顺序，则工控机根据智能购物车的位置、默认的购买顺序和商场全局地图生成导航路线；

b)若顾客在用户终端调整购物清单中待购买商品的顺序，则工控机根据智能购物车的位置、调整后的购物清单的商品顺序和商场全局地图生成导航路线；

c)工控机根据购物车自身的位置、待购买商品的位置和商场全局地图计算出最短路线，该最短路线即作为导航路线。

工控机在控制智能购物车全向移动的过程中，实时运行着动态环境下的SLAM算法和实时运动规划算法：

2-1)先采用深度神经网络算法对深度摄像头实时采集的彩色图像进行语义分割，得到语义图像，并识别出语义图像中的动态障碍物。

2-2)然后将深度图像与语义图像相融合，结合激光雷达模块检测到的动态障碍物的位置，得到动态障碍物在商场中的精确位置，从而可以减少动态物体的影响，更准确地估计摄像机的姿态。

2-3)利用惯性测量单元实时检测的智能购物车位姿预测动态障碍物的轨迹，并估计出动态障碍物未来一段时间(如半小时，可根据实际情况设定)之内可行驶的区域，从而生成包含可行驶区域和动态障碍物的局部地图。

2-4)根据商场全局地图和SLAM算法得到的局部地图，利用改进的VFH*规划算法生成适用于全向移动的智能购物车的局部轨迹，并根据智能购物车与障碍物的距离计算对应的速度和旋转角速度，生成相应的控制指令下达给底层控制板，再驱动电机转动，最终智能购物车能够按照规划的轨迹行驶并能够躲避障碍物。

其中，生成局部轨迹的过程为：

2-4-1)针对智能购物车全向移动的特点，将智能购物车的360°周围区域划分为n个扇区，每个扇区的角度为360°/n；

2-4-2)根据各个扇区的障碍物分布情况构造一个直方图，直方图的横坐标为扇区号，纵坐标为智能购物车与该扇区内障碍物发生碰撞的概率，纵坐标的值越高，表示朝该扇区的方向运动，越容易与障碍物发生碰撞；

2-4-3)设定一个阈值，将直方图中小于阈值的扇区定义为可通行扇区，然后根据连续的可通行扇区的大小选定若干个候选方向，再根据设定的代价函数对每一个候选方向打分，从中选出分值最低的候选方向作为接下来的运动方向；

代价函数g(c

其中，c

(3)当顾客将商品放入智能购物车的购物篮时，扫描摄像头扫描商品的标签以获取对应的商品信息，并将商品信息发送给工控机，工控机将扫描摄像头所获取的商品信息发送到用户终端，用户终端显示商品信息、商品的待支付总金额。

这里，为进一步提高商品信息的获取准确度，扫描摄像头扫描商品的标签时，还可以结合深度学习识别算法识别商品。

(4)当顾客在用户终端完成商品支付后，工控机通过直流电机控制麦克纳姆轮转动，使智能购物车移动至商场集中回收购物车的位置。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。