基于人工智能的RFID盘点车路径规划方法

(一)、技术领域：

本发明涉及一种路径规划方法，特别涉及一种基于人工智能的RFID盘点车路径规划方法。

(二)、背景技术：

目前智慧档案馆概念已经普及，其中基于RFID(无线射频识别Radio FrequencyIdentification)技术的档案存储与管理已被广泛应用于档案馆内。RFID技术由RFID电子标签和RFID识别设备两部分组成，每个档案盒都有其RFID电子标签，包含内部档案的信息，RFID识别设备一般形式为RFID手持扫描仪和RFID盘点车。利用RFID技术可极大节省人力资源，实现档案的无序存放，有序管理。由于RFID手持扫描仪仍需要人为使用，为了更好的节省资源，现有技术多采用RFID盘点车的形式。移动式RFID盘点车是以档案电子标签为馆藏资料管理介质，盘点车可通过档案电子标签(包括架标与层标)，构筑基于数字化的智慧档案馆环境，从而实现档案馆的新档案入藏、架位变更、层位变更、档案剔除和清点工作，实现馆藏档案的自动化管理。RFID盘点车在进行自动管理档案前需要对将要巡检的路径作出规划，现有技术对巡检路径规划方法已有公开，申请号为201710153238.1的专利公开了一种变电站巡检机器人路径规划系统,该发明提出了一种路径规划方法，结合RFID地标和目标位置信息进行巡检机器人的路径规划，对变电站室外设备进行巡视检测；申请号为201910280181.0的专利公开了一种基于RFID库存盘点的无人机三维路径规划方法,该发明提出了一种路径规划方法，目的在于通过函数优化算法，有效的规避障碍物，得到全局最优的无人机飞行路径。

上述两种方法仅适应于特定场景，目标位置信息是在固定的情况下，才能实现所提出的路径规划方法。但在实际应用中，由于场景多变以及目标位置信息随机确定的情况下，该路径规划方法均难以实现。

(三)、发明内容：

本发明要解决的技术问题是：提供一种基于人工智能的RFID盘点车路径规划方法，该方法可实现对RFID盘点车巡检路径进行规划，准确率高，效率高，实时性好。

本发明的技术方案：

一种基于人工智能的RFID盘点车路径规划方法，含有以下步骤：

步骤1、构建档案馆区域的BIM及其信息交换模块；BIM及其信息交换模块是一种基于BIM的信息处理和数据交换平台，主要包含档案馆区域的地理位置信息和相机感知信息等；

步骤2、将档案馆区域划分为N个子区域，每个子区域大小应一致；

步骤3、在每个子区域各对应设置一台同一型号相机，相机为斜俯视视角设置，每个子区域的相机均设置在拍摄到该整个子区域图像的位置上，如部署在天花板或较高位置上，且相机的位姿固定；

步骤4、使用各子区域的相机按照同一采样率和分辨率分别对相应的子区域同时进行拍摄，便于后续的图像拼接和实时成像，得到各子区域的图像；

步骤5、使用单应性矩阵(homography matrix)对步骤4中得到的各子区域的图像进行投影变换操作，目的为投影至同一复合全景平面中；可选择档案馆区域中心位置作为基准面，计算与之相邻的子区域图像投影变换至其图像平面的单应性矩阵；单应性矩阵的方法有很多，在此不做限制；

步骤6、基于单应性矩阵对位于同一复合全景平面中的各子区域图像进行图像的拼接，实现大范围场景下的实时成像；

步骤7、将拼接后的图像投影至BIM地面平面中，通过BIM模型可视化实现实时成像；

步骤8、将拼接后的图像按一定规则裁剪为相同尺寸的子图像，裁剪后的子图像作为后续网络的输入，裁剪规则为每个子图像内应尽量包含档案馆内通行区域中的一条完整的子道路，子道路在此含义为不经过岔路口的通行区域，便于后续的路径调整；

步骤9、将裁剪得到的子图像输入关键点提取网络，对子图像进行关键点感知，输出得到人员关键点热力图(Heat map)；目前能够较好的预测关键点位置的网络和开源项目较多，是一种主流的计算机视觉任务；

人员关键点为1类，即以人两脚中心点作为人员关键点；人员关键点Heat map输出的通道中的表征是符合高斯分布的热斑，一般对训练集标注时，以高斯核卷积生成以关键点为中心的热斑作标注，使用均方差损失函数进行训练可以得到；标签数据经过归一化处理，因此输出的热斑值域也位于[0，1]；

CNN神经网络作为人员关键点提取网络的具体训练要素包括：

(1)数据集采用所裁剪的子图像，数据集所包含的子图像需经过归一化预处理，便于模型更好的收敛；同样，标签应通过相同的归一化预处理；

(2)通过采集的子图像和Heat map标签数据，端到端地训练人员关键点编码器Encoder1和人员关键点解码器Decoder1；人员关键点编码器Encoder1对子图像进行特征提取，其输入为归一化处理后的图像数据，其输出为Feature map；人员关键点解码器Decoder1对Feature map进行上采样，其输出为与原图等大的人员关键点Heat map，由于有1类关键点，关键点Heat map按关键点类别以1个通道形式输出；

(3)loss函数采用均方差损失函数；

步骤10、对人员关键点热力图进行基于遗忘算法的热度累积操作，得到人员的移动轨迹；

步骤11、由于所处理图像为BIM地面平面内拼接后图像裁剪得到的子图像，因此，使用单应性矩阵将热度累积后的人员关键点热力图，结合BIM模型的地理信息，投影至BIM地面平面中，得到热区分布对应的待检测位置，并将待检测位置作为目标位置存储为路径节点；

步骤12、进行RFID盘点车路径规划：经过路径规划算法得到RFID盘点车从起点至终点且经过所有路径节点的路径；

进行RFID盘点车路径规划时：

首先，设置一个固定的时间阈值t1，该阈值t1为人员关键点热力图Heat map累积时长，t1的具体值实施者可按照实际情况设置，在此提供一种建议，t1设置为60s；当Heatmap以时序上1秒1帧的形式累积时间与所设置时间阈值t1一致时，进行下一步操作；

其次，设置一个经验像素值阈值v1，该阈值v1的作用为判断对应像素点位置是否需要巡检；当某点像素值超过该经验阈值v1时,判断为有人长时停留或多人经过该位置，因此，将该点判断为巡检目标；对于一个子路段内的多个位置累积结果，可以该子路段中心点处作为该子路段内的多个位置巡检目标的代表，相应的，RFID盘点车盘点时，对象为该子路段档案情况；

接着，设置一个时间阈值t2，该阈值t2的作用为选取合适的时间段长度进行路径规划，路径规划算法是公知技术，建议采用A-Star算法或RRT算法等；

实施者在设置上述阈值时，应充分考虑其相关性，当t1较大时，相应v1也应该调大，相应t2也应该调大；

步骤13、将RFID盘点车路径和调用指令传输至RFID盘点车和子区域的相机；

步骤14、RFID盘点车基于所规划路径进行巡检，相机接收调用指令后，结合BIM模型中RFID盘点车的实时位置信息和运行路径信息，选取合适的裁剪子图像通过语义分割网络感知图像中像素点的类别，进行语义分割操作，得到子图像的语义分割图；

语义分割网络的具体训练要素包括：

(1)采用子区域图像作为训练数据集，其中应包括人员及各类阻碍物存在情况，阻碍物种类为档案盒、椅子和桌子等常见情况；对像素类别进行标注，类别为三类：人、阻碍物和其他无关项，其中阻碍物包括档案盒、椅子、桌子等种类；无关项类别索引为0，人类别索引为1，阻碍物类别索引为2；

(2)通过图像和标注数据，端到端地训练语义分割编码器Encoder2和语义分割解码器Decoder2；语义分割编码器Encoder2提取特征，其输出为Feature map；Feature map经语义分割解码器Decoder2上采样，输出与原图等大的语义分割图；

(3)loss函数采用交叉熵损失函数；

将作为中间感知结果的子图像的语义分割图送入路径点感知编码器和全连接层，输出得到子道路路径点；并据此进行子道路的路径调整；子道路为整体路径通过分段所得，分段应尽量以岔路口作为分段节点；

路径点感知编码器和全连接层的训练细节如下：

(1)采用子图像的语义分割图作为训练数据集，标注为路径点坐标xi,yi；

(2)通过图像和标注数据，端到端地训练路径点感知编码器Encoder3和全连接层FC；路径点感知编码器Encoder3提取特征，其输出为Feature map；Feature map经flatten操作后送入全连接层FC，全连接层FC输出路径点坐标xi,yi；

(3)loss函数采用交叉熵损失函数；

对子图像的语义分割图进行小段路径规划，即仅针对语义分割图所对应真实场景下的路径进行规划，避免碰撞；

对于一个子道路，基于起始点、终点和路径点，再次进行路径规划，目的为调整路径，使小车在巡检过程中规避人员和障碍物；由于档案馆内通行区域的特殊性，因此，小车规划的总路径易分段为多个子路径，因此本发明仅限于在档案馆或类似较规整通行区域的环境中使用；

步骤15、巡检结束后，存储该次巡检的路径及路径节点。

步骤5中，基于SIFT算法(尺度不变特征转换)或RANSAC算法(随机抽样一致算法)对投影变换操作的各个子区域的图像进行特征点的提取和匹配，以四点法进行单应性矩阵的求解。

步骤10中，基于遗忘算法的热度累积操作是以时序上一秒一帧的方式进行人员关键点热力图(Heat map)的叠加，其具体方法为：

X＝αx+(1-α)x′

其中，x为当前帧结果，x′为之前帧的叠加计算结果，X为包含当前帧的叠加计算结果，(1-α)为遗忘系数，α的取值为0.05。

叠加后的热力图代表人员的移动轨迹。

本发明的有益效果：

1、本发明通过相机拍摄档案馆内部图像，经过处理得到RFID盘点车的路径节点，并结合BIM信息，对RFID盘点车巡检路径进行规划，实现了档案的无序存放及有序管理；该方法准确率高，效率高。

2、本发明中RFID盘点车行驶在所规划路径的过程中，结合对子图像的语义分割检测结果，可实现对小段路径的规划，实时规避人员和障碍物，实时性好。

(四)、具体实施方式：

基于人工智能的RFID盘点车路径规划方法，含有以下步骤：

步骤1、构建档案馆区域的BIM及其信息交换模块；BIM及其信息交换模块是一种基于BIM的信息处理和数据交换平台，主要包含档案馆区域的地理位置信息和相机感知信息等；

步骤2、将档案馆区域划分为N个子区域，每个子区域大小应一致；

步骤3、在每个子区域各对应设置一台同一型号相机，相机为斜俯视视角设置，每个子区域的相机均设置在拍摄到该整个子区域图像的位置上，如部署在天花板或较高位置上，且相机的位姿固定；

步骤4、使用各子区域的相机按照同一采样率和分辨率分别对相应的子区域同时进行拍摄，便于后续的图像拼接和实时成像，得到各子区域的图像；

步骤5、使用单应性矩阵(homography matrix)对步骤4中得到的各子区域的图像进行投影变换操作，目的为投影至同一复合全景平面中；可选择档案馆区域中心位置作为基准面，计算与之相邻的子区域图像投影变换至其图像平面的单应性矩阵；单应性矩阵的方法有很多，在此不做限制；

步骤6、基于单应性矩阵对位于同一复合全景平面中的各子区域图像进行图像的拼接，实现大范围场景下的实时成像；

步骤7、将拼接后的图像投影至BIM地面平面中，通过BIM模型可视化实现实时成像；

步骤8、将拼接后的图像按一定规则裁剪为相同尺寸的子图像，裁剪后的子图像作为后续网络的输入，裁剪规则为每个子图像内应尽量包含档案馆内通行区域中的一条完整的子道路，子道路在此含义为不经过岔路口的通行区域，便于后续的路径调整；

步骤9、将裁剪得到的子图像输入关键点提取网络，对子图像进行关键点感知，输出得到人员关键点热力图(Heat map)；目前能够较好的预测关键点位置的网络和开源项目较多，是一种主流的计算机视觉任务；

人员关键点为1类，即以人两脚中心点作为人员关键点；人员关键点Heat map输出的通道中的表征是符合高斯分布的热斑，一般对训练集标注时，以高斯核卷积生成以关键点为中心的热斑作标注，使用均方差损失函数进行训练可以得到；标签数据经过归一化处理，因此输出的热斑值域也位于[0，1]；

CNN神经网络作为人员关键点提取网络的具体训练要素包括：

(1)数据集采用所裁剪的子图像，数据集所包含的子图像需经过归一化预处理，便于模型更好的收敛；同样，标签应通过相同的归一化预处理；

(2)通过采集的子图像和Heat map标签数据，端到端地训练人员关键点编码器Encoder1和人员关键点解码器Decoder1；人员关键点编码器Encoder1对子图像进行特征提取，其输入为归一化处理后的图像数据，其输出为Feature map；人员关键点解码器Decoder1对Feature map进行上采样，其输出为与原图等大的人员关键点Heat map，由于有1类关键点，关键点Heat map按关键点类别以1个通道形式输出；

(3)loss函数采用均方差损失函数；

步骤10、对人员关键点热力图进行基于遗忘算法的热度累积操作，得到人员的移动轨迹；

步骤11、由于所处理图像为BIM地面平面内拼接后图像裁剪得到的子图像，因此，使用单应性矩阵将热度累积后的人员关键点热力图，结合BIM模型的地理信息，投影至BIM地面平面中，得到热区分布对应的待检测位置，并将待检测位置作为目标位置存储为路径节点；

步骤12、进行RFID盘点车路径规划：经过路径规划算法得到RFID盘点车从起点至终点且经过所有路径节点的路径；

进行RFID盘点车路径规划时：

首先，设置一个固定的时间阈值t1，该阈值t1为人员关键点热力图Heat map累积时长，t1的具体值实施者可按照实际情况设置，在此提供一种建议，t1设置为60s；当Heatmap以时序上1秒1帧的形式累积时间与所设置时间阈值t1一致时，进行下一步操作；

其次，设置一个经验像素值阈值v1，该阈值v1的作用为判断对应像素点位置是否需要巡检；当某点像素值超过该经验阈值v1时,判断为有人长时停留或多人经过该位置，因此，将该点判断为巡检目标；对于一个子路段内的多个位置累积结果，可以该子路段中心点处作为该子路段内的多个位置巡检目标的代表，相应的，RFID盘点车盘点时，对象为该子路段档案情况；

接着，设置一个时间阈值t2，该阈值t2的作用为选取合适的时间段长度进行路径规划，路径规划算法是公知技术，建议采用A-Star算法或RRT算法等；

实施者在设置上述阈值时，应充分考虑其相关性，当t1较大时，相应v1也应该调大，相应t2也应该调大；

步骤13、将RFID盘点车路径和调用指令传输至RFID盘点车和子区域的相机；

步骤14、RFID盘点车基于所规划路径进行巡检，相机接收调用指令后，结合BIM模型中RFID盘点车的实时位置信息和运行路径信息，选取合适的裁剪子图像通过语义分割网络感知图像中像素点的类别，进行语义分割操作，得到子图像的语义分割图；

语义分割网络的具体训练要素包括：

(1)采用子区域图像作为训练数据集，其中应包括人员及各类阻碍物存在情况，阻碍物种类为档案盒、椅子和桌子等常见情况；对像素类别进行标注，类别为三类：人、阻碍物和其他无关项，其中阻碍物包括档案盒、椅子、桌子等种类；无关项类别索引为0，人类别索引为1，阻碍物类别索引为2；

(2)通过图像和标注数据，端到端地训练语义分割编码器Encoder2和语义分割解码器Decoder2；语义分割编码器Encoder2提取特征，其输出为Feature map；Feature map经语义分割解码器Decoder2上采样，输出与原图等大的语义分割图；

(3)loss函数采用交叉熵损失函数；

将作为中间感知结果的子图像的语义分割图送入路径点感知编码器和全连接层，输出得到子道路路径点；并据此进行子道路的路径调整；子道路为整体路径通过分段所得，分段应尽量以岔路口作为分段节点；

路径点感知编码器和全连接层的训练细节如下：

(1)采用子图像的语义分割图作为训练数据集，标注为路径点坐标xi,yi；

(2)通过图像和标注数据，端到端地训练路径点感知编码器Encoder3和全连接层FC；路径点感知编码器Encoder3提取特征，其输出为Feature map；Feature map经flatten操作后送入全连接层FC，全连接层FC输出路径点坐标xi,yi；

(3)loss函数采用交叉熵损失函数；

对子图像的语义分割图进行小段路径规划，即仅针对语义分割图所对应真实场景下的路径进行规划，避免碰撞；

对于一个子道路，基于起始点、终点和路径点，再次进行路径规划，目的为调整路径，使小车在巡检过程中规避人员和障碍物；由于档案馆内通行区域的特殊性，因此，小车规划的总路径易分段为多个子路径，因此本发明仅限于在档案馆或类似较规整通行区域的环境中使用；

步骤15、巡检结束后，存储该次巡检的路径及路径节点。

步骤5中，基于SIFT算法(尺度不变特征转换)或RANSAC算法(随机抽样一致算法)对投影变换操作的各个子区域的图像进行特征点的提取和匹配，以四点法进行单应性矩阵的求解。

步骤10中，基于遗忘算法的热度累积操作是以时序上一秒一帧的方式进行人员关键点热力图(Heat map)的叠加，其具体方法为：

X＝αx+(1-α)x′

其中，x为当前帧结果，x′为之前帧的叠加计算结果，X为包含当前帧的叠加计算结果，(1-α)为遗忘系数，α的取值为0.05。

叠加后的热力图代表人员的移动轨迹。