基于单目相机的行人跟踪与重识别方法
文献发布时间：2023-06-19 16:04:54
技术领域
本发明涉及移动机器识别技术领域，特别是涉及一种基于单目相机的行人跟踪与重识别方法。
背景技术
近年来，机器人发展十分迅猛，移动机器人是其中发展较为成熟的一类，且已经在工业界有广泛的部署与应用，如安防、紧急救援、娱乐交互、公共场所引导、人机协作等等，行人跟踪是支撑上述应用的一项基础功能。使用单目视觉传感器完成行人跟踪，是一个低成本的、具有巨大应用前景的可行方案。
现有基于单目视觉的行人跟踪系统多为如下方案：1.图像空间实现目标检测与跟踪；2.需要标定单目相机与平面的相对位姿；3.利用视觉伺服完成行人跟踪。此类方案具有如下缺陷：1.无法基于给定距离实现行人跟踪；2.需要精确的测量单目相机与平面的相对位姿；3.若目标物丢失，则无法找回。
现有技术中心公开了一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法，本发明从高速公路隧道实际情况出发，针对高速公路隧道环境下行人目标相对较小且容易受到遮挡问题，采用目标检测跟踪的方法，利用K-means对Faster R-CNN网络的Anchor进行重新设计，使其候选框更适合隧道环境下的行人目标检测，其次将FasterR-CNN网络特征提取层的conv3层中的特征信息添到conv5层中，提高网络的特征提取能力；针对隧道环境下行人目标容易受到遮挡，采用卡尔曼滤波容易导致行人目标跟踪不能连续跟踪，将行人重识别网络引入，利用卡尔曼滤波和行人重识别网络进行行人目标的跟踪；但该发明目标重识别能力较为不足。
发明内容
本发明为克服以上至少一种技术问题，提供基于单目相机的行人跟踪与重识别方法，用于解决单目视觉的行人跟踪方案中无法实现给定距离的跟踪和难以重识别行人的问题。
为解决上述技术问题，本发明的技术方案如下：
基于单目相机的行人跟踪方法，包括以下步骤：
S1：获取行人视频帧中的行人图像；对行人图像进行预处理；
S2：将预处理后的行人图像输入预先训练好的目标检测模型中，得到行人检测信息B
其中，
S3：对重叠行人的包络框进行过滤，保存小于给定阈值δ
S4：根据宽度假设的行人距离估计算法，得到行人在相机坐标系下的z方向坐标值；
S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，基于行人的位置信息，对行人进行跟踪。
上述方案中，所述目标检测模型为现有技术中YOLOX目标检测模型。
上述方案中，当行人之间重叠区域过大，检测得到的包络框尺寸具有较大误差，故此处采用了基于IoU(Intersection over Union)的筛选过滤机制。
上述方案中，所述卷积神经网络为现有技术中行人重识别卷积神经网络，利用离线训练好的行人重识别卷积神经网络(convolutional neural network,，CNN)进行全局特征提取，此处使用CNN的最后一层特征输出作为行人图像特征值，该行人图像特征值具有高级语义信息，具有尺度不变形和一定的外观不变形，具有良好的鲁棒性。
进一步的，步骤S1中，所述预处理包括归一化、尺寸缩放处理。
进一步的，步骤S3具体步骤为，对重叠行人的包络框使用IoU过滤机制进行过滤，保存IoU小于给定阈值δ
其中，c和q
进一步的，步骤S4中，宽度假设的行人距离估计算法：
假设包络框为(u
由公式(3)减去公式(4)，得到公式(5)；
其中，z
上述方案中，假设行人位于单目相机的正前方。
进一步的，步骤S5中，所述观测信息为：
其中，包络框信息可推断出行人位于世界坐标系中的位置观测信息；
上述方案中，本发明使用观测信息，只有包络框的信息是需要测量的，可以在近距离观测下成功地获取行人的测量，而不需要行人全身的观测。
根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，具体为：根据卡尔曼滤波的运动与观测方程，得到k-1时刻的行人位置于k时刻的估计信息；基于欧氏距离的全局最近邻匹配GNN，将k时刻的观测信息与k时刻的估计信息相匹配，利用欧氏距离指标计算k时刻的观测信息与k时刻的估计信息的距离，距离最小则匹配成功，得到k时刻状态匹配的观测信息；结合k时刻状态匹配的观测信息和卡尔曼滤波器的更新，得到当前k时刻行人的位置信息。
所述卡尔曼滤波的运动表达式：
其中，状态转移矩阵A＝[10Δt0；010Δt；0010；0001]，噪声项ω为标准正态分布。
所述欧式距离指标，表达式如下：
其中，o
进一步的，在基于单目相机的行人跟踪方法的基础上提出了基于单目相机的行人重识别方法，其特征在于，包括：
S6：将步骤S1中预处理后的行人图像输入训练好的卷积神经网络进行全局特征提取，得到行人图像特征值；
S7：利用行人图像特征值，构建样本集X；
S8：设置Ridge Regression分类器，利用样本集X在线训练Ridge Regression分类器；分类器预测行人的得分，对行人进行重识别判定。
上述方案中，Ridge Regression分类器为一种基于正则化的分类器，该分类器的训练过程本质上是解决带有正则化项的最小二乘问题：
其中，X为训练集；w为分类器的参数；t为标签，由稳定的行人跟踪与识别得到；λ为正则化参数，带有正则化项的分类器可缓解由于重识别卷积神经网络训练集数量有限而造成的过度拟合问题。
进一步的，还包括S9：若机器人未进入重识别状态，则输出行人位置；否则，机器人继续对行人进行重识别判定。
进一步的，步骤S8中，训练分类器过程为：
构建样本集X和超长期样本集L，样本集X最大容量为N
X
给定最新样本集p
所述差异度判断为：
计算最新样本集p
s
其中，λ
上述方案中，短期样本集X
上述方案中，最新样本集p
进一步的，步骤S8中，对行人进行重识别判定包括：若行人的得分小于给定阈值δ
进一步的，基于单目相机的行人跟踪与重识别系统，用于实现基于单目相机的行人跟踪与重识别方法，包括：图像预处理模块、行人跟踪模块、行人重识别模块、输出模块、运动控制模块，其中，
所述图像预处理模块用于对获取到的行人图像预处理，包括归一化、尺寸缩放处理；
所述行人跟踪模块用于根据观测信息，结合卡尔曼滤波器，对行人进行给定距离跟踪；
所述行人重识别模块用于判定行人状态，即判定行人丢失还是原行人；
所述输出模块用于输出行人位置信息，完成行人跟踪与重识别；
所述运动控制模块用于输出运动速度；即，给定跟踪距离与目标行人的位置，采用基于PID的速度控制方式使移动机器人输出合适的运动速度。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出了基于单目相机的行人跟踪与重识别方法，利用宽度假设的行人距离估计算法，实现给定距离的行人跟踪和行人重识别，实现移动机器人鲁棒的行人跟随。本发明使用分类器，即便在行人目标与人群高度相似的情况下也能够取得较好的行人目标重识别效果，提高了行人重识别能力。本发明构建样本集提高分类器的泛化能力，使得分类器能够在复杂变化的情况下依然正确识别行人目标。
附图说明
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
图1为本发明实施例提供的基于单目相机的行人跟踪方法的流程示意图；
图2为本发明实施例提供的基于单目相机的行人重识别方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
实施例1
为了便于理解，请参阅图1，本申请提供的基于单目相机的行人跟踪与重识别方法的一个实施例，包括：
基于单目相机的行人跟踪方法，包括以下步骤：
S1：获取行人视频帧中的行人图像；对行人图像进行预处理；
S2：将预处理后的行人图像输入预先训练好的目标检测模型中，得到行人检测信息B
其中，
S3：对重叠行人的包络框进行过滤，保存小于给定阈值δ
S4：根据宽度假设的行人距离估计算法，得到行人在相机坐标系下的z方向坐标值；
S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，基于行人的位置信息，对行人进行跟踪。
具体的，步骤S1中，所述预处理包括归一化、尺寸缩放处理。
具体的，步骤S3具体步骤为，对重叠行人的包络框使用IoU过滤机制进行过滤，保存IoU小于给定阈值δ
其中，c和q
具体的，步骤S4中，宽度假设的行人距离估计算法：
假设包络框为(u
由公式(3)减去公式(4)，得到公式(5)；
其中，z
具体的，步骤S5中，所述观测信息为：
其中，包络框信息可推断出行人位于世界坐标系中的位置观测信息；
根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，具体为：根据卡尔曼滤波的运动与观测方程，得到k-1时刻的行人位置于k时刻的估计信息；基于欧氏距离的全局最近邻匹配GNN，将k时刻的观测信息与k时刻的估计信息相匹配，利用欧氏距离指标计算k时刻的观测信息与k时刻的估计信息的距离，距离最小则匹配成功，得到k时刻状态匹配的观测信息；结合k时刻状态匹配的观测信息和卡尔曼滤波器的更新，得到当前k时刻行人的位置信息。
所述卡尔曼滤波器的更新为基于观测信息去更新行人位置信息；
所述卡尔曼滤波的运动表达式：
其中，状态转移矩阵A＝[10Δt0；010Δt；0010；0001]，噪声项ω为标准正态分布。
所述欧式距离指标，表达式如下：
其中，o
上述方案中，观测方程关系推导如下：
假设行人于世界坐标系下的坐标为
将公式(8)带入至公式(7)，得到：
假设
将[x y]
本发明提出了基于单目相机的行人跟踪方法，根据宽度假设的行人距离估计算法，结合观测信息，实现给定距离的行人跟踪。
实施例2
具体地，在实施例1的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
基于单目相机的行人重识别方法，包括以下步骤：
S1：获取行人视频帧中的行人图像；对行人图像进行预处理；
S2：将预处理后的行人图像输入预先训练好的目标检测模型中，得到行人检测信息B
其中，
S3：对重叠行人的包络框进行过滤，保存小于给定阈值δ
S4：根据宽度假设的行人距离估计算法，得到行人在相机坐标系下的z方向坐标值；
S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，基于行人的位置信息，对行人进行跟踪。
S6：将步骤S1中预处理后的行人图像输入训练好的卷积神经网络进行全局特征提取，得到行人图像特征值；
S7：利用行人图像特征值，构建样本集X；
S8：设置Ridge Regression分类器，利用样本集X在线训练Ridge Regression分类器；分类器预测行人的得分，对行人进行重识别判定。
S9：若机器人未进入重识别状态，则输出行人位置；否则，机器人继续对行人进行重识别判定。
上述方案中，Ridge Regression分类器为一种基于正则化的分类器，该分类器的训练过程本质上是解决带有正则化项的最小二乘问题：
其中，X为训练集；w为分类器的参数；t为标签，由稳定的行人跟踪与识别得到；λ为正则化参数，带有正则化项的分类器可缓解由于重识别卷积神经网络训练集数量有限而造成的过度拟合问题。
具体的，步骤S8中，训练分类器过程为：
构建样本集X和超长期样本集L，样本集X最大容量为N
X
给定最新样本集p
所述差异度判断为：
计算最新样本集p
s
其中，λ
具体的，步骤S8中，对行人进行重识别判定包括：若行人的得分小于给定阈值δ
本发明提出了基于单目相机的行人重识别方法，利用宽度假设的行人距离估计算法，实现给定距离的行人跟踪和行人重识别，实现移动机器人鲁棒的行人跟随。本发明使用分类器，即便在行人目标与人群高度相似的情况下也能够取得较好的行人目标重识别效果，提高了行人重识别能力。本发明构建样本集提高分类器的泛化能力，使得分类器能够在复杂变化的情况下依然正确识别行人目标。
实施例3
具体地，在实施例1的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
基于单目相机的行人跟踪与重识别系统，用于实现基于单目相机的行人跟踪与重识别方法，包括：图像预处理模块、行人跟踪模块、行人重识别模块、输出模块、运动控制模块，其中，
所述图像预处理模块用于对获取到的行人图像预处理，包括归一化、尺寸缩放处理；
所述行人跟踪模块用于根据观测信息，结合卡尔曼滤波器，对行人进行给定距离跟踪；
所述行人重识别模块用于判定行人状态，即判定行人丢失还是原行人；
所述输出模块用于输出行人位置信息，完成行人跟踪与重识别；
所述运动控制模块用于输出运动速度；即，给定跟踪距离与目标行人的位置，采用基于PID的速度控制方式使移动机器人输出合适的运动速度。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。