一种基于手持终端图像的目标位置情报生成方法

技术领域

本发明属于目标识别技术领域，具体涉及一种基于手持终端图像的目标位置情报生成方法。

背景技术

在公共安全、军事、应急救援或旅游探险领域，随着手持终端(如手机)的不断普及，户外特定目标的发现及其情报采集，可完全由手机等便捷且通用的手持终端完成。尤其在一些特定的涉及全民信息收集与分析的行业，如犯罪嫌疑人员，或者，一些不良行为的发现、记录与上报等，通过图像结合地理信息进行综合分析，可得到可靠的信息供有关机构或团队指挥中心决策或分析使用，不仅采集简便，且传送速度快。

现有情报采集系统，在采集目标地理位置时，具有目标地理位置采集精度不高的问题，从而限制了其推广使用。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于手持终端图像的目标位置情报生成方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于手持终端图像的目标位置情报生成方法，包括以下步骤：

步骤1，当发现可疑目标时，手持终端的摄像头对目标场景进行图像采集，得到监控图像tu(A)，同时，手持终端获得采集监控图像tu(A)时的摄像头位姿信息，包括：摄像头中心点O的位置坐标O(x

步骤2，手持终端将监控图像tu(A)和摄像头位姿信息，利用无线通讯模块，上传给服务器；

步骤3，服务器对监控图像tu(A)进行对象识别，检测监控图像tu(A)中是否有人物对象obj(r)和/或车辆对象obj(c)；如果没有，则表明监控图像tu(A)中不存在可疑目标，结束流程；如果有，则执行步骤4；

步骤4，服务器在监控图像tu(A)中识别出人物对象obj(r)和/或车辆对象obj(c)；如果为人物对象obj(r)，则采用步骤5-步骤6，估算得到人物对象obj(r)的方位α

如果为车辆对象obj(c)，则采用步骤7-步骤8，估算得到车辆对象obj(c)的方位α

步骤5，估算人物对象obj(r)的方位α

步骤5.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，得到人物对象obj(r)与监控图像tu(A)的影像中心点的像素距离x

步骤5.2，根据下式，得到人物对象obj(r)的方位α

α

其中：

人物对象obj(r)的方位α

步骤6，估算人物对象obj(r)与摄像头中心点O的实际距离S

步骤6.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，识别到人物对象obj(r)的头部像素高度m，根据头部像素高度m与头部像素设定阈值m

其中：

f为摄像头焦距；

M为人物身高的像素值，即：在监控图像tu(A)上面，人物对象obj(r)的最小外接矩形的高度方向的像素值，通过分析监控图像tu(A)获得；

H

H

步骤6.2，根据下式，得到人物对象obj(r)在摄像头主光轴方向的投影点到摄像头中心点O的距离D

步骤6.3，根据下式，得到人物对象obj(r)与摄像头中心点O的实际距离S

S

其中：δ

步骤7，估算车辆对象obj(c)的方位α

步骤7.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，得到车辆对象obj(c)与监控图像tu(A)的影像中心点的像素距离x

步骤7.2，根据下式，得到车辆对象obj(c)的方位α

α

其中：

车辆对象obj(c)的方位α

步骤8，估算车辆对象obj(c)与摄像头中心点O的实际距离S

步骤8.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，识别到车辆对象obj(c)的最小外接矩形，最小外接矩形的高度，为车辆像素高度h；

如果车辆像素高度h＞λf，其中，λ为比例系数，为已知固定值，则执行步骤8.2；否则，执行步骤8.3；

步骤8.2，此种情况表明车辆对象obj(c)距离摄像头中心点O的实际距离S

步骤8.3，根据下式，得到车辆对象obj(c)在摄像头主光轴方向的投影点到摄像头中心点O的距离D

其中：

l

k

h为车辆对象obj(c)的像素高度，即：在监控图像tu(A)上面，车辆对象obj(c)的最小外接矩形的高度方向的像素值，通过分析监控图像tu(A)获得；

l

步骤8.4，根据下式，得到车辆对象obj(c)与摄像头中心点O的实际距离S

S

其中：δ

然后执行步骤9；

步骤9，如果为人物对象obj(r)，根据人物对象obj(r)的方位α

如果为车辆对象obj(c)，根据车辆对象obj(c)的方位α

步骤10，服务器生成情报文本信息，其中，所述情报文本信息包括识别出的人物对象obj(r)的位置坐标和/或识别出的车辆对象obj(c)的位置坐标。

优选的，步骤3中，服务器对监控图像tu(A)进行对象识别，具体为：

服务器采用已训练完成的机器学习网络，对监控图像tu(A)进行对象识别。

优选的，服务器采用已训练完成的机器学习网络，对监控图像tu(A)进行对象识别，具体为：

如果服务器识别出监控图像tu(A)中存在人物对象obj(r)，则进一步识别出人物的年龄；根据人物年龄，确定人的普遍实际身高值H

如果服务器识别出监控图像tu(A)中存在车辆对象obj(c)，则进一步识别出车辆类型；根据车辆类型，确定车辆的普遍实际宽度值l

优选的，步骤10之后，还包括：

步骤11，服务器在得到人物对象obj(r)和/或车辆对象obj(c)的位置坐标后，利用地图服务小程序，采用基于目标位置的缓冲分析模块，通过缓冲分析得到人物对象obj(r)和/或车辆对象obj(c)所在场景地理信息，将人物对象obj(r)和/或车辆对象obj(c)与场景地理信息进行融合，生成情报文本信息。

本发明提供的基于手持终端图像的目标位置情报生成方法具有以下优点：

本发明将对象区分为人物对象和车辆对象，针对人物对象和车辆对象分别采用不同的距离识别算法，从而有效提高目标对象距离识别的精度。

附图说明

图1为本发明提供的基于手持终端图像的目标位置情报生成方法的流程示意图；

图2为本发明提供的基于手持终端图像的目标位置情报生成方法的实现原理图；

图3为人物对象地理坐标估计的水平投影图；

图4为在垂直方向，人物头部实际高度及其成像的头部像素高度之间的关系图；

图5为在垂直方向，目标实际高度及其成像高度之间的关系原理图；

图6为考虑摄像头主光轴俯仰角k时的距离计算原理图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明属于移动终端技术、数字地图技术、自动识别技术、公安与军事应用等技术领域的交叉领域，主要针对公共安全与军事侦测过程中，使用手持终端等便携装置，对地面敏感目标或人员的地理位置进行记录，通过无线传输模块快速上传到远程服务端，远程服务端自动生成情报，供相关人员进行分析判别。

参考图1和图2，本发明提供一种基于手持终端图像的目标位置情报生成方法，包括以下步骤：

步骤1，当发现可疑目标时，手持终端的摄像头对目标场景进行图像采集，得到监控图像tu(A)，同时，手持终端获得采集监控图像tu(A)时的摄像头位姿信息，包括：摄像头中心点O的位置坐标O(x

其中，手持终端包括但不限于带摄像头的手机、平板电脑等终端设备；手持终端具有位置与姿态测量传感器模块，用于获得采集监控图像tu(A)时的摄像头位姿信息。具体的，手持终端通过其内置或外置的卫星定位模块，可以得到当前的拍摄点位置坐标，即：摄像头中心点O的位置坐标O(x

步骤2，手持终端将监控图像tu(A)和摄像头位姿信息，利用无线通讯模块，上传给服务器；

步骤3，服务器对监控图像tu(A)进行对象识别，检测监控图像tu(A)中是否有人物对象obj(r)和/或车辆对象obj(c)；如果没有，则表明监控图像tu(A)中不存在可疑目标，结束流程；如果有，则执行步骤4；

具体的，考虑到人员与车辆属于公共安全与军事侦测的首要目标，故本发明以这两类目标为主进行识别，但本发明可识别的目标并不限于人员与车辆。

本步骤中，服务器对监控图像tu(A)进行对象识别，具体为：

服务器采用已训练完成的机器学习网络，对监控图像tu(A)进行对象识别。例如，首先采用机器学习算法，通过大量人员与车辆的数据集训练目标识别神经网络，在得到理想的目标识别神经网络后，将其用于识别手持终端拍摄场景中的目标。经过训练的目标识别神经网络可以较好地识别场景中的目标，比如可以识别场景中的人物是成人还是儿童，也可以识别场景中的车辆类型，属于轿车还是卡车等。

具体的，如果服务器识别出监控图像tu(A)中存在人物对象obj(r)，则进一步识别出人物的年龄；根据人物年龄，确定人的普遍实际身高值H

如果服务器识别出监控图像tu(A)中存在车辆对象obj(c)，则进一步识别出车辆类型；根据车辆类型，确定车辆的普遍实际宽度值l

步骤4，服务器在监控图像tu(A)中识别出人物对象obj(r)和/或车辆对象obj(c)；如果为人物对象obj(r)，则采用步骤5-步骤6，估算得到人物对象obj(r)的方位α

如果为车辆对象obj(c)，则采用步骤7-步骤8，估算得到车辆对象obj(c)的方位α

本发明中，在估算人物对象obj(r)和车辆对象obj(c)与摄像头中心点O的实际距离时，由于估算的目标与摄像头中心点O的实际远近距离不同，因此，其在拍摄到的监控图像中的像素尺寸大小有所不同，同时，手持终端拍摄时的姿态与方位也会造成目标在场景中的像素尺寸发生变化。因此，本发明提出以下人物对象obj(r)和车辆对象obj(c)的地理位置的精准估计方法.

步骤5，估算人物对象obj(r)的方位α

步骤5.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，得到人物对象obj(r)在监控图像tu(A)上的成像点距离监控图像tu(A)的主光轴方向的像素距离x

其中，人物对象obj(r)在监控图像tu(A)上的成像点在图1中表示为G；

步骤5.2，根据下式，得到人物对象obj(r)的方位α

α

其中：

人物对象obj(r)的方位α

如图3所示，为人物对象地理坐标估计的水平投影图；其中，人物对象obj(r)用A表示，影像中心点用O表示；人物对象obj(r)在摄像头成像后的影像平面用B表示；Z轴为摄像头主光轴方向，Y轴为与焦平面垂直的方向；X轴取从Z轴到Y轴的右手系方向确定；

步骤6，估算人物对象obj(r)与摄像头中心点O的实际距离S

本发明在估算人物对象obj(r)与摄像头中心点O的实际距离S

首先考虑摄像头主光轴俯仰角k是否小于人物对象俯仰角设定阈值k

步骤6.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，识别到人物对象obj(r)的头部像素高度m，根据头部像素高度m与头部像素设定阈值m

其中：

f为摄像头焦距；

M为人物身高的像素值，即：在监控图像tu(A)上面，人物对象obj(r)的最小外接矩形的高度方向的像素值，通过分析监控图像tu(A)获得；

H

H

步骤6.1的实现构思为：

当对象为人物对象obj(r)时，根据头部像素高度m与头部像素设定阈值m

具体的：

如果m＞m

而当m≤m

实际应用中，头部像素设定阈值m

参考图4，为在垂直方向，人物头部实际高度及其成像的头部像素高度之间的关系图。其中，头部像素高度用m表示，人物头部实际高度用H

由于D

1)需要强调的是，本发明中，图3为在水平方向，即X轴－Z轴所在平面，目标位置及其影像的原理图；而图5为在垂直方向，目标实际高度及其成像高度之间的关系原理图。

目标从原位置平行移到主光轴方向时，水平方向的变化比例与垂直方向的变化比例相同。

如果已知目标实际高度，假设为人的普遍实际身高值H

H′

即：主光轴方向上的实际高度，等于原高度，乘以比例D

2)基于图3水平方向的原理图，可知：

D

3)结合公式(1)和公式(2)，得到以下公式(3)：

H′

4)不考虑相机姿态，则有以下几何关系：

M/H′

因此：具有以下公式(5)：

D

5)结合公式(5)和公式(3)，得到公式(6)：

D

又由于在图3中，δ

D

步骤6.2，根据下式，得到人物对象obj(r)在摄像头主光轴方向的投影点到摄像头中心点O的距离D

如图6所示，为考虑摄像头主光轴俯仰角k时的距离计算原理图。在图6中，是采用人物身高作为基准进行距离计算。由图6可知，考虑摄像头主光轴俯仰角k时的D

步骤6.3，根据下式，得到人物对象obj(r)与摄像头中心点O的实际距离S

S

其中：δ

步骤7，估算车辆对象obj(c)的方位α

步骤7.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，得到车辆对象obj(c)与监控图像tu(A)的影像中心点的像素距离x

步骤7.2，根据下式，得到车辆对象obj(c)的方位α

α

其中：

车辆对象obj(c)的方位α

步骤8，估算车辆对象obj(c)与摄像头中心点O的实际距离S

步骤8.1，服务器对监控图像tu(A)进行分析，在监控图像tu(A)上面，识别到车辆对象obj(c)的最小外接矩形，最小外接矩形的高度，为车辆像素高度h；

如果车辆像素高度h＞λf，其中，λ为比例系数，为已知固定值，则执行步骤8.2；否则，执行步骤8.3；

本发明对车辆对象obj(c)的距离进行识别时，主要构思为：

通过确定λ值，从而确定车辆对象obj(c)距离摄像头的远近距离：

具体的：

如果车辆像素高度h＞λf，表明车辆对象obj(c)距离摄像头中心点O的实际距离S

如果车辆像素高度h≤λf，此时表明车辆对象obj(c)距离摄像头中心点O的实际距离S

第一种情况，摄像头主光轴俯仰角k较小时，即：k≤k

第二种情况，摄像头主光轴俯仰角k较大时，即：k＞k

其中，λ可取为0.15。λ可通过以下方式确定：

1)假设当车辆对象obj(c)在摄像头主光轴方向的投影点到摄像头中心点O的距离D

由于h/H′

其中：

h为车辆像素高度；

H′

2)因此，可以得到：h＞0.15f，即：λ为0.15。

步骤8.2，此种情况表明车辆对象obj(c)距离摄像头中心点O的实际距离S

步骤8.3，根据下式，得到车辆对象obj(c)在摄像头主光轴方向的投影点到摄像头中心点O的距离D

其中：

l

k

h为车辆对象obj(c)的像素高度，即：在监控图像tu(A)上面，车辆对象obj(c)的最小外接矩形的高度方向的像素值，通过分析监控图像tu(A)获得；

l

步骤8.4，根据下式，得到车辆对象obj(c)与摄像头中心点O的实际距离S

S

其中：δ

然后执行步骤9；

步骤9，如果为人物对象obj(r)，根据人物对象obj(r)的方位α

如果为车辆对象obj(c)，根据车辆对象obj(c)的方位α

步骤10，服务器生成情报文本信息，其中，所述情报文本信息包括识别出的人物对象obj(r)的位置坐标和/或识别出的车辆对象obj(c)的位置坐标。

步骤11，服务器在得到人物对象obj(r)和/或车辆对象obj(c)的位置坐标后，利用地图服务小程序，采用基于目标位置的缓冲分析模块，通过缓冲分析得到人物对象obj(r)和/或车辆对象obj(c)所在场景地理信息，将人物对象obj(r)和/或车辆对象obj(c)与场景地理信息进行融合，生成情报文本信息。

需要强调的是，限于目前手持终端的软件计算能力，上述情报生成过程在服务器中进行，如果手持终端具备较强的数据处理能力，则可直接在手持终端进行情报生成过程，然后将生成后的情报信息与监控图像一起再上传给服务器即可。本发明对此并不限制。

实际应用中，如果需要上传到服务器生成情报，在手持终端拍照上传到服务器之前，可以首先要求用户在图像上指定敏感目标，此操作可通过简单的交互指定；然后，服务器在进行目标识别算法时，只提取图像上指定位置相关的目标，忽略其它目标，从而可使生成的情报更为明确。

本发明提供的基于手持终端图像的目标位置情报生成方法，综合手持终端各方面的性能，包括摄影、定位、定向与测姿，再结合地理信息系统中已有的海量地理信息，以及地理信息系统具有的地图分析功能，再结合现有机器学习方法中的目标识别以及文字融合等多方面的功能，集成一套方便使用的智能情报生成系统，方便相关部门通过信息采集者甚至普通用户的手机终端收集敏感或相关兴趣点目标信息。

本发明提供的基于手持终端图像的目标位置情报生成方法，具有以下优点：

本发明将对象区分为人物对象和车辆对象，针对人物对象和车辆对象分别采用不同的距离识别算法，从而有效提高目标对象距离识别的精度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。