一种建立和校准室内射频定位指纹库的方法和装置

技术领域

本发明申请的技术方案属于数据通讯及移动终端设备的室内定位领域，该技术结合人脸视频图像数据的分析和识别技术实现室内射频定位指纹库的建立、更新和校准，即，一种建立和校准室内射频定位指纹库的方法和装置。

背景技术

现有的移动设备定位通常采用其能接收到的GPS信号来实现，但在室内或其他有遮挡或封闭的环境中，移动终端通常不能接收到GPS信号，从而无法实现常用的GPS定位和导航业务。为避免和减少GPS信号欠缺情况下的定位错误和误差，移动运营商会利用移动基站eNB或gNB在室内环境中的射频指纹计算移动终端的室内位置，这种方式需要预先进行室内射频信号工程测量，建立（网格坐标，信号特征向量）射频指纹库。但由于移动网规/网优的需要，基站及信号配置经常发生变更，如果射频指纹库不及时更新，将严重影响移动设备的定位精度。随着视频分辨率提高，AI和人脸识别技术的发展，通过视频技术可以高准确度识别室内预设群体的身份、位置，通过关联采集的预设群体所携带移动终端产生的测量报告MR，建立或实时自动更新射频指纹库。避免射频指纹数据库的人工建立和更新，此外还能通过人工智能和机器学习，持续提高室内定位精度。

测量报告(Measure Report，MR)是指移动终端通过控制信道，在业务信道上以一定时间间隔和测量方式向基站周期性地上报所在小区的下行信号强度、质量等信息，基站将终端上报的下行信息和自身收集的上行物理信息上传给基站控制器，并由其收集与统计。通过采集网络所有终端用户上报的MR数据，根据一定的空间定位算法，将所有移动终端的测量数据渲染到空间地图中，可为终端定位和无线网络规划建设提供准确的依据。

现有的基于指纹库的定位方法中，指纹库里存放的是离散的信号强度和位置坐标。由于信号的多径传播对环境具有依赖性，在不同位置其信道的多径特征也不相同，通常会呈现出非常强的特殊性。传统的位置指纹定位技术有效地利用多径效应，多径特征和位置信息相结合，由于信道的多径影响在同一个位置点具有唯一性，可将多径结构作为数据库中的指纹。基于指纹库的定位方法通过在已建立的指纹库中查找与当前MR的特征最接近的位置点，来确定MR的位置是通常解决封闭环境移动设备定位的技术方案。

在无线网络优化中，能够通过硬采或软采的方式获取到MR(Measurement Report，测量报告)，在MR报告中具有服务小区、相邻小区的RSRQ(无线信号强度)，但没有经纬度信息，而如果有了定位指纹库，可以使用MR报告中的无线信号强度等信息，去定位指纹库按照一定的算法找到最接近的“指纹”，作为该MR报告的经纬度。

在现有的移动通信定位解决方案中，有一种构建定位指纹库的方法：通过路测人员携带路测终端，在需要构建定位指纹库的区域进行实地移动测试，路测终端将路过区域的每一个点的RSRQ (Reference Signal Receiving Quality无线信号强度)、经纬度信息作为一个指纹保存到定位指纹库。 但上述指纹库的建立和更新存在如下缺陷：

1、采用人工路测方式获取采样点，采样点无法获得广泛覆盖，定位指纹库的指纹样本较少；

2、由于基站调整、现场建筑物等环境变化，如果不对定位指纹库中的“指纹”周期性的更新，则指纹库的匹配准确性将大打折扣；

3、特别是是处于室内等密闭环境中时，人工路测无法获取GPS信息，采集MR数据需要人工输入网格位置信息，工作量大，误差大，缺乏可操作性。

发明内容

基于上述指纹库的建立、更新方法的缺陷，本发明申请结合视频图像分析识别技术提出了一种建立和校准室内射频定位指纹库的方法和装置。该技术方案的目的在于提供一种利用计算机视觉技术进行室内射频定位指纹库建立和校准，用以解决现有的室内人工路测方式获取的采样点无法自动获取位置信息，定位指纹库的指纹样本较少的问题；还能解决由于网规网优、现场建筑物等环境变化而定位指纹库中的“指纹”未及时进行周期性地更新，导致指纹库失效问题，另外还能解决人工路测建库成本高问题。解决上述问题的技术方案为：一种建立和校准室内射频定位指纹库的方法，该方法包括如下步骤：

S1：摄像头连续采样预设群体的人脸图像，通过人脸识别技术对其持续识别和定位，获取其在室内不同区域栅格的运行轨迹；

S2：通过移动网络获取室内定位区域移动运营商采样的XDR数据，该数据包括测量报告MR和控制面S1-MME数据；

S3：从S1-MME接口依据MME UE S1APID和时间标签过滤出相应的MR数据，利用S1步获得人脸图像、运行轨迹信息关联预设群体栅格位置和MR数据；

S4：根据S3步的关联信息计算预设群体栅格位置MR数据特征向量，获得栅格位置和特征向量的映射，新增或者校准、更新射频定位指纹数据库。

上述步骤S2中，XDR数据的具体获取过程为从S1-MME接口依据IMSI过滤出预设群体XDR，再根据IMSI和时间标签查找预设群体栅格位置；S2中的测量报告MR包括但不限于服务小区和N个邻区的下行测量数值，每个小区包括3个主要测量要素：参考信号接收功率RSRP，参考信号接收质量RSRQ，终端时间提前量TA。

上述S3步的具体过程包括：

S31：基于预设群体IMSI集合来过滤S1-MME接口OTT（APP）信令的XDR数据，只保留预设群体的信令的XDR数据；

S32：通过S1-MME接口XDR数据时间戳，和IMSI来关联计算机视觉生成的人脸轨迹；

S33：通过S1-MME接口XDR数据时间戳，MME UE SIAPPID来关联测量报告MR；

S34：经过上述二次关联计算后，将测量报告MR填入关联上的人脸栅格坐标。

上述S4步中，根据获得的预设群体栅格位置坐标查询其指纹数据库，如果已经存在特征向量，则按相应规则校准和更新；如果该栅格不存在特征向量，则补充建立相应的特征向量指纹库。

与现有视频定位指纹库更新技术相比，本申请其有益效果是：（1）解决采样点无法自动获取位置信息，定位指纹库的指纹样本较少的问题；（2）解决由于网规网优、现场建筑物等环境变化而定位指纹库中的“指纹”未及时进行周期性地更新，导致指纹库失效问题；（3）解决人工路测建库成本高问题。

本申请还根据上述方法设计了建立和校准室内射频定位指纹库的装置，装置包括如下单元构件：

预设群体特征存储维护单元，收集并建立、维护预设群体人脸图像识别底库，以及预设群体使用的移动终端识别号ID，包括但不限于IMSI、MSISDN、IMEI信息；

预设群体识别跟踪单元，全时段实时对预设群体进行人脸识别和栅格定位，建立预设群体室内运动轨迹库；

运营商数据采集单元，收集运营商软采集MR和硬采集S1-MME接口的XDR数据；

数据关联单元，利用S1-MME接口的XDR数据中的时间标签，IMSI和MME UE S1APPID等字段作为桥梁，将MR数据和预设群体身份关联起来，从而获取计算机视觉的栅格位置数据，填入MR数据；该单元包括如下关联模块：第一数据关联模块，通过S1-MME接口XDR数据时间戳，和IMSI来关联计算机视觉生成的人脸轨迹；第二数据关联模块，通过S1-MME接口XDR数据时间戳，MME UE SIAPPID来关联测量报告MR；

定位指纹库建立校准单元，计算栅格位置的MR数据特征向量，建立或校准定位指纹库。

附图说明

图1是本发明建立和校准室内射频定位指纹库的方法的流程示意图；

图2是人脸图像采集、识别、定位获取不同区域栅格的运行轨迹结构；

图3是将人脸图像、运行轨迹信息关联预设群体栅格位置和MR数据构架的示意图；

图4是本发明建立和校准室内射频定位指纹库的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

需要说明的是，由于具有GPS功能的终端在室内无法获取终端经纬度信息，所以本技术方案通过图像采集和识别技术视觉确定预设群体终端和位置，借助计算机视觉算法，利用定位过程中摄像头拍摄到的图像信息与预先采集的定位场馆的视觉照片数据库做比对，从而确定人员的栅格位置坐标。进一步利用移动终端数据和语音业务同时上报的MR报告来获取定位指纹。本方案中的XDR数据是指基于全量数据进行处理后，生成的供信令监测平台和信令类应用使用的信令及业务的详细记录。

如图1所示为本发明建立和校准室内射频定位指纹库的方法的流程示意图，该方法步骤为：

S1：利用摄像头人脸识别技术持续识别和定位预设群体，获取其在室内定位区域栅格运行轨迹；该步骤的具体过程包括：S11：收集和建立预设群体人脸图像识别底库，获取预设群体使用的移动终端识别号ID，包括但不限于IMSI、MSISDN、IMEI信息；S12：对室内定位区域进行栅格划分，并架设和校准摄像头覆盖定位区域；S13：全时段实时对预设群体进行人脸识别和栅格定位，构建预设群体室内运动轨迹库；

S2：通过移动网络获取室内定位区域移动运营商采样的XDR数据，该数据包括测量报告MR和控制面S1-MME数据；需要说明的是，在通信过程中，移动终端建立了和基站的专用信道。移动终端需要根据网络的测量配置向基站上报测量事件，可以是周期性上报，也可以由事件驱动移动终端对网络的测量事件上报。测量事件中包含了移动终端服务小区以及邻小区的测量信息。网络再根据移动终端上报的测量信息决定移动终端是否发生小区切换。本发明通过运营商基站软采集接口收集与统计移动终端MR。现有的测量报告MR数据中并不包括经纬度等位置信息，在室内也无法通过硬采集数据来获取APP的GPS位置数据，从而导致现有的基于海量MR建立的指纹库的定位精度偏低。而本发明实施例将计算机视觉识别定位的预设群体栅格信息用添加到测量报告MR数据中，保证建立的指纹库的定位精度；

S3：从S1-MME接口依据MME UE S1APID和时间标签过滤出相应的MR数据，利用S1步获得人脸图像、运行轨迹信息关联预设群体栅格位置和MR数据；具体的待建立指纹库的移动终端数据源XDR，包括软采的测量报告MR数据、硬采的控制面S1-MME数据其中，LTE软采的测量报告MR数据中主要字段如表1所示，LTE硬采的控制码S1-MME数据中主要字段如表2所示。

表1：测量报告MR数据

表2 控制面S1-MME数据

首先基于预设群体IMSI集合来过滤S1-MME接口OTT（APP）信令的XDR数据，只保留预设群体的信令XDR数据。通过S1-MME接口XDR数据时间戳，和IMSI来关联计算机视觉生成的人脸轨迹。通过S1-MME接口XDR数据时间戳，MME UE SIAPPID来关联测量报告MR。经过上述二次关联计算后，将测量报告MR填入关联上的人脸栅格坐标。

S4：根据S3步的关联信息计算预设群体栅格位置MR数据特征向量，获得栅格位置和特征向量的映射，新增或者校准、更新射频定位指纹数据库；该步骤中，根据获得的预设群体栅格位置坐标查询其指纹数据库，如果已经存在特征向量，则按相应规则校准和更新；如果该栅格不存在特征向量，则补充建立相应的特征向量指纹库。

测量报告MR包括但不限于服务小区和N个邻区的下行测量数值，每个小区包括3个主要测量要素：参考信号接收功率RSRP，参考信号接收质量RSRQ，终端时间提前量TA。

如图2是人脸图像采集、识别、定位获取不同区域栅格的运行轨迹结构。图中各部分的意义和过程如下：

选择的预设群体，选择预设群体应有典型样本意义，并符合法律隐私保护原则。预设群体是常驻室内定位区域的工作服务人员，室内运动频繁、覆盖区域大，携带的移动终端业务频繁。并自愿采集人脸底库，以及使用的移动终端IMSI、MSISDN和IMEI等识别号。

在室内架设的摄像头，摄像头无死角全覆盖室内定位区域。为保证定位精度，每一个栅格区域可能被多于一个摄像头从不同的角度采集，采用双目定位和融合算法，满足定位精度，提升人脸识别率。为获取尽可能多的数据，需要全时段持续采集室内定位区域。

视频信号传输总线由有线光纤或宽带无线组成，把摄像头采集的视频信号传输和汇集到计算机服务器，进行统一的融合处理。

视频信号融合处理服务器，其完成下列功能：人脸识别获取预设群体的身份ID；视觉定位确定预设群体所处的栅格；过滤非预设群体的识别和定位数据，保存预设群体的轨迹数据用于后续关联和计算。轨迹数据字段包括：(时间、身份、栅格编号)。

图3是将人脸图像、运行轨迹信息关联预设群体栅格位置和MR数据构架的示意图。如图所示，摄像头采集预设群体的时间标签。预设群体所用终端IMSI，通过人脸识别和预存的终端信息获取。预设群体所处的栅格坐标位置。栅格按约定的格式编码，包括楼层，房间，编号等信息。通过人脸识别获取。为提升定位精度，采用多摄像头，多角度采集，融合算法。

需要说明的是，室内定位区域根据环境条件和定位精度要求栅格化并数字化编号，其栅格编号约定包括楼层、房间、过道编码。原则上平面栅格尺寸为10m*10m。所有栅格都被至少一个或多个摄像头覆盖。

更进一步地，为了实现在多个镜头下的联合定位，有必要引入人形识别技术。现有人脸识别结合人形识别的跨镜识别的准确率85％以上，在串联同一人在不同摄像头中的图像的同时，使用校准过的摄像头，可以准确地抓取人在室内的3D室内定位信息。更进一步地，由摄像头采集预设群体的时间标签, 预设群体所用终端IMSI, 预设群体所处的栅格坐标位置组成的元组，描述了单个群体的轨迹信息。控制面S1-MME接口数据包括：预设群体的时间标签, 预设群体所用终端IMSI。MME UE S1AP ID用于MME在S1接口中唯一标识一个UE，其中Time， IMSI与计算机视觉相同。

MME UE S1AP ID用于MME在S1接口中唯一标识一个UE。一般伴随与Attach、Detach、TAU、ServiceRequest这些过程会分配，这些过程结束后都会有一条“UEContextRelease”消息来释放S1连接。需要说明的是，eNB记录的MME UE S1AP ID，软采上报；对终端 INITIAL CONTEXT SETUP REQUEST消息、PATH SWITCH REQUEST消息之前未分配MME UE S1AP ID的过程，采集解析设备需要回填该字段。

需要说明的是，用户IMSI（TBCD编码），通过采集核心网信令获取；针对软采接口，该字段填全F，待数据合成服务器进行回填。

MR软采集接口数据使用的字段包括：预设群体的时间标签, MME UE S1AP ID用于MME在S1接口中唯一标识一个UE，以及RSRP。

主要包含终端的服务小区及邻区RSRP接收信号强度，RSRQ接收信号质量，TA时间提前量。为了增加定位精度，也可能包含其它MR信号信息。

需要说明的是，由于LTE无线网只具有用户临时标识TMSI、MME UE S1APID等，为便于开展LTE无线网络的运行维护和优化工作，需从EPC核心网关联获取用户固定的IMSI信息，为此需要EPC核心网提供各时段IMSI与MMEGI、MMEC、eNBID、s-TMSI/MME S1AP UE ID等的关联关系表。

更进一步地，计算机视觉通过（Time，IMSI）二元组关联S1-MME信令接口，而S1-MME信令接口通过（Time，MME UE S1APID）二元组关联MR接口数据。从将计算机视觉和MR接口数据关联起来，可以获取MR测量报告的栅格位置信息，完成指纹库建立和更新任务。

图4是本发明建立和校准室内射频定位指纹库的装置的结构示意图。该装置包括了：

预设群体特征存储维护单元，收集并建立、维护预设群体人脸识别底库，以及预设群体使用的移动终端识别号ID（IMSI、MSISDN、IMEI）。

预设群体识别跟踪单元，全时段实时对预设群体进行人脸识别和栅格定位，建立预设群体室内运动轨迹库。

运营商数据采集单元，收集运营商软采集MR和硬采集S1-MME接口的XDR数据。

数据关联单元，利用S1-MME接口的XDR数据中的时间标签，IMSI和MME UE S1APPID等字段作为桥梁，将MR数据和预设群体身份关联起来，从而获取计算机视觉的栅格位置数据，填入MR数据。

定位指纹库建立校准单元，计算栅格位置的MR数据特征向量，建立或校准定位指纹库。

更进一步地，所述数据关联单元包括：

第一数据关联模块，通过S1-MME接口XDR数据时间戳，和IMSI来关联计算机视觉生成的人脸轨迹；

第二数据关联模块，通过S1-MME接口XDR数据时间戳，MME UE SIAPPID来关联测量报告MR。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。