一种基于AR与室内多重定位的医院智能导诊系统

技术领域

本发明涉及医疗服务技术领域，尤其涉及一种基于AR与室内多重定位的医院智能导诊系统。

背景技术

现阶段医院导诊服务主要依赖人工导诊，一般在患者进入医院后，导诊台工作的护士是施行导诊的关键。但是，随着医院患者的增加，护士缺口日益增大，在面对大量候诊患者时，护士工作强度呈直线上升，在高强度的工作下，容易导致护士的导诊工作出现纰漏。同时，导诊工作较为单调，如果只采用人工导诊，会耗费大量人力和时间，而且人工导诊无法满足患者的各类需求，让医院中的服务质量与效率降低。

目前，部分医院已实现网上预约、自助预约、数字标牌叫号功能，但病人到医院看病一般还是传统的诊疗模式，自动化水平不足，就诊效率低，当病人对医院内环境位置、对流程不熟悉则需来回奔波，耗费大量时间，若医院有就诊人多，则会造成一定程度的堵塞拥挤，此种情况更加凸显。

很多医院设立云导诊服务平台，通过医院的实体信息和手机的结合，让患者在手机端实现云导诊，但老年人对于智能手机的使用比较保守和迟钝，手机上的云导诊很难适用于他们。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种基于AR与室内多重定位的医院智能导诊系统。

本发明是通过以下技术方案实现的：

一种基于AR与室内多重定位的医院智能导诊系统，包括有硬件平台和云端平台，所述的硬件平台和云端平台之间采用ZeroMQ消息传输协议进行数据传输，通过硬件平台进行图像和位置信息的采集,并将采集的图像和位置信息传输到云端平台，所述云端平台采用室内定位模型、视觉定位模型、融合定位模型、路网规划模型、语音合成模型和增强现实模型对上传的图像和位置信息进行分析,完成室内定位、视觉定位、融合定位、路径规划、语音合成及合成虚拟影像，将分析后的数据传送回硬件平台，硬件平台将虚实场景融合以及导航信息语音播报用来指示用户，完成导诊任务。

所述的硬件平台包括有主板，在主板上集成有用于采集图像信息的双摄像头、用于获取位置信息的陀螺仪和磁力计、用于虚拟影像和真实场景融合的光波导镜片和用于将合成语音信息播报给用户的语音播报模块。

所述的室内定位模型采用WIFI室内定位导航模型,首先通过WIFI位置指纹定位方法，利用基于信号缓冲队列的过滤算法对原始数据进行预处理，对AP信标部署，设置参考点采集RSS信息构建指纹数据库；将待定位点的RSS矢量与构建的位置指纹数据库通过在线定位WKNN算法估算出待定位点位置信息，从而分析出用户目前所在位置，在云端平台输入就诊目标科室，并通过Dijkstra算法为用户提供路径规划。

所述的信号缓冲队列，具体如下：

设置一个固定长度的数组作为缓冲区间，当接收到AP信号时，按时间顺序填充到数组中，当缓冲空间饱和后，按先进先出的顺序进行信号流的更新；无线信号的接收过程以一个确定的时间作为信号的采集周期，在这个周期内会获取多个来自不同AP的信号，因此缓冲区间的内容以组为单位，每组数据包含一系列AP数据，每一个AP数据的信息包括硬件的id信息以及信号的到达强度RSSI；AP信号的可靠性由两个因素决定，一是信号强度，二是信号到达时间；信号强度表示AP标签与接收位置的相对距离，因此信号强度值越高，相对的AP信号源也就更接近当前位置，根据无线信号单点定位的方式，如果来自某一个AP标签的信号强度超过一定阈值，则确定信号接收位置与AP标签位置保持一致；对缓冲队列中的信号组进行遍历筛选，得到信号强度最大的AP标签，据此进行位置对应；信号到达时间表示AP信号的时效性，在信号缓冲空间中，每组AP信号按时间顺序进入队列，在不考虑障碍物干扰的情况下，队列尾部的AP数据对于当前的位置计算而言更具有代表性，如果用户处于移动过程中时，由于所处位置不同，会导致不同AP标签的信号强度相近，需要依据最新的数据进行处理。

基于信号缓冲队列的过滤算法具体流程如下：

a.进行信号组内排序，遍历缓冲队列，对队列中每一组AP信号按RSS值从大到小进行重排列，将组内序号j作为信号强度权值；b.提取缓冲队列中出现过的AP标签，依次创建槽位，用于存放权重总和；c.循环遍历整个缓冲队列，用AP在队列中的序号k表示信号的时间权重；d.将每一个AP标签在队列和每组信号中的时间权重k和强度权重j乘以相应的系数进行累加，填充到对应的槽位中，权重计算公式为

weight＝k*kScale-j*jScale+N

其中时间权重随着下表的增大而增加，强度权重随着下标的增大而减小，kScale和jScale分别表示比例系数，N表示环境因素；e.根据权重大小选择出影响最大的AP标签，标签所在的位置即为当前位置。

所述的路网规划模型的路径规划，具体如下：先进行路网构建，路网的构建过程分为两部分，即在现有三维室内模型的基础上，进行模型的二维映射以及位置和路径信息的描述，将三维模型进行二维模型映射后，需要对于平面路径信息进行描述；路径信息的描述包含三部分内容：房间节点、路径节点、WIFI节点，房间节点为室内场景中的独立空间，作为室内移动过程中的停留点或者目的地，路径节点表示室内地图各个空间位置的连通关系，在导航过程中，需要通过不同位置路径节点的计算得到路径规划，WIFI节点作为室内基础设施的部署依据，用来表示WIFI设备的位置信息，完成路网构建后通过Dijkstra算法为用户提供路径规划。

所述的视觉定位模型是基于场景图像特征匹配的视觉定位模型，包括视频帧的处理、采用近似最近邻搜索和分区定位方法，利用图像的相似匹配进行定位的方式，依赖于图像的显示效果以及匹配精度；当进行画面捕捉时，首先对采集到的图像进行判断和处理，采用Sobel算子进行图像边缘检测，计算图像每一像素位置的梯度质量，与标准清晰图像的梯度质量总和比较，进行质量检测，质量合格的图像通过SURF算法与场景数据集进行匹配；采用近似最近邻方法中通过构造树结构快速地进行向量配准，从而计算多维向量之间的距离计算，距离越近，相似度越高；当室内空间所处位置相近时，同一观测方向下的场景图像的差距体现在比例变换上，采用分区视觉定位进行定位，以平面关键位置为中心，进行矩形展开，将矩形块内采集的图像全部关联到中心坐标上，在进行测试图像的匹配时，按匹配率获取一定数量的匹配结果，按契合度顺序分配权重，根据权重累加进行区域选择；

分区定位的流程如下：a.进行测试图像的特征提取，b.与场景图像集进行特征匹配，c.按匹配相似度按从高到低排序，并对高于阈值的样本图像进行权重分配，d.按样本图像所属区域进行权重叠加，得到每一个平面区域对应的权重总和，e.按权重总和取最高项作为定位结果，将区域重心坐标作为位置返回。

所述的融合定位模型是将所述信号缓冲队列和分区定位进行融合定位，一是AP粗定位，二是图像细定位，在WIFI定位中，通过信号缓冲队列的方式快速获取最近的AP位置，以AP所处平面位置为分区中心，向四周进行节点延伸，在每一个节点位置采集场景图像数据集，用于视觉定位，在采集到RSS后进行管道过滤，然后直接对周围节点的图像集进行比较，用图像匹配的结果作为用户位置返回就能够避免因为信号的更新问题导致的波动；

具体如下：

第一步，通过缓冲队列进行WIFI定位，得到一系列AP节点以及其对应的时间以及RSS权重值；

第二步，将摄像机捕捉的视频画面进行帧截取，对于截取图像进行尺度缩放，用于减少计算量，并计算清晰度评估质量；

第三步，将合格的图像进行特征提取，并与队列中包含的AP节点位置的场景数据集进行特征向量匹配；

第四步，将匹配结果作为视觉权重添加到权重总和上，得到稳定AP点；

第五步，对于AP点的邻接路径节点进行图像匹配，将匹配最优解作为定位结果。

所述的语音合成模型是通过接入第三方语音识别平台进行合成语音信息的，第三方语音识别平台将合成的语音信息回传给主板，再通过耳麦播报。

所述的增强现实模型在场景图像中添加虚拟物体，使之呈现与真实世界物体一样的阅览效果，并带有一定的交互功能；首先通过双摄像头采集室内图像，将其传到云端平台进行预处理得到大概位置，通过陀螺仪角速度的积分计算得到角度偏移值，从而得到设备分别绕x,y,z轴的旋转角度，通过磁力计测量出设备的正前方朝向与地球正北方的偏移角度，并将这两个参数传到云端平台计算出设备的摆放姿态；非可视化跟踪的AR渲染得到设备的姿态角度；根据双摄像头画面中物体的平面坐标为现实坐标的等比例缩放，云端平台通过数值计算出位置的移动，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算。

本发明的优点是：本发明将硬件平台采集的图像和位置信息传输到云端；通过部署在云端的室内定位模型、路网规划模型、融合定位模型、语音合成模型和增强现实模型对上传的图像和位置信息进行分析,完成室内定位、视觉定位、融合定位、路径规划、合成虚拟影像及语音合成的任务；融合定位技术，WIFI信号易受干扰，建立位置指纹库耗时，视觉定位样本数量越多准确率越高，但算法的计算时长成倍增加，融合定位既能够解决无线信号定位的精度和信号波动问题，同时又能够减少图像匹配的计算时长。使用AR技术，合成虚实影像，让用户体验沉浸式导航。最后将虚实场景融合以及导航信息语音播报用来指示用户，本发明能够显著提高老年人在医院自主就诊的便利程度，提升老年人医疗服务水平，提高老年人群体生活福祉。

附图说明

图1为系统设计框图；

图2为云端计算流程图；

图3为WIFI定位导航流程图；

图4为视觉定位流程图；

图5为语音合成流程图；

图6为虚拟现实流程图；

图7信号缓冲队列流程图；

图8分区视觉定位流程图；

图9融合定位流程图。

具体实施方式

如图1所示，一种基于AR与室内多重定位的医院智能导诊系统，采用双摄像头、陀螺仪、磁力计等进行图像和位置信息的采集,将采集的图像和位置信息传输到云端；通过部署在云端的室内定位模型、视觉定位模型、路网规划模型、融合定位模型、语音合成模型和增强现实模型对上传的图像和位置信息进行分析,完成室内定位、视觉定位、融合定位、路径规划、合成虚拟影像及语音合成的任务；最后将虚实场景融合以及导航信息语音播报用来指示用户。本发明能够显著提高老年人在医院自主就诊的便利程度，提升老年人医疗服务水平，提高老年人群体生活福祉。

本发明由以下三大部分组成，硬件平台、ZeroMQ消息传输协议、云端平台。其中，硬件平台是以主板为核心，在其基础上集成双摄像头、陀螺仪、磁力计、光波导镜片、语音播报模块。主板作为硬件平台的中央处理器，负责数据的采集、发送、接收以及语音信息的播报；双摄像头负责采集图像信息；陀螺仪和磁力计获取位置信息；光波导镜片负责虚拟影像和真实场景的融合；语音播报模块通过耳麦将合成语音信息播报给用户；

ZeroMQ消息传输协议是一个更小、更快、更简单的传输层协议，它是由TCP传输控制协议、socket通信以及消息队列组成，主要完成硬件平台与云端平台的数据传输，该协议可以实现多个硬件平台连接一个云端平台，完成异步并发操作。

如图2所示，云端平台以云端模型为核心，对上传的视频图像进行信息分析，实现室内定位、视觉定位、融合定位、路径规划、语音合成、虚拟影像合成功能。语音合成模块采用第三方语音平台成语音信息；云端模型是依托云端计算平台部署室内定位模型、视觉定位模型、路网规划模型、融合定位模型、语音合成模型和增强现实模型，通过模型对硬件平台上传的视频图像进行室内定位、视觉定位、融合定位、路径规划、语音合成、虚拟影像合成，将该过程的数据分析结果通过ZeroMQ消息传输协议返回到硬件平台的光波导镜片将虚拟影像和目标实景相结合，语音播报模块对语音合成结果进行语音播报，从而实现盲人导航。

图3为本发明的WIFI室内定位导航模型,首先通过WIFI位置指纹定位方法，利用基于信号缓冲队列的过滤算法对原始数据进行预处理，对AP信标部署，设置参考点采集RSS信息构建指纹数据库。将待定位点的RSS矢量与构建的位置指纹数据库通过在线定位WKNN算法估算出待定位点位置信息，从而分析出用户目前所在位置，在云端平台输入就诊目标科室，并通过Dijkstra算法为用户提供路径规划。

图4为本发明的基于场景图像特征匹配的视觉定位流程图。这部分主要包括视频帧的处理、采用近似最近邻搜索和分区定位方案。利用图像的相似匹配进行定位的方式，依赖于图像的显示效果以及匹配精度。当进行画面捕捉时，由于硬件和软件的限制，会发生画面模糊，色差明显等情况。因此首先需要对采集到的图像进行判断和处理。由于图像的清晰度会因为设备在移动过程中的抖动状况而发生变化，图像越清晰，物体轮廓越明显，反之就越模糊，轮廓可以体现为像素之间的明显差异，轮廓明显，像素之间的梯度变换会比较大，反之则较小。因此，采用Sobel算子进行图像边缘检测，计算图像每一像素位置的梯度质量，与标准清晰图像的梯度质量总和比较，进行质量检测。质量合格的图像通过SURF算法与场景数据集进行匹配。由于处于一定分辨率范围内的图像，匹配程度基本持平，匹配精度也不会产生大的波动，因此要缩小图像整体尺度，等比例缩放，减少计算内容。

图像特征匹配依靠特征点的匹配，采用近似最近邻方法中的通过构造树结构快速地进行向量配准，从而计算多维向量之间的距离计算，距离越近，相似度越高。当室内空间所处位置相近时，同一观测方向下的场景图像的差距主要体现在比例变换上，通过特征提取算子进行的匹配会直接看作为图像的物理变换，因此会存在很多的误匹配结果。由于定位精度不需要精确到点位置，为保证定位结果的准确性，将平面空间进行划分，以区域为单位关联图像的位置。首先进行测试图像的特征提取，将其与场景图像集进行特征匹配，按匹配相似度按从高到低排序，并对高于阈值的样本图像进行权重分配，按样本图像所属区域进行权重叠加，得到每一个平面区域对应的权重总和，按权重总和取最高项作为定位结果，将区域重心坐标作为位置返回。

图5为本发明的语音合成功能流程图。语音合成功能模块通过接入第三方语音识别平台来进行实现。语音合成模型是通过接入第三方语音识别平台进行合成语音信息的，第三方语音识别平台将合成的语音信息回传给主板，再通过耳麦播报。

图6为本发明的AR增强现实技术工作流程图。增强现实技术依靠硬件设备的场景图像采集以及软件算法的计算，在场景图像中添加虚拟物体，使之呈现与真实世界物体一样的阅览效果，并带有一定的交互功能。首先通过摄像头采集室内图像，将其传到云端平台进行预处理得到大概位置。通过陀螺仪角速度的积分计算得到角度偏移值，从而得到设备分别绕x,y,z轴的旋转角度。通过磁力计测量出设备的正前方朝向与地球正北方的偏移角度，并将这两个参数传到云端平台计算出设备的摆放姿态。非可视化跟踪的AR渲染通过传感器参数可以得到设备的姿态角度。根据相机画面中物体的平面坐标为现实坐标的等比例缩放，云端平台通过数值计算出位置的移动，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。

基于信号缓冲队列和图像分区定位的融合定位如下：

(1)信号缓冲队列

设置一个固定长度的数组作为缓冲区间，当接收到AP信号时，按时间顺序填充到数组中，当缓冲空间饱和后，按先进先出的思想进行信号流的更新。无线信号的接收过程以一个确定的时间作为信号的采集周期，在这个周期内可能会获取多个来自不同AP的信号，因此缓冲区间的内容以组为单位，每组数据包含一系列AP数据，每一个AP数据的信息包括硬件的id信息以及信号的到达强度RSSI。

AP信号的可靠性由两个因素决定，一是信号强度，二是信号到达时间。信号强度表示AP标签与接收位置的相对距离，因此信号强度值越高，相对的AP信号源也就更接近当前位置，根据无线信号单点定位的思想，如果来自某一个AP标签的信号强度超过一定阈值，则可以确定信号接收位置与AP标签位置保持一致。对缓冲队列中的信号组进行遍历筛选，可以得到信号强度最大的AP标签，据此进行位置对应。信号到达时间表示AP信号的时效性，在信号缓冲空间中，每组AP信号按时间顺序进入队列，在不考虑障碍物干扰的情况下，队列尾部的AP数据对于当前的位置计算而言更具有代表性，比如用户处于移动过程中时，由于所处位置不同，会导致不同AP标签的信号强度相近，这种情况下需要依据最新的数据进行处理。

基于信号缓冲队列的过滤算法具体流程如下：a.进行信号组内排序，遍历缓冲队列，对队列中每一组AP信号按RSS值从大到小进行重排列，将组内序号j作为信号强度权值；b.提取缓冲队列中出现过的AP标签，依次创建槽位，用于存放权重总和；c.循环遍历整个缓冲队列，用AP在队列中的序号k表示信号的时间权重；d.将每一个AP标签在队列和每组信号中的时间权重k和强度权重j乘以相应的系数进行累加，填充到对应的槽位中，权重计算公式为

weight＝k*kScale-j*jScale+N

其中时间权重随着下表的增大而增加，强度权重随着下标的增大而减小，kScale和jScale分别表示比例系数，N表示环境因素；e.根据权重大小选择出影响最大的AP标签，标签所在的位置即为当前位置。信号缓冲队列流程图如图7所示。

(2)分区视觉定位

以平面关键位置为中心，进行矩形展开，将矩形块内采集的图像全部关联到中心坐标上，在进行测试图像的匹配时，按匹配率获取一定数量的匹配结果，按契合度顺序分配权重，根据权重累加进行区域选择。分区定位的流程如下图所示，a.进行测试图像的特征提取，b.与场景图像集进行特征匹配，c.按匹配相似度按从高到低排序，并对高于阈值的样本图像进行权重分配，d.按样本图像所属区域进行权重叠加，得到每一个平面区域对应的权重总和，e.按权重总和取最高项作为定位结果，将区域重心坐标作为位置返回。分区视觉定位流程图如图8所示。

(3)融合定位

第一步通过缓冲队列进行WIFI定位，能够得到一系列AP节点以及其对应的时间以及RSS权重值；

第二步，将摄像机捕捉的视频画面进行帧截取，对于截取图像进行尺度缩放，用于减少计算量，并计算清晰度评估质量；

第三步，将合格的图像进行特征提取，并与队列中包含的AP节点位置的场景数据集进行特征向量匹配；

第四步，将匹配结果作为视觉权重添加到权重总和上，得到稳定AP点；

第五步，对于AP点的邻接路径节点进行图像匹配，将匹配最优解作为定位结果。融合定位流程图如图9所示。