智能导盲系统

技术领域

本发明涉及导盲设备技术领域，特别是涉及智能导盲系统。

背景技术

我国有着世界上人口数量最多的视力残障人士群体，2018年视障人数多达1700多万人。但是市场上视力残障人士产业还未得到足够发展，线下服务视力残障人士的智能设备不足。

目前，市场上已经存在导盲杖、导盲鞋、导盲眼镜、导盲机器人、导盲机器狗等产品，但它们存在着携带不便、过于沉重、造价昂贵和使用复杂等缺点。同时这些产品往往成本过高，使用复杂，受众小，无法投入量产。

发明内容

本发明实施例提供了智能导盲系统，可以解决现有技术中的问题。

本发明提供了智能导盲系统，包括导盲仪和守护子系统，所述守护子系统包括盲人客户端，所述盲人客户端安装在盲人使用的智能设备上；

所述导盲仪包括外壳、双目摄像头和数据处理单元，所述双目摄像头安装在外壳一端的端面上，所述数据处理单元位于外壳内部并与双目摄像头电连接；

所述数据处理单元接收盲人说出的目的地语音，并将目的地语音发送给盲人客户端，所述盲人客户端将语音转换为文字后获得目的地；接着所述盲人客户端进行当前位置到目的地的路线规划，得到出行路线，所述盲人客户端通过语音的形式向盲人播报路径信息；

在盲人行走时，所述双目摄像头采集视频流，所述数据处理单元获取视频流中的图像数据，根据图像数据实时识别前方物体的类型，在获取物体类型的同时所述数据处理单元还确定盲人和前方物体之间的距离；得到当前距离后，所述数据处理单元将当前距离和设定的距离阈值进行比较，如果当前距离小于或等于距离阈值，则表示当前距离危险，此时所述数据处理单元将识别得到的物体类型和距离传送到盲人客户端，所述盲人客户端通过语音的形式告知盲人注意避障。

优选地，所述守护子系统还包括云服务器和家属客户端，所述家属客户端安装在家属使用的智能设备上；

所述盲人客户端将盲人出行的相关数据上传至云服务器，当所述家属客户端和盲人客户端绑定后，家属通过所述家属客户端查看盲人的出行数据。

优选地，所述云服务器对盲人出行的过程进行实时监控，当发现盲人的状态出现异常，所述云服务器向与该盲人客户端绑定的家属客户端发送提醒信息，提醒家属及时查看盲人是否存在异常情况。

优选地，所述云服务器将上传的数据存储在MySql数据库中。

优选地，所述盲人客户端和家属客户端均为微信小程序。

优选地，所述盲人客户端在进行语音合成时，所述导盲仪将物体类型和当前距离数据发送给盲人客户端，所述盲人客户端向云服务器发送请求，所述云服务器向华为云服务器发出文字转语音的请求，所述华为云服务器处理后将合成的语音传递至盲人客户端，所述盲人客户端通过语音播报来提示盲人避开障碍；

所述盲人客户端在进行语音识别时，所述盲人客户端识别到盲人语音后向云服务器发送请求，所述云服务器向华为云服务器发出语音转文字的请求，所述华为云服务器处理后将转换的文字返回给盲人客户端，所述盲人客户端接收到以后，按照文字中描述的目的地开始为盲人规划路线并导航。

优选地，所述盲人客户端将物体类型和当前距离数据以语音的形式发送到盲人佩戴的蓝牙耳机中。

优选地，所述外壳为手电筒外形。

优选地，所述导盲仪采用蓝牙技术与盲人客户端进行数据传输。

优选地，所述数据处理单元采用Yolov3物体识别算法实时识别前方物体的类型。

本发明提供的系统，基于计算机视觉为盲人提供基本的避障功能，通过目标检测和测距算法算法识别出障碍物体及物体离盲人的距离后，通过语音播报对其进行提示。同时，智能导盲软件可根据使用者的语音指令开启导航。残障人士外出行走的数据经云服务器转化后，反馈至手机微信小程序和智能导盲监测系统页面，供其家属或残障中心管理人员远程查看。本发明的系统集可手持的导盲仪、微信小程序、智能导盲监测系统、后台数据分析为一体，具有人性化、实用化和智能化的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中智能导盲系统的工作流程示意图；

图2为导盲仪的外部结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1和图2，本发明提供了智能导盲系统，该系统包括导盲仪和守护子系统，所述守护子系统包括盲人客户端、家属客户端和云服务器，所述盲人客户端和家属客户端分别安装在盲人和家属使用的智能设备上，所述盲人客户端与导盲仪和云服务器均通信连接，所述家属客户端与云服务器通信连接。

在本实施例中，所述盲人客户端和家属客户端均为微信小程序。

所述导盲仪包括外壳100、双目摄像头110和数据处理单元。所述外壳100为类似手电筒的形状，所述双目摄像头110安装在外壳100一端的端面上。所述数据处理单元位于外壳100内部并与双目摄像头110电连接，用以处理双目摄像头110采集的图像数据。

在本实施例中，所述数据处理单元为英伟达Jetson开发板，该开发板具有强大的计算能力，能够满足导盲需求。

当盲人需要导航至目的地时，按下外壳100上的触发按钮并说出目的地，所述外壳上的麦克风接收语音并将其发送给数据处理单元，所述数据处理单元将语音数据发送给盲人客户端，所述盲人客户端将语音转换为文字后获得目的地接着所述盲人客户端采用GPS定位技术进行当前位置到目的地的路线规划，得到出行路线，所述盲人客户端通过语音的形式向盲人播报路径信息。

在盲人按照路径信息行走时，所述双目摄像头110模拟人眼采集视频流，所述数据处理单元获取视频流中的图像数据，并采用Yolov3物体识别算法实时识别前方物体的类型，在获取物体类型的同时所述数据处理单元还采用双目测距算法确定盲人和前方物体之间的距离。得到当前距离后，所述数据处理单元将当前距离和设定的距离阈值进行比较，如果当前距离大于距离阈值，则表示当前距离安全，所述数据处理单元继续从视频流中获取图像数据并进行距离测量和判断工作。如果当前距离小于或等于距离阈值，则表示当前距离危险，此时所述数据处理单元将识别得到的物体类型和距离传送到盲人客户端，所述盲人客户端即通过语音的形式告知盲人注意避障。

具体地，所述数据处理单元首先通过图像识别算法调用双目摄像头，对双目摄像头画面中的物体实时检测，边扫描边识别出物体。其次，对于监测到的物体返回网络中，识别出的物体框坐标，将其输入到双目相机中，通过对两幅图像视差的计算，对图像中的物体进行距离测量。

在本实施例中，所述距离阈值为3m，所述盲人客户端将物体类型和距离以语音的形式发送到盲人佩戴的蓝牙耳机中。所述导盲仪采用蓝牙技术与盲人客户端进行数据传输。所述盲人客户端在进行语音识别和语音合成时，均采用华为云的语音交互服务完成。

具体地，语音合成时，导盲仪将物体的类型和离盲人的距离数据以json字符串的格式发送给盲人客户端，盲人客户端向云服务器发送请求，云服务器向华为云服务器发出文字转语音的请求，华为云服务器处理后将合成的语音传递至盲人客户端，盲人客户端通过蓝牙耳机播报出来提示盲人避开障碍。

语音识别时，盲人客户端识别到盲人语音后向云服务器发送请求，云服务器向华为云服务器发出语音转文字的请求，华为云服务器处理后将转换的文字返回给盲人客户端，盲人客户端接收到以后，按照文字中描述的目的地开始为盲人规划路线并导航。

所述盲人客户端将盲人出行的相关数据上传至云服务器，所述云服务器将上传的数据存储在MySql数据库中，当家属客户端和盲人客户端绑定后，家属可以通过家属客户端查看盲人的出行数据。本实施例中，所述盲人客户端将盲人的出行数据以json格式上传至云服务器。

所述云服务器对盲人出行的过程进行实时监控，当发现盲人的状态出现异常，例如实际出行路径与规划的路径存在严重偏离或者盲人长时间停留在原地，则所述云服务器向与该盲人客户端绑定的家属客户端发送提醒信息，提醒家属及时查看盲人是否存在异常情况。

同时，所述云服务器还与智能导盲监测子系统连接，所述智能导盲监测子系统可以评测盲人的出行相关数据，并展示盲人出行实时状况及监护盲人的出行安全。所述智能导盲监测子系统与供残障管理人员使用的网络端连接，残障管理人员可通过该网络端查看云服务器中存储的盲人出行的相关数据。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。