一种盲人智能语音眼镜、控制方法、存储介质、程序

技术领域

本发明属于智能眼镜技术领域，尤其涉及一种盲人智能语音眼镜、控制方法、存储介质、程序。

背景技术

目前，有一款叫做“天使眼智能眼镜”的盲人辅助眼镜，主要有两种模式，一种是识别模式：可以识别钞票、颜色、光照和通用识别。(目前通用识别可以识别的物体如下：斑马线、柱子、栏杆、自行车、摩托车、小汽车、显示器、沙发、床、桌子、椅子、杯子、人、手机、门和楼梯)；另一种为感知模式：连接眼镜的情况下，点击“感知模式”按钮，开始虚拟盲杖的功能，此时如果前面、左面右面、出现障碍物，天使眼智能眼镜会发声对用户进行提醒。此款眼镜极大程度的改善了盲人的生活问题，但在如今这个飞速发展的社会里却越来越不够用，此款眼镜只解决了盲人在小范围内活动的一些问题，但在出行方面是远远不够的。现如今交通发达，道路横穿于城市各处，考虑到出行的安全，斑马线也是越来越多，对于正常人来说，只要遵守交通规则就有足够的安全保障，但这些斑马线道路对于盲人来说却是谈不上绝对的安全。根据网络数据和问卷调查显示，盲人在过马路时大多数还是需要外来的帮助，比如导盲犬、其他行人等，但最坏的情况还是盲人独自过马路，毋庸置疑是一件极其困难的事情。双眼失明导致无法了解到斑马线的长度以及宽度，则会出现走出斑马线范围的情况，这同时也使周围的车辆行驶不便。尤其是在通过交通灯时，盲人无法知道自己面前的计时，不清楚什么时候该走、计时什么时候才停，这种情况对盲人来说是十分危险的场景。

综上所述，现有技术存在的问题是：现有的盲人智能眼镜在通过交通灯时无法对盲人提供辅助，无法充分满足满盲人的出行问题。

解决上述技术问题的难度：通过摄像头采集图像信息，传输到核心芯片并识别到绿光、绿灯显示数及分析计算出斑马线所占的区间范围，难以达到非常准确的效果；在解决上述问题中，图像识别算法非常复杂。

解决上述技术问题的意义：当图像识别技术能准确地识别到绿光、绿灯显示数、斑马线范围区间及障碍物，通过语音播报能达到辅助盲人安全通过交通灯的效果。

发明内容

针对现有技术存在的问题，本发明提供了一种盲人智能语音眼镜、控制方法、存储介质、程序。

本发明是这样实现的，一种盲人智能语音眼镜的控制方法，所述盲人智能语音眼镜的控制方法包括：

第一步，当红灯结束时，摄像头采集图像信息，传输到核心芯片并进行算法分析处理，识别出绿光及绿灯时间，数据分析结果控制音频模块中的语音芯片，来驱动音频电路实现语音播报“绿灯开始”，并实时读取绿灯时间；当绿灯结束时，语音播报“绿灯结束”；

第二步，当摄像头采集到道路图像信息时，传输到核心芯片并分析计算出斑马线所占范围区间，数据分析结果驱动音频电路实现语音提示播报，使盲人在通过马路时始终处于斑马线所占区间之内，以达到盲人不会走出斑马线的直接效果；

第三步，摄像头实时采集路况信息，传输到核心芯片并识别到正向30cm范围内的障碍物，将所得障碍物数据与核心芯片中的内储存器所存储的障碍物数据一一对比确认后进行语音播报来提示盲人，以实现避障功能；

第四步，GPS定位系统，通过与手机交互连接，实现实时定位盲人所在位置，当自动搜索到附近交通灯时，通过语音导航功能，引导盲人到达交通灯处。

进一步，通过摄像头采集到准确的图像信息，传输到核心芯片并对绿光及绿灯时间进行识别；同时由核心芯片分析计算出此路况斑马线所占范围区间；所得数据结果驱动音频电路，实现特定的语音输出。

进一步，所述盲人智能语音眼镜的控制方法摄像头采集图像信息，通过图像滤波技术实现预处理；通过图像色彩识别，检测到绿光；通过基于模板匹配的字符识别方法，采集到绿灯显示数；通过核心芯片分析计算出斑马线所占的范围区间；

当需要识别时，核心芯片发出信号驱动带色彩滤光片的摄像头进行拍照，将采集到的图像信息传输到核心芯片进行分析处理，将分析处理得出的数据与储存器中所存储的绿色等多种颜色滤光片比较数据、字符比较数据进行对比，从而识别到准确的图像信息。

进一步，所述盲人智能语音眼镜的控制方法语音芯片读取其外接的储存器内部的语音信息，并合成语音信号，再通过音频功率放大器放大音频功率，驱动扬声器实现语音输出，从而实现对绿灯显示时间的实时播报、障碍物的方位播报以及斑马线所占区间范围的提示播报。

进一步，所述盲人智能语音眼镜的控制方法的摄像头采集到图像信息后，传输到核心芯片进行算法分析处理，采用特征匹配法，与储存器中所存储的障碍物模型数据进行对比分析，数据分析结果驱动音频电路进行语音提示，实现避障功能。

本发明的另一目的在于提供一种实施所述盲人智能语音眼镜的控制方法的盲人智能语音眼镜的控制系统，所述盲人智能语音眼镜的控制系统包括：

图像采集模块，对图像信息进行采集，传输到核心芯片；

图像识别模块，用于对绿光进行检测，并读取绿灯时间，同时对此路况斑马线进行检测，若识别到斑马线，则通过分析计算得出斑马线所占的范围区间；

音频模块，用于读取其外接的储存器内部的语音信息，并合成语音信号，再通过音频功率放大器放大音频功率，驱动扬声器实现语音输出，从而实现对绿灯显示时间的实时播报、障碍物的方位播报以及斑马线所占区间范围的提示播报；

GPS定位模块，用于为盲人实现实时定位，并搜寻到附近的交通灯，进行语音导航；

避障模块，用于采用特征匹配法，与储存器中所存储的障碍物模型数据进行对比处理，数据分析结果驱动音频电路进行语音提示，实现避障功能；

电源模块，用于提供电源。

本发明的另一目的在于提供一种搭载所述盲人智能语音眼镜的控制系统的盲人智能语音眼镜，所述盲人智能语音眼镜设置有：

镜架；

所述镜架内侧通过螺丝固定有核心芯片、蓄电池、GPS定位器和扬声器，镜架外侧嵌装有摄像头，核心芯片和蓄电池分别通过连接线路与GPS定位器、扬声器、摄像头连接；

所述摄像头外端嵌装有色彩滤光片。

所述扬声器固定在镜架两端的镜腿位置。

综上所述，本发明的优点及积极效果为：本发明通过设置嵌装有色彩滤光片的摄像头可以对图像信息进行采集，传输到核心芯片并对图像中的绿光信息、绿灯时间、斑马线所占范围区间以及其它障碍物进行准确识别，由数据分析结果驱动扬声器来实现特定的语音提示，可以实现对盲人出行提供辅助。

附图说明

图1是本发明实施例提供的盲人智能语音眼镜结构示意图。

图2是本发明实施例提供的RaspberryPi 4b+GPIO引脚分配图一。

图3是本发明实施例提供的RaspberryPi 4b+GPIO引脚分配图二。

图4是本发明实施例提供的图像识别模块的原理图。

图5是本发明实施例提供的图像采集系统图。

图6是本发明实施例提供的音频模块的原理图。

图7是本发明实施例提供的NV065B引脚图。

图8是本发明实施例提供的前置放大器的电路原理图。

图9是本发明实施例提供的低通滤波器电路图。

图10是本发明实施例提供的集成功率放大器电路图。

图11是本发明实施例提供的避障模块的结构图。

图12是本发明实施例提供的ATK1218-BD双模定位模块电路图

图13是本发明实施例提供的电源模块的结构图。

图14是本发明实施例提供的供电系统的电路原理图。

图15是本发明实施例提供的RaspberryPi 4B程序框图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

针对现有技术存在的问题，本发明提供了一种盲人智能语音眼镜、控制方法、存储介质、程序，下面结合附图1至图15对本发明作详细的描述。

本发明实施例提供的盲人智能语音眼镜设置有镜架；镜架内侧通过螺丝固定有核心芯片、蓄电池、GPS定位器和扬声器，镜架外侧嵌装有摄像头，核心芯片和蓄电池分别通过连接线路与GPS定位器、扬声器、摄像头连接；摄像头外端嵌装有色彩滤光片。

作为优选，扬声器固定在镜架两端的镜腿位置。

本发明实施例提供的盲人智能语音眼镜主要由Raspberry Pi 4B控制模块、图像采集模块、图像识别模块、音频模块、避障模块、GPS定位模块、电源模块等构成。

具体实现的功能如下：

1、GPS当红灯结束时，摄像头采集图像信息，传输到核心芯片并识别绿光及绿灯时间，语音播报“绿灯开始”，继而实时读取绿灯时间，当绿灯还有10s结束时，语音播报“还有十秒结束，十、九、八……一”，当绿灯结束时，语音播报“绿灯结束”。

2、当摄像头采集到道路图像信息时，传输到核心芯片对斑马线进行识别，若检测到斑马线，则通过算法分析处理得出斑马线所占区间，数据分析结果驱动音频电路，实现特定的语音播报，使盲人在通过马路时始终处于斑马线所占区间之内。当靠近右边界(左边界)时，语音播报“您已接近右边界”(“您已接近左边界”)，从而使盲人在安全范围内通过马路。

3、摄像头实时采集路况信息，传输到核心芯片并对正向范围30cm内障碍物进行识别，数据分析结果驱动音频电路进行语音播报。例如，当盲人通过马路，检测到前方行人进入可测范围内时，语音播报“XX(左前、右前、正前)方有人”。也可实现检测到可测范围内的其他障碍物(储存器已存储的障碍物)，并实现语音实时播报。

4、GPS定位系统。通过与手机信息交互，实现实时定位，在一定范围内自动搜索到附近交通灯时，通过语音导航，引导盲人到达交通灯处。

本发明是以Raspberry Pi 4B为核心部件的控制系统，由图像采集模块采集到图像信息，传输到核心芯片对绿光进行检测，并读取绿灯时间，同时分析计算出此路况斑马线所占范围区间，数据分析结果驱动音频电路，实现特定的语音输出。

Raspberry Pi 4B控制模块工作原理：Raspberry Pi 4B控制是系统核心。根据图像采集模块传来的图像信息，通过编程实现自动调节各个模块的工作。由图像采集模块实时采集路况信息，传入芯片进行算法分析处理，数据分析结果驱动语音模块输出音频信号。

图像采集模块工作原理：通过摄像头采集图像信息，传输到核心芯片。由于Raspberry Pi 4b板卡上配备有CSI摄像头连接器接口和4个USB接口，我们可以使用免驱USB摄像头。最终选用T3200免驱摄像头作为我们的图像采集摄像头。T3200免驱摄像头具有1200万像素，支持手动调焦。

图像识别模块工作原理：接收摄像头采集图像信息，通过图像滤波技术实现预处理，使图像信息更清晰、更准确。将图像信息传输到核心芯片并进行算法分析处理，通过图像色彩识别，检测到绿光；通过基于模板匹配的字符识别方法，识别到绿灯时间；通过特征匹配识别方法，识别到斑马线，并通过算法计算出斑马线所占范围区间。

当需要识别时，核心芯片发出信号驱动带色彩滤光片的摄像头进行拍照，将采集到的图像信息传输到核心芯片进行分析处理，将分析处理得出的数据与储存器中所存储的绿色等多种颜色滤光片比较数据、字符比较数据进行对比，从而识别到准确的图像信息。

音频模块工作原理：核心芯片控制音频电路中的语音芯片来读取其外接的储存器内部的语音信息，并合成语音信号，再通过音频功率放大器放大音频功率，驱动扬声器实现语音输出，从而实现对绿灯显示时间的实时播报、障碍物的方位播报以及斑马线所占区间范围的提示播报。核心芯片控制音频电路中的语音芯片NV065B来读取其外接的储存器内部的语音信息，并合成语音信号，再通过音频功率放大器放大音频功率，驱动扬声器实现语音输出，从而实现对绿灯显示时间的播报、障碍物的方位播报以及斑马线所占区间范围的提示播报

GPS定位模块工作原理：全球定位系统(Global Positioning System,GPS)，是由美国人制造的并且全球均能使用的第二代卫星系统。该系统总共由24颗卫星组成，分布在6个轨道面上，卫星距离地面高度约为20000km，绕地球一周时间约为11小时58分钟，在地面上任何区域都可以同步至少接收4颗以上等等卫星信号。GPS不断的向地面发送导航电文，经过导航设备解算后接收者可以获得当前的三维位置，三维速度从而实现实时定位导航。该模块用于为盲人实现实时定位，并搜寻到附近的交通灯，为其进行语音导航。

避障模块工作原理：摄像头采集到图像信息后，传输到核心芯片进行算法分析处理，采用特征匹配法，与储存器中所存储的障碍物模型数据进行对比。数据分析结果驱动音频电路进行语音提示，从而实现避障功能。由于本发明主控需要对图像，传感器等数据进行采集、处理、决策，并对外围器件进行控制。所以这对主控芯片的数据处理性能有一定要求，于是我们选取了Raspberry Pi 4b作为我们的数据处理主控芯片。Raspberry Pi 4b板卡配备1.4GHz 64位四核Cortex-A53处理器，1GB RAM，全尺寸HDMI和4个标准USB端口、USB2上的千兆以太网、以太网供电功能、CSI摄像头连接器以及DSI显示连接器、一个40针GPIO接头、以及802.11ac无线局域网和蓝牙/BLE无线连接，板卡尺寸为85mm×56mm×17mm。

电源模块工作原理：该模块为整个系统提供电源。本发明的电源模块采用可充电的锂电池(3.3V～4.7V)作为电源，分两路经LM2596 DC-DC升压稳压芯片转到5V，给核心芯片供电。另一路经LM2596 DC-DC升压稳压芯片转到5V，给KDMG10008C-03供电。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。