一种用于辅助视觉障碍者理解图片的方法及装置

技术领域

本发明涉及图片处理技术领域，具体的是一种用于辅助视觉障碍者理解图片的方法及装置。

背景技术

视觉障碍也称为视觉障碍“视力残疾”、“视觉缺陷”、“视力损伤”等。是指视觉器官(包括眼睛、眼神经)和大脑视神经中枢的结构或功能部分或全部障碍，表现为不同程度的视力损失或视力缩小，难以做普通人可以从事工作、学习或其他活动，以限制或阻碍其年龄、性别、社会和文化条件的正常作用。视觉障碍者难以看到显示屏幕上的文本或图像，执行眼睛和手(如移动计算机鼠标)的任务。

对于视觉障碍者而言，在使用电子设备时，需要进行辅助，以使用手机为例，当打开旁白后，手机会按照触摸区块来朗读手指碰触区域范围内的内容；同时操作从轻点和滑动换成轻点朗读触摸区域，双击，长按来负责交互。但是，由于图片内容的丰富性，在缺少对图片内容的文字描述的前提下，如何使视觉障碍者理解展示的图片内容获取图片信息是亟待解决的技术问题。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供一种用于辅助视觉障碍者理解图片的方法及装置，能够自动将图像信息转换给视觉障碍者听。

本发明的目的可以通过以下技术方案实现：一种用于辅助视觉障碍者理解图片的装置，包括：数据采集模块、数据处理模块、数据分析模块、执行模块，

所述数据采集模块用于采集用户上传的图像，并且将用户上传的图像发送至数据处理模块进行数据处理；

所述数据处理模块在接收到数据采集模块发送的用户上传的图像后，将用户上传的图像标记为图像数据，并对图像数据进行数据处理，通过计算得出图像判定系数，将图像判定系数发送至数据分析模块进行数据分析；

所述数据分析模块在接收到数据处理模块发送的图像判定系数后，进行数据分析，设定设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取并标记为二次图像数据，发送至执行模块；

所述执行模块在接收到数据分析模块发送的二次图像数据后，将图像数据内的文本信息进行提取，并且转换为语音信息，然后将语音信息转换成语音提供给视觉障碍者。

优选地，所述数据处理模块包括图像特征提取网络模型，用于对图像进行特征提取。

优选地，所述数据处理模块的处理过程包括以下步骤：

将图像数据进行特征提取，所述特征提取的部分包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；

将图像的特征点数量标记为S

利用公式

优选地，所述数据分析模块包括图像特征判别模型，用于对图像进行特征判别。

优选地，所述数据分析模块的分析过程包括以下步骤：

设定标准图像判定系数Pd

优选地，所述执行模块包括信息提取单元、语音转换单元和扩音器，所述信息提取单元用于对文本信息进行提取，所述语音转换单元用于将提取的文本信息转换为语音信息，扩音器用于将语音信息转换成语音提供给视觉障碍者听。

优选地，一种用于辅助视觉障碍者理解图片的方法，方法包括以下步骤：

获取用户上传图像，并且对图像进行特征提取，包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；

对图像的特征点数量、图像的特征点分布率、图像高度和图像宽度进行标记，并且利用图像的特征点数量、图像的特征点分布率、图像高度和图像宽度计算得出图像判定系数；

设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取；

将匹配的判定系数所对应的图像数据的文本信息进行提取，并且将文本信息转换为语音信息，并将语音信息转换成语音提供给视觉障碍者听。

本发明的有益效果：

本发明首先获取用户上传图像，并且对图像进行特征提取，包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度，然后对图像的特征点数量、图像的特征点分布率、图像高度和图像宽度进行标记，并且利用图像的特征点数量、图像的特征点分布率、图像高度和图像宽度计算得出图像判定系数；再设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取；最终将匹配的判定系数所对应的图像数据的文本信息进行提取，并且将文本信息转换为语音信息，并将语音信息转换成语音提供给视觉障碍者听，从而实现自动将图像信息转换给视觉障碍者听的功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1是本发明原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种用于辅助视觉障碍者理解图片的装置，包括：数据采集模块、数据处理模块、数据分析模块、执行模块，所述数据采集模块用于采集用户上传的图像，并且将用户上传的图像发送至数据处理模块进行数据处理，需要进一步进行说明的是，在具体实施过程中，所述数据采集模块利用与电子设备相连接，从而获取电子设备中用户所上传的图像的对象，并且将获取到的图像对象进行模数转换最终获得；

所述数据处理模块在接收到数据采集模块发送的用户上传的图像后，将用户上传的图像标记为图像数据，并对图像数据进行数据处理，需要进一步进行说明的是，在具体实施过程中，具体的，数据处理模块的处理过程包括以下步骤：

将图像数据进行特征提取，所述特征提取的部分包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；

将图像的特征点数量标记为S

利用公式

需要进一步进行说明的是，在具体实施过程中，所述数据处理模块包括图像特征提取网络模型，用于对图像进行特征提取；

将计算得出的图像判定系数Pd

设定标准图像判定系数Pd

需要进一步进行说明的是，在具体实施过程中，所述数据分析模块包括图像特征判别模型，用于对图像进行特征判别；

所述执行模块在接收到数据分析模块发送的二次图像数据后，将图像数据内的文本信息进行提取，并且转换为语音信息，然后将语音信息提供给视觉障碍者。

需要进一步进行说明的是，在具体实施过程中，所述执行模块包括信息提取单元、语音转换单元和扩音器，所述信息提取单元用于对文本信息进行提取，所述语音转换单元用于将提取的文本信息转换为语音信息，扩音器用于将语音信息转换成语音提供给视觉障碍者听。

一种用于辅助视觉障碍者理解图片的方法，包括以下步骤：

获取用户上传图像，并且对图像进行特征提取，包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；

对图像的特征点数量、图像的特征点分布率、图像高度和图像宽度进行标记，并且利用图像的特征点数量、图像的特征点分布率、图像高度和图像宽度计算得出图像判定系数；

设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取；

将匹配的判定系数所对应的图像数据的文本信息进行提取，并且将文本信息转换为语音信息，并将语音信息转换成语音提供给视觉障碍者听。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本公开的基本原理、主要特征和本公开的优点。本行业的技术人员应该了解，本公开不受上述实施例的限制，上述实施例和说明书中描述的只是说明本公开的原理，在不脱离本公开精神和范围的前提下，本公开还会有各种变化和改进，这些变化和改进都落入要求保护的本公开范围内容。