一种基于图像和文字识别的家用书架自动寻书系统及方法

技术领域

本发明涉及图像识别领域，特别涉及一种基于图像和文字识别的家用书架自动寻书系统及方法。

背景技术

随着国家经济的发展，人们对精神文化的需求也越来越大，家庭藏书也越来越多，这就会产生寻书困难的问题。寻书不再是图书馆独有的需求，一种能够解决家庭寻书困难的需求也迫在眉睫。

发明内容

为了克服现有技术中的不足，本发明提供一种基于图像和文字识别的家用书架自动寻书系统及方法，以解决上述背景中提出的家庭书架藏书过多，不便于寻书的问题。

为了达到上述发明目的，解决其技术问题所采用的技术方案如下：

本发明公开了一种基于图像和文字识别的家用书架自动寻书系统，包括高清摄像头、芯片处理器、数据库、输入设备和输出设备，其中：

所述高清摄像头与所述芯片处理器连接，用于对着书脊朝外的书架拍取一张高清照片并将拍摄的照片传送至所述芯片处理器；

所述芯片处理器与所述高清摄像头和数据库连接，用于对所述高清摄像头传送过来的照片进行图像分割和文字提取从而得到带位置信息的书本名称并将书名信息传输到所述数据库；

所述数据库与所述芯片处理器连接，用于存储所述芯片处理器提取到的书名信息；

所述输入设备与所述数据库连接，用于使用者输入待寻的书名；

所述输出设备与所述数据库连接，用于显示书名和书本的位置信息。

进一步的，所述芯片处理器，用于通过运用Canny边缘检测算法获取图像边缘，利用LSD直线检测算法完成书脊的分割，对分割后的图像利用递归标记算法依次编号，再利用CRNN+CTC算法实现对分割后的图像进行文字提取，最后将提取到的文字信息依次送入数据库存储。

优选的，所述芯片处理器采用TMS320DM642等系列芯片处理器。

优选的，所述高清摄像头采用CMOS高清摄像头。

优选的，所述数据库采用MYSQL数据库。

优选的，所述输出设备为显示屏。

本发明另外公开了一种基于图像和文字识别的家用书架自动寻书方法，利用上述自动寻书系统进行寻书，包括以下步骤：

步骤1：高清摄像头对着书脊朝外的书架拍取一张高清照片，并将拍摄的照片送至芯片处理器进行处理；

步骤2：运用Canny边缘检测算法获取图像边缘，再利用LSD直线检测算法完成书脊的分割；

步骤3：使用递归标记算法对分割后的图像依次编号；

步骤4：用深度学习CRNN算法和CTC算法对分割后的图像进行文字提取；

步骤5：将提取到的文字信息依次送入数据库存储；

步骤6：用户从输入设备输入书名，寻书系统返回该书在书架上的位置信息并显示在输出设备上。

进一步的，步骤2具体包括以下步骤：

步骤21：图像高斯滤波进行降噪处理；

步骤22：用一阶偏导的有限差分计算梯度的幅值和方向；

步骤23：对梯度幅值进行非极大值抑制；

步骤24：用双阈值算法检测和连续边缘。

进一步的，步骤4具体包括以下步骤：

步骤41：CNN为RNN提取特征；

步骤42：RNN将CNN输出的特征序列转换为输出；

步骤43：CTC为翻译层，得到最终的预测结果。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：

本发明基于图像和文字识别的家用书架自动寻书系统，只要求在摆放图书时书脊朝外即可；拍照取得照片，经TMS320DM642等系列芯片处理器处理后，结果存储在MYSQL数据库，输入书名即可在显示屏上显示图书的位置，可以快速实现图像分割、书本位置定位、书本书名文字识别和书名查询。具有较强的灵活性、实时性和较低的成本，且定位准确迅速。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1为本发明一种基于图像和文字识别的家用书架自动寻书系统的总体结构示意图；

图2为本发明一种基于图像和文字识别的家用书架自动寻书系统的实现逻辑框图；

图3为本发明一种基于图像和文字识别的家用书架自动寻书方法的逻辑框图。

【主要符号说明】

1-高清摄像头；2-芯片处理器；3-数据库；4-输入设备；5-输出设备。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

如图1-2所示，本发明公开了一种基于图像和文字识别的家用书架自动寻书系统，包括高清摄像头、芯片处理器、数据库、输入设备和输出设备，其中：

所述高清摄像头与所述芯片处理器连接，用于对着书脊朝外的书架拍取一张高清照片并将拍摄的照片传送至所述芯片处理器，方便后续处理；

所述芯片处理器与所述高清摄像头和数据库连接，用于对所述高清摄像头传送过来的照片进行图像分割和文字提取从而得到带位置信息的书本名称并将书名信息传输到所述数据库；

所述数据库与所述芯片处理器连接，用于存储所述芯片处理器提取到的书名信息，方便后续查询书籍位置信息；

所述输入设备与所述数据库连接，用于使用者输入待寻的书名；

所述输出设备与所述数据库连接，用于显示书名和书本的位置信息。

进一步的，所述芯片处理器，用于通过运用Canny边缘检测算法获取图像边缘，利用LSD直线检测算法完成书脊的分割，对分割后的图像利用递归标记算法依次编号，再利用CRNN+CTC算法实现对分割后的图像进行文字提取，最后将提取到的文字信息依次送入数据库存储。

优选的，所述芯片处理器采用TMS320DM642等系列芯片处理器。

优选的，所述高清摄像头采用CMOS高清摄像头。

优选的，所述数据库采用MYSQL数据库。

优选的，所述输出设备为显示屏。

实施例二

如图3所示，本发明另外公开了一种基于图像和文字识别的家用书架自动寻书方法，利用上述自动寻书系统进行寻书，包括以下步骤：

步骤1：高清摄像头对着书脊朝外的书架拍取一张高清照片，并将拍摄的照片送至芯片处理器进行处理；

步骤2：运用Canny边缘检测算法获取图像边缘，再利用LSD直线检测算法完成书脊的分割；本步骤中，完成图像分割是基于书脊边界线在所获得的照片中是以直线的形式存在的。

进一步的，步骤2具体包括以下步骤：

步骤21：图像高斯滤波进行降噪处理；

步骤22：用一阶偏导的有限差分计算梯度的幅值和方向；

步骤23：对梯度幅值进行非极大值抑制；

步骤24：用双阈值算法检测和连续边缘。

步骤3：使用递归标记算法对分割后的图像依次编号；

步骤4：用深度学习CRNN算法和CTC算法对分割后的图像进行文字提取；其中，CRNN算法是由CNN和RNN算法来实现文字检测，CTC算法实现文字识别。

进一步的，步骤4具体包括以下步骤：

步骤41：CNN为RNN提取特征；

步骤42：RNN将CNN输出的特征序列转换为输出；

步骤43：CTC为翻译层，得到最终的预测结果。

步骤5：将提取到的文字信息依次送入数据库存储，存储的内容包含书名和书的位置信息；

步骤6：用户从输入设备输入书名，寻书系统返回该书在书架上的位置信息并将书名和书本的位置信息显示在输出设备(显示屏)上。

本实施例中，基于图像和文字识别的家用书架自动寻书系统，只要求在摆放图书时书脊朝外即可；拍照取得照片，经TMS320DM642等系列芯片处理器处理后，结果存储在MYSQL数据库，输入书名即可在显示屏上显示图书的位置，可以快速实现图像分割、书本位置定位、书本书名文字识别和书名查询。具有较强的灵活性、实时性和较低的成本，且定位准确迅速。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。