一种基于深度学习的智能书架系统及其使用方法

技术领域

本发明属于智能书架领域，具体涉及一种基于深度学习的智能书架系统。

本发明还涉及一种基于深度学习的智能书架系统的使用方法。

背景技术

近年来随着卷积神经网络的发展，深度学习应用到各行各业中。书籍作为人类文明的载体，广泛存在于人们的日常生活之中，各大高校图书馆、国家图书馆、省市区图书馆等都收纳着许多书籍。然而，现有图书馆书架主要用于放置书籍，馆藏书籍需要在书脊上黏贴RFID标签，当借阅者挑选出所需书籍后，需将所选书籍拿到指定借书机进行操作或寻求图书管理员的帮助，从而才能借到所选书籍；同时，当借阅者将书籍归还后，被归还的书籍需要人工放回目标位置，以供下一位读者借阅。

发明内容

本发明的目的是提供一种基于深度学习的智能书架系统，能够有效减少图书管理人员的工作量，无需为新书黏贴RFID标签，帮助整理已还书籍，同时可以提高借阅者借书、还书的体验感。

本发明的另一个目的是提供一种基于深度学习的智能书架系统的使用方法。

本发明所采用的第一个技术方案是，一种基于深度学习的智能书架系统，包括智能书架和书籍整理装置；

智能书架包括书架本体，书架本体包括书格，还包括设置于书格底部的重力传感器，书格的顶部还安装有摄像头，所述重力传感器和摄像头连接有通信模块，通信模块连接后台上位机；

书籍整理装置包括载物小车，载物小车的车身表面还安装有抓取模块，抓取模块包括机械手，机械手的表面还连接有相机，载物小车的一侧还设置有还书显示模块，还书显示模块包括显示屏，显示屏的顶部安装有摄像头；所述后台上位机连接机械手。

本发明的第一个技术方案的特点还在于：

其中通信模块内置关联算法，关联算法为Apriori算法，后台上位机内置深度学习算法，深度学习算法优选yolov5检测算法。

本发明所采用的第二个技术方案是，一种基于深度学习的智能书架系统的使用方法，采用上述的一种基于深度学习的智能书架系统，具体包括借书和还书两个步骤：

所述借书的流程具体按以下步骤实施：

步骤1，借阅者靠近目标书籍所在智能书架；

步骤2，位于智能书架顶部的摄像头采集借阅者的图像；

步骤3，借阅者选择目标书籍；若借阅者有需要借阅的目标书籍，则继续执行步骤4；若借阅者未选出需要借阅的书籍，则直接结束；

步骤4，当目标书籍离开智能书架时，重力传感器检测到书籍被取出，同时置于智能书架上的摄像头对借阅者所选书籍进行二次检测；

步骤5，置于书架上的摄像头在采集借阅者与借阅者所选书籍时，会自动为借阅者与借阅者所选书籍分配不同ID，进行多目标跟踪检测；

步骤6，将多目标跟踪检测结果即借阅者与借阅者所选书籍的ID关联，并发送至后台记录；

步骤7，当书籍离开智能书架时，则后台记录并表示借阅成功；

所述还书的流程具体按以下步骤实施：

步骤1，还书者将待还书籍放置在所述配合智能书架使用的书籍整理装置的载物小车上；

步骤2，书架上摄像头检测还书者；置于末端执行器上的相机检测所还书籍的图像；

步骤3，书籍整理装置将检测到的还书者信息发送至后台，然后将检测到的所还书籍的信息发送给后台上位机；

步骤4，后台更新还书者的借还书记录；上位机控制所述书籍整理装置的机械手末端执行器进行抓取；

步骤5，机械手将抓取的书籍放回目标位置，直至书载物小车上无书籍，则还书完成。

本发明所采用的第二个技术方案的特点还在于：

其中借书流程的步骤4中智能书架对借阅者所选书籍进行检测的具体步骤如下：

步骤4.1，目标书籍离开智能书架时，置于智能书架下方的重力传感器进行初次检测；

步骤4.2，摄像头采集到的目标书籍图像，将采集到的目标书籍图像输入至yolov5检测网络中进行检测；所述智能书架上的摄像头对借阅者所选书籍进行检测需搭建yolov5检测网络，具体按以下步骤实施：

步骤4.2.1，采集图书馆馆藏书籍的原始图像；

步骤4.2.2，对采集到的原始图像进行预处理；

步骤4.2.3，对预处理后的图像进行数据增强、图像增强；

步骤4.2.4，利用数据增强、图像增强后的图像制作数据集；

步骤4.2.5，搭建yolov5网络：构建yolov5框架，安装相关依赖项，进行虚拟环境配置；

步骤4.2.6，将步骤4.2.4所得的数据集输入yolov5的网络模型之中，训练得到权重文件；

步骤4.2.7，用于书籍检测的yolov5检测网络搭建完成；

步骤4.3，将经步骤4.2检测得到的检测结果与步骤4.1的初检结果进行比较，输出检测结果；

其中借书流程中，借阅者借阅成功后将所选书籍放回智能书架，此时重力传感器检测智能书架重量增加，同时摄像头进行二次检测，当检测结果一致时，借阅不成功；若借阅者未能将所选书籍放回原位，此时智能货架向机械手发送信号，控制机械手将乱放书籍归回原位；

若借阅者将其他等质量物品放回智能书架，此时重力传感器检测智能书架重量增加，同时摄像头进行二次检测，检测结果不一致，借阅成功。

本发明的有益效果是：

本发明的一种基于深度学习的智能书架系统，利用yolov5与新型重力传感器装置检测书籍，改变了现有的借书方式，同时解决了现有馆藏书籍黏贴RFID标签的麻烦，减小了图书馆管理员的工作量，利用机械手整理书籍，降低了图书管理员的工作量，为图书整理提供了新的解决办法，不仅适用于各类图书馆，经过适当调整后，亦适用于无人销售书店。

附图说明

图1为本发明的一种基于深度学习的智能书架系统中的智能书架的结构框图；

图2为本发明的一种基于深度学习的智能书架系统中的书籍整理装置的结构框图；

图3为本发明的一种基于深度学习的智能书架系统的使用方法中的借书流程图；

图4为本发明的一种基于深度学习的智能书架系统的使用方法中的书籍检测流程图；

图5为本发明的一种基于深度学习的智能书架系统的使用方法中的书籍检测网络搭建流程图；

图6(a)、(b)分别为本发明的一种基于深度学习的智能书架系统的使用方法的书籍检测效果图；

图7为本发明的一种基于深度学习的智能书架系统的使用方法的还书整理流程图；

图8为本发明的一种基于深度学习的智能书架系统的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供了一种基于深度学习的智能书架系统，如图1和图8所示，包括智能书架和书籍整理装置；

智能书架包括书架本体，书架本体包括书格，包括为防止书籍倒塌所提供的书立，用于摆放书籍；还包括设置于书格底部的重力传感器，用于检测书本被取走或放回的行为，一般而言，当重力传感器检测到书架质量减小，则检测到书籍被拿走的行为；当重力传感器检测到书架质量增加，则检测到书籍被放回的行为；

书格的顶部还安装有摄像头，用于采集借阅者与借阅者所挑选书籍的图像；采用多目标跟踪检测，为检测到的人与书分配不同ID，所述重力传感器和摄像头连接有通信模块，通信模块内置关联算法，关联算法为Apriori算法，通过关联算法将借阅者与借阅者所挑选的书籍ID联系起来，并将借书记录发送至后台，更新借阅者的借书信息，通信模块连接后台上位机，后台上位机内置深度学习算法，深度学习算法优选yolov5检测算法；

书籍整理装置包括载物小车，用于放置还书者归还的未整理的书籍，载物小车连接驱动模块，用于为载物小车提供动力的装置；

载物小车的车身表面还安装有抓取模块，抓取模块包括机械手，机械手的表面还连接有相机，载物小车的一侧还设置有还书显示模块，还书显示模块包括显示屏，显示屏的顶部安装有摄像头，当摄像头检测出还书者身份时，显示屏出现还书者借阅信息，当还书者将待还书籍放置在所述书籍整理装置上时，显示模块中所还书籍记录清除，并更新还书者借阅记录；所述后台上位机连接机械手，当相机检测到载物小车上有需要整理的书籍时，通过socket通讯ip地址绑定的方式，控制机械臂的末端执行器进行抓取；后台上位机用于接收所述智能书架的通信模块发出的命令，或通过深度学习算法定位书籍待抓取位置及数量，控制机械手抓取操作；

如图3所示，本发明还提供了一种基于深度学习的智能书架系统的使用方法，采用上述的一种基于深度学习的智能书架系统，借阅者应通过手机APP等方式在使用智能书架的图书馆后台注册个人账号并上传本人面部照片，当借阅者完成账号注册时，APP为借阅者提供独一无二的借书账号；

具体包括借书和还书两个步骤；

借书的流程具体按以下步骤实施：

步骤1，借阅者靠近目标书籍所在智能书架；

步骤2，位于智能书架顶部的摄像头采集借阅者的图像；

步骤3，借阅者选择目标书籍；若借阅者有需要借阅的目标书籍，则继续执行步骤4；若借阅者未选出需要借阅的书籍，则直接结束；

步骤4，当目标书籍离开智能书架时，重力传感器检测到书籍被取出，同时置于智能书架上的摄像头对借阅者所选书籍进行二次检测；如图4所示，智能书架对借阅者所选书籍进行检测的具体步骤如下：

步骤4.1，目标书籍离开智能书架时，置于智能书架下方的重力传感器进行初次检测；

步骤4.2，摄像头采集到的目标书籍图像，将采集到的目标书籍图像输入至yolov5检测网络中进行检测；智能书架上的摄像头对借阅者所选书籍进行检测需搭建yolov5检测网络，如图5所示，具体按以下步骤实施：

步骤4.2.1，采集原始书籍的原始图像；

步骤4.2.2，对采集到的原始图像进行预处理；

步骤4.2.3，对预处理后的图像进行数据增强、图像增强；

步骤4.2.4，利用数据增强、图像增强后的图像制作数据集；

步骤4.2.5，搭建yolov5网络：构建yolov5框架，安装相关依赖项，进行虚拟环境配置；

步骤4.2.6，将步骤4.2.4所得的数据集输入yolov5的网络模型之中，训练得到权重文件；

步骤4.2.7，用于书籍检测的yolov5检测网络搭建完成；

步骤4.3，将经步骤4.2检测得到的检测结果与步骤4.1的初检结果进行比较，输出检测结果；

步骤5，置于书架上的摄像头在采集借阅者与借阅者所选书籍时，会自动为借阅者与借阅者所选书籍分配不同ID，进行多目标跟踪检测；

步骤6，将多目标跟踪检测结果即借阅者与借阅者所选书籍的ID关联，并发送至后台记录；

步骤7，当书籍离开智能书架时，则后台记录并表示借阅成功；

本发明智能书架的检测效果如图6(a)、(b)所示，图6(a)为本发明的一种基于深度学习的智能书架系统的使用方法中的智能书架检测书籍正面效果，图6(b)为本发明的一种基于深度学习的智能书架系统的使用方法中的智能书架检测书籍背面效果；

如图7所示，还书的流程具体按以下步骤实施：

步骤1，还书者将待还书籍放置在所述配合智能书架使用的书籍整理装置的载物小车上；

步骤2，书架上摄像头检测还书者；置于末端执行器上的相机检测所还书籍的图像；

步骤3，书籍整理装置将检测到的还书者信息发送至后台，然后将检测到的所还书籍的信息发送给后台上位机；

步骤4，后台更新还书者的借还书记录；上位机控制所述书籍整理装置的机械手末端执行器进行抓取；

步骤5，机械手将抓取的书籍放回目标位置，直至书载物小车上无书籍，则还书完成；

借阅者借阅成功后将所选书籍放回智能书架，此时重力传感器检测智能书架重量增加，同时摄像头进行二次检测，当检测结果一致时，借阅不成功；若借阅者未能将所选书籍放回原位，此时智能货架向机械手发送信号，控制机械手将乱放书籍归回原位；

若借阅者将其他等质量物品放回智能书架，此时重力传感器检测智能书架重量增加，同时摄像头进行二次检测，检测结果不一致，借阅成功。