鸟类图像识别检索系统及使用方法

技术领域

本发明涉及前后端深度学习细粒度图像识别与检索技术领域，特别是涉及一种基于微信小程序的鸟类图像的识别与检索系统及使用方法。

背景技术

近年来，鸟类灭绝速度的加快将影响其他的食物链的生物以及自然环境，保护鸟类形势严峻，因此开展对鸟类图像识别的研究十分必要，这不仅能帮助人们进一步认识鸟类，而且能扩宽保护鸟类的手段，在学术领域和工业领域都具有更为前沿的社会生态意义和商业价值。但目前大多数图像识别及检索方法都是针对不同物种，对相同物种间细粒度识别的研究比较少见。而目前实现的大类间识别技术无法满足人们对同类类内细致区分的需求。

发明内容

针对上述问题，本发明提供一种基于微信小程序的鸟类图像的识别与检索系统，为用户提供通过图片认识鸟类的可能。改进深度学习模型框架，使得使用过程中在保证识别准确率的情况下消耗较少的识别等待时间。

本发明提供一种基于微信小程序的鸟类图像的识别与检索系统，其技术方案是通过以微信小程序为前端客户使用手段，以Python语言编写Django框架后端服务器，用以处理前端传输的图片，保证前端运行速度，并返回用户所需要的信息和图像；

一种基于微信小程序的鸟类图像的识别与检索系统，包括图像裁剪模块、图像识别模块、图像检索模块以及结果显示模块，其中：

1)图像裁剪模块,用于给需要图像识别的用户提供对上传图片的裁剪功能，可对来自相册以及照相机的图片进行裁剪，裁剪成正方形尺寸后能有效保障识别精度。

2)图像识别模块，用于识别上传到后端的图片，并将结果从后端返回。本系统的识别基于resnet50卷积神经网络，基于数据库CUB200-2011，在本系统中，改进了原resnet50网络中的损失函数，新的损失函数为交叉熵损失函数和中心损失函数的混合函数，提升了模型的训练精度，并使用了Imagenet数据库下的迁移学习，是最终测试识别精度达到了86.8％。同时使用优秀的服务器作为后端，保证了后端识别尽量需要更少的时间。

3)图像检索模块，用于检索与上传到后端的图片最为相似的图片，查找范围限于用于训练深度学习模型的数据集，本系统的检索功能同样基于使用 resnet50卷积神经网络训练获得的模型。不同的是，我们利用改进resnet50网络，对其加入一个512维网络全连接层，提取该层输出的向量，据此构建新的特征库，使用距离为2的汉明距离进行匹配以实现最少时间的检索。

4)结果显示模块，用于显示识别或者检索操作后，从后端获取的结果。当识别结束后，后端会返回识别鸟类的种类名字，小程序将对种类和详细信息进行显示。而检索结束时，将检索到的图片按匹配度从大到小进行排序，并显示。

本发明的运行环境为微信6.0以及以上版本，Android4.4及以上版本， IOS9.0及以上版本。

本发明还提供一种基于微信小程序的鸟类图像识别检索系统的使用方法，包括以下步骤：

S100、微信登录，进入小程序，获取微信账号信息登录小程序，选择识别模块或者检索模块；

S110、进入识别模块，选择图片来源，通过点击相册或照相机进入；

S111、进入相册，选择需要识别的鸟类图像，会进入裁剪模块；

S112、进入照相机，拍摄在生活中遇见的需要识别的鸟类图像，确定后会进入裁剪模块；

S113、进入裁剪模块，对已选择的图片进行裁剪，裁剪的比例被设定为固定不可调节的长宽比1:1，我们希望使用者尽量使鸟类本体占据裁剪框，消除周边的环境背景的影响。正方形图像也更加有利于模型对其的预处理与识别，确定后进行结果显示；

S114、进入结果显示，结果显示界面会显示裁剪后的图像和后端识别后返回判断的鸟类种类和详细信息；

S120、进入检索模块，选择图片来源，通过点击相册或照相机进入；

S121、进入相册，选择需要检索的鸟类图像；

S122、进入照相机，拍摄需要检索的鸟类图像，确定；

S123、进入结果显示，后端会根据上传的图片进行检索，结果显示界面会显示上传的图像和后端匹配后返回的匹配度最高的三张图像，并按顺序显示图片和种类；

本发明的有益效果是：

1、用户可以及时拍照以识别面前遇到了的鸟类。

2、用户可以看到鸟类识别以及检索后的信息，加强对该种鸟类的知识。

3、用户可以使用检索功能，查找与想要了解的鸟类相似的其他种类，以区分差异或者找寻两者的相似。

附图说明

图1为本发明整体原理的框架图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例1

如图1所示，一种基于微信小程序的鸟类图像识别检索系统，该系统包括登录模块1、裁剪模块2、图像识别模块3、图像检索模块3以及结果显示模块4，其中：

登录模块1，用于提供用户进入平台入口；

裁剪模块2，用于裁剪从相册或照相机获得的图片，保证模型可以拥有较高的精度，裁剪确认后进入识别模块，如果不满意此图片可重新上传图片；

图像识别模块3，提供给用户识别鸟类图片的接口，让用户快速获得与鸟类相关的知识；

图像检索模块4，提供给用户检索相似鸟类图片的接口，让用户快速获得与鸟类相关的知识；

结果显示模块5，用于显示识别或检索后，从后端返回的结果。

本发明的运行环境为微信6.0以及以上版本，Android4.4及以上版本， IOS9.0及以上版本。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。