一种渔获物识别与录入装置

技术领域

本发明涉及渔获物技术领域，特别是涉及一种渔获物识别与录入装置。

背景技术

随着捕捞技术的发展，渔船的渔获物种类与数量都在日益增加，渔获物种类与数量的统计与存储管理对于渔船生产与后续渔获物贩卖均有重要意义。目前主要存在以下几种处理渔获物的方法：1.使用人工进行渔获物分类与登记，此方法存在工作时间长，工作慢，存储与录入信息易出错等问题，还需要额外消耗渔船上的宝贵人力；2.使用计算机进行渔获物识别与自动机械运动控制，此方法通常配合大型神经网络与高速并行计算卡在计算机上进行计算并利用串口或硬件I2C控制器等外设硬件控制流水线的工作，虽然可以代替人力并且提高渔获物分类的准确性与速度，但是，船载计算机成本较高，并且在高盐度高湿度环境下存在稳定性问题，容易被海水腐蚀。3.使用工业控制计算机进行计算，工业控制计算机通过其特殊的内部构造，在放弃使用风扇进行物理降温的基础上，通过降低芯片运行效率和电源功率来降低系统的发热，使用被动散热的方式杜绝了盐雾进入计算机内部的可能，具有工业级的高可靠性，但是其芯片运行速率过低，无法实现传统架构神经网络的运算要求，进而拖慢系统的整体运行效率，无法适用于渔船在录入渔获物时的高效工作环境。

发明内容

本发明的目的是提供一种渔获物识别与录入装置，在保证渔获物识别精度与处理速度的基础上，可降低系统的成本，提高系统的运行稳定性。

为实现上述目的，本发明提供了如下方案：

一种渔获物识别与录入装置，包括：

FPGA芯片以及与所述FPGA芯片连接的摄像头；所述摄像头用于拍摄渔获物得到待识别图像；所述FPGA芯片用于获取所述待识别图像，并将所述待识别图像输入训练好的Yolo网络模型，得到所述待识别图像中所有渔获物的种类并将所述种类进行存储。

可选的，所述渔获物识别与录入装置，还包括：与所述FPGA芯片连接的NFC读取器，所述NFC读取器用于读取所述渔获物所在渔获箱的编号，所述FPGA芯片还用于根据所述编号确定是否对所述渔获物进行识别。

可选的，所述渔获物识别与录入装置，还包括：分别与所述FPGA芯片以及所述NFC读取器连接的电源模块。

可选的，所述渔获物识别与录入装置，还包括：外壳，所述FPGA芯片、所述NFC读取器以及所述电源模块均设置在所述外壳内部。

可选的，所述FPGA芯片包括：依次连接的并行卷积运算器、池化模块和分类器。

可选的，所述并行卷积运算器包括：加法器以及均与所述加法器连接的多个卷积运算器，所述加法器与所述池化模块连接。

可选的，所述渔获物识别与录入装置，还包括：分别与所述并行卷积运算器、所述池化模块和所述分类器连接的卷积与池化数据缓冲模块。

可选的，所述渔获物识别与录入装置，还包括：分别与所述卷积与池化数据缓冲模块和所述分类器连接的输出数据缓冲模块。

根据本发明提供的具体实施例，本发明公开了以下技术效果：FPGA芯片获取摄像头拍摄的待识别图像，并将待识别图像输入训练好的Yolo网络模型，得到待识别图像中所有渔获物的种类并将种类进行存储，仅仅采用FPGA芯片和摄像头，在保证渔获物识别精度与处理速度的基础上，可降低系统的成本，提高系统的运行稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的渔获物识别与录入装置的结构示意图；

图2为本发明实施例提供的渔获物识别与录入装置的工作流程图；

图3为本发明实施例提供的FPGA芯片的工作流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明实施例提供了一种渔获物识别与录入装置，包括：

FPGA芯片以及与所述FPGA芯片连接的摄像头；所述摄像头用于拍摄渔获物得到待识别图像；所述FPGA芯片用于获取所述待识别图像，并将所述待识别图像输入训练好的Yolo网络模型，得到所述待识别图像中所有渔获物的种类并将所述种类进行存储。Yolo网络模型是一种十分流行的基于CNN思想的网络模型，具体训练过程包括首先收集各类渔获物的图片，并将其人工进行标签分类，将标签文件与图片导入Yolo训练程序即可获得对应的权重参数，在通常情况下，使用电脑显卡运行Yolo，导入上述权重矩阵，可以直接进行识别，但是在FPGA上不可以直接运行Yolo，只需要Yolo生成的权重数据，然后在FPGA上重新实现Yolo算法并且利用FPGA的并行特性对Yolo的执行过程进行优化，例如，Yolo官方在执行的时候，是顺序执行，在一帧图像完全走完所有处理步骤并生成结果后再处理下一帧图像，本发明实施例使用FPGA可以让第一帧图像走完第一步处理进入第二步处理的时候就让第二帧图像进入第一步处理，在电脑上，这可能会引起数据混乱，但是FPGA是强实时性的器件，可以保证这样的流水线运行模式不会出问题。

在实际应用中，装置中的FPGA作为整个装置的控制器，可以使用多种协议与其他设备进行沟通并控制其他设备的工作。系统中的摄像头可以通过通讯协议进行控制，可以按需开启与关闭，可以配置输出帧率，并利用并行协议进行数据输出，输出的数据可以直接通过FPGA进行接收。

在实际应用中，所述渔获物识别与录入装置，还包括：与所述FPGA芯片连接的NFC读取器，所述NFC读取器用于读取所述渔获物所在渔获箱的编号，所述FPGA芯片还用于根据所述编号确定是否对所述渔获物进行识别。NFC接收器可以通过FPGA进行控制，完成对NFC标签内容的读取并按照固定的格式进行解析，将解析出的文本内容利用串口通信发送给FPGA进行存储。

在实际应用中，所述渔获物识别与录入装置，还包括：分别与所述FPGA芯片以及所述NFC读取器连接的电源模块。

在实际应用中，所述渔获物识别与录入装置，还包括：外壳，所述FPGA芯片、所述NFC读取器以及所述电源模块均设置在所述外壳内部，外壳用于固定与提供防护。

在实际应用中，所述FPGA芯片包括：依次连接的并行卷积运算器、池化模块和分类器，运行流程如图3所示，首先，利用摄像头获取多帧渔获物的图片，获取到图片以后，利用数据流分割器将其分割、缩放与复制多份用于后续的神经网络(YOLO网络模型)处理；并行卷积运算器可以在渔获物对应的权重矩阵中获得对应的卷积核参数，利用多个卷积运算器并行处理一张图片，可以将卷积的滑动部分改为并行执行，再利用一个加法器将输出相加，即可获得卷积结果；根据运算的过程，后续可以直接交给池化模块对结果进行最大池化，扩大检测的范围，也可以直接存入卷积与池化数据缓冲模块，等待池化的调用或者分类器的调用，在卷积结束后，下一幅图像对应的数据被输入到卷积运算器，类似于滴答模式，一帧图片离开卷积运算器的同时下一幅图片输入卷积运算器。池化后的数据再次经过卷积运算器即可得到更高精度的分类数据，这里需要经过多次池化-卷积步骤才会输出，具体次数取决于实际应用情况，最后，分类器从卷积与池化数据缓冲模块中读取卷积结果，对结果进行分类，并将输出数据放入输出数据缓冲模块，等到多帧图像处理完毕后，将多帧图像的识别结果进行综合，然后输出分类结果。

在实际应用中，所述并行卷积运算器包括：加法器以及均与所述加法器连接的多个卷积运算器，所述加法器与所述池化模块连接。

在实际应用中，所述渔获物识别与录入装置，还包括：分别与所述并行卷积运算器、所述池化模块和所述分类器连接的卷积与池化数据缓冲模块。

在实际应用中，所述渔获物识别与录入装置，还包括：分别与所述卷积与池化数据缓冲模块和所述分类器连接的输出数据缓冲模块。

本发明实施例提供的渔获物识别与录入装置的工作过程如图2所示，首先，FPGA控制NFC读取当前渔获箱的标签并进行比对，确认是否是新的编号，在成功获取到渔获箱的编号后，会控制摄像头进行渔获箱内部渔获物的图像采集，摄像头会拍摄一张图片，然后将图片传送给FPGA芯片，FPGA芯片内部运行YOLO网络模型，该模型可以在FPGA芯片上高速运行，可以识别出渔获物的种类并给出识别结果的可靠性；若可靠性大于80％，则将识别结果通过NFC读取器反向写入渔获箱的NFC标签，并将此结果利用网络通信模块发送给远程服务器进行存储。

本发明提供了一种适用于渔船实际作业环境的基于现场可编程逻辑门阵列芯片与神经网络的渔获物处理装置，在保证渔获物识别精度与处理速度的基础上，降低系统的成本，提高系统的运行稳定性，其中的FPGA芯片中的识别算法基于CNN网络进行构建，并利用FPGA的特殊结构进行加速，首先使用Yolo网络模型对CNN网络进行训练，得到相关权重参数矩阵，将相关权重参数矩阵添加到FPGA缓存中，利用FPGA的同步性保证网络的实时性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。