一种鸟类视觉识别行为训练系统

技术领域

本发明属于生物视觉行为及人工智能技术领域，具体涉及一种鸟类视觉识别行为训练系统。

背景技术

行为是指在一定环境条件下，为了完成摄食、排泄、体温调节以及其它个体生理需求等生命活动而以一定的姿势完成的一系列动作，行为学是研究动物干什么、怎么干、为什么表现出这种行为，侧重于行为的描述、行为机理探索等，鸟类行为大致可分为繁殖行为、取食行为、社群行为和空间行为四大类，探讨鸟类行为的表现形式、成因和功能是鸟类行为研究的主要内容。

视觉系统是动物感知外界环境的主要感觉系统，研究证明，动物大脑所获取的外界信息中，视觉信息占80％以上，且鸟类的视觉较为敏锐，具备良好的视觉认辨能力，比哺乳类动物的视觉感知能力发达，因此开展鸟类视觉识别行为相关研究对揭秘脑处理信息，运用到人工智能上造福人类具有至关重要的意义。

传统的鸟类行为分析方法采用人为的观察和记录,用人眼对动物行为进行判断,不仅耗时费力,而且判断结果具有主观性和不准确性等缺点,导致动物实验结果出现偏差,甚至错误，多个行为学指标同步记录可使行为学分析更为准确和全面，但在传统行为学研究中一直困扰研究者的一个难题是住往会出现顾此失彼甚至相互干扰的情况。

发明内容

本发明的目的在于：针对以上现有技术所述关于传统鸟类行为分析方法的主观性、不准确性而导致结果出现偏差甚至错误的技术问题，本发明提供了一种鸟类视觉识别行为训练系统，通过在训练系统中加入实时视频分析模块，能够准确的识别出动物抉择瞬间的图片，并且结合动物脑电信号采集与分析装置，实现了对视觉神经元响应的解码，为进一步研究自动活动状态下动物视觉认知相关的神经机制提供了便利。

本发明采用的技术方案如下：

一种鸟类视觉识别行为训练系统，该系统包括硬件装置和具备实时视频分析功能的可视化操作软件，所述硬件装置包括目标刺激模块、行为反馈模块、奖惩模块、视频采集模块、红外感应模块；所述可视化操作软件是在PLC上运行，以PLC实现对硬件装置的控制。

进一步地，以上所述硬件装置设计的是Y字型通道：一个主通道，两个分通道，在两个通道末端随机出现识别的目标，通过训练动物，使其可以识别出随机出现的目标。通道采用黑色不透明有机塑料材料制作，能够有效减少外界光源对动物的干扰，两个分通道的侧面分别设置有蜂鸣器、食盆、红外传感器，分别为蜂鸣器B、食盆B、红外传感器B及蜂鸣器C、食盆C、红外传感器C，食盆用于训练过程中给予实物奖励，蜂鸣器用于惩罚，红外传感器用于反馈动物的行为信息。分通道的上方适当位置安装有摄像装置，主通道的下面开口处放置的有食盆A、红外传感器A，主通道还设置有闸门。

进一步地，以上所述目标图像刺激模块采用两个旋转盘设计，分别为目标旋转盘A、目标旋转盘A，每个旋转盘都可以出现目标，当鸟类进入主通道时，红外传感器接到信号，反馈给PLC，PLC控制闸门的开启，并且随机一个旋转盘转动出现目标，供鸟类进行识别。

进一步地，所述行为反馈模块主要是由红外传感器组成，所述红外传感器分别为红外传感器A、红外传感器B、红外传感器C，红外传感器与PLC相连，主要用于反馈动物的行为信息。PLC上的操作软件会事先设定了特定目标随机出现在某个通道末端，当动物观察到目标时，然后做出选择走向其中一个通道，经过特定位置的红外传感器时，PLC则会检测到一个电信号，并把此信号发送给PC机，由PC机进行判断动物是否做出了正确的决策。。

进一步地，所述奖惩模块分为奖励模块和惩罚模块，用于对动物执行正确行为反馈后进行投食犒赏或者执行错误行为反馈后进行声音惩罚。所述奖励模块由电机与食盆构成，食盆分别为食盆A、食盆B、食盆C，当动物做出正确的行为反馈后，PLC驱动电机将食盆转出，给予食物奖励，一段时间后转回，投食时间可调；所述惩罚模块用蜂鸣器发出噪声来对鸟类进行惩罚，蜂鸣器分别为蜂鸣器A、蜂鸣器B、蜂鸣器C，其中蜂鸣器和PLC相连，当鸟类做出错误行为时，红外传感器感受到鸟类的错误行为将信号反馈给PLC，PLC再发出信号给蜂鸣器，让蜂鸣器发出噪声对动物实施惩罚。利用控食后动物对食物的生理需求，利用奖励模块给动物喂食，给食量可通过电机旋转延时时间来调节，易于控制，且投食方式不会造成鸟类成瘾以及其他负面影响，且无效实验回合不会获得奖励，错误的趋向行为会对鸟类进行惩罚措施，这样可以强化动物行为的目的性，提高训练的正确率和训练速度。

进一步地，所述视频采集模块主要用于采集动物训练过程中的视频集。通过高清摄像头记录动物的行为以及姿态，然后上传给电脑，供后期对照实验，以及后期制作图片样本用于系统训练得到判别模型。

进一步地，所述摄像头可以实时显示并且记录鸟类训练过程中的状态，并且通过实时的视频分析算法可以识别出鸟类的各种动作进行分析，并结合动物脑电信号采集与分析装置，实现对视觉神经元信号的解码。

进一步地，以上所述动物脑电信号采集与分析装置主要用于采集并且分析动物的脑电信号，包括脑电信号采集装置、植入动物脑部的微电极阵列和脑电信号的实时分析软件。通过微电极阵列采集自由活动状态下的动物脑电信号，设置不同的参数采集保存相应的信号用于后期的研究。

进一步地，所述可视化操作软件包括两个部分，其一部分是PLC与外部设备之间控制与反馈的操作软件，该部分操作软件是控制如下的整个过程：当红外传感器A检测到鸟类经过时闸门将会打开，同时两个目标旋转盘A、旋转盘B随机转动，其中一个目标旋转盘将会出现目标，此时鸟类进行通道选择，通过分通道的红外传感器判断鸟类是否选择正确目标通道：如果通道选择正确，分通道内的食盆转动至指定位置，喂食5秒后，出现目标的旋转盘转回，同时停止喂食；如果通道选择错误，分通道内蜂鸣器响3秒，同时出现目标的旋转盘转回。当鸟类通道选择结束后，主通道的红外传感器A检测到鸟类返回时，闸门关闭，门口食盆A转动进行对鸟类进行喂食，喂食5秒后，停止喂食，红外传感器A再次检测到鸟类经过时，打开闸门，鸟类从新开始新一轮的目标选择。

进一步地，所述可视化操作软件的另一部分是对特定视频采集模块输入的视频集进行实时分析的视频分析模块，所述视频分析模块主要包含视频采集、模型训练与视频的自动分析三个环节。首先，在每个试次训练过程中通过视频采集模块采集到足够的视频集；然后，对每帧图像进行离线标注与训练，得到动物的识别模型，存储在电脑中；最后，在实际应用环节，对视频采集模块实时采集的视频图像进行分析与识别。同时将动物脑电信号采集与分析装置放在动物头部，对特定视觉神经元响应进行分析。

进一步地，以上所述视频图像的分析方法具体如下：首先，采用的是YOLOv3算法，YOLOv3是YOLO系列目标检测算法中的第三版，相比之前的算法，尤其是针对小目标，精度有显著提升，首先是网络输入：YOLOv3网络一般输入大小为320×320、416×416、608×608。YOLOv3网络主要采用5次下采样，YOLOv3网络以DarkNet-53主干网路为基础，每次采样的步长为2，因此主干网络的最大部幅为2^5＝32；再其次是网络结构：为了产生更好的分类效果，首先YOLOv3算法训练一个DarkNet-53的主干网络，对于检测小目标来说通过训练能学习到想要学习的特征，其次检测模型做预先初始化操作，通过不断实验，发现利用主干网络DarkNet-53训练产生的结果，确实得到更好的效果，与其他主干网络如ResNet相比，在速度方面快了很多，训练简单方便，网络结构相比于ResNet少了很多，同时，DarkNet-53采用了ResNet这种跳层连接方式，取得了不错的效果，YOLOv3网络是一个全卷积网络，使用了Dark-Net-53的前面52层，但是没有使用全连接层以及池化层的，而且使用了许多残差结构进行跳层连接，残差结构的使用有助于网络结构在很深的情况，保持收敛性，使得训练进行下去，而且网络越深，训练的结果越好，分类和检测得到的效果越理想，而且残差中的1×1的卷积，在一定程度上减少了计算量。YOLOv3使用三种类型降采样，分别为32倍、16倍和8倍降采样，为了保证网络越深的特征所展现的效果越好，在使用降采样进行检测之后，进行上采样，对深层特征进行目标检测。利用YOLOv3在下采样产生浅层特征，进行route层操作，之后进行张量拼接，将DarkNet中间层和后面的某一层的上采样进行拼接。

进一步地，所述PLC对硬件装置的控制具体是通过一个装置控制箱实现的，电源部分负责将220VAC转换为24VDC，为整个系统供电；欧姆龙PLC部分负责接受红外传感器、接近开关等发出的信号，并按照程序预先设定对食盆、目标旋转盘、蜂鸣器等进行控制；脉冲发生器部分负责接收PLC控制器信号，并将脉冲信号发送给步进电机驱动器；步进电机驱动器部分接收到脉冲信号后，驱动相应步进电机进行转动，进而控制食盆、目标旋转盘进行转动；继电器部分接收到指定信号后，线圈吸合，控制蜂鸣器发出声响。

一种鸟类视觉识别行为训练系统的训练流程如下：

S1：主通道的红外传感器A检测到鸟类经过时打开主通道的闸门，同时目标旋转盘A、B随机转动，其中一个目标旋转盘出现目标；

S2：通过红外传感器B、C判断鸟类是否选择正确目标通道：通道选择正确，分通道内食盆转动至指定位置，喂食5秒后，出现目标的旋转盘转回，同时停止喂食；通道选择错误，分通道内蜂鸣器响3秒，同时出现目标的旋转盘转回；

S3：红外传感器A检测到鸟类返回时，闸门关闭，食盆A转动，喂食5秒后，停止喂食。红外传感器A再次检测到鸟类经过时，打开闸门，返回步骤(1)，如此反复鸟类视觉识别行为进行训练。

相较于现有技术，本发明的有益效果是：

(1)该系统是一种以鸟类为实验对象,将计算机视觉技术、视频分析技术及模式识别技术相结合,重点探索基于视频的动物行为智能分析系统中目标检测、目标跟踪、目标特征信息提取、动物体态分类等关键技术,并实现上述关键技术探索的训练系统，该系统通过对视觉信息编码、解码的研究来探索视觉信息处理机制，视觉信息处理机制的探索有助于揭秘脑处理信息的工作机制，最终将其运用到人工智能上，造福人类；

(2)本发明提供了一种鸟类视觉识别行为训练系统，通过在训练系统中加入实时视频分析模块，能够准确的识别出动物抉择瞬间的图片，并且结合动物脑电信号采集与分析装置，实现了对视觉神经元响应的解码，为进一步研究自动活动状态下动物视觉认知相关的神经机制提供了便利。

附图说明

图1为本发明一种鸟类视觉识别行为训练系统的流程图；

图2为本一种鸟类视觉识别行为训练系统的分析方法中DarkNet-53的结构示意图；

图3为本发明一种鸟类视觉识别行为训练系统的分析方法中YOLOv3算法的程序流程图；

图4为本发明的分析方法中系统硬件装置示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

一种鸟类视觉识别行为训练系统，该系统包括硬件装置和具备实时视频分析功能的可视化操作软件，硬件装置包括目标刺激模块、行为反馈模块、奖惩模块、视频采集模块、红外感应模块；可视化操作软件是在PLC上运行，以PLC实现对硬件装置的控制。

如图4所示，以上硬件装置设计的是Y字型通道：一个主通道，两个分通道，在两个通道末端随机出现识别的目标，通过训练动物，使其可以识别出随机出现的目标。通道采用黑色不透明有机塑料材料制作，能够有效减少外界光源对动物的干扰，两个分通道的侧面分别设置有蜂鸣器、食盆、红外传感器，分别为蜂鸣器B、食盆B、红外传感器B及蜂鸣器C、食盆C、红外传感器C，投食装置用于训练过程中给予实物奖励，蜂鸣器用于惩罚。分通道的上方适当位置安装有摄像装置，主通道的下面开口处放置的有食盆A、红外传感器A，主通道还设置有闸门。

如图4所示，目标图像刺激模块采用两个旋转盘设计，分别为目标旋转盘A、目标旋转盘A，每个旋转盘都可以出现目标，当鸟类进入主通道时，红外传感器接到信号，反馈给PLC，PLC控制闸门的开启，并且随机一个旋转盘转动出现目标，供鸟类进行识别。

如图4所示，行为反馈模块主要是由红外传感器组成，红外传感器分别为红外传感器A、红外传感器B、红外传感器C，红外传感器与PLC相连，主要用于反馈动物的行为信息。PLC上的操作软件会事先设定了特定目标随机出现在某个通道末端，当动物观察到目标时，然后做出选择走向其中一个通道，经过特定位置的红外传感器时，PLC则会检测到一个电信号，并把此信号发送给PC机，由PC机进行判断动物是否做出了正确的决策。

如图4所示，奖惩模块用于对动物执行正确行为反馈后进行投食犒赏或者执行错误行为反馈后进行声音惩罚。奖励模块由电机与食盆构成，食盆分别为食盆A、食盆B、食盆C，当动物做出正确的行为反馈后，PLC驱动电机将食盆转出，给予食物奖励，一段时间后转回，投食时间可调；惩罚模块用蜂鸣器发出噪声来对鸟类进行惩罚，蜂鸣器分别为蜂鸣器A、蜂鸣器B、蜂鸣器C，其中蜂鸣器和PLC相连，当鸟类做出错误行为时，红外传感器感受到鸟类的错误行为将信号反馈给PLC，PLC再发出信号给蜂鸣器，让蜂鸣器发出噪声对动物实施惩罚。利用控食后动物对食物的生理需求，利用奖励模块给动物喂食，给食量可通过电机旋转延时时间来调节，易于控制，且投食方式不会造成鸟类成瘾以及其他负面影响，且无效实验回合不会获得奖励，错误的趋向行为会对鸟类进行惩罚措施，这样可以强化动物行为的目的性，提高训练的正确率和训练速度。

视频采集模块主要用于采集动物训练过程中的视频集。通过高清摄像头记录动物的行为以及姿态，然后上传给电脑，供后期对照实验，以及后期制作图片样本用于系统训练得到判别模型。摄像头可以实时显示并且记录鸟类训练过程中的状态，并且通过实时的视频分析算法可以识别出鸟类的各种动作进行分析，并结合动物脑电信号采集与分析装置，实现对视觉神经元信号的解码。

动物脑电信号采集与分析装置主要用于采集并且分析动物的脑电信号，包括脑电信号采集装置、植入动物脑部的微电极阵列和脑电信号的实时分析软件。通过微电极阵列采集自由活动状态下的动物脑电信号，设置不同的参数采集保存相应的信号用于后期的研究。

可视化操作软件包括两个部分，其一部分是PLC与外部设备之间控制与反馈的操作软件，该部分操作软件是控制如下的整个过程：当红外传感器A检测到鸟类经过时闸门将会打开，同时两个目标旋转盘A、旋转盘B随机转动，其中一个目标旋转盘将会出现目标，此时鸟类进行通道选择，通过分通道的红外传感器判断鸟类是否选择正确目标通道：如果通道选择正确，分通道内的食盆转动至指定位置，喂食5秒后，出现目标的旋转盘转回，同时停止喂食；如果通道选择错误，分通道内蜂鸣器响3秒，同时出现目标的旋转盘转回。当鸟类通道选择结束后，主通道的红外传感器A检测到鸟类返回时，闸门关闭，门口食盆A转动进行对鸟类进行喂食，喂食5秒后，停止喂食，红外传感器A再次检测到鸟类经过时，打开闸门，鸟类从新开始新一轮的目标选择。

可视化操作软件的另一部分是对特定视频采集模块输入的视频集进行实时分析的视频分析模块，视频分析模块主要包含视频采集、模型训练与视频的自动分析三个环节。首先，在每个试次训练过程中通过视频采集模块采集到足够的视频集；然后，对每帧图像进行离线标注与训练，得到动物的识别模型，存储在电脑中；最后，在实际应用环节，对视频采集模块实时采集的视频图像进行分析与识别。同时将动物脑电信号采集与分析装置放在动物头部，对特定视觉神经元响应进行分析。

如图2、图3所示，对于视频图像的分析方法具体如下：首先，采用的是YOLOv3算法，YOLOv3是YOLO系列目标检测算法中的第三版，相比之前的算法，尤其是针对小目标，精度有显著提升，首先是网络输入：YOLOv3网络一般输入大小为320×320、416×416、608×608。YOLOv3网络主要采用5次下采样，YOLOv3网络以DarkNet-53主干网路为基础，每次采样的步长为2，因此主干网络的最大部幅为2^5＝32；再其次是网络结构：为了产生更好的分类效果，首先YOLOv3算法训练一个DarkNet-53的主干网络，对于检测小目标来说通过训练能学习到想要学习的特征，其次检测模型做预先初始化操作，通过不断实验，发现利用主干网络DarkNet-53训练产生的结果，确实得到更好的效果，与其他主干网络如ResNet相比，在速度方面快了很多，训练简单方便，网络结构相比于ResNet少了很多，同时，DarkNet-53采用了ResNet这种跳层连接方式，取得了不错的效果，YOLOv3网络是一个全卷积网络，使用了Dark-Net-53的前面52层，但是没有使用全连接层以及池化层的，而且使用了许多残差结构进行跳层连接，残差结构的使用有助于网络结构在很深的情况，保持收敛性，使得训练进行下去，而且网络越深，训练的结果越好，分类和检测得到的效果越理想，而且残差中的1×1的卷积，在一定程度上减少了计算量。YOLOv3使用三种类型降采样，分别为32倍、16倍和8倍降采样，为了保证网络越深的特征所展现的效果越好，在使用降采样进行检测之后，进行上采样，对深层特征进行目标检测。利用YOLOv3在下采样产生浅层特征，进行route层操作，之后进行张量拼接，将DarkNet中间层和后面的某一层的上采样进行拼接。

PLC对硬件装置的控制具体是通过一个装置控制箱实现的，电源部分负责将220VAC转换为24VDC，为整个系统供电；欧姆龙PLC部分负责接受红外传感器、接近开关等发出的信号，并按照程序预先设定对食盆、目标旋转盘、蜂鸣器等进行控制；脉冲发生器部分负责接收PLC控制器信号，并将脉冲信号发送给步进电机驱动器；步进电机驱动器部分接收到脉冲信号后，驱动相应步进电机进行转动，进而控制食盆、目标旋转盘进行转动；继电器部分接收到指定信号后，线圈吸合，控制蜂鸣器发出声响。

如图1、4所示，一种鸟类视觉识别行为训练系统的训练流程如下：

S1：主通道的红外传感器A检测到鸟类经过时打开主通道的闸门，同时目标旋转盘A、B随机转动，其中一个目标旋转盘出现目标；

S2：通过红外传感器B、C判断鸟类是否选择正确目标通道：通道选择正确，分通道内食盆转动至指定位置，喂食5秒后，出现目标的旋转盘转回，同时停止喂食；通道选择错误，分通道内蜂鸣器响3秒，同时出现目标的旋转盘转回；

S3：红外传感器A检测到鸟类返回时，闸门关闭，食盆A转动，喂食5秒后，停止喂食。红外传感器A再次检测到鸟类经过时，打开闸门，返回步骤(1)，如此反复鸟类视觉识别行为进行训练。

一种鸟类视觉识别行为训练系统的训练方案具体实施案例如下：

S1：将鸟类分别放置在两个大笼子内，禁食24小时，水充足；

S2：每天训练半小时，每个食盆放置少量的鱼，目标放置于平台，将笼子放置在训练系统的进口处，提示周围保持安静；

S3：启动训练系统的自动模式，开启摄像头，打开笼子盖，进行训练，训练流程如下：

(1)主通道的红外传感器A检测到鸟类经过时打开主通道的闸门，同时目标旋转盘A、B随机转动，其中一个目标旋转盘出现目标；

(2)通过红外传感器B、C判断鸟类是否选择正确目标通道：通道选择正确，分通道内食盆转动至指定位置，喂食5秒后，出现目标的旋转盘转回，同时停止喂食；通道选择错误，分通道内蜂鸣器响3秒，同时出现目标的旋转盘转回；

(3)红外传感器A检测到鸟类返回时，闸门关闭，食盆A转动，喂食5秒后，停止喂食，红外传感器A再次检测到鸟类经过时，打开闸门，返回步骤(1)，如此反复对鸟类视觉识别行为进行训练；

S4：记录训练结果；

S5：实验结束后，打扫场地，清洗食盆。

注：以上训练过程分如下三个阶段：

(1)有无目标(一个台子放目标、一个台子不放目标，两臂目标交替随机出现)；

(2)目标辨别(一个台子放待识别目标，另外一个台子放其他目标，两臂目标交替随机出现)；

(3)识别特定目标(一个台子放待识别目标，另外一个台子随机放其他目标，两臂目标交替随机出现)。

以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。