一种基于HOG分块的特征直方图融合对饮水区域猪的身份识别办法

技术领域

本发明属于计算机视觉技术领域，涉及RGB图像的增强及特征融合，具体涉及一种基于HOG分块的特征直方图融合对饮水区域猪的身份识别。

背景技术

近年来，中国生猪养殖规模和数量在不断扩大，养殖信息化是今后生猪饲养监管的重要模式。计算机视觉技术作为信息处理的有效辅助技术，提供了一种自动化、非接触式、低成本、高收益且对动物无伤无压力的行为识别方式，可用于考量生猪健康状况并及时预防和发现疾病。在特征提取过程中，在图像中会出现大量背景等无用特征，对于特征融合导致的维数过多，使用降维方法可能会丢失重要信息等，会影响后期识别时的准确率。因此如何减少无用背景且在不影响准确率的情况下减少特征维数也引起了许多学者的关注。本文提出了一种在特定饮水区域进行分块划分提取融合直方图特征进行猪只身份识别的方法。对采集到的视频集进行分帧筛选，划分饮水区域，使用FCN网络进行目标分割得到七头猪中分别饮水的单只猪的图像集，减少了大部分的无用背景，且解决了猪在运动中的非刚性特性会引起体型变化导致特征提取不同的问题。对饮水区域的像素块进行最佳分块，并构建多尺度特征空间，设置不同的步长，寻找最佳基本单元的比例对饮水区域进行遍历，改进后的特征提取算法减少了维数，最大程度上保留了有效特征。提取改进后的HOG特征、NMB-LBP纹理特征、量化后的H-S特征，确定权重得到融合后的特征直方图作为特征向量，并利用stacking集成学习思想在组合分类器中进行训练得到饮水猪的识别结果。对实验表明，基于HOG分块的特征融合对饮水区域的猪只进行识别方法是有效的，在识别精度上有明显提高，同时为采食区域的群养猪身份识别提供了新思路。

发明内容

本发明的目的设计出一种基于HOG分块的特征直方图融合对饮水区域猪的身份识别方法。使用FCN网络对饮水猪进行分割，利用HOG特征、MB-LBP特征和H-S特征的各自优点对饮水图像提取全局特征和局部特征加以融合，确定权重得到融合后的特征直方图作为特征向量，并在多分类器中进行训练得到饮水猪的识别结果。

本发明所采用的技术方案是：(1)在猪舍正上方采集俯视视频集，视频拍摄的帧率为30fps，图像的分辨率为1760*1840像素，猪的个数为7头。对拍摄出来的视频进行结构相似性阈值分析，将基准图像与后续帧一一计算欧式距离，小于阈值的图像帧全部剔除，直到与某一帧的相似度离大于阈值为止，得到关键帧图像；通过对饮水区域的猪形态轨迹对比分析和结合饮水龙头的位置，确定饮水区域的大小。通过实验和分析确定本专利的饮水区域的边长为七头猪中最长尺寸的1.1倍，保证饮水时猪只轮廓全部在饮水区域内。

(2)为了提高图像清晰度，同时也能够提取到有效的目标信息，故对分帧后的有效图像进行变换增强和图像去噪，得到更具细节特征的图像集。首先对猪只前景不同区域采用自适应直方图均衡化，以获得更加合适的效果，对各区块进行线性插值之后，可以削弱图片的区块效应。再采用双边滤波，降噪平滑整张图片，保持猪只轮廓边缘的效果。利用FCN(全卷积网络)对饮水猪目标分割具体包括：采用全卷积网络的方法对饮水区域猪只目标进行分割。全卷积网络结构为卷积层conv1-conv8，池化层pool1-pool5。对饮水区域进行截取得到540*540的像素大小，作为FCN卷积网络的输入，对卷积层conv8进行2倍、4倍与8倍上采样操作。conv8卷积层32倍上采样的预测结果得到原图像的尺寸大小，此时的预测值为FCN-32s。将conv8卷积层进行2倍上采样与pool4层进行的预测结果进行融合，再进行16倍上采样与输入图片尺寸相同，此时的预测值为FCN-16s。FCN-16s预测值进行2倍的上采样与从pool3层得到的预测融合起来，再进行8倍上采样与输入图片尺寸相同，此时的预测值为FCN-8s。比较三种不同深度的预测融合，使网络能够更好地预测细节，同时保留高级别的语义信息。本专利采用FCN-16s网络，对conv8进行2倍上采样，然后与pool4层的预测结合起来，二者融合之后进行16倍上采样，得到的输出图片大小与输入时的相同。如附图说明中的图(2)所示。此种结合方法能够更好地预测猪只边缘细节，使分割效果更好。

(3)为了找到划分最佳提取饮水区域内猪只特征的方法，将饮水区域像素(540*540)划分为四种小单元分别进行分析与试验：3*3像素/单元，6*6像素/单元，9*9像素/单元，12*12像素/单元；通过划分的不同单元的梯度和方向图进行对比，其中9*9像素/单元所划分的最为合适，特征维数不会过大且不遗漏重要信息。因此将饮水区域的像素划分成60*60个基本单元；将每四个基本单元(9*9像素)组成一个子块,即2*2个单元/块，一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子，如附图(3)所示。步骤(3)中采用多尺度空间特征的所示内容具体如下：为了更好的提取不同的区域信息，在一定程度上解决冗余，对饮水区域采用多尺度特征的提取。每个序列的饮水区域被划分60*60基本单元，其子块的尺度比例s设置为五种大小，分别为1*1基本单元,2*2基本单元,3*3基本单元,4*4基本单元,5*5基本单元。步长为1，遍历饮水区域所有基本单元。F

分别得到s＝1,2,3,4,5时的训练数据集。本专利的尺度比例s设置为2*2。

(4)通过计算和统计图像局部区域的梯度方向直方图来构成HOG特征，提取特征的过程如下：将饮水区域的像素划分成60*60个单元，统计每个单元的梯度直方图(不同梯度的个数)，即可形成每个单元的描述子(特征向量)。横坐标选取了180度的范围作为梯度的方向，分成9个范围，每个范围为20度，纵坐标为对应像素点梯度的幅值；将每四个单元组成一个子块,即2*2个单元/块，一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子，共得到横坐标36个范围的HOG特征直方图；遍历所有的块，在直方图现有的范围上进行累加，得到整个饮水区域的特征直方图，形成一个36维的特征向量。

改进的NMB-LBP(New Multiscale Block LBP)特征的提取具体描述如下：首先将检测窗口的划分与HOG保持一致，饮水区域分成30*30个子块,18*18像素/块；对每块中的像素进行划分成四个9*9的基本单元，每基本单元中3*3的区域内的灰度最大值作为当前区域的灰度值，与周围八个区域灰度进行比较形成LBP特征。提取过程中一个LBP算子在9*9的窗口下能产生256种模式。考虑到过多的二进制模式会影响纹理的提取速度和识别分类的精度，本专利采用多种等价模式进行实验，对改进后的纹理特征模式进行降维，求出NMB-LBP所对应的循环二进制数从0到1或从1到0的跃变次数。跃变次数在i次内，则二进制模式保留，跃变次数在i次以外，二进制模式全部归为一类。通过分析试验得出i值取2时，二进制模式减少为59种；i值取3时，二进制模式减少为129种；i值取4时，二进制模式减少为199种。三种取值模式得到的纹理特征的识别准确率如图(4)所示，本专利取i值为3时的新特征模式,在识别准确率提高的同时纹理特征维数减少到129维。

量化的H-S特征的提取具体描述如下：对于颜色特征，本专利将RGB的图像数据集转换到HSV颜色空间，因为亮度分量与图像的彩色信息无关，因此我们进行舍去。H为色调，用角度度量，它的取值范围为0°～360°；S为饱和度，通常取值范围为0％～100％，值越大，颜色越饱和。为了解决直方图矢量维数过多的问题，对得到的HSV空间H分量和S分量进行适当的量化，将色调H空间分成8份，饱和度S空间分成3份，共得到11维的HSV特征描述子，作为颜色直方图特征。

(5)根据实验分析，对上述划分为最佳分块的HOG特征、改进的NMB-LBP纹理特征和量化后的H-S特征确定权重，构建融合特征的直方图，最大程度保留有效识别信息。为了减小计算量、提高系统分类识别效率，本专利对上述三种特征进行串行融合，根据三种特征单独作用时的准确率确定参考权重。权重的计算方法如下：设图像特征提取到的HOG特征向量为C

采用堆叠式两阶段集成学习的方法将第一层分类器的预测结果合并为新的特征集，作为下一层分类器的输入，对饮水区域猪进行身份识别。其中K近邻分类器、SVM分类器分别对融合后的特征进行训练，将七头猪划分为七个类别，在训练中其中一类当作正集时其他六类作为负集。在此基础上利用堆叠式两阶段集成学习进行两层模型训练，第二层是在第一层分类器的验证结果上进行再训练。具体描述如下：将饮水猪的数据集按照3:1的比例划分为训练集和测试集(训练集1050张图片，测试集350张图片)。采用七折交叉验证的方法将训练集平均划分为七份S1,S2...S7，每个子集包括150张图片，依次选取其中一个子集S

在原始测试集上进行预测得出结果为y

本发明的有益效果是：

(1)本发明提出在固定饮水区域对饮水猪进行分割和特征的提取，解决了猪在运动中的非刚性特性会引起体型变化和对俯视群养猪的整个运动区域进行特征提取维数过多问题。

(2)本发明提出一种对前景和背景进行自适应直方图均衡化和双边滤波方法对饮水图像集进行增强，在对各区块进行线性插值之后，可以削弱图片的区块效应。达到更好的保持边缘效果。

(3)本发明采用FCN网络对饮水猪进行目标分割，相比于传统分割方法相比能够更加高效且分割效果更好。

(4)本发明采用多尺度特征，根据不同的子块比例遍历饮水区域，得到不同尺度下的训练集。可以得到最佳比例子块下的对特征的贡献率，并在一定程度上减少特征冗余。

(5)本发明采用通过HOG特征对饮水区域进行分块划分，从四种不同的小单元中寻找最佳像素块的划分，对NMB—LBP纹理特征和HSV颜色空间以同样的像素块进行特征提取，可以最大程度保留特征信息的同时达到有效降维的效果。

(6)本发明采用改进后的NMB-LBP特征，每基本单元中3*3的区域内的灰度最大值作为当前区域的灰度值，并使用跃变次数为3的二进制模式对特征进行降维，减少饮水区域无关特征冗余的同时，识别准确度也相应提高。

(7)本发明采用量化后的H-S颜色特征，将0°-360°范围的色调(H)分成8份，0-1范围的饱和度(S)分成3份，更加细化的划分颜色特征，使其提取到猪只背部更好的颜色效果。(8)本发明构建堆叠式两阶段学习框架，以K近邻和支持向量机作为第一层的学习器，构建一个人工神经网络作为第二层学习器。将第一层两个分类器预测的结果进行加权合并，以此作为新的特征输入到第二层神经网络中，进一步提升分类准确率。保持准确性和多样性的平衡，在数据量有限的情况下达到最佳的饮水猪模型的预测能力。

附图说明

图1是本发明中视频分帧得到的有效图和图像预处理的过程流程图；

图2是本发明对于预处理好的图像集进行全卷积分割网络结构图；

图3是本发明对饮水区域的分块划分示意图；

图4是本发明对不同跃变次数下的NMB-LBP特征识别准确率的实验图；

图5是本发明饮水区域分块划分、特征直方图提取和训练的算法流程图；

图6是本发明在stacking集成学习思想下的身份识别流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明，但本发明的保护范围并不限于此。

步骤(1)对视频进行分帧操作，选出有饮水猪的图像集，划定饮水区域。

具体方法如下：摄像机采用灰点公司的FL3-U3-88S2C-C(Sony CMOS)，在养猪场进行采集视频图像，猪舍的长宽尺寸都为2米，高度为3米。拍摄的视频为30帧/秒，其分辨率为1760*1840像素，该摄像机安装在猪舍中心的正上方，距离地面3米，猪舍群养猪个数为七头。对拍摄出来的视频进行分帧处理选取关键帧图片。具体步骤如下：(1)将视频第一帧作为基准图像。(2)将基准图像与后续帧一一计算欧式距离，小于阈值的图像帧全部剔除，直到与某一帧的相似度离大于阈值为止，该阈值由大量的实验确定。(3)将上一步得到的新的一帧作为基准，重复(2)步骤，直至遍历全部帧。最后，剩余的图像即为关键帧图像。本专利在选取关键帧时考虑到对比度对较和结构对较，对结构相似性算法进行改进，公式如下：

其中，σ

通过对饮水区域的猪形态轨迹对比分析，划分饮水区域的像素值为540*540，其边长为七头猪中最长尺寸的1.1倍，保证饮水时猪只轮廓全部在饮水区域内。

步骤(2)图像预处理操作和FCN分割。

具体方法如下：全卷积网络分割图如图1所示，图像采集过程中极易噪声干扰，为了提高图像清晰度，同时也能够提取到有效的目标信息，故对分帧后的有效图像进行变换增强和图像去噪，得到更具细节特征的图像集。首先采用自适应直方图均衡化，对不同区域进行直方图均衡化以获得更加合适的效果，在对各区块进行线性插值之后，可以削弱图片的区块效应。再采用双边滤波，在降噪平滑的同时，保持边缘的效果。以传统CNN为基础网络，基于全卷积网络(FCN，fully convolutional networks)对饮水区域猪进行分割，进而提取出符合条件的猪只。在传统的CNN结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率。FCN将这3层表示为卷积层，保留空间二维信息，再对卷积二维特征图进行反卷积恢复出原始图像大小(经过与FCN-32和FCN-8进行比较后，采用FCN-16s来优化输出。对卷积层7上采样扩大两倍，与池化层pool4的输出进行融合，然后再上采样扩大16倍得到输入图像大小，见附图说明中的图2，最后通过逐像素分类，获取每个像素类别，从而实现图像分割目的。

步骤(3)划分饮水区域，构建多尺度特征空间。

具体方法如下：过程流程图如图1所示，由于饮水区域的大小为540*540，将像素划分为四种小单元，3*3像素/单元，6*6像素/单元，9*9像素/单元，12*12像素/单元；其中9*9像素/单元所划分的最为合适，特征维数不会过大且不遗漏重要信息。因此将饮水区域的像素划分成60*60个基本单元；将每四个基本单元组成一个块,即2*2个单元/块，一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子。

为了更好的提取不同的区域信息，在一定程度上解决冗余，对饮水区域采用多尺度特征的提取。具体如下：每个序列的饮水区域被划分60*60基本单元，基本单元的比例s设置为1*1基本单元、2*2基本单元、3*3基本单元、4*4基本单元与5*5基本单元五种。步长为1，遍历饮水区域所有子块。F

其中

n为确定尺度比例后的总子块数，N为训练子集的数量，f

形成的训练数据集为F

分别得到s＝1,2,3,4,5时的训练数据集。本专利设置尺度的比例为2*2基本单元。

步骤(4)在多尺度下提取特征。

具体方法如下：算法流程图如附图3所示，HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征，对猪的边缘轮廓的梯度值和方向值提取也能起到很好的作用。因此在我们的饮水区域可以有效提取出轮廓的梯度信息和方向信息。具体步骤如下：(1)对图像数据进行灰度化；(2)为了调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰，采用Gamma校正法对输入图像进行颜色空间的归一化。

H(x,y)＝H(x,y)

(3)捕获轮廓信息，计算图像每个像素的梯度(包括大小和方向)；

G

G

(4)将饮水区域的像素划分成60*60个单元,其中9*9像素/单元；

(5)统计每个单元的梯度直方图(不同梯度的个数)，即可形成每个单元的描述子。横坐标选取了180度的范围作为梯度的方向，分成9个范围，每个范围为20度，纵坐标为对应像素点梯度的幅值；(6)将每四个基本单元组成一个子块,即2*2个单元/块，共得到36范围的HOG特征直方图；(7)遍历所有的块，在直方图的36的范围上进行累加，得到整个饮水区域的特征直方图，形成一个36维的特征向量。

MB-LBP特征(Multiscale Block LBP,多尺度局部二值模式)可以解决在特定尺寸的LBP算子的局限性，大大减少了计算量，提高了计算速度。改进后的算法步骤为：(1)首先将检测窗口的划分与HOG保持一致，饮水区域分成30*30个子块(block),18*18像素/块；(2)对每块中的像素进行划分成四个9*9的基本单元，每基本单元中3*3的区域内的灰度最大值作为当前区域的灰度值，与周围八个区域灰度进行比较形成LBP特征，提取过程中一个LBP算子在9*9的窗口下能产生256种模式，采用新的等价模式对其进行降维，当某个LBP所对应的循环二进制数从0到1或从1到0最多有三次跳变时，该类型保留；跳变次数超过三次时，均归为一类。通过这样的改进，二进制模式由原始的256种减少为129种，这使得特征向量的维数更少。每基本单元的3*3区域取最大值，与周围8个基本单元比较产生8位二进制数，转化成十进制即得到该窗口中心像素点的LBP值；

其中p表示3*3基本单元中除中心外的第p个像素点，I(c)表示中心基本单元的灰度值，I(p)表示领域内第p个基本单元的灰度值。二进制数的跳变次数为：

跳变次数小于等于3，则各自代表一类，跳变次数大于3的所有情况归为一类。(3)对四个基本单元得到的纹理直方图进行并联，即得到每块的纹理直方图特征，最后将得到的每子块的统计直方图进行连接成为一个特征向量，也就是整幅图的MB-LBP纹理特征向量。

图4是本发明对不同跃变次数下的NMB-LBP特征识别准确率的实验图；图5是本发明饮水区域分块划分、特征直方图提取和训练的算法流程图。

颜色空间特征作为重要的视觉特征，有助于图像的识别。而HSV颜色空间有更为直观的视觉属性。本文将RGB的图像数据集转换到HSV颜色空间，并进行量化得到直方图特征。因为亮度分量与图像的彩色信息无关，因此我们进行舍去。H为色调，用角度度量，它的取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。它们的补色是：黄色为60°，青色为180°,品红为300°；S为饱和度，通常取值范围为0％～100％，值越大，颜色越饱和。为了解决直方图矢量维数过多的问题，对得到的HSV空间H分量和S分量进行适当的量化，将色调H空间分成8份，饱和度S分成3份，共得到11维的HSV特征描述子转化公式如下：

通过实验对比，对饮水区域进行分块划分，9x9像素/基本单元,2x2基本单元/子块，步长为1，得出样本维数是175维(36维+129维+11维)。

步骤(5)根据三种特征确定权重构建融合特征的直方图，利用stacking集成学习思想将K近邻分类器和支持向量机分类器的预测结果合并为新的特征集，作为下一层分类器的输入，对饮水区域猪进行身份识别。

具体方法如下：(1)对上述三种特征进行串行融合，根据三种特征单独作用时的准确率确定参考权重。权重的计算方法如下：设图像特征提取到的HOG特征向量为C

其中，C

(2)采用堆叠式两阶段集成学习的方法将第一层分类器的预测结果合并为新的特征集，作为下一层分类器的输入，对饮水区域猪进行身份识别。其中K近邻分类器、SVM分类器分别对融合后的特征进行训练，将七头猪划分为七个类别，在训练中其中一类当作正集时其他六类作为负集。在此基础上利用堆叠式两阶段集成学习进行两层模型训练，第二层是在第一层分类器的验证结果上进行再训练。具体描述如下：将饮水猪的数据集按照3:1的比例划分为训练集和测试集(训练集1050张图片，测试集350张图片)。采用七折交叉验证的方法将训练集平均划分为七份S1,S2...S7，每个子集包括150张图片，依次选取其中一个子集S

其中Acc(Q

其中W

在原始测试集上进行预测得出结果为y

综上，本发明提出一种在特定饮水区域进行分块划分提取融合直方图特征进行猪只身份识别的方法。针对于传统图像算法对俯视群养猪的整个运动区域进行特征提取维数过多，且猪在运动中的非刚性特性会引起体型变化导致特征提取不同的问题，可以很好的提高识别准确率。首先由FL3-U3-88S2C-C摄像机获取彩色和深度视频集，对采集到的视频集进行分帧筛选。划分饮水区域，得到七头猪中分别饮水的单只猪的图像集；其次对其进行自适应直方图均衡化、FCN饮水猪目标分割和形态学处理等，得到饮水区域固定方向的单只猪图像；然后建立训练样本，通过HOG特征对饮水区域进行分块划分，寻找划分的最佳像素块。构建多尺度特征空间，设置不同的步长比例，对其提取梯度和方向的直方图特征；另把划分好的像素块应用在NMB-LBP纹理特征和H-S颜色特征的提取中；最后根据三种特征的准确率确定权重构建融合特征直方图，最大程度保留有效识别信息。利用stacking集成学习思想构建堆叠式两阶段学习框架，将第一层K近邻分类器和支持向量机分类器的预测结果合并为新的特征集，作为下一层人工神经网络的输入，进一步提升分类准确率。该项研究所提出的组合方法在猪的整个运动区域识别率有所提高，对特征的融合方法也是有效的，同时为固定采食区域基于采食的特征提取和融合提供了参考。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。