一种基于迁移学习的牦牛脸识别方法

技术领域

本发明属于人工智能图像识别技术领域，具体涉及一种基于迁移学习的牦牛脸识别方法。

背景技术

近年来，人工智能快速发展，一些关键技术被应用于畜牧业。牦牛养殖场为了集中化管理，需要对每个牦牛个体进行记录以及精确的识别。目前已有的各种动物脸部识别技术取得了不错的效果。不过牦牛脸识别本身具有其特殊性，由于牦牛脸上毛发较多，会掩盖部分脸部特征，且目前牦牛脸部的数据集较少，如果直接利用现有的网络模型训练会出现识别效果不佳和训练时间过长等问题。而广泛应用于动物识别的VGG16网络，经过了大量数据和大量时间的训练，具有特征提取准确的优点，却难以直接用于牦牛脸识别。

因此，如何利用好这些已经训练好的且性能优异的VGG16模型，进行牦牛脸识别，是目前需要迫切解决的问题。

发明内容

本发明的目的是为了解决牦牛脸识别的问题，提出了一种基于迁移学习的牦牛脸识别方法。

本发明的技术方案是：一种基于迁移学习的牦牛脸识别方法包括以下步骤：

S1：从牦牛脸视频数据中提取牦牛脸图像数据；

S2：筛选牦牛脸图像数据，确定牦牛脸数据集，并将牦牛脸数据集分为训练数据和测试数据；

S3：将训练数据作为VGG-CNN网络的输入，进行训练；

S4：将测试数据输入至训练完成的VGG-CNN网络中，并输出分类结果，完成牦牛脸识别。

本发明的有益效果是：

(1)本发明的牦牛脸识别方法不仅能够直接使用已训练好的且具有多优点的VGG16网络，有效减少网络训练时间，联合CNN网络还能解决牦牛脸部毛发多和不易提取脸部特征的问题。

(2)迁移学习是一种机器学习方法，它使用在源数据领域中学习到的知识来解决目标数据领域中的任务，可以有效的降低网络的训练时间，提高牦牛脸识别的精确度。

(3)本发明提出的牦牛脸识别方法能够对牦牛身份进行精确的识别，以便于养殖场管理，减少管理时间。

进一步地，步骤S2包括以下子步骤：

S21：计算牦牛脸图像数据中相邻图像的均方误差MSE；

S22：通过均方误差MSE对牦牛脸图像数据进行一次筛选；

S23：计算一次筛选后的相邻图像的结构相似度S(x,y)；

S24：通过结构相似度S(x,y)对牦牛脸图像数据进行二次筛选，得到牦牛脸数据集；

S25：将牦牛脸数据集按照7:3的比例划分为训练数据和测试数据。

上述进一步方案的有益效果是：在本发明中，为了避免牦牛脸数据集中存在大量相似的图片，从而造成训练的神经网络过拟合，需要将视频数据中提取的牦牛脸图像数据进行相似度判定，判定相似度高的图片需要淘汰，利用图像均方误差以及结构相似性作为判定规则。首先使用图像均方误差进行初次筛选，由于均方误差算法不能完全筛选数据集，因此加入了结构相似性算法进行二次筛选。训练数据用作训练VGG-CNN网络，测试数据用于测试网络。

进一步地，步骤S21中，相邻图像的均方误差MSE的计算公式为：

其中，z

进一步地，步骤S22中，对牦牛脸图像数据进行一次筛选的方法为：通过相邻图像的均方误差MSE对相邻两张图像进行比较，若相邻图像的均方误差MSE大于0.5，则丢弃其中一张图像。

上述进一步方案的有益效果是：在本发明中，如果相邻两张图像的均方误差大于0.5，则判定这两张图像相似度高，从而丢弃其中一张，避免造成训练的神经网络过拟合。

进一步地，步骤S23中，相邻图像的结构相似度S(x,y)的计算公式为：

其中，u

进一步地，步骤S25中，对牦牛脸图像数据进行二次筛选的方法为：通过相邻图像的结构相似度S(x,y)对相邻两张图像进行比较，若结构相似度S(x,y)大于0.7，则丢弃其中一张图像。

上述进一步方案的有益效果是：在本发明中，如果相邻两张图像的结构相似度大于0.7，则判定这两张图像相似度高，从而丢弃其中一张，避免造成训练的神经网络过拟合。

进一步地，步骤S3包括以下子步骤：

S31：将训练数据作为VGG-CNN网络的输入，并利用VGG-CNN网络的特征提取函数和全连接函数依次对训练数据进行空间变换和维度变换；

S32：利用VGG-CNN网络的卷积函数对进行空间和维度变换后的输出训练数据进行特征提取；

S33：利用VGG-CNN网络的池化函数对特征提取后的训练数据进行汇聚，输出最终图像，完成训练。

上述进一步方案的有益效果是：在本发明中，VGG-CNN网络包括依次连接的已训练好的VGG16网络和CNN网络，其中CNN网络包含全连接层、若干个卷积层、池化层以及softmax分类层；VGG16网络为已训练好的初次特征提取网络，其后的CNN网络作为二次特征提取网络；两个网络由以下五元函数组成：M＝(V,D,C,P,S)；其中，V为特征提取函数，D为全连接函数，C为卷积函数，P为池化函数，S为softmax分类函数；特征提取函数V通过VGG16网络完成，VGG16网络包含13个卷积层、5个池化层和3个全连接层，其中所有的卷积核大小均为3×3，池化层全部采用2×2的池化核，最后经过3个全连接层和Softmax层输出每个类别的概率；在VGG-CNN网络模型中，在最后一个池化层进行了截断，丢弃了池化层后的全连接层以及softmax层。

进一步地，步骤S31中，利用特征提取函数对训练数据进行空间变换的计算公式为：

V(I)＝R

其中，V(·)表示特征提取函数，I表示输入的训练数据，

利用全连接函数对训练数据进行维度变换的计算公式为：

D(R)＝T

其中，D(·)表示全连接函数，T表示全连接网络的输出数据。

上述进一步方案的有益效果是：在本发明中，特征提取函数V(·)将输入的图像信息I变换为一个E×F维度的特征；通过一个全连接函数D(·)将VGG特征提取函数的输出进行维度变换，全连接函数D(·)将E×F维的数据转换为EF×1维度的数据，且全连接层采用sigmoid激活函数。

进一步地，步骤S32中，利用卷积函数对输出训练数据进行特征提取的计算公式为：

其中，U(·)表示卷积函数，i表示矩阵的行索引，j表示矩阵的列索引，K表示卷积核，R表示VGG网络的输出数据，m表示矩阵的行数，n表示矩阵的列数；

步骤S33中，利用池化函数对特征提取后的训练数据进行汇聚的计算公式为：

其中，U表示池化层的输入数据，

上述进一步方案的有益效果是：在本发明中，卷积函数用于对VGG网络的输出数据再次进行特征提取。池化函数的作用是将每个卷积层的输出汇聚为一个最终的图像特征，并去除冗余信息，减少计算量。

进一步地，步骤S4包括以下子步骤：

S41：将测试数据输入至训练完成的VGG-CNN网络中，并利用VGG-CNN网络的softmax层计算输入图像各类别的概率S

S

其中，p表示输出层第p个神经元的输出，q表示输出层神经元的总个数；

S42：将各类别概率进行大小值排序，将概率值最大的所属类别作为输出的分类结果，完成牦牛脸识别。

上述进一步方案的有益效果是：在本发明中，将测试数据输入到训练完成的VGG-CNN网络中，取softmax层的输出中最大的值属于的类别作为最终输出的分类结果。

附图说明

图1为牦牛脸识别方法的流程图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种基于迁移学习的牦牛脸识别方法，包括以下步骤：

S1：从牦牛脸视频数据中提取牦牛脸图像数据；

S2：筛选牦牛脸图像数据，确定牦牛脸数据集，并将牦牛脸数据集分为训练数据和测试数据；

S3：将训练数据作为VGG-CNN网络的输入，进行训练；

S4：将测试数据输入至训练完成的VGG-CNN网络中，并输出分类结果，完成牦牛脸识别。

在本发明实施例中，如图1所示，步骤S2包括以下子步骤：

S21：计算牦牛脸图像数据中相邻图像的均方误差MSE；

S22：通过均方误差MSE对牦牛脸图像数据进行一次筛选；

S23：计算一次筛选后的相邻图像的结构相似度S(x,y)；

S24：通过结构相似度S(x,y)对牦牛脸图像数据进行二次筛选，得到牦牛脸数据集；

S25：将牦牛脸数据集按照7:3的比例划分为训练数据和测试数据。

在本发明中，为了避免牦牛脸数据集中存在大量相似的图片，从而造成训练的神经网络过拟合，需要将视频数据中提取的牦牛脸图像数据进行相似度判定，判定相似度高的图片需要淘汰，利用图像均方误差以及结构相似性作为判定规则。首先使用图像均方误差进行初次筛选，由于均方误差算法不能完全筛选数据集，因此加入了结构相似性算法进行二次筛选。训练数据用作训练VGG-CNN网络，测试数据用于测试网络。

在本发明实施例中，如图1所示，步骤S21中，相邻图像的均方误差MSE的计算公式为：

其中，z

在本发明实施例中，如图1所示，步骤S22中，对牦牛脸图像数据进行一次筛选的方法为：通过相邻图像的均方误差MSE对相邻两张图像进行比较，若相邻图像的均方误差MSE大于0.5，则丢弃其中一张图像。

在本发明中，如果相邻两张图像的均方误差大于0.5，则判定这两张图像相似度高，从而丢弃其中一张，避免造成训练的神经网络过拟合。

在本发明实施例中，如图1所示，步骤S23中，相邻图像的结构相似度S(x,y)的计算公式为：

其中，u

在本发明实施例中，如图1所示，步骤S25中，对牦牛脸图像数据进行二次筛选的方法为：通过相邻图像的结构相似度S(x,y)对相邻两张图像进行比较，若结构相似度S(x,y)大于0.7，则丢弃其中一张图像。

在本发明中，如果相邻两张图像的结构相似度大于0.7，则判定这两张图像相似度高，从而丢弃其中一张，避免造成训练的神经网络过拟合。

在本发明实施例中，如图1所示，步骤S3包括以下子步骤：

S31：将训练数据作为VGG-CNN网络的输入，并利用VGG-CNN网络的特征提取函数和全连接函数依次对训练数据进行空间变换和维度变换；

S32：利用VGG-CNN网络的卷积函数对进行空间和维度变换后的输出训练数据进行特征提取；

S33：利用VGG-CNN网络的池化函数对特征提取后的训练数据进行汇聚，输出最终图像，完成训练。

在本发明中，VGG-CNN网络包括依次连接的已训练好的VGG16网络和CNN网络，其中CNN网络包含全连接层、若干个卷积层、池化层以及softmax分类层；VGG16网络为已训练好的初次特征提取网络，其后的CNN网络作为二次特征提取网络；两个网络由以下五元函数组成：M＝(V,D,C,P,S)；其中，V为特征提取函数，D为全连接函数，C为卷积函数，P为池化函数，S为softmax分类函数；特征提取函数V通过VGG16网络完成，VGG16网络包含13个卷积层、5个池化层和3个全连接层，其中所有的卷积核大小均为3×3，池化层全部采用2×2的池化核，最后经过3个全连接层和Softmax层输出每个类别的概率；在VGG-CNN网络模型中，在最后一个池化层进行了截断，丢弃了池化层后的全连接层以及softmax层。

在本发明实施例中，如图1所示，步骤S31中，利用特征提取函数对训练数据进行空间变换的计算公式为：

V(I)＝R

其中，V(·)表示特征提取函数，I表示输入的训练数据，

利用全连接函数对训练数据进行维度变换的计算公式为：

D(R)＝T

其中，D(·)表示全连接函数，T表示全连接网络的输出数据。

在本发明中，特征提取函数V(·)将输入的图像信息I变换为一个E×F维度的特征；通过一个全连接函数D(·)将VGG特征提取函数的输出进行维度变换，全连接函数D(·)将E×F维的数据转换为EF×1维度的数据，且全连接层采用sigmoid激活函数。

在本发明实施例中，如图1所示，步骤S32中，利用卷积函数对输出训练数据进行特征提取的计算公式为：

其中，U(·)表示卷积函数，i表示矩阵的行索引，j表示矩阵的列索引，K表示卷积核，R表示VGG网络的输出数据，m表示矩阵的行数，n表示矩阵的列数；

步骤S33中，利用池化函数对特征提取后的训练数据进行汇聚的计算公式为：

其中，U表示池化层的输入数据，

在本发明中，卷积函数用于对VGG网络的输出数据再次进行特征提取。池化函数的作用是将每个卷积层的输出汇聚为一个最终的图像特征，并去除冗余信息，减少计算量。

在本发明实施例中，如图1所示，步骤S4包括以下子步骤：

S41：将测试数据输入至训练完成的VGG-CNN网络中，并利用VGG-CNN网络的softmax层计算输入图像各类别的概率S

S

其中，p表示输出层第p个神经元的输出，q表示输出层神经元的总个数；

S42：将各类别概率进行大小值排序，将概率值最大的所属类别作为输出的分类结果，完成牦牛脸识别。

在本发明中，将测试数据输入到训练完成的VGG-CNN网络中，取softmax层的输出中最大的值属于的类别作为最终输出的分类结果。

在本实施例中，对养殖场中的200头牦牛进行图像采集，得到了20000张图像，采集完所有牦牛脸图像数据之后，按照7：3的比例划分训练数据和测试数据；训练数据用作训练VGG-CNN网络，测试数据用于测试VGG-CNN网络。

将测试数据输入VGG-CNN网络中，本实施例中为200头牦牛，则图像所属类别为200种；测试图像数据进入VGG-CNN网络中，最后输出各类别的概率，对这些概率值进行排序，选取概率值最大的所属类别作为最终的分类结果。

本发明的工作原理及过程为：本发明的牦牛脸识别方法首先从牦牛脸视频数据中提取牦牛脸图像数据；然后筛选牦牛脸图像数据，确定牦牛脸数据集，并将牦牛脸数据集分为训练数据和测试数据；再将训练数据作为VGG-CNN网络的输入，进行训练；将测试数据输入至训练完成的VGG-CNN网络中，并输出分类结果，完成牦牛脸识别。

本发明的有益效果为：

(1)本发明的牦牛脸识别方法不仅能够直接使用已训练好的且具有多优点的VGG16网络，有效减少网络训练时间，联合CNN网络还能解决牦牛脸部毛发多和不易提取脸部特征的问题。

(2)迁移学习是一种机器学习方法，它使用在源数据领域中学习到的知识来解决目标数据领域中的任务，可以有效的降低网络的训练时间，提高牦牛脸识别的精确度。

(3)本发明提出的牦牛脸识别方法能够对牦牛身份进行精确的识别，以便于养殖场管理，减少管理时间。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。