一种基于二维空间注意力的车牌识别方法

技术领域

本发明涉及涉及计算机视觉领域，主要用于车牌识别技术领域，一种基于二维空间注意 力的车牌识别方法。

背景技术

随着经济的快速发展，各大城市均面临着交通拥挤、事故多发等城市交通问题。车牌号 码作为车辆的唯一标识，如何精确地识别车牌号码，从而对车辆进行定位及智能化管理，成 为智能交通领域研究的热点。

车牌识别过程中主要包含车牌定位和车牌字符识别两个步骤。本发明主要关注车牌字符 识别部分。现有的车牌字符识别技术主要分为基于字符分割的车牌字符识别技术和基于深度 学习的车牌字符识别技术两大类。

基于字符分割的车牌字符识别技术通常对单个字符进行处理，通过模板匹配的方法将单 个字符的图像与标准模板进行匹配计算相似度，将具有最大相似度的标准文字作为识别结果 输出。该类方法在标注时需要对每个字进行位置和字符的标注，标注精度要求较高，导致标 注的人工成本过高，并且受图像模糊、光照、不同字体、拍摄角度、复杂场景等情况的影响 较大，鲁棒性较差。

基于深度学习的车牌字符识别技术通过输入车牌样本图片数据来进行神经网络的训练， 提取样本的特征然后再进行分类预测，预测每个字符的类别，从而完成车牌字符识别。该类 方法通常通过引入CTC loss(Connectionist Temporal Classificationloss)来解决文本对 齐问题，但传统的基于CTC的方法只能对单行文本进行处理，无法对双行文本直接进行处理。 业界通常使用车牌检测算法将双行文本进行分割为两个单行文本，再使用CTC的方法进行识 别。但由于受拍摄角度、光照等影响，车牌检测算法很难准确地将双行进行分割，该方法对 双行车牌的识别准确率通常都比较低。

在处理双行车牌时，传统车牌识别方法为先分割再识别，该方法易受拍摄角度、光照等 影响，很难精确地将双行字符分割开，算法识别精度不高。

发明内容

本发明所要解决的技术问题是针对双行车牌识别问题，提出了一种基于二维空间注意力 机制的车牌识别方法，将车牌识别作为时序问题处理，在时序网络中引入二维空间注意力机 制，让模型自适应地学习车牌号码的位置信息和字符特征信息，直接对双行车牌进行识别， 避免了因车牌字符分割不准导致识别准确率降低的问题，实现了同时对单行、双行车牌的精 确识别。

本发明为解决上述技术问题采用以下技术方案：

一种基于二维空间注意力的车牌识别方法，包含特征提取、特征编解码、模型训练三部 分；

其中，特征提取，用于提取车牌图像特征，用于后续特征编解码；

特征编解码包含编码模块和解码模块两个部分，编码模块，用于将图像卷积特征时序化， 且在时序网络中添加注意力机制，提取带有注意力的特征表征；解码模块，用于将编码后的 特征按照实际字符标签进行分类预测，解码输出为字；

模型训练，用于通过使用掩蔽交叉熵损失函数，计算模型输出预测结果与真实值之间的 损失，使用Adam优化器进行优化，进行模型训练。

作为本发明一种基于二维空间注意力的车牌识别方法的进一步优选方案，所述编码模块 包含序列化模块、空间注意力模块和特征融合模块三个模块；

其中，序列化模块，用于将车牌按照时序进行序列化并提取序列特征；

空间注意力模块，用于在序列化特征提取时，加入二维空间注意力机制，让模型自适应 学习带有字符位置信息的特征表征，让模型更加关注图像中的文字区域，得到带有二维空间 位置信息的空间特征；

特征融合，用于将序列化特征和二维空间注意力特征进行融合，得到词向量特征。

作为本发明一种基于二维空间注意力的车牌识别方法的进一步优选方案，所述序列化模 块具体如下：序列化模块对车牌图像卷积特征进行处理，将提取的卷积特征feature map从 左到右按照时序进行均分，并将每个切分后的卷积feature map经过Lstm层计算，得到每个 时刻的序列特征。

作为本发明一种基于二维空间注意力的车牌识别方法的进一步优选方案，所述空间注意 力模块的具体计算步骤如下：

计算二维空间注意力权重：

二维空间注意力特征通过对各个时刻、卷积特征feature map上的空间注意力权重进行 softmax计算，得到二维空间注意力特征α，用t表示时间，则t时刻的二维空间注意力α

其中，h,w分别表示feature的高和宽，w

其中，W

空间注意力特征融合：

通过上述步骤1得到每个时刻的二维空间注意力特征α

A

其中，T表示最大Lstm时长，V表示卷积特征feature map，α

特征融合：计算得到Lstm时序特征和空间注意力特征，将时序特征和注意力特征进行融 合，得到最终的词向量特征表征，t时刻的词向量计算如下：

embedding

其中，W

作为本发明一种基于二维空间注意力的车牌识别方法的进一步优选方案，所述解码模块 具体包含如下步骤：

进行编码后，每个时刻t得到一个融合的特征向量embedding

output

其中，W

作为本发明一种基于二维空间注意力的车牌识别方法的进一步优选方案，所述模型训练 中：掩蔽交叉熵损失函数，具体计算如下：

其中，output

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明将车牌识别作为时序问题处理，在时序网络中引入二维空间注意力机制，让模型 自适应地学习车牌号码的位置信息和字符特征信息，直接对双行车牌进行识别，避免了因车 牌字符分割不准导致识别准确率降低的问题，实现了同时对单行、双行车牌的精确识别。

附图说明

图1是本发明一种基于二维空间注意力的车牌识别方法的方法流程图；

图2是本发明一种基于二维空间注意力的车牌识别方法的模型前向过程流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围

本发明包含特征提取、特征编解码、模型训练三个部分。

模型前向过程包含特征提取、特征编解码两个步骤，首先通过特征提取网络，提取图像卷积特征。其次，通过Lstm对卷积特征feature map进行时序化、计算二维空 间注意力特征并进行特征融合得到每个时刻的特征表征e

1特征提取

(1)使用InceptionV4作为卷积神经网络，提取车牌图像的卷积特征，得到卷积特征 feature map。

(2)卷积神经网络输入图片大小设置为256*256，卷积特征feature map大小为32*32*1024。

2特征编解码

2.1编码

2.1.1序列化

将提取的卷积特征feature map从左到右按照时序进行均分，并将每个切分后的卷积 feature map经过Lstm层计算，得到每个时刻的序列特征。

(1)由于车牌中的字符长度通常小于8,因此将Lstm最大时间长度设置为8,即feature map上每4个像素位置表示一个时刻。

(2)Lstm特征维度设置为512维。

(3)Lstm中t＝0时刻的隐层h

(4)训练时，embedding

2.1.2空间注意力计算

1)计算二维空间注意力权重

通过将卷积特征feature map上各个点的权重

其中h,w分别表示feature的高和宽,

2)空间注意力特征融合

将每个时刻的二维空间注意力特征α

A

其中T表示最大Lstm时长,V表示卷积特征feature map,α

2.1.3特征融合

将提取到的Lstm时序特征和空间注意力特征进行融合，得到最终的词向量特征表征。 根据全局词向量和卷积特征。词向量特征表征可由当前时刻Lstm隐层输出、当前时刻二维空 间注意力特征和上一时刻词向量特征表征计算得到。

embedding

其中W

2.2解码

对编码后的特征向量embedding

output

W

3模型训练

(1)训练框架选用Tensorflow；

(2)卷积特征提取网络使用InceptionV4网络在ImageNet数据集上训练的模型作为预训练 模型；

(3)模型训练时对数据进行增广，加入随机裁切、旋转、噪声等操作，使得数据分布更加 广泛；

(4)由于车牌图像长宽不同，因此对车牌图像进行padding处理，先将车牌图片按照长度 resize到固定像素，再对其他区域进行补0至固定像素大小；

(5)车牌字符类别为74类，包含常见车牌中的中英文字符。词向量维度为256,最后分类 层维度为256*74；

(6)对one-hot标签进行了label smoothing操作，防止模型过拟合，提升模型的泛化能力。

计算方式如下,参数ε

smothing_label＝onehot_label*(1-ε

通过使用掩蔽交叉熵损失函数，计算模型输出预测结果与真实值之间的损失，使用Adam 优化器进行优化，进行模型训练。

3模型训练

由于不同类型的车牌长度不同，因此引入了空白字符解决字符长度不定的问题。由于使 用单向Lstm进行序列化，在预测时，无法预知下一时刻的字符情况，需要对未知的值进行掩 蔽。因此使用掩蔽交叉熵作为损失函数，损失计算如下：

其中output

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术 语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理 解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一 致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明 提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对 本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人 员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。