基于街景检索的图片检索优化算法

技术领域

本发明涉及一种检索算法，特别是涉及一种基于街景检索的图片检索优化算法，属于图片检索方法技术领域。

背景技术

基于图片检索技术是当下图片检索技术研究中炙手可热的方向，因其不检索图片本身，而是针对图片的颜色、纹理以及形状等特征进行检索，极大程度上提高了图片检索的效率和速度，减少了图片检索时的计算量，也能够保证检索的有效性，当下比较成熟的图片检索系统主要依赖于图片相似性进行检索，这类基于内容的图片检索主要用的分类算法是感知哈希算法，它能够为每张图片赋予识别特征向量，在检索图片时使用识别特征向量进行检索，能够返回特征向量之间距离最短的结果以实现图片的检索，因此感知哈希算法对于图片的检索效率比较高，但是它的检索不具备旋转不变性，对细节的描述和捕捉不良，地理图片中街景图片相似度较高，需要依赖于细节描述进行街景区分和检索，无法满足街景图片检索的要求，还有一种图片检索方法是依赖于全局特征进行图片检索的方法，全局特征检索的图片检索系统主要是用于主题中颜色、纹理以及形状等特征明显的图片检索，街景图片中颜色与光线角度相关，全局颜色相近，将颜色作为全局特征进行检索无法很好地完成街景图片的检索工作，而纹理特征检索精确度较差，无法达到街景图片配准的精度要求，因此基于全局特征的图片检索算法也不适用于街景图片的检索。当下的图片检索算法中还没有为街景图片构建知识图谱，无法根据图片知识图谱的关系五元组抽取实现街景图片检索精度和效率的提升。因此，本发明提出一种基于街景检索的图片检索优化算法，该算法能够基于BERT和先验知识特征构建街景图片的关系五元组，构建街景图片知识图谱，建立街景图片知识图谱的主语、谓语、宾语、时间以及空间关系五元组，能够充分利用街景图片的先验知识库信息，深度挖掘图片知识图谱的语义信息，实现街景图片的高精度检索和高效率检索，还能够抽取图片的时空属性，进一步丰富了街景图片检索的特征，结合基于内容的图像检索技术，进一步提升街景图片检索的精度和效率。

发明内容

本发明的主要目的是为了解决当下的图片检索算法中还没有为街景图片构建知识图谱，无法根据图片知识图谱的关系五元组抽取实现街景图片检索精度和效率提升的不足，而提供的一种基于街景检索的图片检索优化算法。

本发明的目的可以通过采用如下技术方案达到：

一种基于街景检索的图片检索优化算法，包括如下步骤：

S1.图像特征提取：利用灰度共生矩阵提取街景图片纹理特征，形成街景图片纹理特征向量，利用尺度不变算法精确提取图片中局部不变特征作为局部特征向量，结合街景图片为街景图片创建基于BERT和先验知识特征的关系五元组，抽取街景图片的关系五元组特征向量；

S2.街景图片初步检索：对于图片的纹理特征向量，进行特征相似性距离度量形成图片索引排序，初步检索街景图片；

S3.街景图片精确检索：将初步检索形成的图片索引排序与街景图片局部特征向量结合，实现街景图片精确检索，同时对于街景图片的关系五元组进行检索，实现街景图片时空信息高精度匹配。

作为本发明进一步的方法，所述S1中街景图像局部特征向量构建方法包括如下步骤：

A1.街景图片空间极值检测：利用高斯函数和图像函数的卷积作为尺度不变特征转换的尺度函数创建尺度空间，查找空间上的局部极值点；

A2.街景图片关键点定位：选取不受旋转角度、光照变换以及仿射变换而改变的角点以及边缘点作为疑似关键点，利用泰勒级数展开式对关键点检测，提出不满足阈值的点，利用hessian矩阵计算主曲率，移除边缘响应；

A3.街景图片关键点方向确定：选取定位后关键点的领域，利用关键点领域360度梯度直方图确定关键点的一个主方向和多个辅方向；

A4.街景图片关键点描述：选取关键点周边邻域，将组成的窗口分割成多个子块，每个子块形成种子点，四个种子点的信息组成一个特征点，计算每个子块八个方向的梯度直方图，形成局部特征向量。

作为本发明进一步的方法，所述S1中街景图片基于BERT和先验知识特征的关系五元组抽取方法为：

B1.创建街景图片关系五元组：对抽取街景图片信息文本进行预处理，得到字级别的文本序列，将每个文本序列的每个元素作为一个token，将文本序列输入BERT模型进行编码得到序列每个token的语义特征向量h，将待抽取街景图片信息文本采用AC自动计算法在先验知识库中进行街景图片知识关键词检索得到先验知识特征pre，将先验知识特征pre进行标注，对每个token在实体的开始位置和结尾位置新增时间和空间特征，将检索到的相匹配的先验知识特征pre与语义特征向量融合，形成融合特征向量h+pre；

B2.特征向量抽取：将形成的融合向量输入到两个带有sigmoid激活函数全连接层的半指针—半标注结构中，预测subject实体的首尾位置，取subject实体首尾位置的特征向量进行向量平均操作，再与token序列文本进行相加，得到特征向量h+pre+s，再将得到的特征向量h+pre+s后面接n个半指针—半标注结构预测predicate的类型和object的首尾位置，将其编码进token序列文本的特征向量中，得到特征向量h+pre+s+p+o，在特征向量h+pre+s+p+o后面接两个半指针—边标注结构，分别同时预测time和location的首尾位置，并将其编码进入token序列文本的特征向量中，得到关系五元组的特征向量。

作为本发明进一步的方法，所述算法对于局部特征向量匹配检索的评估采用图片匹配失败率和匹配点失败率来评估局部特征检索的质量，其中，图片匹配失败率为匹配失败的图片数量与样本图片总数的比值，匹配点失败率为匹配成功中错误的匹配点对数量与匹配点对数量的比值，图片匹配失败率以及匹配点对失败率的评估公式为：

式中：α

式中：α

作为本发明进一步的方法，所述S3中对街景图片关系五元组的检索方法包括如下步骤：

C1.头实体、关系类型以及尾实体三元组检索：对街景图片信息构成的头实体、关系类型以及尾实体进行关键字检索以及语义检索，形成初次检索三元组排序；

C2.时间属性以及空间属性检索：在形成的初次检索三元组排序中对街景图片信息的时间属性和空间属性进行配准，实现五元组属性的精准检索。

作为本发明进一步的方法，所述S1中基于BERT和先验知识特征的模型利用Transformer模型对二分类交叉损失函数进行联合训练。

本发明的有益技术效果：按照本发明的基于街景检索的图片检索优化算法，能够基于BERT和先验知识特征构建街景图片的关系五元组，构建街景图片知识图谱，建立街景图片知识图谱的主语、谓语、宾语、时间以及空间关系五元组，能够充分利用街景图片的先验知识库信息，深度挖掘图片知识图谱的语义信息，实现街景图片的高精度检索和高效率检索，还能够抽取图片的时空属性，进一步丰富了街景图片检索的特征，结合基于内容的图像检索技术，进一步提升街景图片检索的精度和效率。

附图说明

图1为按照本发明的基于街景检索的图片检索优化算法的流程图。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供的基于街景检索的图片检索优化算法，包括如下步骤：

S1.图像特征提取：利用灰度共生矩阵提取街景图片纹理特征，形成街景图片纹理特征向量，利用尺度不变算法精确提取图片中局部不变特征作为局部特征向量，结合街景图片为街景图片创建基于BERT和先验知识特征的关系五元组，抽取街景图片的关系五元组特征向量；

S2.街景图片初步检索：对于图片的纹理特征向量，进行特征相似性距离度量形成图片索引排序，初步检索街景图片；

S3.街景图片精确检索：将初步检索形成的图片索引排序与街景图片局部特征向量结合，实现街景图片精确检索，同时对于街景图片的关系五元组进行检索，实现街景图片时空信息高精度匹配。

本发明提出的基于街景检索的图片检索优化算法，能够基于BERT和先验知识特征构建街景图片的关系五元组，构建街景图片知识图谱，建立街景图片知识图谱的主语、谓语、宾语、时间以及空间关系五元组，能够充分利用街景图片的先验知识库信息，深度挖掘图片知识图谱的语义信息，实现街景图片的高精度检索和高效率检索，还能够抽取图片的时空属性，进一步丰富了街景图片检索的特征，结合基于内容的图像检索技术，进一步提升街景图片检索的精度和效率。

所述S1中街景图像局部特征向量构建方法包括如下步骤：

A1.街景图片空间极值检测：利用高斯函数和图像函数的卷积作为尺度不变特征转换的尺度函数创建尺度空间，查找空间上的局部极值点；

A2.街景图片关键点定位：选取不受旋转角度、光照变换以及仿射变换而改变的角点以及边缘点作为疑似关键点，利用泰勒级数展开式对关键点检测，提出不满足阈值的点，利用hessian矩阵计算主曲率，移除边缘响应；

A3.街景图片关键点方向确定：选取定位后关键点的领域，利用关键点领域360度梯度直方图确定关键点的一个主方向和多个辅方向；

A4.街景图片关键点描述：选取关键点周边邻域，将组成的窗口分割成多个子块，每个子块形成种子点，四个种子点的信息组成一个特征点，计算每个子块八个方向的梯度直方图，形成局部特征向量。

通过街景图像局部特征向量的构建，能够捕捉街景图像中的尺度不变特征，排除街景图像中跟随光线、颜色等发生改变的因素，精准实现街景图像尺度不变特征的捕捉，提高街景图片特征匹配的准确性。

所述S1中街景图片基于BERT和先验知识特征的关系五元组抽取方法为：

B1.创建街景图片关系五元组：对抽取街景图片信息文本进行预处理，得到字级别的文本序列，将每个文本序列的每个元素作为一个token，将文本序列输入BERT模型进行编码得到序列每个token的语义特征向量h，将待抽取街景图片信息文本采用AC自动计算法在先验知识库中进行街景图片知识关键词检索得到先验知识特征pre，将先验知识特征pre进行标注，对每个token在实体的开始位置和结尾位置新增时间和空间特征，将检索到的相匹配的先验知识特征pre与语义特征向量融合，形成融合特征向量h+pre；

B2.特征向量抽取：将形成的融合向量输入到两个带有sigmoid激活函数全连接层的半指针—半标注结构中，预测subject实体的首尾位置，取subject实体首尾位置的特征向量进行向量平均操作，再与token序列文本进行相加，得到特征向量h+pre+s，再将得到的特征向量h+pre+s后面接n个半指针—半标注结构预测predicate的类型和object的首尾位置，将其编码进token序列文本的特征向量中，得到特征向量h+pre+s+p+o，在特征向量h+pre+s+p+o后面接两个半指针—边标注结构，分别同时预测time和location的首尾位置，并将其编码进入token序列文本的特征向量中，得到关系五元组的特征向量。

通过街景图片信息关系五元组的创建，能够丰富对街景图片的信息描述和特征记载，能够辅助基于内容的图片检索提高检索的精度和速度。

所述算法对于局部特征向量匹配检索的评估采用图片匹配失败率和匹配点失败率来评估局部特征检索的质量，其中，图片匹配失败率为匹配失败的图片数量与样本图片总数的比值，匹配点失败率为匹配成功中错误的匹配点对数量与匹配点对数量的比值，图片匹配失败率以及匹配点对失败率的评估公式为：

/>

式中：α

式中：α

通过匹配失败率和匹配点失败率对街景图片基于内容的检索结果进行评估，便于观察街景图像检索技术的检索准确度和效果。

所述S3中对街景图片关系五元组的检索方法包括如下步骤：

C1.头实体、关系类型以及尾实体三元组检索：对街景图片信息构成的头实体、关系类型以及尾实体进行关键字检索以及语义检索，形成初次检索三元组排序；

C2.时间属性以及空间属性检索：在形成的初次检索三元组排序中对街景图片信息的时间属性和空间属性进行配准，实现五元组属性的精准检索。

对街景图片文字信息的关系五元组进行检索能够附加图片的信息特征，丰富街景图片检索时的特征描述，便于提高街景图片检索的准确性和效率

所述S1中基于BERT和先验知识特征的模型利用Transformer模型对二分类交叉损失函数进行联合训练。

综上所述，在本实施例中，按照本实施例的基于街景检索的图片检索优化算法，通过街景图像局部特征向量的构建，能够捕捉街景图像中的尺度不变特征，排除街景图像中跟随光线、颜色等发生改变的因素，精准实现街景图像尺度不变特征的捕捉，提高街景图片特征匹配的准确性。通过街景图片信息关系五元组的创建，能够丰富对街景图片的信息描述和特征记载，能够辅助基于内容的图片检索提高检索的精度和速度。通过匹配失败率和匹配点失败率对街景图片基于内容的检索结果进行评估，便于观察街景图像检索技术的检索准确度和效果。对街景图片文字信息的关系五元组进行检索能够附加图片的信息特征，丰富街景图片检索时的特征描述，便于提高街景图片检索的准确性和效率

以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。