题目搜索方法、装置及电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种题目搜索方法、装置及电子设备。

背景技术

拍照搜题是指用户通过智能手机等设备拍摄题目图像，并将题目图像上传至答疑系统中，由答疑系统自动返回与该题目最相似的若干道题目的题干、答案及解析，供用户参考。随着在线教育的不断发展，拍照搜题已经成为了用户解决疑难问题的常用方法。

答疑系统通常是通过对用户上传的题目图像中的文字进行识别，进一步查找与用户上传的题目图像中的文字部分相似度较高的题目，并进行反馈。这种方法对于文字较多的题目效果较好，但对于文字较少、且带有插图的题目而言，拍照搜题效果往往不尽如人意。

为了改善这种情况，目前常用的解决方法是引入以图搜图的技术，查找与上传题目图像中的插图相似度较高的题目，但一些特殊题目经过以图搜图的方法进行搜索后仍无法获得与上传题目一致的题目及其答案与解析，题目搜索的准确率较差，影响用户体验。

发明内容

为了解决上述技术问题，本公开提供了一种题目搜索方法、装置及电子设备，以提高题目搜索的准确率，保证用户体验。

第一方面，本公开实施例提供一种题目搜索方法，包括：

获取目标题目对应的原图图像；

根据所述原图图像的特征向量，在原图题目搜索库中进行搜索，得到所述目标题目对应的第一题目搜索结果，所述第一题目搜索结果包括多个第一候选题目图像；

响应所述多个第一候选题目图像中与所述原图图像相似度最高的第一候选题目图像不是缺陷题目图像，且所述第一题目搜索结果中存在至少一个缺陷题目图像，对所述原图图像进行图像处理，得到插图图像，所述缺陷题目图像为历史搜索记录中搜索结果评价指标值小于第一预设阈值的待搜索题目的图像；

提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，所述第二题目搜索结果包括多个第二候选题目图像；

响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第二题目搜索结果反馈给用户。

在一些实施例中，所述提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，包括：

将所述插图图像输入预先训练好的插图特征提取模型中，得到所述插图图像的特征向量；

计算所述插图图像的特征向量与所述插图题目搜索库中每份索引的相似度，其中所述插图题目搜索库中包括多个非缺陷题目图像及每个非缺陷题目图像分别对应的单份原图索引和单份插图索引，以及多个缺陷题目图像及每个缺陷题目图像分别对应的单份原图索引和N份插图索引，N为大于0的整数；

将与所述插图图像的特征向量的相似度大于第二预设阈值的索引对应的题目图像作为所述目标题目对应的第二题目搜索结果。

在一些实施例中，插图题目搜索库中多个缺陷题目图像及每个缺陷题目图像分别对应的单份原图索引和N份插图索引是通过如下步骤获取的：

分别对所述多个缺陷题目图像中的每一个缺陷题目图像进行插图提取，得到每个缺陷题目对应的缺陷题目插图图像；

针对所述每个缺陷题目插图图像，分别进行N-1种方式的图像处理，得到缺陷题目增广插图图像，所述缺陷题目增广插图图像为每一个缺陷题目图像分别对应的N-1个处理后的插图图像；

提取缺陷题目增广插图图像分别对应的特征向量，将每一个缺陷题目图像对应的缺陷题目增广插图图像的特征向量，以及所述缺陷题目图像对应的缺陷题目插图图像的特征向量，作为所述缺陷题目图像分别对应的N份插图索引。

在一些实施例中，在得到所述目标题目对应的第二题目搜索结果的步骤后，所述方法还包括：

响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为非缺陷题目图像，且所述第二题目搜索结果中存在至少一个缺陷题目图像，确定每个第二候选题目图像分别对应的第一特征向量，其中，第一特征向量为所述第二候选题目图像对应的特征向量中的部分特征向量；

根据所述第一特征向量计算所述插图图像与每一个第二候选题目图像的相似度；

根据所述插图图像与每一个第二候选题目图像的相似度，对多个第二候选题目图像进行重新排序，得到排序后的第三题目搜索结果；

响应所述第三题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第三题目搜索结果反馈给用户。

在一些实施例中，所述确定每个第二候选题目图像分别对应的第一特征向量，包括：

针对每个第二候选题目图像，提取第二候选题目图像对应的多维特征向量；

将多维特征向量中特征值最大或特征值从大到小排列在前X的目标特征向量，作为所述第一特征向量,X为大于0的整数。

在一些实施例中，所述根据所述第一特征向量计算所述插图图像与每一个第二候选题目图像的相似度，包括：

从所述插图图像对应的多维特征向量中确定出与所述第一特征向量相对应的第二特征向量；

计算所述第一特征向量与所述第二特征向量的相似度。

在一些实施例中，所述对所述原图图像进行图像处理，得到插图图像，包括：

对原图图像进行预处理，得到预处理图像；

将所述预处理图像输入插图检测模型中进行插图检测，得到待处理插图图像，其中，所述待处理插图图像为从所述原图图像中截取的目标图像，或所述待处理插图图像为原图图像；

基于所述待处理插图图像，得到所述插图图像。

在一些实施例中，所述基于所述待处理插图图像，得到所述插图图像，包括：

将所述待处理插图图像转换为灰度图像，得到第一子图像；

将所述待处理插图图像进行图像分割处理，消除所述待处理插图图像中的干扰信息，得到分割后插图图像；

将所述分割后插图图像转换为灰度图像，得到第二子图像；

将所述第一子图像与所述第二子图像进行合并，得到所述插图图像。

第二方面，本公开实施例提供一种题目搜索装置，包括：

获取模块，用于获取目标题目对应的原图图像；

第一搜索模块，用于根据所述原图图像的特征向量，在原图题目搜索库中进行搜索，得到所述目标题目对应的第一题目搜索结果，所述第一题目搜索结果包括多个第一候选题目图像；

处理模块，用于响应所述多个第一候选题目图像中与所述原图图像相似度最高的第一候选题目图像不是缺陷题目图像，且所述第一题目搜索结果中存在至少一个缺陷题目图像，对所述原图图像进行图像处理，得到插图图像，所述缺陷题目图像为历史搜索记录中搜索结果评价指标值小于第一预设阈值的待搜索题目的图像；

第二搜索模块，用于提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，所述第二题目搜索结果包括多个第二候选题目图像；

反馈模块，用于响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第二题目搜索结果反馈给用户。

第三方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。

第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的题目搜索方法。

本公开实施例提供的题目搜索方法、装置及电子设备，通过在题目搜索过程中多次对题目搜索结果中缺陷题目的存在情况进行确认，针对待搜索题目的插图图像单独进行搜索，降低了目标题目为缺陷题目时的搜索失败的概率，提高了缺陷题目的召回率，从而有效提高了题目搜索方法的准确率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的题目搜索方法流程图；

图2为本公开实施例提供的一种应用场景的示意图；

图3为本公开实施例提供的一种题目搜索方法流程图；

图4为本公开实施例提供的一种插图图像获取方法流程图；

图5为本公开另一实施例提供的题目搜索方法流程图；

图6为本公开实施例提供的题目搜索装置的结构示意图；

图7为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

本公开实施例提供了一种题目搜索方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的题目搜索方法流程图。该方法可以应用于图2所示的应用场景，该应用场景中包括题目答疑平台21和智能设备22，智能设备22具体可以是终端，例如，智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。可以理解的是，本公开实施例提供的题目搜索方法还可以应用在其他场景中。

下面结合图2所示的应用场景，对图1所示的题目搜索方法进行介绍，该方法包括的具体步骤如下：

S101、获取目标题目对应的原图图像。

目标题目对应的原图图像可以是用户通过智能设备对目标题目进行拍照后上传至题目答疑平台。其中，目标题目对应的原图图像包括目标题目的文字部分与插图部分。

S102、根据所述原图图像的特征向量，在原图题目搜索库中进行搜索，得到所述目标题目对应的第一题目搜索结果，所述第一题目搜索结果包括多个第一候选题目图像。

具体的，将原图图像输入预先训练好的图像特征提取模型中，由图像特征提取模型输出原图图像的特征向量。根据原图图像的特征向量在原图题目搜索库中进行搜索，将原图图像的特征向量与原图题目搜索库中各个题目的特征向量进行匹配比较，从原图题目搜索库中各个题目选取与原图图像的特征向量相似度较高的多个第一候选题目图像，构成第一题目搜索结果。

在一些实施例中，将原图图像输入预先训练好的图像特征提取模型中，由图像特征提取模型输出原图图像特征向量，包括：将原图图像输入预先训练好的图像特征提取模型中进行前向推理，输出固定维数的多维特征向量，例如可以是576维的特征向量。其中，图像特征提取模型可以是MobileNetV3模型、Resnet18模型、EfficientNet模型，或是其他任意能够实现上述功能的模型，本公开实施例对此不作限定。

在一些实施例中，将原图图像的特征向量与原图题目搜索库中各个题目的特征向量进行匹配比较，按照原图图像的特征向量与原图题目搜索库中各个题目的特征向量的相似度由高到低的顺序对原图题目搜索库中各个题目进行排序，得到排序结果，从排序结果中选取靠前的多个题目图像作为第一候选题目图像。

在一些实施例中，当第一题目搜索结果中不存在缺陷题目图像时，即第一题目搜索结果中均为非缺陷题目，则表明该目标题目为缺陷题目的可能性较小，可直接将第一题目搜索结果反馈至用户；或者，当第一题目搜索结果中与目标题目相似度最高的第一候选题目为缺陷题目时，表明该目标题目已经匹配到相应的缺陷题目，仍可直接将第一题目搜索结果反馈至用户。

S103、响应所述多个第一候选题目图像中与所述原图图像相似度最高的第一候选题目图像不是缺陷题目图像，且所述第一题目搜索结果中存在至少一个缺陷题目图像，对所述原图图像进行图像处理，得到插图图像，所述缺陷题目图像为历史搜索记录中搜索结果评价指标值小于第一预设阈值的待搜索题目的图像。

缺陷题目(badcase)即为在历史搜索记录中搜索效果较差的题目。具体的，在历史搜索记录中，每次搜索都有相应的搜索结果评价指标值，搜索结果评价指标值用于评估当次搜索中待搜索题目与搜索结果的匹配程度。待搜索题目与搜索结果的匹配程度越高，搜索结果评价指标值越高；相应的，待搜索题目与搜索结果的匹配程度越低，搜索结果评价指标值越低。当某道题目的搜索结果评价指标值小于第一预设阈值时，则认为该题目的搜题效果较差。

对于缺陷题目，可能是由于用户上传图像质量较差、题目中插图较为特殊等原因导致该题题目与其对应的正确题目及答案无法很好地匹配。因此，当第一题目搜索结果中存在至少一个缺陷题目图像，且第一题目搜索结果中与插图图像相似度最高的第一候选题目不是缺陷题目时，则认为此时第一题目搜索结果中缺陷题目与原图图像的相似度虽然不是最高，但仍有较大可能是目标题目对应的正确搜索结果，此时需要基于第一搜索结果进行处理，进一步确定其中的缺陷题目是否是目标题目对应的正确搜索结果。

如上所述，目标题目即用户想要搜索的题目。用户通过智能终端对目标题目进行图像采集后得到目标题目对应的原图图像，将目标题目的原图图像上传至题目答疑平台中。题目答疑平台对目标题目对应的原图图像进行处理后，得到目标题目对应的插图图像。

在一些实施例中，目标题目中包括题干文字部分以及题目插图，此时上述插图图像包括目标题目的题目插图部分。

在一些实施例中，目标题目中仅仅包括题干文字部分，此时上述插图图像包括题干文字部分。

S104、提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，所述第二题目搜索结果包括多个第二候选题目图像。

插图题目搜索库是基于题库中题目图像的插图部分构建的。即，预先对题库中各个题目的图像进行处理，得到题库中各个题目的插图图像，进一步基于题库中各个题目的插图图像构建插图题目搜索库。

根据插图图像在插图题目搜索库中进行搜索，得到目标题目对应的第二题目搜索结果。具体的，将插图图像输出预先训练好的图像特征提取模型中，由图像特征提取模型输出插图图像的特征向量。根据插图图像的特征向量在插图题目搜索库中进行搜索，将插图图像的特征向量与插图题目搜索库中各个题目的特征向量进行匹配比较，从插图题目搜索库中各个题目选取与插图图像的特征向量相似度较高的多个第二候选题目图像，构成第二题目搜索结果。

在一些实施例中，将插图图像输入预先训练好的插图特征提取模型中，由插图特征提取模型输出插图图像的特征向量，包括：将插图图像输入预先训练好的插图特征提取模型中进行前向推理，输出固定维数的多维特征向量，例如可以是576维的特征向量。其中，图像特征提取模型可以是MobileNetV3模型、Resnet18模型、EfficientNet模型，或是其他任意能够实现上述功能的模型，本公开实施例对此不作限定。

在一些实施例中，将插图图像的特征向量与插图题目搜索库中各个题目的特征向量进行匹配比较，按照插图图像的特征向量与插图题目搜索库中各个题目的特征向量的相似度由高到低的顺序对插图题目搜索库中各个题目进行排序，得到排序结果，从排序结果中选取靠前的多个题目图像作为第二候选题目图像。

S105、响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第二题目搜索结果反馈给用户。

若第二题目搜索结果中，与插图图像相似度最高的第二候选题目图像为缺陷题目图像，则表明缺陷题目在与原图图像搜索过程中可能受到了干扰，将原图图像进行处理后得到插图图像排除了一些干扰因素，使得缺陷题目的召回率得到提高。

本公开实施例通过获取目标题目对应的原图图像；根据所述原图图像的特征向量，在原图题目搜索库中进行搜索，得到所述目标题目对应的第一题目搜索结果，所述第一题目搜索结果包括多个第一候选题目图像；响应所述多个第一候选题目图像中与所述原图图像相似度最高的第一候选题目图像不是缺陷题目图像，且所述第一题目搜索结果中存在至少一个缺陷题目图像，对所述原图图像进行图像处理，得到插图图像，所述缺陷题目图像为历史搜索记录中搜索结果评价指标值小于第一预设阈值的待搜索题目的图像；提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，所述第二题目搜索结果包括多个第二候选题目图像；响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第二题目搜索结果反馈给用户，通过在题目搜索过程中多次对题目搜索结果中缺陷题目的存在情况进行确认，针对待搜索题目的插图图像单独进行搜索，降低了目标题目为缺陷题目时的搜索失败的概率，提高了缺陷题目的召回率，从而有效提高了题目搜索方法的准确率。

另外，本公开实施例通过在对目标题题目对应的插图图像在插图题目搜索库中进行搜索之前，首先根据目标题目对应的原图图像，在原图题目搜索库中进行搜索，若原图题目搜索库中的搜索结果中存在缺陷题目图像再对原图图像进行处理后进行再次确认，减少了题目搜索过程中的计算量，提高了题目搜索方法的效率。

在一些实施例中，当第二题目搜索结果中不存在缺陷题目图像时，即第二题目搜索结果中均为非缺陷题目，则表明该目标题目为缺陷题目的可能性较小，可直接将第二题目搜索结果反馈至用户；或者，当第二题目搜索结果中与目标题目相似度最高的第二候选题目为缺陷题目时，表明该目标题目已经匹配到相应的缺陷题目，仍可直接将第二题目搜索结果反馈至用户。

在一些实施例中，原图题目搜索库中包括多个非缺陷题目图像及每个非缺陷题目图像分别对应的单份原图索引，和多个缺陷题目图像及每个缺陷题目图像分别对应的M份原图索引，M为大于0的整数。

具体的，非缺陷题目图像对应的单份原图索引是指该非缺陷题目图像的原图图像对应的一份特征向量；缺陷题目图像对应的M份原图索引是指该缺陷题目图像的原图图像对应的M份特征向量。

可选的，原图题目搜索库中每个缺陷题目图像分别对应的M份原图索引是通过如下步骤获取的：针对所述多个缺陷题目图像中的每一个缺陷题目图像，进行M-1种方式的图像处理，得到缺陷题目增广原图图像，缺陷题目增广原图图像包括缺陷题目图像分别对应的M-1个处理后的缺陷题目原图图像；提取缺陷题目增广原图图像分别对应的特征向量，将每一个缺陷题目图像对应的缺陷题目增广原图图像的特征向量，以及所述缺陷题目图像对应的缺陷题目原图图像的特征向量，作为所述缺陷题目图像分别对应的M份插图索引。

即，原图题目搜索库中每个缺陷题目图像的M份原图索引包括一份所述缺陷题目图像对应的缺陷题目原图图像的特征向量。以及缺陷题目增广原图图像对应的M-1个处理后的缺陷题目原图图像的M-1份特征向量。

将原图图像的特征向量与原图题目搜索库中各个题目的多维特征向量进行匹配比较，将与原图图像的特征向量的相似度大于第一预设阈值的索引对应的题目图像作为目标题目对应的第一题目搜索结果；或者，按照插图图像的特征向量与插图题目搜索库中各个题目的特征向量的相似度由高到低的顺序对插图题目搜索库中各个题目进行排序，得到排序结果，从候选结果中选取靠前的若干个题目图像作为第一候选题目图像。

在一些实施例中，提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，包括：将所述插图图像输入预先训练好的插图特征提取模型中，得到所述插图图像的特征向量；计算所述插图图像的特征向量与所述插图题目搜索库中每份索引的相似度，其中所述插图题目搜索库中包括多个非缺陷题目图像及每个非缺陷题目图像分别对应的单份原图索引和单份插图索引，以及多个缺陷题目图像及每个缺陷题目图像分别对应的单份原图索引和N份插图索引，N为大于0的整数；将与所述插图图像的特征向量的相似度大于第二预设阈值的索引对应的题目图像作为所述目标题目对应的第二题目搜索结果。

其中，原图索引为原图图像的特征向量，插图索引为插图图像对应的特征向量。

具体的，非缺陷题目图像对应的单份原图索引是指该非缺陷题目图像对应的原图图像的一份特征向量；非缺陷题目图像对应的单份插图索引是指该非缺陷题目图像对应的插图图像的一份特征向量；缺陷题目图像对应的单份原图索引是指该缺陷题目图像对应的原图图像的一份特征向量；缺陷题目图像对应的N份插图索引是指该缺陷题目图像对应的插图图像的N份特征向量，N为大于0的整数。

可选的，插图题目搜索库中每个缺陷题目图像分别对应的单份原图索引和N份插图索引是通过如下步骤获取的：分别对所述多个缺陷题目图像中的每一个缺陷题目图像进行插图提取，得到每个缺陷题目对应的缺陷题目插图图像；针对所述每个缺陷题目对应的插图图像，分别进行N-1种方式的图像处理，得到缺陷题目增广插图图像，所述缺陷题目增广插图图像为每一个缺陷题目图像分别对应的N-1个处理后的插图图像；提取缺陷题目增广插图图像分别对应的特征向量，将每一个缺陷题目图像对应的缺陷题目增广插图图像的特征向量，以及所述缺陷题目图像对应的缺陷题目插图图像的特征向量，作为所述缺陷题目图像分别对应的N份插图索引。

其中，对于每个缺陷题目对应的插图图像进行图像处理，包括但不限于：模糊、随机裁剪、添加背透、添加笔迹、更换背景等，或者还可以是其他任意的图像处理方式，或是模仿用户实际拍摄场景的图像处理方式，从中选取N-1种方式对缺陷题目对应的插图图像进行图像处理，得到缺陷题目增广插图图像，每个缺陷题目增广插图图像包括N-1个处理后的插图图像。

即，针对一个缺陷题目图像，其对应的N份插图索引是指该缺陷题目图像对应的插图图像的N份特征向量，包括该缺陷题目的插图图像本身对应的单份特征向量，以及该缺陷题目的增广插图图像对应的N-1份特征向量。

将插图图像的特征向量与插图题目搜索库中各个题目的特征向量进行匹配比较，将与插图图像的特征向量的相似度大于第二预设阈值的索引对应的题目图像作为目标题目对应的第二题目搜索结果；或者，按照插图图像的特征向量与插图题目搜索库中各个题目的特征向量的相似度由高到低的顺序对插图题目搜索库中各个题目进行排序，得到排序结果，从候选结果中选取靠前的若干个题目图像作为第二候选题目图像。

本公开实施例通过针对缺陷题目在原图题目搜索库以及插图题目搜索库中建立多份索引，增加缺陷题目被搜索到的可能性，提高缺陷题目的召回率，进一步提高题目搜索方法的准确性。

图3为本公开实施例提供的一种题目搜索方法流程图。如图3所示，该方法包括如下步骤：

S301、获得目标题目对应的第二题目搜索结果。

具体的，S301可以通过S101～S104所述的步骤实现，此处不再赘述。

S302、响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为非缺陷题目图像，且所述第二题目搜索结果中存在至少一个缺陷题目图像，确定每个第二候选题目图像分别对应的第一特征向量，其中，第一特征向量为所述第二候选题目图像对应的特征向量中的部分特征向量。

当第二题目搜索结果中与插图图像相似度最高的第二候选题目图像为非缺陷题目图像，且第二题目搜索结果中存在至少一个缺陷题目图像，需要进一步对第二题目搜索结果进行检测，确定其中的缺陷题目是否是待搜索题目对应的目标题目。

具体的，针对每个第二候选题目图像，提取第二候选题目图像对应的多维特征向量；将多维特征向量中特征值最大或特征值从大到小排列在前X的目标特征向量，作为所述第一特征向量,X为大于0的整数。

每一个第二候选题目图像对应多个维度的特征向量，每个维度的特征向量对应一个特征值，特征值越大，则表明其对应维度的特征向量对于第二候选题目图像的特征表示的重要程度越高；相反的，特征值越小，则表明其对应维度的特征向量对于第二候选题目图像的特征表示的重要程度越低。因此，确定每个第二候选题目图像分别对应的第一特征向量，实际上即为从每个第二候选题目图像的多维特征向量中选取对于第二候选题目图像的特征表示重要程度较高的特征向量。

S303、根据所述第一特征向量计算所述插图图像与每一个第二候选题目图像的相似度。

具体的，从所述插图图像对应的多维特征向量中确定出与所述第一特征向量相对应的第二特征向量；计算所述第一特征向量与所述第二特征向量的相似度。

从所述插图图像对应的多维特征向量中确定出与所述第一特征向量相对应的第二特征向量，确定第一特征向量对应的维度，选取插图图像的多维特征向量中与第一特征向量相同维度的第二特征向量。可以理解的是，第一特征向量与第二特征向量的维度相同，且一一对应。

在一些实施例中，第一特征向量和/或第二特征向量的维数可以根据第一候选题目的多维特征向量的维数确定。例如，可以选取第一候选题目的多维特征向量中预设比例维数的特征向量作为第一特征向量。以576维的多维特征向量为例，选取其中90％的特征向量作为第一特征向量，具体的，将576维的多维特征向量中的每个特征值按照由大到小的顺序进行排序，取其中前90％的特征值对应的特征向量作为第一特征向量，并根据第一特征向量确定相应的第二特征向量。

S304、根据所述插图图像与每一个第二候选题目图像的相似度，对多个第二候选题目图像进行重新排序，得到排序后的第三题目搜索结果。

上述步骤中分别确定了对第二候选题目图像的特征表示重要程度较高的第一特征向量以及相应的第二特征向量，对每一组第一特征向量及第二特征向量的相似度进行计算，并根据每一个第二候选题目图像的第一特征向量与所述第二特征向量之间的相似度对所述多个第二候选题目图像进行排序，得到排序后的第三题目搜索结果。

此步骤目的为去除第二候选题目图像以及插图图像中的弱特征值，即去除可能对第二候选题目图像以及插图图像的特征表示可能造成干扰的特征向量，基于第一特征向量及第二特征向量的相似度确定插图图像与每一个第二候选题目图像的相似度，对第二题目搜索结果中的多个第二候选题目图像进行重新排序，得到排序后的第三题目搜索结果。

S305、响应所述第三题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第三题目搜索结果反馈给用户。

若重新排序后的第三题目搜索结果中与插图图像相似度最高的第二候选题目图像为缺陷题目图像，则表明该缺陷题目在重新排序之前的匹配过程中受到了特征值较小的特征向量的干扰，经过特征向量的清洗以及重新排序后升到了与插图题目相似度最高的位置，此时将重新排序后的第三题目搜索结果反馈给用户。

本公开实施例通过对于第二搜索结果进行特征向量的清洗以及重新排序，提高了缺陷题目的召回率，从而有效提高了题目搜索方法的准确率。

在一些实施例中，所述对所述原图图像进行图像处理，得到插图图像，包括：对原图图像进行预处理，得到预处理图像；将所述预处理图像输入插图检测模型中进行插图检测，得到待处理插图图像，其中，所述待处理插图图像为从所述原图图像中截取的目标图像，或所述待处理插图图像为原图图像；基于所述待处理插图图像，得到所述插图图像。

图4为本公开实施例提供的一种插图图像获取方法流程图，如图4所示，对所述原图图像进行图像处理，得到插图图像可以包括如下步骤：

S401、对原图图像进行预处理，得到预处理图像。

对原图图像进行预处理，例如将原图图像缩放至固定大小、将图像数据进行标准化处理等。其中，将图像数据进行标准化处理是指将原图图像的通道值进行归一化处理，具体为将0-255范围内的通道值归一化处理至0-1范围内，以减小后续图像处理过程中的计算量。

S402、将所述预处理图像输入插图检测模型中进行插图检测，得到待处理插图图像，其中，所述待处理插图图像为从所述原图图像中截取的目标图像，或所述待处理插图图像为原图图像。

将原图图像输入插图检测模型中进行插图检测，训练好的插图检测模型基于原图图像进行前向推理，最终由插图检测模型输出原图图像中插图的位置坐标信息，进一步基于插图的位置坐标信息对原图图像进行截取，得到原图图像对应的待处理插图图像。

在一些实施例中，插图检测模型可以是YoloV5目标检测模型、SSD模型,R-CenterNet模型等任意能够实现上述功能的模型，本公开实施例对此不做限定。

在一些实施例中，若插图检测模型输出的检测结果为空，则将原图图像作为待处理插图图像，继续进行后续步骤的处理。

S403、将所述待处理插图图像转换为灰度图像，得到第一子图像。

灰度图像是指用不同的灰度色阶来表示“红，绿，蓝”在图像中的比重的图像。将待处理插图图像转换为灰度图像，得到第一子图像，其中第一子图像携带了待处理插图中完整的细节信息数据。

S404、将所述待处理插图图像进行图像分割处理，消除所述待处理插图图像中的干扰信息，得到分割后插图图像。

将待处理插图图像进行图像分割处理，实质上即采用边缘检测提取待处理插图图像中的主体信息，消除所述待处理插图图像中的干扰信息。图像边缘检测大幅度地减少了图像中的数据量，并且提出图像中不重要的背景信息，保留了图像中重要的结构属性。

在一些实施例中，将待处理插图图像进行图像分割处理可以通过Sobel算子实现。Sobel算子为用于边缘检测的离散微分算子。可以理解的是，此步骤也可以使用其他分割算法或分割模型，本公开实施例对此不作限定。

在一些实施例中，分割后插图图像为单通道图像。

S405、将所述分割后插图图像转换为灰度图像，得到第二子图像。

第二子图像为经过分割处理后的单通道灰度图像。

S406、将所述第一子图像与所述第二子图像进行合并，得到所述插图图像。

基于上述步骤，第一子图像中携带了待处理插图中完整的细节信息数据，第二子图像中携带有待处理插图中的主要结构特征，将第一子图像与第二子图像进行合并得到两通道图像，相比于原图图像(三通道图像)减少了一个通道，滤除了大部分背景信息，同时第一子图像中完整的细节信息数据又能够避免第二子图像中信息相比于待处理插图图像的信息有所缺失，保证最终得到的插图图像中特征信息丰富。

本公开实施例在保证基于插图图像的搜索效果良好的同时，减少了计算量，进一步提高了题目搜索方法的准确性。

图5为本公开另一实施例提供的题目搜索方法流程图，如图5所示，该方法包括如下几个步骤：

S501、获取目标题目对应的原图图像。

S502、根据所述原图图像的特征向量，在原图题目搜索库中进行搜索，得到所述目标题目对应的第一题目搜索结果，所述第一题目搜索结果包括多个第一候选题目图像。

S503、判断第一题目搜索结果是否符合第一预设条件。若是，执行S505；若否，执行S504。

其中，第一预设条件为所述多个第一候选题目图像中与所述原图图像相似度最高的第一候选题目图像为非缺陷题目图像，且所述第一题目搜索结果中存在至少一个缺陷题目图像。

S504、将第一题目搜索结果反馈给用户。

S505、对所述原图图像进行图像处理，得到插图图像。

S506、提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，所述第二题目搜索结果包括多个第二候选题目图像。

S507、判断第二题目搜索结果是否符合第二预设条件。若是，执行S509；若否，执行S508。

其中，第二预设条件为所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为非缺陷题目图像，且所述第一题目搜索结果中存在至少一个缺陷题目图像。

S508、将第二题目搜索结果反馈给用户。

S509、确定每个第二候选题目图像分别对应的第一特征向量。

S510、根据所述第一特征向量计算所述插图图像与每一个第二候选题目图像的相似度。

S511、根据所述插图图像与每一个第二候选题目图像的相似度，对多个第二候选题目图像进行重新排序，得到排序后的第三题目搜索结果。

S512、判断排序后的第三题目搜索结果是否符合第三预设条件。若是，执行S513；若否，执行S508。

其中，第三预设条件为排序后的第三题目搜索结果中排名第一位的第三候选题目图像为缺陷题目图像。

S513、将排序后的第三题目搜索结果反馈给用户。

本公开实施例通过对题目搜索结果进行三次确认，有效提高了缺陷题目搜索的召回率，同时保证了题目搜索方法的运行效率。同时，首先利用原图在原图题目搜索库中进行搜索，可以让大部分目标题目在原图题目搜索库中完成处理，只有部分疑似缺陷题目的目标题目需要进入插图题目搜索库中进行搜索，保证了题目搜索方法的效率。进一步，得到插图题目搜索库中的搜索结果后，进行二次特征向量提取后再次排序，能够了解到插图题目搜索库中的搜索结果的置信度，从而决定最终反馈至用户的搜索结果。

另外，本公开实施例中原图题目搜索库与插图题目搜索库中，均为缺陷题目建立多份索引，尽可能保证缺陷题目的召回率，有效提高题目搜索的准确率。图6为本公开实施例提供的题目搜索装置的结构示意图。该题目搜索装置可以是如上实施例所述的题目答疑平台，或者该题目搜索装置可以该题目答疑平台中的部件或组件。本公开实施例提供的题目搜索装置可以执行题目搜索方法实施例提供的处理流程，如图6所示，题目搜索装置60包括：获取模块61、第一搜索模块62、处理模块63、第二搜索模块64、反馈模块65；其中，获取模块61用于获取目标题目对应的原图图像；第一搜索模块62用于根据所述原图图像的特征向量，在原图题目搜索库中进行搜索，得到所述目标题目对应的第一题目搜索结果，所述第一题目搜索结果包括多个第一候选题目图像；处理模块63用于响应所述多个第一候选题目图像中与所述原图图像相似度最高的第一候选题目图像不是缺陷题目图像，且所述第一题目搜索结果中存在至少一个缺陷题目图像，对所述原图图像进行图像处理，得到插图图像，所述缺陷题目图像为历史搜索记录中搜索结果评价指标值小于第一预设阈值的待搜索题目的图像；第二搜索模块64用于提取所述插图图像的特征向量，并在插图题目搜索库中进行搜索，得到所述目标题目对应的第二题目搜索结果，所述第二题目搜索结果包括多个第二候选题目图像；反馈模块65用于响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第二题目搜索结果反馈给用户。

可选的，第二搜索模块64包括第一获取单元641、第一计算单元642、第一确定单元643；第一获取单元641用于将所述插图图像输入预先训练好的插图特征提取模型中，得到所述插图图像的特征向量；第一计算单元642用于计算所述插图图像的特征向量与所述插图题目搜索库中每份索引的相似度，其中所述插图题目搜索库中包括多个非缺陷题目图像及每个非缺陷题目图像分别对应的单份原图索引和单份插图索引，以及多个缺陷题目图像及每个缺陷题目图像分别对应的单份原图索引和N份插图索引，N为大于0的整数；第一确定单元643用于将与所述插图图像的特征向量的相似度大于第二预设阈值的索引对应的题目图像作为所述目标题目对应的第二题目搜索结果。

可选的，第二搜索模块64包括第二获取单元644，用于获取插图题目搜索库中多个缺陷题目图像及每个缺陷题目图像分别对应的单份原图索引和N份插图索引；具体的，分别对所述多个缺陷题目图像中的每一个缺陷题目图像进行插图提取，得到每个缺陷题目对应的缺陷题目插图图像；针对所述每个缺陷题目插图图像，分别进行N-1种方式的图像处理，得到缺陷题目增广插图图像，所述缺陷题目增广插图图像为每一个缺陷题目图像分别对应的N-1个处理后的插图图像；提取缺陷题目增广插图图像分别对应的特征向量，将每一个缺陷题目图像对应的缺陷题目增广插图图像的特征向量，以及所述缺陷题目图像对应的缺陷题目插图图像的特征向量，作为所述缺陷题目图像分别对应的N份插图索引。

可选的，题目搜索装置60还包括确定模块66、计算模块67、排序模块68；其中确定模块66用于响应所述第二题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为非缺陷题目图像，且所述第二题目搜索结果中存在至少一个缺陷题目图像，确定每个第二候选题目图像分别对应的第一特征向量，其中，第一特征向量为所述第二候选题目图像对应的特征向量中的部分特征向量；计算模块67用于根据所述第一特征向量计算所述插图图像与每一个第二候选题目图像的相似度；排序模块68用于根据所述插图图像与每一个第二候选题目图像的相似度，对多个第二候选题目图像进行重新排序，得到排序后的第三题目搜索结果；反馈模块65还用于响应所述第三题目搜索结果中与所述插图图像相似度最高的第二候选题目图像为缺陷题目图像，将所述第三题目搜索结果反馈给用户。

可选的，确定模块66包括提取单元661、第二确定单元662；提取单元661用于针对每个第二候选题目图像，提取第二候选题目图像对应的多维特征向量；第二确定单元662用于将多维特征向量中特征值最大或特征值从大到小排列在前X的目标特征向量，作为所述第一特征向量,X为大于0的整数。

可选的，计算模块67包括第三确定单元671、第二计算单元672；第三确定单元671用于从所述插图图像对应的多维特征向量中确定出与所述第一特征向量相对应的第二特征向量；第二计算单元672用于计算所述第一特征向量与所述第二特征向量的相似度。

可选的，处理模块63包括预处理单元631、检测单元632、第三获取单元633；预处理单元631用于对原图图像进行预处理，得到预处理图像；检测单元632用于将所述预处理图像输入插图检测模型中进行插图检测，得到待处理插图图像，其中，所述待处理插图图像为从所述原图图像中截取的目标图像，或所述待处理插图图像为原图图像；第三获取单元633用于基于所述待处理插图图像，得到所述插图图像。

可选的，第三获取单元633具体用于将所述待处理插图图像转换为灰度图像，得到第一子图像；将所述待处理插图图像进行图像分割处理，消除所述待处理插图图像中的干扰信息，得到分割后插图图像；将所述分割后插图图像转换为灰度图像，得到第二子图像；将所述第一子图像与所述第二子图像进行合并，得到所述插图图像。

图6所示实施例的题目搜索装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本公开实施例提供的电子设备的结构示意图。该电子设备可以是运行有如上实施例所述的题目答疑平台的设备。本公开实施例提供的电子设备可以执行题目搜索方法实施例提供的处理流程，如图7所示，电子设备70包括：存储器71、处理器72、计算机程序和通讯接口73；其中，计算机程序存储在存储器71中，并被配置为由处理器72执行如上所述的题目搜索方法。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的题目搜索方法。

此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的题目搜索方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。