图像搜索方法及装置、电子设备和可读存储介质

技术领域

本申请属于信息搜索技术领域，具体涉及一种图像搜索方法及装置、电子设备和可读存储介质。

背景技术

目前的图像搜索方法，大多基于图像的语义信息，通过内部算法对图像进行搜索。然而，基于语义信息搜索图像，对于不容易描述图像特征的图像来说，其无法通过语义信息来进行搜索，会导致图片搜索的局限性，降低了图像搜索结果的准确性以及全面性。

发明内容

本申请实施例的目的是提供一种图像搜索方法及装置、电子设备和可读存储介质，能够提升图像搜索结果的准确性以及全面性。

第一方面，本申请实施例提供了一种图像搜索方法，该方法包括：获取待搜索图像的语义信息和草图信息；根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数；根据草图信息搜索第一图库，得到第二搜索结果；根据第一搜索结果和第二搜索结果，显示图像搜索结果。

第二方面，本申请实施例提供了一种图像搜索装置，该装置包括：获取单元，用于获取待搜索图像的语义信息和草图信息；处理单元，用于根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数；处理单元，还用于根据草图信息搜索第一图库，得到第二搜索结果；显示单元，用于根据第一搜索结果和第二搜索结果，显示图像搜索结果。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的图像搜索方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现如第一方面的图像搜索方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的图像搜索方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的图像搜索方法的步骤。

在本申请实施例提供的图像搜索方法中，获取待搜索图像的语义信息和草图信息；根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数；根据草图信息搜索第一图库，得到第二搜索结果；根据第一搜索结果和第二搜索结果，显示图像搜索结果。通过上述图像搜索方法，在图像搜索的过程中，基于待搜索图像的语义信息进行搜索得到第一搜索结果，基于待搜索图像的草图信息进行搜索得到第二搜索结果，进而再结合第一搜索结果和第二搜索结果，得到最终的图像搜索结果。这样，基于待搜索图像的语义信息以及草图信息进行图像搜索，能够结合语义信息搜索和草图信息搜索两者的优点，能够实现对图像的精准搜索，提升了图像搜索结果的准确性以及全面性。

附图说明

图1为本申请实施例提供的图像搜索方法的流程示意图；

图2为本申请实施例提供的图像搜索方法的原理图之一；

图3为本申请实施例提供的图像搜索方法的原理图之二；

图4为本申请实施例提供的图像搜索方法的原理图之三；

图5为本申请实施例提供的图像搜索方法的原理图之四；

图6为本申请实施例提供的图像搜索方法的原理图之五；

图7为本申请实施例提供的图像搜索方法的原理图之六；

图8为本申请实施例提供的图像搜索装置的结构框图；

图9为本申请实施例提供的电子设备的结构框图；

图10为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像搜索方法进行详细地说明。

如图1所示，本申请实施例提供一种图像搜索方法，该方法可以包括下述S102至S108：

S102：获取待搜索图像的语义信息和草图信息。

本申请实施例提出的图像搜索方法，由电子设备执行，该电子设备具体可为智能手机、平板电脑、笔记本电脑以及智能手表等智能电子设备，在此不作具体限制。

其中，上述语义信息为用户在图像搜索界面输入的待搜索图像的语义信息，该语义信息用于通过文字信息描述待搜索图像的图像特征。

在实际的应用过程中，上述语义信息具体可包括待搜索图像的地理位置信息、类别信息、文字信息以及文字位置信息等，在此不作具体限制。

其中，地理位置信息用于描述待搜索图像拍摄时的地理位置，类别信息用于描述待搜索图像的图像类型如风景图、人像图、产品图、花草图以及夜景图等，文字信息用于描述待搜索图像中所包含的文字内容，文字位置信息用于描述待搜索图像所包含的文字内容在待搜索图像中的显示位置。

进一步地，上述草图信息为用户在图像搜索界面绘制的待搜索图像的草图，该草图信息用于通过绘制图像来描述待搜索图像的图像特征。

在实际的应用过程中，如图2所示，图像搜索界面202可包括语义输入框204以及草图输入框206。其中，语义输入框204具体可包括地理位置输入框208、图像类别输入框210、图像文字输入框212以及文字位置输入框214，在此不作具体限制。草图输入框206用于为用户提供草图绘制工具，以使用户进行草图绘制。

进一步地，语义输入框可以通过输入法进行输入，也可以通过下拉界面在预设目录中进行选择输入。

进一步地，在用户输入文字位置信息的过程中，用户可根据观察到的文字在图像中的位置，输入左上、中上、右上、左下、右下以及居中等描述文字位置信息的文字描述。用户也可以根据文字在图像中的位置，通过触碰电子设备的屏幕中的相应位置来获取触碰位置的坐标信息，电子设备将该坐标信息确定为文字位置信息并将其显示在文字位置输入框内。

进一步地，在用户绘制草图信息的过程中，在用户激活草图输入框之后，草图输入框在图像搜索界面中的占比会被放大，语义输入框在图像搜索界面中的占比则会被减少，以为用户提供更大的草图绘制区域，便于用户绘制更加准确的草图信息。

S104：根据语义信息搜索第一图库，得到第一搜索结果。

其中，第一图库包括N个第一图像，N为大于1的正整数。第一图库可为电子设备中的图像图库如相册，第一图库还可为第三方图库如第三方图像网站、存储有图像的U盘以及磁盘等，在此不作具体限制。

在此基础上，第一图像可为电子设备中存储的图像，第一图像还可为第三方图库如第三方图像网站、U盘以及磁盘中所包含的图像，在此不作具体限制。

具体地，在本申请实施例提供的图像搜索方法中，在获取到待搜索图像的语义信息之后，基于该语义信息，通过语义识别模型对第一图库中的N个第一图像进行语义搜索，得到第一搜索结果。具体地，通过语义识别模型对每个第一图像进行语义识别分析，得到每个第一图像的文字标签，进而通过比较用户输入的语义信息以及每个第一图像的文字标签，对每个第一图像与待搜索图像的语义匹配度进行确定，并根据每个第一图像的语义匹配度对第一图库中的N个第一图像进行筛选，得到第一搜索结果。

其中，上述文字标签具体可包括第一图像的位置标签、类别标签以及文字识别标签等。其中，位置标签用于描述第一图像拍摄时所关联的地理位置信息，类别标签用于描述第一图像的图像类型，文字识别标签用于描述第一图像所包含的文字信息以及文字在第一图像中的位置。

进一步地，上述文字识别标签为通过对第一图像进行文字识别得到的标签。在实际的应用过程中，文字识别具体可以采用OCR(Optical Character Recognition，光学字符识别)算法进行处理，在此不作具体限制。

S106：根据草图信息搜索第一图库，得到第二搜索结果。

具体地，在本申请实施例提供的图像搜索方法中，在获取到待搜索图像的草图信息之后，基于该草图信息，通过草图识别模型对第一图库中的N个第一图像进行草图搜索，得到第二搜索结果。具体地，通过草图识别模型对每个第一图像以及用户绘制的草图信息进行识别分析，提取每个第一图像以及草图信息的深度特征以及HOG(Histogram ofOriented Gradients，方向梯度直方图)特征，进而通过对每个第一图像以及草图信息的深度特征以及直方图特征进行融合，确定每个第一图像以及草图信息的图像特征。进一步地，根据每个第一图像以及草图信息的图像特征，计算每个第一图像与草图信息之间的图像相似度，并根据每个第一图像的图像相似度对第一图库中的N个第一图像进行筛选，得到第二搜索结果。

在实际的应用过程中，如图3所示，上述草图识别模型具体可包括草图化模块、深度特征提取模块、HOG特征提取模块以及全连接融合模块。其中，草图化模块用于对每个第一图像以及草图信息进行草图化处理，以对每个第一图像以及草图信息进行边缘检测，得到每个第一图像的图像轮廓以及草图信息的草图轮廓。深度特征提取模块用于提取每个第一图像以及草图信息的深度特征。HOG特征提取模块用于提取每个第一图像以及草图信息的HOG特征。全连接融合模块用于基于全连接层，对每个第一图像以及草图信息的深度特征以及直方图特征进行非线性融合，以得到每个第一图像以及草图信息的图像特征。

S108：根据第一搜索结果和第二搜索结果，显示图像搜索结果。

其中，第一搜索结果为通过对第一图库中的N个第一图像进行语义搜索得到的搜索结果，第二搜索结果为通过对第一图库中的N个第一图像进行草图搜索得到的搜索结果。

具体地，在本申请实施例提供的图像搜索方法中，在获取到对第一图库的第一搜索结果以及第二搜索结果之后，结合第一搜索结果以及第二搜索结果，对第一搜索结果以及第二搜索结果进行精选优化，得到最终的图像搜索结果，并将图像搜索结果展示给用户。

本申请实施例提供的上述图像搜索方法，获取待搜索图像的语义信息和草图信息；根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数；根据草图信息搜索第一图库，得到第二搜索结果；根据第一搜索结果和第二搜索结果，显示图像搜索结果。通过上述图像搜索方法，在图像搜索的过程中，基于待搜索图像的语义信息进行搜索得到第一搜索结果，基于待搜索图像的草图信息进行搜索得到第二搜索结果，进而再结合第一搜索结果和第二搜索结果，得到最终的图像搜索结果。这样，基于待搜索图像的语义信息以及草图信息进行图像搜索，能够结合语义信息搜索和草图信息搜索两者的优点，能够实现对图像的精准搜索，提升了图像搜索结果的准确性以及全面性。

在本申请实施例中，上述S104具体可包括下述的S104a和S104b：

S104a：根据语义信息确定每个第一图像与待搜索图像的语义匹配度。

其中，上述语义匹配度用于描述每个第一图像与待搜索图像之间的语义相似程度。

具体地，在本申请实施例提供的图像搜索方法中，在获取到待搜索图像的语义信息之后，通过语义识别模型对第一图库中的每个第一图像进行语义识别分析，得到每个第一图像的文字标签，进而通过比较用户输入的语义信息以及每个第一图像的文字标签，对每个第一图像与待搜索图像的语义匹配度进行确定。

S104b：将语义匹配度大于第一阈值的第一图像确定为第一搜索结果。

其中，上述第一阈值为限定第一图像与待搜索图像之间是否语义匹配的界限值。在第一图像与待搜索图像之间的语义匹配度大于第一阈值的情况下，说明该第一图像与待搜索图像之间的语义相似程度较高，该第一图像符合第一搜索结果的要求，而在第一图像与待搜索图像之间的语义匹配度小于或等于第一阈值的情况下，则说明该第一图像与待搜索图像之间的语义相似程度较低，该第一图像不符合第一搜索结果的要求。

在实际的应用过程中，上述第一阈值具体可为80％、85％以及90％等数值，本领域技术人员可根据实际情况，对上述第一阈值的具体取值进行设置，在此不作具体限制。

具体地，在本申请实施例提供的图像搜索方法中，在基于用户输入的语义信息，对每个第一图像与待搜索图像之间的语义匹配度进行确定之后，将每个第一图像的语义匹配度与第一阈值进行比较，进而根据比较结果，从第一图库的N个第一图像中筛选出语义匹配度大于第一阈值的一部分第一图像，以此得到对第一图库的第一搜索结果。

本申请提供的上述实施例，在根据语义信息搜索第一图库，得到第一搜索结果的过程中，根据语义信息确定每个第一图像与待搜索图像的语义匹配度；将语义匹配度大于第一阈值的第一图像确定为第一搜索结果。这样，将与待搜索图像的语义匹配度大于第一阈值的第一图像确定为第一搜索结果，保证了语义搜索结果的准确性，进而保证了后续基于第一搜索结果确定图像搜索结果的准确性。

在本申请实施例中，上述语义信息包括图像位置信息、图像类别信息、图像文字信息和文字位置信息中的至少一种，在此基础上，上述S104a具体可包括下述的S104a1至S104a5：

S104a1：根据图像位置信息和每个第一图像的拍摄位置，确定每个第一图像与待搜索图像的图像位置匹配度。

其中，图像位置匹配度用于描述每个第一图像与待搜索图像之间的拍摄位置的相似程度。

进一步地，每个第一图像与待搜索图像之间的图像位置匹配度，基于每个第一图像与待搜索图像的拍摄位置之间的距离确定，图像位置匹配度与距离负相关。

其中，在实际的应用过程中，对于每个第一图像与待搜索图像的拍摄位置之间的距离，具体可通过下述公式(1)进行确定：

d＝2×r×arcsin((sin((lat

其中，d表示每个第一图像与待搜索图像的拍摄位置在地球表面上的距离，r表示地球半径，lat

S104a2：根据图像类别信息和每个第一图像的图像类别，确定每个第一图像与待搜索图像的图像类别匹配度。

其中，图像类别匹配度用于描述每个第一图像与待搜索图像之间的图像类别的相似程度。

具体地，在本申请实施例提供的图像搜索方法中，通过语义识别模型对第一图库中的每个第一图像进行语义识别分析，得到每个第一图像的类别标签，进而通过比较用户输入的图像类别信息以及每个第一图像的类别标签，对每个第一图像与待搜索图像的图像类别匹配度进行确定。

在实际的应用过程中，每个第一图像与待搜索图像之间的图像类别匹配度，具体可以通过神经网络模型进行识别获取，在此不作具体限制。

S104a3：根据图像文字信息和每个第一图像的图像文字，确定每个第一图像与待搜索图像的图像文字匹配度。

其中，图像文字匹配度用于描述每个第一图像与待搜索图像之间的图像文字的相似程度。

具体地，在本申请实施例提供的图像搜索方法中，通过OCR算法对每个第一图像进行文字识别，识别得到每个第一图像所包含的图像文字，进而通过匹配比较每个第一图像的图像文字以及用户输入的待搜索图像的图像文字信息，计算得到每个第一图像与待搜索图像之间的图像文字匹配度。

S104a4：根据文字位置信息和每个第一图像的文字位置，确定每个第一图像与待搜索图像的文字位置匹配度。

其中，文字位置匹配度用于描述每个第一图像与待搜索图像之间的文字位置的相似程度。

具体地，在本申请实施例提供的图像搜索方法中，对每个第一图像进行文字识别，识别得到每个第一图像所包含的图像文字在第一图像中的位置。在此基础上，在待搜索图像的文字位置信息为用户输入的左上、中上、右上、左下、右下以及居中等文字描述的情况下，根据用户输入的文字描述，将每个第一图像分割为相应数量的图像块，进而判断第一图像所包含的图像文字是否落在用户输入的文字描述所对应的图像块里，并根据判断结果计算每个第一图像与待搜索图像之间的文字位置匹配度。

进一步地，在待搜索图像的文字位置信息为用户通过触碰电子设备的屏幕而得到的文字坐标信息的情况下，则根据第一图像所包含的图像文字在第一图像中的坐标位置以及上述文字坐标信息，计算用户触碰位置与第一图像的文字位置之间的坐标差，进而再根据该坐标差确定每个第一图像与待搜索图像之间的文字位置匹配度。

其中，用户触碰位置与第一图像的文字位置之间的坐标差与文字位置匹配度成反比。用户触碰位置与第一图像的文字位置之间的坐标差越大，第一图像与待搜索图像之间的文字位置匹配度越小，用户触碰位置与第一图像的文字位置之间的坐标差越小，第一图像与待搜索图像之间的文字位置匹配度越大。

S104a5：对每个第一图像与待搜索图像的图像位置匹配度、图像类别匹配度、图像文字匹配度和文字位置匹配度中的至少一种进行加权处理，得到每个第一图像与待搜索图像的语义匹配度。

具体地，在本申请实施例提供的图像搜索方法中，在得到每个第一图像与待搜索图像之间的图像位置匹配度、图像类别匹配度、图像文字匹配度以及文字位置匹配度之后，通过下述公式(2)，对每个第一图像与待搜索图像之间的语义匹配度进行确定：

语义匹配度＝(a

其中，A表示图像位置匹配度，B表示图像类别匹配度，C表示图像文字匹配度，D表示文字位置匹配度，n表示用户输入的语义信息的数量，例如，在用户仅输入待搜索图像的图像位置信息以及图像类别信息的情况下，n＝2，a

进一步地，对于上述公式(2)，在实际应用过程中，在语义信息中的图像类别信息为文档图像的情况下，提高图像文字匹配度对应的加权系数c

本申请提供的上述实施例，语义信息包括图像位置信息、图像类别信息、图像文字信息和文字位置信息中的至少一种，在根据语义信息确定每个第一图像与待搜索图像的语义匹配度的过程中，根据图像位置信息和每个第一图像的拍摄位置，确定每个第一图像与待搜索图像的图像位置匹配度；和/或根据图像类别信息和每个第一图像的图像类别，确定每个第一图像与待搜索图像的图像类别匹配度；和/或根据图像文字信息和每个第一图像的图像文字，确定每个第一图像与待搜索图像的图像文字匹配度；和/或根据文字位置信息和每个第一图像的文字位置，确定每个第一图像与待搜索图像的文字位置匹配度；对每个第一图像与待搜索图像的图像位置匹配度、图像类别匹配度、图像文字匹配度和文字位置匹配度中的至少一种进行加权处理，得到每个第一图像与待搜索图像的语义匹配度。这样，保证了对每个第一图像与待搜索图像的语义匹配度进行确定的准确性，从而保证了第一搜索结果的准确性，保证了图像搜索结果的准确性。

在本申请实施例中，上述S106具体可包括下述的S106a至S106d：

S106a：对草图信息进行边缘检测，得到草图轮廓，以及对第一图像进行边缘检测，得到图像轮廓。

具体地，在本申请实施例提供的图像搜索方法中，在获取到待搜索图像的草图信息之后，通过草图识别模型的草图化模块对草图信息以及每个第一图像进行草图化处理，即对草图信息以及每个第一图像进行边缘检测，得到草图轮廓以及每个第一图像的图像轮廓。

其中，在对草图信息以及每个第一图像进行边缘检测的过程中，具体可采用Canny算子进行边缘检测。

在实际的应用过程中，在对草图信息以及每个第一图像进行边缘检测的过程中，还可采用Sobel算子、Roberts算子、Prewitt算子以及Laplacian算子等算子进行边缘检测，在此不作具体限制。

S106b：提取草图轮廓的直方图特征和深度特征，以及提取图像轮廓的直方图特征和深度特征。

具体地，在本申请实施例提供的图像搜索方法中，在对草图信息进行边缘检测得到草图轮廓之后，通过草图识别模型中的HOG特征提取模块，提取草图轮廓的直方图特征，以及通过草图识别模型中的深度特征提取模块，提取草图轮廓的深度特征。

其中，HOG特征提取的基本思想是将待提取特征的图像分成小的连通区域即多个图像块，计算每个图像块内的梯度方向直方图，并将每个图像块的梯度方向直方图串联起来作为整个待提取特征的图像的直方图特征向量。进一步地，由于特征提取的关键参数如block大小、cell(图像块)大小、bin数目等参数直接影响着HOG特征的提取效果，因此，在本申请实施例提供的图像搜索方法中，在得到待提取特征的图像的直方图特征向量之后，采用PCA(Principal Component Analysis，主成分分析)方法对直方图特征向量进行降维，进而通过SVM(Support Vector Machines，支持向量机)分类器进行分类，通过分类结果调整HOG特征提取参数。具体地，对分类结果进行训练，在分类准确率满足预设阈值时停止训练，并确定最终的HOG特征提取参数，进而基于最终的HOG特征提取参数提取HOG特征。

具体地，在对分类结果进行训练的过程中，更改block大小、cell大小以及bin数目等参数，并获取不同参数下SVM分类器的识别精度，在SVM分类器的识别精度即分类准确率满足预设阈值的情况下，选取block和cell较大，且bin数目较小的参数配置。

进一步地，深度特征提取模块采用AlexNet网络提取待提取特征图像的深度特征，并保存训练过程中最优的网络参数。其中，AlexNet网络的结构如图4所示，AlexNet网络包含5个卷积层和3个全连接层，共8层网络。在本申请实施例提供的图像搜索方法中，采用AlexNet网络中倒数第2个全连接层输出的向量作为待提取特征图像的深度特征向量。其中，如图4所示，倒数第2个全连接层输出的向量为长度为4096的向量，该向量的特点是比较稠密，每个元素都有较高的值，而且这个向量的不同元素之间具有较强的相关性。

进一步地，在本申请实施例提供的图像搜索方法中，在对每个第一图像进行边缘检测得到图像轮廓之后，通过草图识别模型中的HOG特征提取模块，提取图像轮廓的直方图特征，以及通过草图识别模型中的深度特征提取模块，提取图像轮廓的深度特征。

S106c：根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度。

其中，上述相似度用于描述每个第一图像与草图信息在图像内容上的相似程度。

具体地，在本申请实施例提供的图像搜索方法中，在得到草图信息的直方图特征以及深度特征之后，通过草图识别模型中的全连接融合模块，对草图信息的深度特征以及直方图特征进行非线性融合，得到草图信息的图像特征即第一特征向量。同理，在得到每个第一图像的直方图特征以及深度特征之后，通过草图识别模型中的全连接融合模块，对每个第一图像的深度特征以及直方图特征进行非线性融合，得到每个第一图像的图像特征即第二特征向量。在此基础上，通过计算第一特征向量与第二特征向量之间的相似距离，确定草图信息与每个第一图像之间的相似度。

其中，上述相似距离具体可为第一特征向量与第二特征向量之间的曼哈顿距离、余弦距离、汉明距离、切比雪夫距离以及欧式距离等，在此不作具体限制。

S106d：将相似度大于第二阈值的第一图像确定为第二搜索结果。

其中，上述第二阈值为限定第一图像与草图信息之间的相似程度的界限值。在第一图像与草图信息之间的相似度大于第二阈值的情况下，说明该第一图像与草图信息之间的相似程度较高，该第一图像符合第二搜索结果的要求，而在第一图像与草图信息之间的相似度小于或等于第二阈值的情况下，则说明该第一图像与草图信息之间的相似程度较低，该第一图像不符合第二搜索结果的要求。

在实际的应用过程中，上述第二阈值具体可为80％、85％以及90％等数值，本领域技术人员可根据实际情况，对上述第二阈值的具体取值进行设置，在此不作具体限制。

具体地，在本申请实施例提供的图像搜索方法中，在确定每个第一图像与草图信息之间的相似度进行确定之后，将每个第一图像的相似度与第二阈值进行比较，进而根据比较结果，从第一图库的N个第一图像中筛选出相似度大于第二阈值的一部分第一图像，以此得到对第一图库的第二搜索结果。

另外，在本申请实施例提供的图像搜索方法中，在提取得到每个第一图像和草图信息的深度特征向量之后，还可直接通过计算草图信息的深度特征向量与每个第一图像的深度特征向量之间的相似距离，来计算每个第一图像与草图信息之间的相似度，在此不作具体限制。

本申请提供的上述实施例，在根据草图信息搜索第一图库，得到第二搜索结果的过程中，对草图信息进行边缘检测，得到草图轮廓，以及对第一图像进行边缘检测，得到图像轮廓；提取草图轮廓的直方图特征和深度特征，以及提取图像轮廓的直方图特征和深度特征；根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度；将相似度大于第二阈值的第一图像确定为第二搜索结果。这样，基于图像的形状特征即HOG特征与深度特征，确定草图信息与每个第一图像的相似度，进而基于相似度确定为第二搜索结果，保证了第二搜索结果的准确性，进而保证了后续基于第二搜索结果确定图像搜索结果的准确性。

在本申请实施例中，上述S106c具体可包括下述的S106c1至S106c4：

S106c1：对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量。

具体地，在本申请实施例提供的图像搜索方法中，在得到草图信息的草图轮廓的直方图特征以及深度特征之后，通过草图识别模型中的全连接融合模块，对草图信息的草图轮廓的深度特征以及直方图特征进行非线性融合，得到草图信息的图像特征即第一特征向量。

S106c2：对图像轮廓的直方图特征和图像轮廓的深度特征进行融合，得到第二特征向量。

具体地，在本申请实施例提供的图像搜索方法中，在得到每个第一图像的图像轮廓的直方图特征以及深度特征之后，通过草图识别模型中的全连接融合模块，对每个第一图像的图像轮廓的深度特征以及直方图特征进行非线性融合，得到每个第一图像的图像特征即第二特征向量。

S106c3：根据第一特征向量和第二特征向量，确定相似距离。

其中，上述相似距离具体可为第一特征向量与第二特征向量之间的曼哈顿距离、余弦距离、汉明距离、切比雪夫距离以及欧式距离等，在此不作具体限制。

S106c4：根据相似距离，确定草图信息与第一图像的相似度。

其中，相似度与相似距离成反比，相似距离越大，说明草图信息与第一图像的相似度越小，相似距离越小，说明草图信息与第一图像的相似度越大。

本申请提供的上述实施例，在根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度的过程中，对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量；对图像轮廓的直方图特征和深度特征进行融合，得到第二特征向量；根据第一特征向量和第二特征向量，确定相似距离；根据相似距离，确定草图信息与第一图像的相似度。这样，将图像的形状特征即HOG特征与深度特征进行级联融合，得到草图信息和第一图像的特征向量，进而再基于草图信息和第一图像的特征向量之间的相似距离，计算草图信息与第一图像的相似度，能够克服手绘草图与自然图像之间的差异，从而保证对草图信息与第一图像的相似度进行确定的准确性，保证了第二搜索结果的准确性，从而保证了图像搜索结果的准确性。

在本申请实施例中，上述S106c1具体可包括下述的S110至S116：

S110：获取草图轮廓的直方图特征的第一数据量和草图轮廓的深度特征的第二数据量。

S112：根据第一数据量和第二数据量，确定全连接路径。

在本申请实施例提供的图像搜索方法中，采用草图信息进行图像搜索，草图与真实图像的像素量和特征量不同，若采用串联形式对图像的深度特征以及直方图特征进行融合，最终的图像搜索结果会发生较大偏差。因此，在本申请实施例提供的图像搜索方法中，通过草图识别模型中的全连接融合模块，对上述草图轮廓的直方图特征以及草图轮廓的深度特征进行全连接路径的非线性融合。

具体地，在本申请实施例提供的图像搜索方法中，在得到草图信息的草图轮廓的直方图特征以及深度特征之后，获取草图轮廓的直方图特征的第一数据量，以及获取草图轮廓的深度特征的第二数据量，并根据第一数据量和第二数据量，确定用于特征融合的全连接路径。

示例性地，如图5所示，图5为本申请实施例采用的全连接融合模块的标准模型结构。在根据第一数据量M和第二数据量N，确定用于特征融合的全连接路径的过程中，为第一数据量M设置三个判定阈值M1、M2和M3，为第二数据量N设置三个判定阈值N1、N2和N3。其中，M1>M2>M3，N1>N2>N3。

在此基础上，如图5所示，在M>M1且N>N1的情况下，选择1-1和2-1的全连接路径为导通状态，其余为抑制状态；在M>M1且NM1且N1>N>N2的情况下，选择1-1、1-2、2-1、2-2和2-3的全连接路径为导通状态，其余为抑制状态；在M1>M>M2且NM>M2且N1>N>N2的情况下，选择1-1、1-2、1-3、2-1、2-2和2-3的全连接路径全部为导通状态；在M1>M>M2且N>N3的情况下，选择1-1、1-2、1-3、2-1和2-2的全连接路径为导通状态，其余为抑制状态；在M3>M且NM且N1>N>N2的情况下，选择1-2、1-3、2-1、2-2和2-3的全连接路径为导通状态，其余为抑制状态；在M3>M且N>N3的情况下，选择1-2、1-3、2-1和2-2的全连接路径为导通状态，其余为抑制状态。

S114：按照每条全连接路径，对草图轮廓的直方图特征和深度特征进行融合，得到每条全连接路径上的融合特征。

具体地，在本申请实施例提供的图像搜索方法中，在根据草图轮廓的直方图特征的第一数据量和草图轮廓的深度特征的第二数据量，确定全连接路径之后，按照每条全连接路径，对草图轮廓的直方图特征和深度特征进行线性叠加融合，得到每条全连接路径上的融合特征。

可以理解的是，增加全连接层数量可以提高模型的表达能力、预测准确性和特征提取能力，然而，增加过多的全连接层会存在参数数量增加、计算量增加以及过拟合等问题。因此，本申请实施例采用的全连接融合模块，通过将HOG特征的数据量和深度特征的数据量分别与其对应的判定阈值进行比较，确定每个全连接路径的导通和激活状态。这样，根据HOG特征的数据量和深度特征的数据量合理地划分不同的全连接路径之间的组合关系，能够消除固定数量全连接层的单一路径由于草图与真实图像的像素量和特征量不同所带来的识别误差，增加了算法的灵活性，能够快速准确地根据不同的数据量进行针对性的融合操作。

S116：对每条全连接路径上的融合特征进行非线性变换，得到第一特征向量。

具体地，在本申请实施例提供的图像搜索方法中，通过Relu函数，将每条全连接路径上线性叠加融合后的融合特征进行非线性变换，增加融合特征的表达能力，得到第一特征向量。

本申请提供的上述实施例，在对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量的过程中，获取草图轮廓的直方图特征的第一数据量和草图轮廓的深度特征的第二数据量；根据第一数据量和第二数据量，确定全连接路径；按照每条全连接路径，对草图轮廓的直方图特征和深度特征进行融合，得到每条全连接路径上的融合特征；对每条全连接路径上的融合特征进行非线性变换，得到第一特征向量。这样，将草图的形状特征即HOG特征与深度特征进行级联融合，得到草图的特征向量，能够克服手绘草图与自然图像之间的差异，进而保证了后续基于草图的特征向量确定的相似度的准确性。

在本申请实施例中，上述对草图信息进行边缘检测，得到草图轮廓的步骤，具体可包括下述的S118至S126：

S118：对草图信息进行灰度化处理。

具体地，在本申请实施例提供的图像搜索方法中，在得到用户输入的草图信息之后，对草图信息进行灰度化处理，以将用户输入的草图信息由彩色图像转换为灰度图像。

在实际的应用过程中，具体可通过下述公式(3)对草图信息中每个像素点的RGB三个通道的像素值进行加权平均，得到对应的灰度值：

灰度值＝a×R+b×G+c×B， (3)

其中，R表示每个像素点的红色通道像素值，G表示每个像素点的绿色通道像素值，B表示每个像素点的蓝色通道像素值，a为红色通道像素值的加权系数，b为绿色通道像素值的加权系数，c为蓝色通道像素值的加权系数。在实际的应用过程中，a具体可取0.2989，b具体可取0.587，c具体可取0.114，在此不作具体限制。

S120：对灰度化处理后的草图信息进行降噪处理。

具体地，在本申请实施例提供的图像搜索方法中，在对草图信息进行灰度化处理之后，继续对灰度化处理后的草图信息进行降噪处理，以消除灰度化处理后的草图信息的噪声，使得后续的边缘检测更加准确。

其中，在对灰度化处理后的草图信息进行降噪处理的过程中，具体可采用下述公式(4)，对灰度化处理后的草图信息进行高斯滤波：

G(x，y)＝(1/(2×π×σ

其中，G(x，y)表示高斯函数在坐标(x，y)处的值，σ表示高斯函数的标准差。

在实际的应用过程中，在对灰度化处理后的草图信息进行降噪处理的过程中，还可采用均值滤波算法、中值滤波算法等算法，在此不作具体限制。

S122：对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像。

具体地，在本申请实施例提供的图像搜索方法中，在对灰度化处理后的草图信息进行降噪处理之后，对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像。具体地，通过对降噪处理后的草图信息进行卷积处理，得到草图信息分别在水平和垂直方向上的梯度值，进而再根据草图信息分别在水平和垂直方向上的梯度值，计算草图信息中每个像素点的梯度幅值和梯度方向，得到草图信息的梯度幅值图像。

其中，在对降噪处理后的草图信息进行卷积处理的过程中，具体可采用Sobel算子对降噪处理后的草图信息进行卷积，在此不作具体限制。

进一步地，在计算草图信息中每个像素点的梯度幅值和梯度方向的过程中，具体可通过下述公式(5)计算草图信息中每个像素点的梯度幅值，以及通过下述公式(6)计算草图信息中每个像素点的梯度方向：

G’(x，y)＝((G

θ(x，y)＝arctan(G

其中，G’(x，y)表示每个像素点的梯度幅值，θ(x，y)用于指示每个像素点的梯度方向，G

S124：对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化。

具体地，在本申请实施例提供的图像搜索方法中，在对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像之后，对梯度幅值图像进行非极大值抑制处理，以将梯度幅值图像中的非极大值点抑制为零，只保留边缘上的局部极大值点，从而实现对梯度幅值图像的边缘细化，使得后续提取的图像边缘更加细化。

S126：连接处理后的梯度幅值图像的图像边缘，得到草图轮廓。

具体地，在本申请实施例提供的图像搜索方法中，在对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化之后，连接处理后的梯度幅值图像的图像边缘，得到草图信息的草图轮廓。

本申请提供的上述实施例，在对草图信息进行边缘检测，得到草图轮廓的过程中，对草图信息进行灰度化处理；对灰度化处理后的草图信息进行降噪处理；对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像；对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化；连接处理后的梯度幅值图像的图像边缘，得到草图轮廓。这样，保证了得到的草图轮廓的清晰度以及准确度，进而保证了后续图像特征提取的准确性。

在本申请实施例中，上述S126具体可包括下述的S126a和S126b：

S126a：针对处理后的梯度幅值图像中的每个像素点，将梯度幅值大于或等于第三阈值的像素点确定为第一像素点，将梯度幅值小于第三阈值且梯度幅值大于或等于第四阈值的像素点确定为第二像素点。

其中，第三阈值大于第四阈值。对于第三阈值以及第四阈值的具体取值，本领域技术人员可根据实际情况进行设置，在此不作具体限制。

具体地，在本申请实施例提供的图像搜索方法中，在对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化之后，针对处理后的梯度幅值图像中的每个像素点，将每个像素点的梯度幅值与第三阈值以及第四阈值进行比较，并根据比较结果对梯度幅值图像中的每个像素点进行划分。具体地，在像素点的梯度幅值大于或等于第三阈值的情况下，将该像素点划分为强边缘像素点即第一像素点；在像素点的梯度幅值小于第三阈值且像素点的梯度幅值大于或等于第四阈值的情况下，将该像素点划分为弱边缘像素点即第二像素点；而在像素点的梯度幅值小于第四阈值的情况下，则将该像素点划分为非边缘像素点，非边缘像素点不参与连接。

S126b：针对处理后的梯度幅值图像中的每个第一像素点，连接第一像素点和与第一像素点相邻的第二像素点，得到草图轮廓。

具体地，在本申请实施例提供的图像搜索方法中，在对梯度幅值图像中的每个像素点进行划分，得到梯度幅值图像中的强边缘像素点即第一像素点以及弱边缘像素点即第二像素点之后，对于处理后的梯度幅值图像中的每个第一像素点，将该第一像素点以及与该第一像素点相邻的第二像素点进行连接，从而连接得到完整的边缘线，得到草图信息的草图轮廓。

本申请提供的上述实施例，在连接处理后的梯度幅值图像的图像边缘，得到草图轮廓的过程中，针对处理后的梯度幅值图像中的每个像素点，将梯度幅值大于或等于第三阈值的像素点确定为第一像素点，将梯度幅值小于第三阈值且梯度幅值大于或等于第四阈值的像素点确定为第二像素点，第三阈值大于第四阈值；针对处理后的梯度幅值图像中的每个第一像素点，连接第一像素点和与第一像素点相邻的第二像素点，得到草图轮廓。这样，通过连接强边缘像素点和与其相邻的弱边缘像素点，形成完整的边缘线，保证了得到的草图轮廓的清晰度以及准确度，进而保证了后续图像特征提取的准确性。

在本申请实施例中，上述S124具体可包括下述的S124a和S124b：

S124a：针对梯度幅值图像中的每个像素点，在像素点的梯度方向上，获取与像素点相邻的两个像素点。

具体地，在本申请实施例提供的图像搜索方法中，在对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像之后，针对梯度幅值图像中的每个像素点，在该像素点的梯度方向上，以该像素点为中间像素点，获取与该像素点相邻的两个像素点。

S124b：在像素点的梯度幅值小于或等于两个像素点中任一像素点的梯度幅值的情况下，将像素点的像素值确定为零。

具体地，在本申请实施例提供的图像搜索方法中，针对梯度幅值图像中的每个像素点，在以该像素点为中间像素点，在该像素点的梯度方向上获取与该像素点相邻的两个像素点之后，比较该像素点以及与其相邻的两个像素点的梯度幅值。在此基础上，在该像素点的梯度幅值大于与其相邻的两个像素点的梯度幅值的情况下，说明该像素点为三个像素点中的极大值点，此时，保留该极大值点。而在该像素点的梯度幅值小于或等于与其相邻的两个像素点中的任一像素点的梯度幅值的情况下，则说明该像素点并非三个像素点中的极大值点，此时，将该像素点的像素值抑制为零。这样，可以去除掉梯度幅值图像中较宽的边缘，使得梯度幅值图像的边缘保持细线条状，便于后续的边缘提取。

本申请提供的上述实施例，在对梯度幅值图像进行非极大值抑制处理的过程中，针对梯度幅值图像中的每个像素点，在像素点的梯度方向上，获取与像素点相邻的两个像素点；在像素点的梯度幅值小于或等于两个像素点中任一像素点的梯度幅值的情况下，将像素点的像素值确定为零。这样，将梯度幅值图像中的非极大值点抑制为零，只保留边缘上的局部极大值点，从而实现对梯度幅值图像的边缘细化，使得后续提取的图像边缘更加细化。

在本申请实施例中，上述提取草图轮廓的直方图特征的步骤，具体可包括下述的S128至S136：

S128：将梯度幅值图像划分多个图像块。

具体地，在本申请实施例提供的图像搜索方法中，在对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像之后，将梯度幅值图像划分多个小的连通区域即多个图像块，其中，每个图像块中包含多个像素点。

S130：根据每个图像块中像素点的梯度方向，确定每个图像块的梯度直方图。

具体地，在将梯度幅值图像划分多个图像块之后，对每个图像块内的像素点的梯度方向进行统计，得到每个图像块的梯度直方图。具体地，对于每个图像块内的像素点的梯度方向，将360度的梯度方向范围划分为多个bin(例如9个)，每个bin负责统计一定梯度方向范围内的像素点的数量，得到每个图像块的梯度直方图。

其中，对于梯度幅值图像中每个像素点的梯度幅值和梯度方向，具体可通过上述公式(5)以及公式(6)进行确定。

S132：对每个图像块的梯度直方图进行归一化处理，得到每个图像块的直方图特征。

具体地，在得到每个图像块的梯度直方图M(x，y)之后，对每个图像块的梯度直方图M(x，y)进行灰度化处理，进而通过伽马校正法对每个图像块灰度处理后的梯度直方图进行归一化处理，得到每个图像块的直方图特征。

在实际的应用过程中，具体可通过下述公式(7)，对每个图像块灰度处理后的梯度直方图进行归一化处理：

M’(x，y)＝(M(x，y)/255)

其中，M(x，y)表示每个图像块的梯度直方图，M’(x，y)表示每个图像块归一化处理后的梯度直方图，gamma∈(0，1)，gamma通常取值为0.5。

S134：串联每个图像块的直方图特征，得到草图信息的直方图特征向量。

具体地，在得到每个图像块的直方图特征之后，将每个图像块的直方图特征添加到整个图像的直方图特征向量中，得到草图信息的直方图特征向量。

S136：对直方图特征向量进行降维处理，得到草图轮廓的直方图特征。

可以理解的是，HOG向量中的元素较多，不适用于图像的快速搜索。因此，在本申请实施例提供的图像搜索方法中，在得到草图信息的直方图特征向量之后，采用PCA方法对直方图特征向量进行降维处理，得到草图轮廓的直方图特征。

本申请提供的上述实施例，在提取草图轮廓的直方图特征的过程中，将梯度幅值图像划分多个图像块；根据每个图像块中像素点的梯度方向，确定每个图像块的梯度直方图；对每个图像块的梯度直方图进行归一化处理，得到每个图像块的直方图特征；串联每个图像块的直方图特征，得到草图信息的直方图特征向量；对直方图特征向量进行降维处理，得到草图轮廓的直方图特征。这样，保证了HOG特征的提取效果，保证了提取到的草图轮廓的直方图特征的准确性，从而保证后续相似度计算的准确性，并且，便于实现图像的快速搜索。

在本申请实施例中，上述S136具体可包括下述的S136a至S136e：

S136a：对直方图特征向量进行标准化处理。

可以理解的是，如图6所示，图6为自然图像的HOG特征和手绘草图的HOG特征之间的对比图。如图6所示，由于自然图像和手绘草图二者的像素量不在同一个级别上，因此，自然图像和手绘草图的HOG特征在不同梯度方向即不同角度对应的像素点数量存在较大差异，自然图像和手绘草图的HOG特征在相同梯度方向即相同角度对应的像素点数量也存在较大差异。

因此，在本申请实施例提供的图像搜索方法中，在得到草图信息和每个第一图像的直方图特征向量即HOG特征向量之后，对原始的HOG特征向量进行标准化处理，使得草图信息和每个第一图像的HOG特征向量的均值为0，方差为1。这样，能够消除自然图像的HOG特征和手绘草图的HOG特征之间的量纲差异，保证特征提取的准确性。

S136b：根据标准化处理后的直方图特征向量，确定协方差矩阵。

其中，协方差用于反映两个特征数据之间的线性相关性。

具体地，在本申请实施例提供的图像搜索方法中，在对直方图特征向量进行标准化处理之后，根据标准化处理后的直方图特征向量，计算特征数据之间的协方差矩阵。

S136c：对协方差矩阵进行分解，得到特征值和对应的特征向量。

其中，特征向量表示特征数据在新的坐标系下的方向，特征值表示该特征向量的重要性。

具体地，在根据标准化处理后的直方图特征向量，确定协方差矩阵之后，对协方差矩阵进行分解，得到特征值和对应的特征向量。

S136d：根据特征值，对特征向量进行筛选。

具体地，在本申请实施例提供的图像搜索方法中，在通过对协方差矩阵进行分解，得到特征值和对应的特征向量之后，采用PCA方法，根据特征值对特征向量进行筛选，以从多个特征向量中选择较重要的部分特征向量作为主成分，如选择特征值最大的前5个特征向量。其中，特征值越大，表示该特征向量所对应的主成分所包含的信息越多。

S136e：根据筛选后的特征向量对直方图特征向量进行降维处理。

具体地，在根据特征值对特征向量进行筛选，选择得到主成分之后，将原始的HOG特征向量投影到选择的主成分上，从而得到降维后的HOG特征向量即草图轮廓的直方图特征。

其中，在将原始的HOG特征向量投影到选择的主成分时，具体可以通过矩阵相乘的方式实现，在此不作具体限制。

本申请提供的上述实施例，在对直方图特征向量进行降维处理的过程中，对直方图特征向量进行标准化处理；根据标准化处理后的直方图特征向量，确定协方差矩阵；对协方差矩阵进行分解，得到特征值和对应的特征向量；根据特征值，对特征向量进行筛选；根据筛选后的特征向量对直方图特征向量进行降维处理。这样，能够保证HOG特征的提取效果，从而保证了提取得到的草图轮廓的直方图特征的准确性，保证了后续相似度计算的准确性。

在本申请实施例中，上述S108具体可包括下述的S108a至S108c：

S108a：根据语义信息对第二搜索结果进行过滤处理，得到第三搜索结果。

具体地，在本申请实施例提供的图像搜索方法中，在得到第二搜索结果之后，基于用户输入的语义信息，判断第二搜索结果中的每个第一图像是否符合用户输入的语义要求，并将第二搜索结果中不符合语义要求的第一图像滤除，得到精选后的第三搜索结果。

具体地，对第二搜索结果中的每个第一图像的图像类别进行识别，基于用户输入的语义信息所指示的图像类别以及每个第一图像的图像类别，对第二搜索结果进行过滤处理，得到第三搜索结果。

例如，在用户输入的语义信息指示图像类别为人物图的情况下，去除第二搜索结果中图像类别不是人物图的第一图像，得到第三搜索结果。

其中，在对第二搜索结果中的每个第一图像的图像类别进行识别的过程中，具体可采用经过训练的VGG(Visual Geometry Group Network，视觉几何群网络)模型进行图像类别识别。VGG模型是一种卷积神经网络模型，其主要特点是采用较小的卷积核(3x3)和较深的网络结构。VGG模型的网络结构简单，其主要由卷积层和全连接层组成，其中，卷积层的深度较深，能够较好地用于类别识别。

S108b：获取草图信息的信息量。

其中，草图信息的信息量可以用户绘制草图时输入的像素值确定。

S108c：根据信息量确定图像显示顺序，按照图像显示顺序显示第一搜索结果和第三搜索结果中的图像。

具体地，在本申请实施例提供的图像搜索方法中，在获取草图信息的信息量之后，基于草图信息的信息量确定图像展示方案即确定图像显示顺序，进而按照确定的图像显示顺序，在图像展示界面内向用户展示第一搜索结果和第三搜索结果中的图像，以供用户从展示的图像中查找到所需的待搜索图像。

具体地，在本申请实施例提供的图像搜索方法中，在得到第一搜索结果和第三搜索结果之后，首先将第一搜索结果和第三搜索结果中均包括的图像作为较大可能的图像集，并按照图像集中的图像与草图信息的相似度从大到小的顺序，在图像展示界面对图像集中的图像进行优先展示。也即，电子设备优先向用户展示上述第一搜索结果和第三搜索结果中均包含的图像。

进一步地，在向用户优先展示上述第一搜索结果和第三搜索结果中均包含的图像之后，在草图信息的信息量大于或等于第五阈值的情况下，电子设备再按照图像展示界面的界面变化顺序，根据第三搜索结果中每个图像与草图信息的相似度的大小顺序，在图像展示界面继续展示第三搜索结果中未被展示过的图像。其中，图像展示界面的界面变化顺序为用户对图像展示界面的翻页顺序或滑页顺序。此时，若用户继续翻页或滑页，则再根据第一搜索结果中每个图像与语义信息的语义匹配度的大小顺序，在翻页或滑页后的图像展示界面继续展示第一搜索结果中未被展示过的第一图像。如此，随着用户对图像展示界面的翻页操作或滑页翻页，按照确定的第一图像展示方案将第一搜索结果和第三搜索结果中的图像依次展示给用户。

或者，在草图信息的信息量小于第五阈值且草图信息的信息量大于第六阈值的情况下，在向用户优先展示上述第一搜索结果和第三搜索结果中均包含的图像之后，电子设备再按照图像展示界面的界面变化顺序，根据第三搜索结果中每个图像与草图信息的相似度的大小顺序，在图像展示界面继续展示第三搜索结果中相似度大于第七阈值且未被展示过的图像。此时，若用户继续翻页或滑页，则再根据第一搜索结果中每个图像与语义信息的语义匹配度的大小顺序，在翻页或滑页后的图像展示界面继续展示第一搜索结果中未被展示过的图像。此时，若用户继续翻页或滑页，则再根据第三搜索结果中每个图像与草图信息的相似度的大小顺序，在翻页或滑页后的图像展示界面继续展示第三搜索结果中相似度小于或等于第七阈值且未被展示过的图像。如此，随着用户对图像展示界面的翻页操作或滑页操作，按照确定的第二图像展示方案将第一搜索结果和第三搜索结果中的图像依次展示给用户。

其中，对于第五阈值和第六阈值的具体取值，本领域技术人员可根据实际情况进行设置，在此不作具体限制。

进一步地，上述第七阈值具体可为50％、55％以及60％等数值，本领域技术人员可根据实际情况，对第七阈值的具体取值进行设置，在此不作具体限制。

另外，在实际的应用过程中，在按照上述第一图像展示方案或第二图像展示方案将第一搜索结果和第三搜索结果中的图像展示给用户的过程中，还可基于时间变化顺序，按照确定的图像显示顺序，在不同的时间点，在同一图像展示界面内向用户展示不同的图像，以按照时间变化顺序，将第一搜索结果和第三搜索结果中的图像依次展示给用户。

示例性地，如图7中的(a)所示，第一搜索结果302中包括15个风景图，即风景图1至风景图10以及风景图16至风景图20，其中，风景图1至风景图10以及风景图16至风景图20与用户输入的语义信息之间的语义匹配度逐渐减小。如图7中的(b)所示，第二搜索结果304中包括10个风景图、3个人物图和2个花草图共15个图像。在此基础上，如图7中的(b)所示，基于用户输入的语义信息所指示的图像类别为风景图，将第二搜索结果304中的3个人物图和2个花草图滤除，得到第三搜索结果306。其中，第三搜索结果306中的风景图10、风景图9、风景图8、风景图7、风景图6、风景图15、风景图14、风景图11、风景图12以及风景图13与用户输入的草图信息之间的相似度逐渐减小，并且，第三搜索结果306中风景图13与用户输入的草图信息之间的相似度小于第七阈值，第三搜索结果306中的其他风景图与用户输入的草图信息之间的相似度大于第七阈值。

在此基础上，在用户输入的草图信息的信息量大于或等于第五阈值的情况下，如图7中的(c)所示，首先在图像展示界面308的第一区域310，按照第三搜索结果306中每个风景图与用户输入的草图信息之间的相似度从大到小的顺序，向用户展示第一搜索结果302和第三搜索结果306中均包含的风景图，即在第一区域310内依次显示风景图10、风景图9、风景图8、风景图7以及风景图6。进一步地，在风景图6之后也即在图像展示界面308的第二区域312，按照第三搜索结果306中每个风景图与用户输入的草图信息之间的相似度从大到小的顺序，向用户展示第三搜索结果306中未在第一区域310内展示过的风景图，即在第二区域312内依次显示风景图15、风景图14、风景图11、风景图12以及风景图13。进一步地，在风景图13之后也即在图像展示界面308的第三区域314，根据第一搜索结果302中每个风景图与用户输入的语义信息之间的语义匹配度从大到小的顺序，向用户展示第一搜索结果302中未在第一区域310和第二区域312内展示过的风景图，即在第三区域314内依次显示风景图1、风景图2、风景图3、风景图4、风景图5、风景图16、风景图17、风景图18、风景图19以及风景图20。

或者，在用户输入的草图信息的信息量小于第五阈值且草图信息的信息量大于第六阈值的情况下，如图7中的(d)所示，首先在图像展示界面308的第一区域310，按照第三搜索结果306中每个风景图与用户输入的草图信息之间的相似度从大到小的顺序，向用户展示第一搜索结果302和第三搜索结果306中均包含的风景图，即在第一区域310内依次显示风景图10、风景图9、风景图8、风景图7以及风景图6。进一步地，在风景图6之后也即在图像展示界面308的第二区域312，按照第三搜索结果306中每个风景图与用户输入的草图信息之间的相似度从大到小的顺序，向用户展示第三搜索结果306中相似度大于第七阈值且未在第一区域310内展示过的风景图，即在第二区域312内依次显示风景图15、风景图14、风景图11以及风景图12。进一步地，在风景图12之后也即在图像展示界面308的第三区域314，根据第一搜索结果302中每个风景图与用户输入的语义信息之间的语义匹配度从大到小的顺序，向用户展示第一搜索结果302中未在第一区域310和第二区域312内展示过的风景图，即在第三区域314内依次显示风景图1、风景图2、风景图3、风景图4、风景图5、风景图16、风景图17、风景图18、风景图19以及风景图20。进一步地，在风景图20之后也即在图像展示界面308的第四区域316，按照第三搜索结果306中每个风景图与用户输入的草图信息之间的相似度从大到小的顺序，向用户展示第三搜索结果306中相似度小于第七阈值且未在第一区域310、第二区域312以及第三区域314内展示过的风景图，即在第四区域316内显示风景图13。

本申请提供的上述实施例，在根据第一搜索结果和第二搜索结果，显示图像搜索结果的过程中，根据语义信息对第二搜索结果进行过滤处理，得到第三搜索结果；获取草图信息的信息量；根据信息量确定图像显示顺序，按照图像显示顺序显示第一搜索结果和第三搜索结果中的图像。这样，根据用户输入的草图信息的信息量的不同，采用不同的展示方案展示图像搜索结果，更加符合用户的搜索需求。

本申请实施例提供的图像搜索方法，执行主体可以为图像搜索装置。本申请实施例中以图像搜索装置执行上述图像搜索方法为例，说明本申请实施例提供的图像搜索装置。

如图8所示，本申请实施例提供一种图像搜索装置700，该装置可以包括下述的获取单元702、处理单元704以及显示单元706。

获取单元702，用于获取待搜索图像的语义信息和草图信息；

处理单元704，用于根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数；

处理单元704，还用于根据草图信息搜索第一图库，得到第二搜索结果；

显示单元706，用于根据第一搜索结果和第二搜索结果，显示图像搜索结果。

本申请实施例提供的图像搜索装置700，获取待搜索图像的语义信息和草图信息；根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数；根据草图信息搜索第一图库，得到第二搜索结果；根据第一搜索结果和第二搜索结果，显示图像搜索结果。通过上述图像搜索装置700，在图像搜索的过程中，基于待搜索图像的语义信息进行搜索得到第一搜索结果，基于待搜索图像的草图信息进行搜索得到第二搜索结果，进而再结合第一搜索结果和第二搜索结果，得到最终的图像搜索结果。这样，基于待搜索图像的语义信息以及草图信息进行图像搜索，能够结合语义信息搜索和草图信息搜索两者的优点，能够实现对图像的精准搜索，提升了图像搜索结果的准确性以及全面性。

在本申请实施例中，处理单元704具体用于：根据语义信息确定每个第一图像与待搜索图像的语义匹配度；将语义匹配度大于第一阈值的第一图像确定为第一搜索结果。

本申请提供的上述实施例，在根据语义信息搜索第一图库，得到第一搜索结果的过程中，根据语义信息确定每个第一图像与待搜索图像的语义匹配度；将语义匹配度大于第一阈值的第一图像确定为第一搜索结果。这样，将与待搜索图像的语义匹配度大于第一阈值的第一图像确定为第一搜索结果，保证了语义搜索结果的准确性，进而保证了后续基于第一搜索结果确定图像搜索结果的准确性。

在本申请实施例中，语义信息包括图像位置信息、图像类别信息、图像文字信息和文字位置信息中的至少一种，处理单元704具体用于：根据图像位置信息和每个第一图像的拍摄位置，确定每个第一图像与待搜索图像的图像位置匹配度；和/或根据图像类别信息和每个第一图像的图像类别，确定每个第一图像与待搜索图像的图像类别匹配度；和/或根据图像文字信息和每个第一图像的图像文字，确定每个第一图像与待搜索图像的图像文字匹配度；和/或根据文字位置信息和每个第一图像的文字位置，确定每个第一图像与待搜索图像的文字位置匹配度；对每个第一图像与待搜索图像的图像位置匹配度、图像类别匹配度、图像文字匹配度和文字位置匹配度中的至少一种进行加权处理，得到每个第一图像与待搜索图像的语义匹配度。

本申请提供的上述实施例，语义信息包括图像位置信息、图像类别信息、图像文字信息和文字位置信息中的至少一种，在根据语义信息确定每个第一图像与待搜索图像的语义匹配度的过程中，根据图像位置信息和每个第一图像的拍摄位置，确定每个第一图像与待搜索图像的图像位置匹配度；和/或根据图像类别信息和每个第一图像的图像类别，确定每个第一图像与待搜索图像的图像类别匹配度；和/或根据图像文字信息和每个第一图像的图像文字，确定每个第一图像与待搜索图像的图像文字匹配度；和/或根据文字位置信息和每个第一图像的文字位置，确定每个第一图像与待搜索图像的文字位置匹配度；对每个第一图像与待搜索图像的图像位置匹配度、图像类别匹配度、图像文字匹配度和文字位置匹配度中的至少一种进行加权处理，得到每个第一图像与待搜索图像的语义匹配度。这样，保证了对每个第一图像与待搜索图像的语义匹配度进行确定的准确性，从而保证了第一搜索结果的准确性，保证了图像搜索结果的准确性。

在本申请实施例中，处理单元704具体用于：对草图信息进行边缘检测，得到草图轮廓，以及对第一图像进行边缘检测，得到图像轮廓；提取草图轮廓的直方图特征和深度特征，以及提取图像轮廓的直方图特征和深度特征；根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度；将相似度大于第二阈值的第一图像确定为第二搜索结果。

本申请提供的上述实施例，在根据草图信息搜索第一图库，得到第二搜索结果的过程中，对草图信息进行边缘检测，得到草图轮廓，以及对第一图像进行边缘检测，得到图像轮廓；提取草图轮廓的直方图特征和深度特征，以及提取图像轮廓的直方图特征和深度特征；根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度；将相似度大于第二阈值的第一图像确定为第二搜索结果。这样，基于图像的形状特征即HOG特征与深度特征，确定草图信息与每个第一图像的相似度，进而基于相似度确定为第二搜索结果，保证了第二搜索结果的准确性，进而保证了后续基于第二搜索结果确定图像搜索结果的准确性。

在本申请实施例中，处理单元704具体用于：对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量；对图像轮廓的直方图特征和深度特征进行融合，得到第二特征向量；根据第一特征向量和第二特征向量，确定相似距离；根据相似距离，确定草图信息与第一图像的相似度。

本申请提供的上述实施例，在根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度的过程中，对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量；对图像轮廓的直方图特征和深度特征进行融合，得到第二特征向量；根据第一特征向量和第二特征向量，确定相似距离；根据相似距离，确定草图信息与第一图像的相似度。这样，将图像的形状特征即HOG特征与深度特征进行级联融合，得到草图信息和第一图像的特征向量，进而再基于草图信息和第一图像的特征向量之间的相似距离，计算草图信息与第一图像的相似度，能够克服手绘草图与自然图像之间的差异，从而保证对草图信息与第一图像的相似度进行确定的准确性，保证了第二搜索结果的准确性，从而保证了图像搜索结果的准确性。

在本申请实施例中，处理单元704具体用于：获取草图轮廓的直方图特征的第一数据量和草图轮廓的深度特征的第二数据量；根据第一数据量和第二数据量，确定全连接路径；按照每条全连接路径，对草图轮廓的直方图特征和深度特征进行融合，得到每条全连接路径上的融合特征；对每条全连接路径上的融合特征进行非线性变换，得到第一特征向量。

本申请提供的上述实施例，在对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量的过程中，获取草图轮廓的直方图特征的第一数据量和草图轮廓的深度特征的第二数据量；根据第一数据量和第二数据量，确定全连接路径；按照每条全连接路径，对草图轮廓的直方图特征和深度特征进行融合，得到每条全连接路径上的融合特征；对每条全连接路径上的融合特征进行非线性变换，得到第一特征向量。这样，将草图的形状特征即HOG特征与深度特征进行级联融合，得到草图的特征向量，能够克服手绘草图与自然图像之间的差异，进而保证了后续基于草图的特征向量确定的相似度的准确性。

在本申请实施例中，处理单元704具体用于：对草图信息进行灰度化处理；对灰度化处理后的草图信息进行降噪处理；对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像；对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化；连接处理后的梯度幅值图像的图像边缘，得到草图轮廓。

本申请提供的上述实施例，在对草图信息进行边缘检测，得到草图轮廓的过程中，对草图信息进行灰度化处理；对灰度化处理后的草图信息进行降噪处理；对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像；对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化；连接处理后的梯度幅值图像的图像边缘，得到草图轮廓。这样，保证了得到的草图轮廓的清晰度以及准确度，进而保证了后续图像特征提取的准确性。

在本申请实施例中，处理单元704具体用于：针对处理后的梯度幅值图像中的每个像素点，将梯度幅值大于或等于第三阈值的像素点确定为第一像素点，将梯度幅值小于第三阈值且梯度幅值大于或等于第四阈值的像素点确定为第二像素点，第三阈值大于第四阈值；针对处理后的梯度幅值图像中的每个第一像素点，连接第一像素点和与第一像素点相邻的第二像素点，得到草图轮廓。

本申请提供的上述实施例，在连接处理后的梯度幅值图像的图像边缘，得到草图轮廓的过程中，针对处理后的梯度幅值图像中的每个像素点，将梯度幅值大于或等于第三阈值的像素点确定为第一像素点，将梯度幅值小于第三阈值且梯度幅值大于或等于第四阈值的像素点确定为第二像素点，第三阈值大于第四阈值；针对处理后的梯度幅值图像中的每个第一像素点，连接第一像素点和与第一像素点相邻的第二像素点，得到草图轮廓。这样，通过连接强边缘像素点和与其相邻的弱边缘像素点，形成完整的边缘线，保证了得到的草图轮廓的清晰度以及准确度，进而保证了后续图像特征提取的准确性。

在本申请实施例中，处理单元704具体用于：针对梯度幅值图像中的每个像素点，在像素点的梯度方向上，获取与像素点相邻的两个像素点；在像素点的梯度幅值小于或等于两个像素点中任一像素点的梯度幅值的情况下，将像素点的像素值确定为零。

本申请提供的上述实施例，在对梯度幅值图像进行非极大值抑制处理的过程中，针对梯度幅值图像中的每个像素点，在像素点的梯度方向上，获取与像素点相邻的两个像素点；在像素点的梯度幅值小于或等于两个像素点中任一像素点的梯度幅值的情况下，将像素点的像素值确定为零。这样，将梯度幅值图像中的非极大值点抑制为零，只保留边缘上的局部极大值点，从而实现对梯度幅值图像的边缘细化，使得后续提取的图像边缘更加细化。

在本申请实施例中，处理单元704具体用于：将梯度幅值图像划分多个图像块；根据每个图像块中像素点的梯度方向，确定每个图像块的梯度直方图；对每个图像块的梯度直方图进行归一化处理，得到每个图像块的直方图特征；串联每个图像块的直方图特征，得到草图信息的直方图特征向量；对直方图特征向量进行降维处理，得到草图轮廓的直方图特征。

本申请提供的上述实施例，在提取草图轮廓的直方图特征的过程中，将梯度幅值图像划分多个图像块；根据每个图像块中像素点的梯度方向，确定每个图像块的梯度直方图；对每个图像块的梯度直方图进行归一化处理，得到每个图像块的直方图特征；串联每个图像块的直方图特征，得到草图信息的直方图特征向量；对直方图特征向量进行降维处理，得到草图轮廓的直方图特征。这样，保证了HOG特征的提取效果，保证了提取到的草图轮廓的直方图特征的准确性，从而保证后续相似度计算的准确性，并且，便于实现图像的快速搜索。

在本申请实施例中，处理单元704具体用于：对直方图特征向量进行标准化处理；根据标准化处理后的直方图特征向量，确定协方差矩阵；对协方差矩阵进行分解，得到特征值和对应的特征向量；根据特征值，对特征向量进行筛选；根据筛选后的特征向量对直方图特征向量进行降维处理。

本申请提供的上述实施例，在对直方图特征向量进行降维处理的过程中，对直方图特征向量进行标准化处理；根据标准化处理后的直方图特征向量，确定协方差矩阵；对协方差矩阵进行分解，得到特征值和对应的特征向量；根据特征值，对特征向量进行筛选；根据筛选后的特征向量对直方图特征向量进行降维处理。这样，能够保证HOG特征的提取效果，从而保证了提取得到的草图轮廓的直方图特征的准确性，保证了后续相似度计算的准确性。

在本申请实施例中，处理单元704还用于：根据语义信息对第二搜索结果进行过滤处理，得到第三搜索结果；获取草图信息的信息量；显示单元706具体用于：根据信息量确定图像显示顺序，按照图像显示顺序显示第一搜索结果和第三搜索结果中的图像。

本申请提供的上述实施例，在根据第一搜索结果和第二搜索结果，显示图像搜索结果的过程中，根据语义信息对第二搜索结果进行过滤处理，得到第三搜索结果；获取草图信息的信息量；根据信息量确定图像显示顺序，按照图像显示顺序显示第一搜索结果和第三搜索结果中的图像。这样，根据用户输入的草图信息的信息量的不同，采用不同的展示方案展示图像搜索结果，更加符合用户的搜索需求。

本申请实施例中的图像搜索装置700可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像搜索装置700可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像搜索装置700能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图9所示，本申请实施例还提供一种电子设备800，包括处理器802和存储器804，存储器804上存储有可在处理器802上运行的程序或指令，该程序或指令被处理器802执行时实现上述图像搜索方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图10为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909以及处理器910等部件。

本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器910，用于获取待搜索图像的语义信息和草图信息。

处理器910，还用于根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数。

处理器910，还用于根据草图信息搜索第一图库，得到第二搜索结果。

显示单元906，用于根据第一搜索结果和第二搜索结果，显示图像搜索结果。

在本申请实施例中，获取待搜索图像的语义信息和草图信息；根据语义信息搜索第一图库，得到第一搜索结果，第一图库包括N个第一图像，N为大于1的正整数；根据草图信息搜索第一图库，得到第二搜索结果；根据第一搜索结果和第二搜索结果，显示图像搜索结果。在本申请实施例中，在图像搜索的过程中，基于待搜索图像的语义信息进行搜索得到第一搜索结果，基于待搜索图像的草图信息进行搜索得到第二搜索结果，进而再结合第一搜索结果和第二搜索结果，得到最终的图像搜索结果。这样，基于待搜索图像的语义信息以及草图信息进行图像搜索，能够结合语义信息搜索和草图信息搜索两者的优点，能够实现对图像的精准搜索，提升了图像搜索结果的准确性以及全面性。

可选地，处理器910具体用于：根据语义信息确定每个第一图像与待搜索图像的语义匹配度；将语义匹配度大于第一阈值的第一图像确定为第一搜索结果。

本申请提供的上述实施例，在根据语义信息搜索第一图库，得到第一搜索结果的过程中，根据语义信息确定每个第一图像与待搜索图像的语义匹配度；将语义匹配度大于第一阈值的第一图像确定为第一搜索结果。这样，将与待搜索图像的语义匹配度大于第一阈值的第一图像确定为第一搜索结果，保证了语义搜索结果的准确性，进而保证了后续基于第一搜索结果确定图像搜索结果的准确性。

可选地，语义信息包括图像位置信息、图像类别信息、图像文字信息和文字位置信息中的至少一种，处理器910具体用于：根据图像位置信息和每个第一图像的拍摄位置，确定每个第一图像与待搜索图像的图像位置匹配度；和/或根据图像类别信息和每个第一图像的图像类别，确定每个第一图像与待搜索图像的图像类别匹配度；和/或根据图像文字信息和每个第一图像的图像文字，确定每个第一图像与待搜索图像的图像文字匹配度；和/或根据文字位置信息和每个第一图像的文字位置，确定每个第一图像与待搜索图像的文字位置匹配度；对每个第一图像与待搜索图像的图像位置匹配度、图像类别匹配度、图像文字匹配度和文字位置匹配度中的至少一种进行加权处理，得到每个第一图像与待搜索图像的语义匹配度。

本申请提供的上述实施例，语义信息包括图像位置信息、图像类别信息、图像文字信息和文字位置信息中的至少一种，在根据语义信息确定每个第一图像与待搜索图像的语义匹配度的过程中，根据图像位置信息和每个第一图像的拍摄位置，确定每个第一图像与待搜索图像的图像位置匹配度；和/或根据图像类别信息和每个第一图像的图像类别，确定每个第一图像与待搜索图像的图像类别匹配度；和/或根据图像文字信息和每个第一图像的图像文字，确定每个第一图像与待搜索图像的图像文字匹配度；和/或根据文字位置信息和每个第一图像的文字位置，确定每个第一图像与待搜索图像的文字位置匹配度；对每个第一图像与待搜索图像的图像位置匹配度、图像类别匹配度、图像文字匹配度和文字位置匹配度中的至少一种进行加权处理，得到每个第一图像与待搜索图像的语义匹配度。这样，保证了对每个第一图像与待搜索图像的语义匹配度进行确定的准确性，从而保证了第一搜索结果的准确性，保证了图像搜索结果的准确性。

可选地，处理器910具体用于：对草图信息进行边缘检测，得到草图轮廓，以及对第一图像进行边缘检测，得到图像轮廓；提取草图轮廓的直方图特征和深度特征，以及提取图像轮廓的直方图特征和深度特征；根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度；将相似度大于第二阈值的第一图像确定为第二搜索结果。

本申请提供的上述实施例，在根据草图信息搜索第一图库，得到第二搜索结果的过程中，对草图信息进行边缘检测，得到草图轮廓，以及对第一图像进行边缘检测，得到图像轮廓；提取草图轮廓的直方图特征和深度特征，以及提取图像轮廓的直方图特征和深度特征；根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度；将相似度大于第二阈值的第一图像确定为第二搜索结果。这样，基于图像的形状特征即HOG特征与深度特征，确定草图信息与第一图像的相似度，进而基于相似度确定为第二搜索结果，保证了第二搜索结果的准确性，进而保证了后续基于第二搜索结果确定图像搜索结果的准确性。

可选地，处理器910具体用于：对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量；对图像轮廓的直方图特征和深度特征进行融合，得到第二特征向量；根据第一特征向量和第二特征向量，确定相似距离；根据相似距离，确定草图信息与第一图像的相似度。

本申请提供的上述实施例，在根据草图轮廓的直方图特征和深度特征、图像轮廓的直方图特征和深度特征，确定草图信息与第一图像的相似度的过程中，对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量；对图像轮廓的直方图特征和深度特征进行融合，得到第二特征向量；根据第一特征向量和第二特征向量，确定相似距离；根据相似距离，确定草图信息与第一图像的相似度。这样，将图像的形状特征即HOG特征与深度特征进行级联融合，得到草图信息和第一图像的特征向量，进而再基于草图信息和第一图像的特征向量之间的相似距离，计算草图信息与第一图像的相似度，能够克服手绘草图与自然图像之间的差异，从而保证对草图信息与第一图像的相似度进行确定的准确性，保证了第二搜索结果的准确性，从而保证了图像搜索结果的准确性。

可选地，处理器910具体用于：获取草图轮廓的直方图特征的第一数据量和草图轮廓的深度特征的第二数据量；根据第一数据量和第二数据量，确定全连接路径；按照每条全连接路径，对草图轮廓的直方图特征和深度特征进行融合，得到每条全连接路径上的融合特征；对每条全连接路径上的融合特征进行非线性变换，得到第一特征向量。

本申请提供的上述实施例，在对草图轮廓的直方图特征和深度特征进行融合，得到第一特征向量的过程中，获取草图轮廓的直方图特征的第一数据量和草图轮廓的深度特征的第二数据量；根据第一数据量和第二数据量，确定全连接路径；按照每条全连接路径，对草图轮廓的直方图特征和深度特征进行融合，得到每条全连接路径上的融合特征；对每条全连接路径上的融合特征进行非线性变换，得到第一特征向量。这样，将草图的形状特征即HOG特征与深度特征进行级联融合，得到草图的特征向量，能够克服手绘草图与自然图像之间的差异，进而保证了后续基于草图的特征向量确定的相似度的准确性。

可选地，处理器910具体用于：对草图信息进行灰度化处理；对灰度化处理后的草图信息进行降噪处理；对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像；对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化；连接处理后的梯度幅值图像的图像边缘，得到草图轮廓。

本申请提供的上述实施例，在对草图信息进行边缘检测，得到草图轮廓的过程中，对草图信息进行灰度化处理；对灰度化处理后的草图信息进行降噪处理；对降噪处理后的草图信息进行卷积处理，得到草图信息的梯度幅值图像；对梯度幅值图像进行非极大值抑制处理，以对梯度幅值图像的边缘进行细化；连接处理后的梯度幅值图像的图像边缘，得到草图轮廓。这样，保证了得到的草图轮廓的清晰度以及准确度，进而保证了后续图像特征提取的准确性。

可选地，处理器910具体用于：针对处理后的梯度幅值图像中的每个像素点，将梯度幅值大于或等于第三阈值的像素点确定为第一像素点，将梯度幅值小于第三阈值且梯度幅值大于或等于第四阈值的像素点确定为第二像素点，第三阈值大于第四阈值；针对处理后的梯度幅值图像中的每个第一像素点，连接第一像素点和与第一像素点相邻的第二像素点，得到草图轮廓。

本申请提供的上述实施例，在连接处理后的梯度幅值图像的图像边缘，得到草图轮廓的过程中，针对处理后的梯度幅值图像中的每个像素点，将梯度幅值大于或等于第三阈值的像素点确定为第一像素点，将梯度幅值小于第三阈值且梯度幅值大于或等于第四阈值的像素点确定为第二像素点，第三阈值大于第四阈值；针对处理后的梯度幅值图像中的每个第一像素点，连接第一像素点和与第一像素点相邻的第二像素点，得到草图轮廓。这样，通过连接强边缘像素点和与其相邻的弱边缘像素点，形成完整的边缘线，保证了得到的草图轮廓的清晰度以及准确度，进而保证了后续图像特征提取的准确性。

可选地，处理器910具体用于：针对梯度幅值图像中的每个像素点，在像素点的梯度方向上，获取与像素点相邻的两个像素点；在像素点的梯度幅值小于或等于两个像素点中任一像素点的梯度幅值的情况下，将像素点的像素值确定为零。

本申请提供的上述实施例，在对梯度幅值图像进行非极大值抑制处理的过程中，针对梯度幅值图像中的每个像素点，在像素点的梯度方向上，获取与像素点相邻的两个像素点；在像素点的梯度幅值小于或等于两个像素点中任一像素点的梯度幅值的情况下，将像素点的像素值确定为零。这样，将梯度幅值图像中的非极大值点抑制为零，只保留边缘上的局部极大值点，从而实现对梯度幅值图像的边缘细化，使得后续提取的图像边缘更加细化。

可选地，处理器910具体用于：将梯度幅值图像划分多个图像块；根据每个图像块中像素点的梯度方向，确定每个图像块的梯度直方图；对每个图像块的梯度直方图进行归一化处理，得到每个图像块的直方图特征；串联每个图像块的直方图特征，得到草图信息的直方图特征向量；对直方图特征向量进行降维处理，得到草图轮廓的直方图特征。

本申请提供的上述实施例，在提取草图轮廓的直方图特征的过程中，将梯度幅值图像划分多个图像块；根据每个图像块中像素点的梯度方向，确定每个图像块的梯度直方图；对每个图像块的梯度直方图进行归一化处理，得到每个图像块的直方图特征；串联每个图像块的直方图特征，得到草图信息的直方图特征向量；对直方图特征向量进行降维处理，得到草图轮廓的直方图特征。这样，保证了HOG特征的提取效果，保证了提取到的草图轮廓的直方图特征的准确性，从而保证后续相似度计算的准确性，并且，便于实现图像的快速搜索。

可选地，处理器910具体用于：对直方图特征向量进行标准化处理；根据标准化处理后的直方图特征向量，确定协方差矩阵；对协方差矩阵进行分解，得到特征值和对应的特征向量；根据特征值，对特征向量进行筛选；根据筛选后的特征向量对直方图特征向量进行降维处理。

本申请提供的上述实施例，在对直方图特征向量进行降维处理的过程中，对直方图特征向量进行标准化处理；根据标准化处理后的直方图特征向量，确定协方差矩阵；对协方差矩阵进行分解，得到特征值和对应的特征向量；根据特征值，对特征向量进行筛选；根据筛选后的特征向量对直方图特征向量进行降维处理。这样，能够保证HOG特征的提取效果，从而保证了提取得到的草图轮廓的直方图特征的准确性，保证了后续相似度计算的准确性。

可选地，处理器910还用于：根据语义信息对第二搜索结果进行过滤处理，得到第三搜索结果；获取草图信息的信息量；显示单元906具体用于：根据信息量确定图像显示顺序，按照图像显示顺序显示第一搜索结果和第三搜索结果中的图像。

本申请提供的上述实施例，在根据第一搜索结果和第二搜索结果，显示图像搜索结果的过程中，根据语义信息对第二搜索结果进行过滤处理，得到第三搜索结果；获取草图信息的信息量；根据信息量确定图像显示顺序，按照图像显示顺序显示第一搜索结果和第三搜索结果中的图像。这样，根据用户输入的草图信息的信息量的不同，采用不同的展示方案展示图像搜索结果，更加符合用户的搜索需求。

应理解的是，本申请实施例中，输入单元904可以包括图形处理器(GraphicsProcessing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器909可以包括易失性存储器或非易失性存储器，或者，存储器909可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。

处理器910可包括一个或多个处理单元；可选的，处理器910集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像搜索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像搜索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像搜索方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。