物品检索库的构建方法、装置、计算机设备和存储介质

技术领域

本申请涉及大数据和图像检索技术领域，特别是涉及一种物品检索库的构建方法、装置、计算机设备和存储介质。

背景技术

银行在线上展示金属产品时，往往通过将该金属产品进行拍照后添加到银行客户端等渠道进行集体展示，而用户想要了解这些金属产品时需要对上述金属产品进行检索才能获取到各金属产品的图片，现有的检索方式包括图片检索和关键字检索，但是图片检索时，由于图片的视角、光线、分辨率、场景等问题，往往使得用户需要检索的金属产品与检索出的金属差别较大，需要反复检索才能得到对应的金属产品，使得检索效率较低。因此如何提升对金属产品的检索精准度是当前的研究重点。

传统的提升对金属产品的图片检索精准度的方式往往是通过获取用户对金属的描述文本和拍摄图片，从而匹配对应的物品。但是由于用户专业性不同，描述文本特征范围较大，且由于金属的外观特殊性，往往用户在不同环境下拍摄图片的特征提取差异较大，从而导致基于不同环境下的拍摄图片对金属物品的检索精准度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种物品检索库的构建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种物品检索库的构建方法。所述方法包括：

获取不同物品的三维点云数据、各所述物品在不同背景环境的多个视角图像数据、以及各所述物品的描述信息，并基于各所述物品的三维点云数据，构建各所述物品的三维结构模型；

针对每个物品，识别所述物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应所述物品的三维结构模型的结构区域；

基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各所述视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，并提取所述物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息；

基于所述物品的各描述特征信息、所述物品的各目标结构模型的结构特征信息、以及所述物品的各目标结构模型的图像特征信息，构建所述物品的各结构信息对应的多模态特征组，并基于各所述物品的所有结构信息的多模态特征组，生成包含所有金属材质的物品的目标物品检索库。

可选的，所述基于各所述物品的三维点云数据，构建各所述物品的三维结构模型，包括：

针对每个物品，基于所述物品的三维点云数据，识别所述物品的各表面位置点之间的空间相对位置信息、各所述表面位置点与相邻位置点之间的空间连接信息、以及各所述表面位置点与相邻位置点之间的连接轨迹信息，并基于各所述表面位置点之间的空间相对位置信息，构建所述物品的表面三维模型；

基于各所述表面位置点与相邻位置点之间的空间连接信息、以及各所述表面位置点与相邻位置点之间的连接轨迹信息，调整所述表面三维模型中的各表面位置点之间的连接信息，得到所述物品的三维结构模型。

可选的，所述识别所述物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应所述物品的三维结构模型的结构区域，包括：

提取所述物品的每个背景环境的各视角图像数据的视角标识信息，并查询每个视角标识信息对应的图像视角，得到每个背景环境的各视角图像数据的图像视角；

识别每个图像视角对应的空间观测方位，并基于不同空间观测方位，对所述三维结构模型进行空间投射处理，得到每个空间观测方位对应的二维投射平面；

识别每个二维投射平面在所述三维结构模型中的结构表面区域，得到每个空间观测方位对应的结构表面区域，并将每个空间观测方位对应的结构表面区域，作为每个空间观测方位对应的图像视角的结构区域。

可选的，所述基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各所述视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，包括：

针对每个背景环境，将所述背景环境的各图像视角对应的视角图像数据，投射至各所述图像视角对应的结构区域的二维投射平面，得到各所述图像视角对应的二维图像平面，并识别每个图像视角对应的二维投射平面的每个二维位置点，在所述图像视角对应的结构表面区域中对应的相对三维位置点；

基于各所述二维投射平面的每个二维位置点对应的相对三维位置点，将各所述二维投射平面对应的二维图像平面的各二维位置点的图像数据，分别添加至每个二维位置点对应的相对三维位置点，得到每个二维图像平面对应的结构区域的三维图像结构；

按照各所述结构区域在所述三维结构模型中的空间位置信息，将所有结构区域的三维图像结构进行图像拼接处理，得到每个背景环境对应的目标结构模型。

可选的，所述提取所述物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息，包括：

通过文本编码器，提取所述物品的描述信息中的各特征信息，并识别每个特征信息对应的语义信息；将各所述描述特征信息、以及各所述描述特征信息对应的语义信息，作为所述物品的描述特征信息；

识别所述物品的各结构信息，并通过点云特征网络，提取每个目标结构模型的各结构信息的子结构特征信息，得到每个目标结构模型的结构特征信息；

针对每个背景环境，识别每个结构信息在所述背景环境的目标结构模型的三维图像结构，并通过三维图像特征提取策略，分别提取每个结构信息的三维图像结构的三维图像特征，得到每个目标结构模型的图像特征信息。

可选的，所述基于所述物品的各描述特征信息、所述物品的各目标结构模型的结构特征信息、以及所述物品的各目标结构模型的图像特征信息，构建所述物品的各结构信息对应的多模态特征组，包括：

将每个目标结构模型的各结构信息的子结构特征信息、以及每个目标结构模型的各结构信息的三维图像特征，按照每个结构信息进行分类，得到各所述结构信息对应的初始多模态特征组；

基于每个描述特征信息对应的语义信息，识别每个描述特征信息对应的物品的结构区域，并在数据库中，查询每个结构信息包含的结构区域；

基于每个描述特征信息对应的结构区域，识别每个描述特征信息对应的结构信息，并将各所述结构信息对应的描述特征信息添加至每个结构信息对应的初始多模态特征组，得到每个结构信息对应的多模态特征组。

第二方面，本申请提供了一种物品检索方法。所述方法包括：

获取用户的检索图像，并识别所述检索图像中的目标物品图像；

通过特征提取网络，提取所述检索图像的多个图像特征信息，并识别每个图像特征信息对应的特征类别；所述特征类别包括结构特征类别、图像特征类别；

计算所述检索图像的结构特征类别的各图像特征信息、与所述目标物品检索库中的各物品的所有结构信息对应的多模态特征组的子结构特征信息之间的第一相似度，并计算所述检索图像的图像特征类别的各图像特征信息、与所述目标物品检索库中的各物品的所有结构信息对应的多模态特征组的三维图像特征之间的第二相似度；

基于所述检索图像对应的第一相似度、以及所述检索图像对应的第二相似度，确定所述检索图像与各所述物品之间的目标相似度，并按照各所述目标相似度从大到小的顺序，筛选预设数目的物品作为检索物品；

基于各所述检索物品的各结构信息的描述特征信息、以及各所述检索物品在不同背景环境的目标结构模型，生成各所述检索物品的展示信息；

按照各所述目标相似度从大到小的顺序，对各所述检索物品的展示信息进行排列处理，得到所述检索图像对应的目标检索结果序列，并将所述目标检索结果序列传输至所述用户的客户端。

第三方面，本申请提供了一种物品检索库的构建装置。所述装置包括：

获取模块，用于获取不同物品的三维点云数据、各所述物品在不同背景环境的多个视角图像数据、以及各所述物品的描述信息，并基于各所述物品的三维点云数据，构建各所述物品的三维结构模型；

识别模块，用于针对每个物品，识别所述物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应所述物品的三维结构模型的结构区域；

融合模块，用于基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各所述视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，并提取所述物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息；

构建模块，用于基于所述物品的各描述特征信息、所述物品的各目标结构模型的结构特征信息、以及所述物品的各目标结构模型的图像特征信息，构建所述物品的各结构信息对应的多模态特征组，并基于各所述物品的所有结构信息的多模态特征组，生成包含所有金属材质的物品的目标物品检索库。

可选的，所述获取模块，具体用于：

针对每个物品，基于所述物品的三维点云数据，识别所述物品的各表面位置点之间的空间相对位置信息、各所述表面位置点与相邻位置点之间的空间连接信息、以及各所述表面位置点与相邻位置点之间的连接轨迹信息，并基于各所述表面位置点之间的空间相对位置信息，构建所述物品的表面三维模型；

基于各所述表面位置点与相邻位置点之间的空间连接信息、以及各所述表面位置点与相邻位置点之间的连接轨迹信息，调整所述表面三维模型中的各表面位置点之间的连接信息，得到所述物品的三维结构模型。

可选的，所述识别模块，具体用于：

提取所述物品的每个背景环境的各视角图像数据的视角标识信息，并查询每个视角标识信息对应的图像视角，得到每个背景环境的各视角图像数据的图像视角；

识别每个图像视角对应的空间观测方位，并基于不同空间观测方位，对所述三维结构模型进行空间投射处理，得到每个空间观测方位对应的二维投射平面；

识别每个二维投射平面在所述三维结构模型中的结构表面区域，得到每个空间观测方位对应的结构表面区域，并将每个空间观测方位对应的结构表面区域，作为每个空间观测方位对应的图像视角的结构区域。

可选的，所述融合模块，具体用于：

针对每个背景环境，将所述背景环境的各图像视角对应的视角图像数据，投射至各所述图像视角对应的结构区域的二维投射平面，得到各所述图像视角对应的二维图像平面，并识别每个图像视角对应的二维投射平面的每个二维位置点，在所述图像视角对应的结构表面区域中对应的相对三维位置点；

基于各所述二维投射平面的每个二维位置点对应的相对三维位置点，将各所述二维投射平面对应的二维图像平面的各二维位置点的图像数据，分别添加至每个二维位置点对应的相对三维位置点，得到每个二维图像平面对应的结构区域的三维图像结构；

按照各所述结构区域在所述三维结构模型中的空间位置信息，将所有结构区域的三维图像结构进行图像拼接处理，得到每个背景环境对应的目标结构模型。

可选的，所述融合模块，具体用于：

通过文本编码器，提取所述物品的描述信息中的各特征信息，并识别每个特征信息对应的语义信息；将各所述描述特征信息、以及各所述描述特征信息对应的语义信息，作为所述物品的描述特征信息；

识别所述物品的各结构信息，并通过点云特征网络，提取每个目标结构模型的各结构信息的子结构特征信息，得到每个目标结构模型的结构特征信息；

针对每个背景环境，识别每个结构信息在所述背景环境的目标结构模型的三维图像结构，并通过三维图像特征提取策略，分别提取每个结构信息的三维图像结构的三维图像特征，得到每个目标结构模型的图像特征信息。

可选的，所述构建模块，具体用于：

将每个目标结构模型的各结构信息的子结构特征信息、以及每个目标结构模型的各结构信息的三维图像特征，按照每个结构信息进行分类，得到各所述结构信息对应的初始多模态特征组；

基于每个描述特征信息对应的语义信息，识别每个描述特征信息对应的物品的结构区域，并在数据库中，查询每个结构信息包含的结构区域；

基于每个描述特征信息对应的结构区域，识别每个描述特征信息对应的结构信息，并将各所述结构信息对应的描述特征信息添加至每个结构信息对应的初始多模态特征组，得到每个结构信息对应的多模态特征组。

第四方面，本申请提供了一种物品检索装置。所述装置包括：

图像获取模块，用于获取用户的检索图像，并识别所述检索图像中的目标物品图像；

提取模块，用于通过特征提取网络，提取所述检索图像的多个图像特征信息，并识别每个图像特征信息对应的特征类别；所述特征类别包括结构特征类别、图像特征类别；

计算模块，用于计算所述检索图像的结构特征类别的各图像特征信息、与所述目标物品检索库中的各物品的所有结构信息对应的多模态特征组的子结构特征信息之间的第一相似度，并计算所述检索图像的图像特征类别的各图像特征信息、与所述目标物品检索库中的各物品的所有结构信息对应的多模态特征组的三维图像特征之间的第二相似度；

筛选模块，用于基于所述检索图像对应的第一相似度、以及所述检索图像对应的第二相似度，确定所述检索图像与各所述物品之间的目标相似度，并按照各所述目标相似度从大到小的顺序，筛选预设数目的物品作为检索物品；

生成模块，用于基于各所述检索物品的各结构信息的描述特征信息、以及各所述检索物品在不同背景环境的目标结构模型，生成各所述检索物品的展示信息；

排列模块，用于按照各所述目标相似度从大到小的顺序，对各所述检索物品的展示信息进行排列处理，得到所述检索图像对应的目标检索结果序列，并将所述目标检索结果序列传输至所述用户的客户端。

第五方面，本申请提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面或第二方面中任一项所述的方法的步骤。

第六方面，本申请提供了一种计算机可读存储介质。其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面中任一项所述的方法的步骤。

第七方面，本申请提供了一种计算机程序产品。所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现第一方面或第二方面中任一项所述的方法的步骤。

上述物品检索库的构建方法、装置、计算机设备和存储介质，通过获取不同物品的三维点云数据、各所述物品在不同背景环境的多个视角图像数据、以及各所述物品的描述信息，并基于各所述物品的三维点云数据，构建各所述物品的三维结构模型；针对每个物品，识别所述物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应所述物品的三维结构模型的结构区域；基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各所述视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，并提取所述物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息；基于所述物品的各描述特征信息、所述物品的各目标结构模型的结构特征信息、以及所述物品的各目标结构模型的图像特征信息，构建所述物品的各结构信息对应的多模态特征组，并基于各所述物品的所有结构信息的多模态特征组，生成包含所有金属材质的物品的目标物品检索库。本方案通过构建不同物品在不同背景环境的目标结构模型，从而提升了构建每个物品的检索信息的全面性，并提升了基于用户检索图片检索到该物品的容错率，然后，通过识别对每个物品的描述信息的描述特征信息、以及各目标结构模型的图像特征信息和结构特征信息，从而构建每个物品的各结构信息的多模态特征组，从而提升了每个物品的检索特征全面性，并且通过该方式识别用户的检索图片所需的物品时，可以根据检索图片中不同特征类型的检索特征分别与物品的各结构信息的多模态特征组中的特征信息进行特征匹配，适用用户在多种环境下的拍摄图片，从而提升了基于不同环境下的拍摄图片对物品的检索精准度。

附图说明

图1为一个实施例中物品检索库的构建方法的流程示意图；

图2为一个实施例中物品检索方法的流程示意图；

图3为一个实施例中物品检索库的构建示例的流程示意图；

图4为一个实施例中物品检索库的构建装置的结构框图；

图5为一个实施例中物品检索装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的物品检索库的构建方法，可以应用于图像检索的应用环境中。其中，该方法可以应用于终端，也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。其中，终端通过构建不同物品在不同背景环境的目标结构模型，从而提升了构建每个物品的检索信息的全面性，并提升了基于用户检索图片检索到该物品的容错率，然后，通过识别对每个物品的描述信息的描述特征信息、以及各目标结构模型的图像特征信息和结构特征信息，从而构建每个物品的各结构信息的多模态特征组，从而提升了每个物品的检索特征全面性，并且通过该方式识别用户的检索图片所需的物品时，可以根据检索图片中不同特征类型的检索特征分别与物品的各结构信息的多模态特征组中的特征信息进行特征匹配，适用用户在多种环境下的拍摄图片，从而提升了基于不同环境下的拍摄图片对物品的检索精准度。

在一个实施例中，如图1所示，提供了一种物品检索库的构建方法，以该方法应用于终端为例进行说明，包括以下步骤：

步骤S101，获取不同物品的三维点云数据、各物品在不同背景环境的多个视角图像数据、以及各物品的描述信息，并基于各物品的三维点云数据，构建各物品的三维结构模型。

本实施例中，终端通过接收激光雷达、以及光学扫描技术对应的扫描设备传输的每个金属材质的物品的扫描数据，得到各物品的三维点云数据。然后终端采集每个物品在不同背景环境的摄像设备传输的图像数据，得到各物品在不同背景环境的多个视角图像数据。再后，终端响应于工作人员的物品描述信息上传操作，获取每个物品的描述信息。最后，终端基于各物品的三维点云数据，构建各物品的三维结构模型。其中描述信息为该物品的产品介绍信息，包括该物品的形状、重量、各结构信息的结构特点等。其中每个物品包括多个结构信息，每个结构信息为该物品的一个组成结构，例如金属项链的链条结构和挂饰结构。具体的构建物品的三维结构模型的过程后续将详细说明。其中该物品可以但不限于是金属物品、石材物品、以及各种具有实际价值的物品。其中金属物品包括但不限于是金、银等物品。

步骤S102，针对每个物品，识别物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应物品的三维结构模型的结构区域。

本实施例中，终端针对每个物品，识别物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应物品的三维结构模型的结构区域。其中图像视角包括主视角，俯视角，左侧视角，右侧视角，后侧视角，仰视角等。其中每个视角对应的结构区域为从该视角观察三维结构模型的可观察区域，该结构区域为三维结构模型的表面区域。具体的识别过程后续将详细说明。

步骤S103，基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，并提取物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息。

本实施例中，终端基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，并提取物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息。其中，提取描述信息的描述特征信息的方式为通过文字特征识别算进行文字特征提取，结构特征信息的提取方式为通过三维结构模型特征提取算法进行结构特征提取，图像特征信息的提取方式为通过三维图像特征提取算法进行图像结构特征提取。具体的提取过程后续将详细说明。

步骤S104，基于物品的各描述特征信息、物品的各目标结构模型的结构特征信息、以及物品的各目标结构模型的图像特征信息，构建物品的各结构信息对应的多模态特征组，并基于各物品的所有结构信息的多模态特征组，生成包含所有金属材质的物品的目标物品检索库。

本实施例中，终端基于物品的各描述特征信息、物品的各目标结构模型的结构特征信息、以及物品的各目标结构模型的图像特征信息，构建物品的各结构信息对应的多模态特征组，并基于各物品的所有结构信息的多模态特征组，生成包含所有金属材质的物品的目标物品检索库。

基于上述方案，通过构建不同物品在不同背景环境的目标结构模型，从而提升了构建每个物品的检索信息的全面性，并提升了基于用户检索图片检索到该物品的容错率，然后，通过识别对每个物品的描述信息的描述特征信息、以及各目标结构模型的图像特征信息和结构特征信息，从而构建每个物品的各结构信息的多模态特征组，从而提升了每个物品的检索特征全面性，并且通过该方式识别用户的检索图片所需的物品时，可以根据检索图片中不同特征类型的检索特征分别与物品的各结构信息的多模态特征组中的特征信息进行特征匹配，适用用户在多种环境下的拍摄图片，从而提升了基于不同环境下的拍摄图片对物品的检索精准度。

可选的，基于各物品的三维点云数据，构建各物品的三维结构模型，包括：针对每个物品，基于物品的三维点云数据，识别物品的各表面位置点之间的空间相对位置信息、各位置点与相邻位置点之间的空间连接信息、以及各位置点与相邻位置点之间的连接轨迹信息，并基于各表面位置点之间的空间相对位置信息，构建物品的表面三维模型；基于各位置点与相邻位置点之间的空间连接信息、以及各位置点与相邻位置点之间的连接轨迹信息，调整表面三维模型中的各位置点之间的连接信息，得到物品的三维结构模型。

本实施例中，终端针对每个物品，基于物品的三维点云数据，识别物品的各表面位置点之间的空间相对位置信息、各位置点与相邻位置点之间的空间连接信息、以及各位置点与相邻位置点之间的连接轨迹信息，并基于各表面位置点之间的空间相对位置信息，构建物品的表面三维模型。其中空间相对位置信息包括两个位置点之间的空间直线距离信息，以及两个位置点的三维相对角度信息。空间连接信息为一个位置点与相邻位置点中存在连接关系的相邻位置点之间的连接信息。连接轨迹信息为存在连接关系的两个位置点之间的连接轨迹信息，其中，该轨迹包括直线轨迹，曲线轨迹等。其中，各表面位置点为三维点云数据中的各位置点中位于物品表面的位置点。

终端基于各表面位置点与相邻位置点之间的空间连接信息、以及各表面位置点与相邻位置点之间的连接轨迹信息，调整表面三维模型中的各表面位置点之间的连接信息，得到物品的三维结构模型。具体的调整过程为，删除相邻表面位置点之间不存在连接信息的连接线，并调整相邻表面位置点之间的连接线的轨迹信息。

基于上述方案，通过识别三维点云数据从而构建三维模型，提升了构建的三维模型的实际性和精准度。

可选的，识别物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应物品的三维结构模型的结构区域，包括：提取物品的每个背景环境的各视角图像数据的视角标识信息，并查询每个视角标识信息对应的图像视角，得到每个背景环境的各视角图像数据的图像视角；识别每个图像视角对应的空间观测方位，并基于不同空间观测方位，对三维结构模型进行空间投射处理，得到每个空间观测方位对应的二维投射平面；识别每个二维投射平面在三维结构模型中的结构表面区域，得到每个空间观测方位对应的结构表面区域，并将每个空间观测方位对应的结构表面区域，作为每个空间观测方位对应的图像视角的结构区域。

本实施例中，终端提取物品的每个背景环境的各视角图像数据的视角标识信息，并查询每个视角标识信息对应的图像视角，得到每个背景环境的各视角图像数据的图像视角。其中视角标识信息为预设于各视角图像数据中的。

终端识别每个图像视角对应的空间观测方位，并基于不同空间观测方位，对三维结构模型进行空间投射处理，得到每个空间观测方位对应的二维投射平面。其中空间投射处理为将三维结构模型按照空间观测方位的方向投射至二维平面坐标系汇总，得到的二维投射平面。

然后，终端识别每个二维投射平面在三维结构模型中的结构表面区域，得到每个空间观测方位对应的结构表面区域，并将每个空间观测方位对应的结构表面区域，作为每个空间观测方位对应的图像视角的结构区域。

基于上述方案，通过降维投射的方式识别每个视角对应的结构表面区域，提升了识别结构表面区域的精准度。

可选的，基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，包括：针对每个背景环境，将背景环境的各图像视角对应的视角图像数据，投射至各图像视角对应的结构区域的二维投射平面，得到各图像视角对应的二维图像平面，并识别每个图像视角对应的二维投射平面的每个二维位置点，在图像视角对应的结构表面区域中对应的相对三维位置点；基于各二维投射平面的每个二维位置点对应的相对三维位置点，将各二维投射平面对应的二维图像平面的各二维位置点的图像数据，分别添加至每个二维位置点对应的相对三维位置点，得到每个二维图像平面对应的结构区域的三维图像结构；按照各结构区域在三维结构模型中的空间位置信息，将所有结构区域的三维图像结构进行图像拼接处理，得到每个背景环境对应的目标结构模型。

本实施例中，终端针对每个背景环境，将背景环境的各图像视角对应的视角图像数据，投射至各图像视角对应的结构区域的二维投射平面，得到各图像视角对应的二维图像平面，并识别每个图像视角对应的二维投射平面的每个二维位置点，在图像视角对应的结构表面区域中对应的相对三维位置点。其中识别每个二维位置点对应的三维位置点的方式为，构建每个二维位置点在第三维的直线，并识别每个二维位置点的直线与三维结构模型的相交点，并筛选距离二维位置点最远的相交点作为二维位置点对应的三维位置点。

终端基于各二维投射平面的每个二维位置点对应的相对三维位置点，将各二维投射平面对应的二维图像平面的各二维位置点的图像数据，分别添加至每个二维位置点对应的相对三维位置点，得到每个二维图像平面对应的结构区域的三维图像结构。

然后，终端按照各结构区域在三维结构模型中的空间位置信息，将所有结构区域的三维图像结构进行图像拼接处理，得到每个背景环境对应的目标结构模型。

基于上述方案，通过识别二维在三维的映射点从而将各二维图像平面渲染至三维结构信息，得到目标结构模型，提升了构建的目标结构模型的精准度。

可选的，提取物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息，包括：通过文本编码器，提取物品的描述信息中的各特征信息，并识别每个特征信息对应的语义信息；将各描述特征信息、以及各描述特征信息对应的语义信息，作为物品的描述特征信息；识别物品的各结构信息，并通过点云特征网络，提取每个目标结构模型的各结构信息的子结构特征信息，得到每个目标结构模型的结构特征信息；针对每个背景环境，识别每个结构信息在背景环境的目标结构模型的三维图像结构，并通过三维图像特征提取策略，分别提取每个结构信息的三维图像结构的三维图像特征，得到每个目标结构模型的图像特征信息。

本实施例中，终端通过文本编码器，提取物品的描述信息中的各特征信息，并识别每个特征信息对应的语义信息。然后，终端将各描述特征信息、以及各描述特征信息对应的语义信息，作为物品的描述特征信息。

终端识别物品的各结构信息，并通过点云特征网络，提取每个目标结构模型的各结构信息的子结构特征信息，得到每个目标结构模型的结构特征信息。其中点云特征网络为3D点云特征网络。

终端针对每个背景环境，识别每个结构信息在背景环境的目标结构模型的三维图像结构，并通过三维图像特征提取策略，分别提取每个结构信息的三维图像结构的三维图像特征，得到每个目标结构模型的图像特征信息。其中三维图像特征提取策略为基于MATLAB程序中的三维图像特征提取算法对应的提取策略。

基于上述方案，通过在目标结构模型识别各结构特征信息和三维图像特征，提升了识别的结构特征信息的精准度，以及三维图像特征的空间特性与实际性。

可选的，基于物品的各描述特征信息、物品的各目标结构模型的结构特征信息、以及物品的各目标结构模型的图像特征信息，构建物品的各结构信息对应的多模态特征组，包括：将每个目标结构模型的各结构信息的子结构特征信息、以及每个目标结构模型的各结构信息的三维图像特征，按照每个结构信息进行分类，得到各结构信息对应的初始多模态特征组；基于每个描述特征信息对应的语义信息，识别每个描述特征信息对应的物品的结构区域，并在数据库中，查询每个结构信息包含的结构区域；基于每个描述特征信息对应的结构区域，识别每个描述特征信息对应的结构信息，并将各结构信息对应的描述特征信息添加至每个结构信息对应的初始多模态特征组，得到每个结构信息对应的多模态特征组。

本实施例中，终端将每个目标结构模型的各结构信息的子结构特征信息、以及每个目标结构模型的各结构信息的三维图像特征，按照每个结构信息进行分类，得到各结构信息对应的初始多模态特征组。然后，终端基于每个描述特征信息对应的语义信息，识别每个描述特征信息对应的物品的结构区域，并在数据库中，查询每个结构信息包含的结构区域。其中语义信息用于表征该描述特征信息所描述的结构区域，以及该结构区域的结构特征。其中数据库中存储有不同结构信息与结构区域的所属关系。

终端基于每个描述特征信息对应的结构区域，识别每个描述特征信息对应的结构信息，并将各结构信息对应的描述特征信息添加至每个结构信息对应的初始多模态特征组，得到每个结构信息对应的多模态特征组。

基于上述方案，通过对描述信息、三维图像特征、以子结构特征信息进行分类对齐处理，提升了每个结构信息的检索信息全面性，提升了用户检索时的检索精准度。

在一个实施例中，如图2所示，提供了一种物品检索方法，以该方法应用于终端为例进行说明，包括以下步骤：

步骤S201，获取用户的检索图像，并识别检索图像中的目标物品图像。

本实施例中，终端响应于用户的图像上传操作，获取用户通过摄像设备采集的拍摄图片，得到用户的检索图像。然后，终端识别检索图像中的目标物品图像。其中，识别目标物品图像的方式为通过边缘检测算法识别检索图像中的目标物品边缘信息，并将该目标物品边缘信息包围的图像，作为目标物品图像。

步骤S202，通过特征提取网络，提取检索图像的多个图像特征信息，并识别每个图像特征信息对应的特征类别。

其中，特征类别包括结构特征类别、图像特征类别。

本实施例中，终端通过特征提取网络，提取检索图像的多个图像特征信息，并识别每个图像特征信息对应的特征类别。其中，特征类别包括结构特征类别、图像特征类别。该特征提取网络为3D点云特征提取层与卷积层相结合的卷积神经网络。

步骤S203，计算检索图像的结构特征类别的各图像特征信息、与目标物品检索库中的各物品的所有结构信息对应的多模态特征组的子结构特征信息之间的第一相似度，并计算检索图像的图像特征类别的各图像特征信息、与目标物品检索库中的各物品的所有结构信息对应的多模态特征组的三维图像特征之间的第二相似度。

本实施例中，终端分别计算检索图像的结构特征类别的各图像特征信息、与目标物品检索库中的各物品的所有结构信息对应的多模态特征组的子结构特征信息之间的相似度，并计算各相似度之间的平均值，得到第一相似度。

终端分别计算检索图像的图像特征类别的各图像特征信息、与目标物品检索库中的各物品的所有结构信息对应的多模态特征组的三维图像特征之间的相似度，并计算各相似度之间的平均值，得到第二相似度。其中，计算相似度的算法可以但不限于是相似度距离算法，例如，余弦相似度算法、欧式距离算法等。

步骤S204，基于检索图像对应的第一相似度、以及检索图像对应的第二相似度，确定检索图像与各物品之间的目标相似度，并按照各目标相似度从大到小的顺序，筛选预设数目的物品作为检索物品。

本实施例中，终端计算检索图像对应的第一相似度、以及检索图像对应的第二相似度之间的平均值，得到检索图像与各物品之间的目标相似度，然后，终端按照各目标相似度从大到小的顺序，筛选预设数目的物品作为检索物品。其中预设数目为预设于终端的数目。

步骤S205，基于各检索物品的各结构信息的描述特征信息、以及各检索物品在不同背景环境的目标结构模型，生成各检索物品的展示信息。

本实施例中，终端基于各检索物品的各结构信息的描述特征信息、以及各检索物品在不同背景环境的目标结构模型，生成各检索物品的展示信息。其中，展示信息包括不同背景环境的目标结构模型，以及在目标结构模型的各结构信息中标注的各结构信息的描述特征信息。

步骤S206，按照各目标相似度从大到小的顺序，对各检索物品的展示信息进行排列处理，得到检索图像对应的目标检索结果序列，并将目标检索结果序列传输至用户的客户端。

本实施例中，终端按照各目标相似度从大到小的顺序，对各检索物品的展示信息进行排列处理，得到检索图像对应的目标检索结果序列，并将目标检索结果序列传输至用户的客户端。

基于上述方案，通过用户只输入图像数据就能精准、高效识别用户所需的目标检索结果序列，提升了基于不同环境下的拍摄图片对金属物品的检索精准度。

本申请还提供了一种物品检索库的构建示例，如图3所示，具体处理过程包括以下步骤：

步骤S301，获取不同物品的三维点云数据、各物品在不同背景环境的多个视角图像数据、以及各物品的描述信息。

步骤S302，针对每个物品，基于物品的三维点云数据，识别物品的各表面位置点之间的空间相对位置信息、各表面位置点与相邻位置点之间的空间连接信息、以及各表面位置点与相邻位置点之间的连接轨迹信息，并基于各表面位置点之间的空间相对位置信息，构建物品的表面三维模型。

步骤S303，基于各表面位置点与相邻位置点之间的空间连接信息、以及各表面位置点与相邻位置点之间的连接轨迹信息，调整表面三维模型中的各表面位置点之间的连接信息，得到物品的三维结构模型。

步骤S304，提取物品的每个背景环境的各视角图像数据的视角标识信息，并查询每个视角标识信息对应的图像视角，得到每个背景环境的各视角图像数据的图像视角。

步骤S305，识别每个图像视角对应的空间观测方位，并基于不同空间观测方位，对三维结构模型进行空间投射处理，得到每个空间观测方位对应的二维投射平面。

步骤S306，识别每个二维投射平面在三维结构模型中的结构表面区域，得到每个空间观测方位对应的结构表面区域，并将每个空间观测方位对应的结构表面区域，作为每个空间观测方位对应的图像视角的结构区域。

步骤S307，针对每个背景环境，将背景环境的各图像视角对应的视角图像数据，投射至各图像视角对应的结构区域的二维投射平面，得到各图像视角对应的二维图像平面，并识别每个图像视角对应的二维投射平面的每个二维位置点，在图像视角对应的结构表面区域中对应的相对三维位置点。

步骤S308，基于各二维投射平面的每个二维位置点对应的相对三维位置点，将各二维投射平面对应的二维图像平面的各二维位置点的图像数据，分别添加至每个二维位置点对应的相对三维位置点，得到每个二维图像平面对应的结构区域的三维图像结构。

步骤S309，按照各结构区域在三维结构模型中的空间位置信息，将所有结构区域的三维图像结构进行图像拼接处理，得到每个背景环境对应的目标结构模型。

步骤S310，通过文本编码器，提取物品的描述信息中的各特征信息，并识别每个特征信息对应的语义信息，将各描述特征信息、以及各描述特征信息对应的语义信息，作为物品的描述特征信息。

步骤S311，识别物品的各结构信息，并通过点云特征网络，提取每个目标结构模型的各结构信息的子结构特征信息，得到每个目标结构模型的结构特征信息。

步骤S312，针对每个背景环境，识别每个结构信息在背景环境的目标结构模型的三维图像结构，并通过三维图像特征提取策略，分别提取每个结构信息的三维图像结构的三维图像特征，得到每个目标结构模型的图像特征信息。

步骤S313，将每个目标结构模型的各结构信息的子结构特征信息、以及每个目标结构模型的各结构信息的三维图像特征，按照每个结构信息进行分类，得到各结构信息对应的初始多模态特征组。

步骤S314，基于每个描述特征信息对应的语义信息，识别每个描述特征信息对应的物品的结构区域，并在数据库中，查询每个结构信息包含的结构区域。

步骤S315，基于每个描述特征信息对应的结构区域，识别每个描述特征信息对应的结构信息，并将各结构信息对应的描述特征信息添加至每个结构信息对应的初始多模态特征组，得到每个结构信息对应的多模态特征组。

步骤S316，基于各物品的所有结构信息的多模态特征组，生成包含所有金属材质的物品的目标物品检索库。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的物品检索库的构建方法的物品检索库的构建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个物品检索库的构建装置实施例中的具体限定可以参见上文中对于物品检索库的构建方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种物品检索库的构建装置，包括：获取模块410、识别模块420、融合模块430和构建模块440，其中：

获取模块410，用于获取不同物品的三维点云数据、各所述物品在不同背景环境的多个视角图像数据、以及各所述物品的描述信息，并基于各所述物品的三维点云数据，构建各所述物品的三维结构模型；

识别模块420，用于针对每个物品，识别所述物品在每个背景环境的各视角图像数据的图像视角，并基于每个背景环境的各视角图像数据的图像视角，识别每个视角图像数据对应所述物品的三维结构模型的结构区域；

融合模块430，用于基于每个背景环境的视角图像数据对应的结构区域，将每个背景环境的各视角图像数据与各所述视角图像数据对应的结构区域进行图像融合处理，得到每个背景环境对应的目标结构模型，并提取所述物品的描述信息的描述特征信息、每个目标结构模型的结构特征信息、以及每个目标结构模型的图像特征信息；

构建模块440，用于基于所述物品的各描述特征信息、所述物品的各目标结构模型的结构特征信息、以及所述物品的各目标结构模型的图像特征信息，构建所述物品的各结构信息对应的多模态特征组，并基于各所述物品的所有结构信息的多模态特征组，生成包含所有金属材质的物品的目标物品检索库。

可选的，所述获取模块410，具体用于：

针对每个物品，基于所述物品的三维点云数据，识别所述物品的各表面位置点之间的空间相对位置信息、各所述表面位置点与相邻位置点之间的空间连接信息、以及各所述表面位置点与相邻位置点之间的连接轨迹信息，并基于各所述表面位置点之间的空间相对位置信息，构建所述物品的表面三维模型；

基于各所述表面位置点与相邻位置点之间的空间连接信息、以及各所述表面位置点与相邻位置点之间的连接轨迹信息，调整所述表面三维模型中的各表面位置点之间的连接信息，得到所述物品的三维结构模型。

可选的，所述识别模块420，具体用于：

提取所述物品的每个背景环境的各视角图像数据的视角标识信息，并查询每个视角标识信息对应的图像视角，得到每个背景环境的各视角图像数据的图像视角；

识别每个图像视角对应的空间观测方位，并基于不同空间观测方位，对所述三维结构模型进行空间投射处理，得到每个空间观测方位对应的二维投射平面；

识别每个二维投射平面在所述三维结构模型中的结构表面区域，得到每个空间观测方位对应的结构表面区域，并将每个空间观测方位对应的结构表面区域，作为每个空间观测方位对应的图像视角的结构区域。

可选的，所述融合模块430，具体用于：

针对每个背景环境，将所述背景环境的各图像视角对应的视角图像数据，投射至各所述图像视角对应的结构区域的二维投射平面，得到各所述图像视角对应的二维图像平面，并识别每个图像视角对应的二维投射平面的每个二维位置点，在所述图像视角对应的结构表面区域中对应的相对三维位置点；

基于各所述二维投射平面的每个二维位置点对应的相对三维位置点，将各所述二维投射平面对应的二维图像平面的各二维位置点的图像数据，分别添加至每个二维位置点对应的相对三维位置点，得到每个二维图像平面对应的结构区域的三维图像结构；

按照各所述结构区域在所述三维结构模型中的空间位置信息，将所有结构区域的三维图像结构进行图像拼接处理，得到每个背景环境对应的目标结构模型。

可选的，所述融合模块430，具体用于：

通过文本编码器，提取所述物品的描述信息中的各特征信息，并识别每个特征信息对应的语义信息；将各所述描述特征信息、以及各所述描述特征信息对应的语义信息，作为所述物品的描述特征信息；

识别所述物品的各结构信息，并通过点云特征网络，提取每个目标结构模型的各结构信息的子结构特征信息，得到每个目标结构模型的结构特征信息；

针对每个背景环境，识别每个结构信息在所述背景环境的目标结构模型的三维图像结构，并通过三维图像特征提取策略，分别提取每个结构信息的三维图像结构的三维图像特征，得到每个目标结构模型的图像特征信息。

可选的，所述构建模块440，具体用于：

将每个目标结构模型的各结构信息的子结构特征信息、以及每个目标结构模型的各结构信息的三维图像特征，按照每个结构信息进行分类，得到各所述结构信息对应的初始多模态特征组；

基于每个描述特征信息对应的语义信息，识别每个描述特征信息对应的物品的结构区域，并在数据库中，查询每个结构信息包含的结构区域；

基于每个描述特征信息对应的结构区域，识别每个描述特征信息对应的结构信息，并将各所述结构信息对应的描述特征信息添加至每个结构信息对应的初始多模态特征组，得到每个结构信息对应的多模态特征组。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的物品检索库的构建方法的物品检索库的构建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个物品检索库的构建装置实施例中的具体限定可以参见上文中对于物品检索库的构建方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种物品检索库的构建装置，包括：图像获取模块510、提取模块520、计算模块530、筛选模块540、生成模块550和排列模块560，其中：

图像获取模块510，用于获取用户的检索图像，并识别所述检索图像中的目标物品图像；

提取模块520，用于通过特征提取网络，提取所述检索图像的多个图像特征信息，并识别每个图像特征信息对应的特征类别；所述特征类别包括结构特征类别、图像特征类别；

计算模块530，用于计算所述检索图像的结构特征类别的各图像特征信息、与所述目标物品检索库中的各物品的所有结构信息对应的多模态特征组的子结构特征信息之间的第一相似度，并计算所述检索图像的图像特征类别的各图像特征信息、与所述目标物品检索库中的各物品的所有结构信息对应的多模态特征组的三维图像特征之间的第二相似度；

筛选模块540，用于基于所述检索图像对应的第一相似度、以及所述检索图像对应的第二相似度，确定所述检索图像与各所述物品之间的目标相似度，并按照各所述目标相似度从大到小的顺序，筛选预设数目的物品作为检索物品；

生成模块550，用于基于各所述检索物品的各结构信息的描述特征信息、以及各所述检索物品在不同背景环境的目标结构模型，生成各所述检索物品的展示信息；

排列模块560，用于按照各所述目标相似度从大到小的顺序，对各所述检索物品的展示信息进行排列处理，得到所述检索图像对应的目标检索结果序列，并将所述目标检索结果序列传输至所述用户的客户端。

上述物品检索库的构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种物品检索库的构建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现第一方面或第二方面中任一项所述的方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面或第二方面中任一项所述的方法的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第二方面中任一项所述的方法的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。