一种基于对比学习算法的多模态商标检索方法及系统

技术领域

本发明涉及文本图形检索技术领域，具体涉及一种多模态商标检索方法及系统。

背景技术

商标是公司、产品或服务的象征，它与企业的商品质量、服务和管理紧密结合。它在工商社会中起着非常重要的作用，是一个公司及其产品的重要属性。商标是独一无二的，为了使一个商标受到法律保护，它必须在商标局正式注册。为了保护注册商标的合法权益，打击假冒、挪用注册商标的违法行为，有必要对注册商标进行检索，并与注册商标进行比较，以确定两者是不同的或不相似的，从而具有注册资格。商标保护的功能是使商标注册人和商标使用权受法律保护，通知他人不得使用与其相同或相似的商标，追究侵犯他人注册商标专用权的不法行为人的相关责任。确保绝大多数消费者能够通过商标区分不同的商品或服务提供者。同时，最大限度地保护消费者和企业的合法权益。

随着我国经济的发展和全球化进程的加快，商标数量逐年增加，增加了商标重复率检查的难度，使得商标申请周期变长，并导致检索效率慢，检索准确率低，对社会经济发展及企业的经济效益有一定负面影响。

目前常见的现有的检索方法，主要有两种方式：一是传统的图形要素筛选检索，二是基于商标图像特征的“以图查图”商标检索。

但是对于图形商标和部分文字商标，现有的商标检索系统，缺少商标的视觉信息和文本信息间的连接

发明内容

鉴于此，本发明提供的一种基于对比学习算法的多模态商标检索方法及系统，可以进一步提升商标检索的准确率，避免新申请商标因在先障碍而被驳回的情况，以及降低侵权风险。

为了实现上述目的，本发明提供如下技术方案：

本发明一方面提供了一种基于对比学习算法的多模态商标检索系统，包括数据处理单元，离线建模单元，向量检索单元；其中，

数据处理单元，用于分别对商标文本、商标图像进行清洗和格式规范化处理，得到所述商标文本、商标图像相应的结构化文本；

离线建模单元，用于训练进行商标图像编码的模型，并将经所述数据处理单元处理的商标图像编码进行编码，生成T维向量，用作向量检索；

向量检索单元，用于存储所有商标图像的向量数据和其他相关的标量信息，包括商标名称，商标分类，商标注册号id，并建立索引结构：将该T维向量空间分解为P个Q维向量空间，其中T=P×Q，并对分解得到的Q维向量空间分别做量化，每个T维向量由P个Q维空间的量化编码组合表示；对每个Q维空间进行聚类，得到L个中心点，检索时计算和每个中心点的距离，以及查表获取每个向量到自己聚类中心点的距离；将需检索的商标向量和向量检索库中的每条数据进行距离计算，选取出最相近的前 R个对比商标向量信息。

更适宜地，数据处理单元对商标原始文本，图像数据进行清洗和格式规范化处理，具体包括:

对商标文本数据，从商标数据库中提取出商标注册信息，所述注册信息包括商标名称、商标类型、商标描述信息，去除数据异常商标信息，将提取数据保存成为预定的结构化格式文件；

对商标图像数据，从商标库中读取的商标图像地址中获取图片文件，对所述图片文件格式进行解析，清洗异常图片，调整图像尺寸，对图像统一进行编码，按照商标注册信息、预定格式存储成预定的结构化文本。

更适宜地，离线建模单元将经所述数据处理单元处理的商标图像编码进行编码，生成预定维度的向量，具体包括：

加载所述数据处理单元所处理得到结构化的商标文本、商标图像数据，解析商标文本、商标图像数据，提取商标文本和图像信息，并进行配对；将商标文本图像对进行批次划分，每个批次的数量为n；使用图像编码转换器模型对每个批内的商标图像数据进行编码，输出图像向量数据，投影到多模态嵌入矩阵空间中；使用文本编码器预训练模型,对每个批内的商标文本数据进行编码，输出文本向量数据，投影到多模态嵌入矩阵空间中；

将编码后的配对文本图像向量放置到多模态嵌入矩阵空间的对角线位置，将N个配对向量记为训练的正样本，将原本并不对应的文本-图像向量对标记为负样本；

训练文本编码器和图像编码转换器的参数，最大化N 个正样本的余弦相似度，最小化N

使用训练后的模型对全量的商标图像数据进行编码，离线生成全部向量，输入到向量检索单元中。

其中，图像编码转换器模型为基于计算机视觉的转换器模型Vision Transformer模型；和/或

所述文本编码器预训练模型为全词进行掩码的中文预训练模型wwm-Chinese-Bert模型。

该多模态商标检索系统还包括：

在线服务单元，将实时输入的检索文本或待检索图像转换成向量，输入到向量检索单元进行检索，整合后将最终结果返回。

其中，在线服务单元包括：

以文搜图接口模块，用于调用训练模型的文本编码接口，将输入文本编码成Z维编码向量，调用向量检索单元的检索服务，返回距离最近的前K条商标信息；

以图搜图接口模块，用于调用训练模型的图像编码接口，将输入图像编码成Z维编码向量，调用向量检索单元的检索服务，返回距离最近的前K条商标信息。

该多模态商标检索系统，还包括：

展示单元，用于接收在线服务单元的排序信息，读取商标注册号id、商标名称、商标描述、商标图像进行列表展示。

本发明另一方面，提供了一种基于对比学习算法的多模态商标检索方法，包括如下步骤：

数据处理，分别对商标文本、商标图像进行清洗和格式规范化处理，得到所述商标文本、商标图像相应的结构化文本；

离线建模，训练进行商标图像编码的模型，将已处理的商标图像进行编码，生成T维向量，用作向量检索；

向量检索，存储所有商标图像的向量数据和其他相关的标量信息，包括商标名称，商标分类，商标注册号id，并建立索引结构，包括：将所述T维向量空间分解为P个Q维向量空间，其中T=P×Q，并对分解得到的Q维向量空间分别做量化，每个T维向量由P个Q维空间的量化编码组合表示；

对每个Q维空间进行聚类，得到L个中心点，检索时计算和每个中心点的距离，以及查表获取每个向量到自己聚类中心点的距离；将需检索的商标向量和向量检索库中的每条数据进行距离计算，选取出最相近的前 R个对比商标向量信息。

更适宜地，离线建模步骤中，将已处理的商标图像进行编码，生成预定维度的向量，具体包括：

加载已处理得到的结构化的商标文本、商标图像数据，解析所述商标文本、商标图像数据，提取商标文本和图像信息，并进行配对；

将商标文本图像对进行批次划分，每个批次的数量为n；

使用图像编码转换器模型对每个批内的商标图像数据进行编码，输出图像向量数据，投影到多模态嵌入矩阵空间中；

使用文本编码器预训练模型,对每个批内的商标文本数据进行编码，输出文本向量数据，投影到多模态嵌入矩阵空间中；

将编码后的配对文本图像向量放置到多模态嵌入矩阵空间的对角线位置，将N个配对向量记为训练的正样本，将原本并不对应的文本-图像向量对标记为负样本；

训练文本编码器和图像编码转换器的参数，最大化N 个正样本的余弦相似度，最小化N

使用训练后的模型对全量的商标图像数据进行编码，离线生成全部向量，输入到向量检索单元中。

本发明具有如下优点：

本发明使用了对比学习方法，连接了商标的文本特征和图像特征，能够支持输入一段描述文本，在商标库中对商标图像所表达的语义信息进行近似搜索。通过此方法，可以进一步提升商标检索的准确率，避免新申请商标因在先障碍而被驳回的情况，以及降低侵权风险。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其他的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本发明实施例提供的多模态商标检索方法流程图；

图2为本发明实施例提供的多模态商标检索系统架构示意图；

图3为本发明实施例提供的离线建模流程图；

图4为本发明实施例提供的训练模型架构示意图；

图5为本发明实施例提供的商标向量子空间单独训练码表；

图6为本发明实施例提供的距离计算距离示意图；

图7为本发明实施例提供的向量检索服务组件图；

图8为本发明实施例提供的在线检索服务模块流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的是一种基于对比学习算法的多模态商标检索方法及系统，除了具备输入商标图像在商标库中进行相似图像检索的功能，还能够支持支持输入以一段带有提示描述的文本作为输入，在海量的商标数据中检索和输入文本所描述语义特征最相似的商标数据。主要应用于多模态图形商标检索场景。该多模态商标检索系统包括数据处理单元，离线建模单元，向量检索单元，在线服务单元，展示单元。

数据处理单元，用来对商标文本，图像数据进行清洗和格式规范化处理；

离线建模单元，用来对商标图像进行编码，生成高维向量；

向量检索单元用于存储所有商标图像的向量数据，并提供高效索引结构，大幅提升检索性能；

在线服务单元，主要提供对外服务接口，将实时输入的检索文本或待检索图像转换成向量，传入到向量检索单元进行检索，整合后将最终结果返回；

展示单元，接收在线服务单元的排序信息，读取商标id、商标名称、商标描述、商标图像进行列表展示。

本发明能够通过自然语言处理、计算机视觉相关模型和技术，提供以图搜图以文搜图两种不同的检索方式，使用一个统一的模型，在大量图文对集合中进行训练，建立了文本和图像间的桥梁，并利用高性能向量检索技术，加快搜索速度，提升搜索体验感。

为了使本发明的原理、特性和优点更加清楚，下面结合具体实现方式对本发明进行详细描述。

参照图1，本发明的实施例提供的一种基于对比学习算法的多模态商标检索方法，包括如下步骤：

S01,数据处理，分别对商标文本、商标图像进行清洗和格式规范化处理，得到商标文本、商标图像相应的结构化文本；

S02,离线建模，训练进行商标图像编码的模型，将已处理的商标图像编码进行编码，生成T维向量，用作向量检索；

S03,向量检索，存储所有商标图像的向量数据和其他相关的标量信息，包括商标名称，商标分类，商标注册号id，并建立索引结构，包括：将所述T维向量空间分解为P个Q维向量空间，其中T=P×Q，并对分解得到的Q维向量空间分别做量化，每个T维向量由P个Q维空间的量化编码组合表示；

对每个Q维空间进行聚类，得到L个中心点，检索时计算和每个中心点的距离，以及查表获取每个向量到自己聚类中心点的距离；将需检索的商标向量和向量检索库中的每条数据进行距离计算，选取出最相近的前 R个对比商标向量信息。

其中，在S02离线建模步骤中，将经处理的商标图像编码进行编码，生成预定维度的向量，具体包括：

加载已处理得到的结构化的商标文本、商标图像数据，解析所述商标文本、商标图像数据，提取商标文本和图像信息，并进行配对；

将商标文本图像对进行批次划分，每个批次的数量为n；

使用图像编码转换器模型对每个批内的商标图像数据进行编码，输出图像向量数据，投影到多模态嵌入矩阵空间中；

使用文本编码器预训练模型,对每个批内的商标文本数据进行编码，输出文本向量数据，投影到多模态嵌入矩阵空间中；

将编码后的配对文本图像向量放置到多模态嵌入矩阵空间的对角线位置，将N个配对向量记为训练的正样本，将原本并不对应的文本-图像向量对标记为负样本；

训练文本编码器和图像编码转换器的参数，最大化N 个正样本的余弦相似度，最小化N

使用训练后的模型对全量的商标图像数据进行编码，离线生成全部向量，输入到向量检索单元中。

参见图2，本发明的实施例提供的一种基于对比学习算法的多模态商标检索系统，包括数据处理单21、离线建模单元22、向量检索单元23、在线服务单元24、展示单元25；

数据处理单元21，主要用于对商标原始文本，图像数据进行清洗和格式规范化处理。对商标文本数据，从商标数据库中提取出商标注册id、商标名称、商标类型、商标描述信息，去除数据异常商标信息，将提取数据保存成结构化的json格式文件；对商标图像数据，从商标库中读取的商标图像地址中获取图片文件，对多种图片格式进行解析，清洗解析异常图片，调整图像尺寸为227*227像素，最后对图像统一进行base64编码。也可以根据具体情况采用其他的编码方式，如Huffman编码、LZW编码，base64编码等，以及JPEG、JPEG2000、WebP等，还可以采用矢量编码方法包括SVG、WMF等；或者采用深度学习编码：深度学习编码是一种新兴的图像编码方法，它通过使用卷积神经网络（CNN）或自编码器（AE）等深度学习模型将图像转换为紧凑的表示，以实现图像压缩和重建。深度学习编码方法包括JPEG XL、WebP 2.0等，按照商标id、base64格式存储成结构化文本。

离线建模单元22，主要用于训练进行商标图像编码的模型，并将所有商标图像编码成768维浮点型向量表示，用作向量检索。

参照图3所示的离线建模流程图，建模的具体步骤如下：

A.加载商标图像base64数据，通过随机对图片进行翻转、旋转、裁剪、变形的方法对图像数据进行图像增强，增加训练样本数量，加强鲁棒性；

B.解析商标文本json数据，取出文本和图像id信息，进行配对；JSON（JavaScriptObject Notation, JS对象简谱）是一种轻量级的数据交换格式。采用完全独立于编程语言的文本格式来存储和表示数据。

C.数据加载器读取商标文本和图像数据，对商标文本图像对进行批次划分，每个批次的数量为n=128；

D.使用图像编码器Vision Transformer模型对每个批内的商标图像数据进行编码，输出图像向量数据，投影到多模态嵌入矩阵空间中；

d1.图像预处理

d1.1. 调整图像尺寸：将输入图像调整为ViT模型所需的尺寸，如224x224像素。

d1.2. 数据归一化：将图像的每个像素值归一化到0-1范围。

d2. 图像分块

d2.1. 将预处理后的图像切分为固定大小的子块（patch），如16x16像素。

d2.2. 展平每个子块（patch），将其转换为一维向量。

d3.位置嵌入

d3.1. 为每个子块（patch）向量添加位置信息，以帮助Transformer网络理解patch小块之间的相对位置关系。

d3.2. 将位置嵌入与子块（patch）向量相加，得到带有位置信息的向量。

d4.Transformer编码

d4.1. 将带有位置信息的向量输入到Transformer网络。

d4.2. Transformer网络通过多层自注意力机制和前馈神经网络，对输入向量进行编码。

在Transformer网络中，输入向量经过一系列的自注意力机制和前馈神经网络来进行编码。自注意力机制可以理解为对输入序列中的每个位置进行“关注”，并根据其与其他位置的相关性来调整其表示。具体来说，自注意力机制包括三个步骤：计算注意力权重、对注意力权重进行归一化、按照注意力权重对输入向量进行加权求和。多层自注意力机制则是将该过程进行多次迭代，以获得更深层次的编码表示。前馈神经网络则是对每个位置的表示进行非线性变换，以增强其表达能力。最终，经过多层自注意力和前馈神经网络的编码表示将被用于解码任务。

d5.输出向量表示

d5.1.从Transformer网络的最后一层输出中提取一个全局向量表示（通常是CLStoken对应的向量）。

d5.2. 根据需要，可以对该向量进行进一步处理（如降维、归一化等）。

E.使用文本编码器WWM-Chinese-Bert模型(Whole Word Masking全词进行掩码的中文预训练模型), 通过对整个词进行掩码，而不仅仅是其中的一个字。这在处理中文等字形语言时尤为有益，因为它有助于更好地捕捉上下文信息。对每个批内的商标文本数据进行编码，输出文本向量数据，投影到多模态嵌入矩阵空间中；使用WWM-Chinese-BERT预训练模型生成向量的过程：

e1.文本预处理

e1.1. 对输入文本进行分词，将句子分解为子词或字（对于中文，通常是单个汉字或词语）。

e1.2. 添加特殊标记，如[CLS]（分类用）和[SEP]（分隔符）。

e1.3. 将子词或字转换为对应的词汇表索引。

e2.创建输入表示

e2.1. 生成输入标记的索引序列。

e2.2. 生成对应的分段ID序列（对于单个句子，分段ID全为0）。

e2.3. 创建位置嵌入，表示每个标记在输入序列中的位置。

e3.BERT编码

 BERT模型架构是一种基于多层双向变换器(Transformers)的编码器架构,在tensor2tensor库框架下发布，由于在实现过程当中采用了Transformers, BERT模型的实现几乎与Transformers一样，BERT预训练模型采用从左到右和从右到左的双向语言模型进行预训练。

BERT的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。

e3.1. 输入标记、分段ID和位置嵌入到BERT模型中。

e3.2. BERT模型通过多层双向Transformer编码输入表示。

e4.输出向量表示

e4.1. 从BERT输出中提取特定标记的向量表示，通常选择[CLS]标记对应的向量作为整个输入文本的表示。

e4.2. 根据需要，可以对向量进行进一步处理，例如降维、归一化等。

F.将编码后的配对文本图像向量放置到多模态嵌入矩阵空间的对角线位置，将这N个配对向量记为训练的正样本，将原本并不对应的文本-图像向量对标记为负样本，例如T1 与 I2 不对应，TN 与 IN−1 不对应，即其他N

G.计算 Ii 与 Tj ( i,j∈[1,N] )之间的余弦相似度Ii·Tj ,用来度量相应的文本与图像之间的对应关系。余弦相似度越大，表明Ii 与 Tj的对应关系越强，反之越弱。使用交叉熵损失函数不断训练文本编码器和图像编码器的参数，最大化N 个正样本的余弦相似度，最小化N

H.训练后的模型对全量的商标图像数据进行编码，离线生成全部向量，输入到向量检索单元中。

CLIP（CLIP,Contrastive Language-Image Pre-Training对比语言-图像预训练）模型,是一个预训练模型,简称为CLIP。

采用CLIP模型框架对商标数据进行离线建模，是一种基于对比学习的多模态预训练模型，训练数据是海量通用的文本-图像对，即一张图像和它对应的文本描述。通过对比学习方法，模型能够学习到文本-图像对的匹配关系。

所述模型采用双流架构，即一个图像编码器，一个文本编码器；

图像编码器采用基于计算机视觉的转换器模型Vision Transformer模型，在编码前先对图像进行数据增强，随机对图片进行翻转、旋转、裁剪、变形。

文本编码器采用wwm-Chinese-Bert模型(全词进行掩码的中文预训练模型)是BERT模型的升级版本，主要改进了原预训练阶段的训练样本生成策略，如果一个完整的词的部分子词被掩码（Mask），则同属该词的其他部分也会被掩码（Mask）。

参见图4所示的训练模型架构图，经过编码后的文本和图像向量直接投影到多模态嵌入空间中，对角线为真实配对文本图像向量，其他为同一批次的其他数据，在多模态嵌入空间中，使用对称的交叉熵损失函数，图像编码和文本编码被联合训练，以最大化批次中真实对的图像和文本嵌入的余弦相似度，即真实匹配的图文对空间距离更近，不匹配的图文对空间距离更远。

使用商标图文数据对在通用预训练模型中进行微调训练，使用商标名称以及描述和商标图像进行配对，做为微调训练集， 对原始模型进行微调训练。微调训练指的是在一个预训练好的模型基础上，对其进行少量的训练，以适应特定的任务。通常情况下，预训练模型是在大规模数据上进行的，可以学习到丰富的特征表示，而微调则是在相对较小的数据集上进行的，目的是将预训练模型的知识迁移到特定任务中。

微调训练的流程通常如下：1.准备数据集：从特定领域收集并标注相应的数据集。2.选择预训练模型：选择一个与任务相关的预训练模型（如BERT、GPT等）。3.微调模型：将预训练模型加载到计算设备上，然后在数据集上进行微调训练。微调训练可以使用各种优化算法（如AdaGrad、Adam等）。4.评估模型：训练结束后，使用测试集对模型进行评估，并对其进行调整，提升通用预训练模型在商标多模态检索垂直领域的检索准确率。

向量检索单元23，主要用于存储离线建模单元生成的向量数据，和其他相关的标量信息，包括商标名称，商标分类，商标id等。在内部建立了高效索引结构，支持十亿级别向量数据规模的近似临近搜索。

利用乘积量化技术，将原先的高维（比如，维度大于600）向量空间分解为若干个低维（比如，维度小于100）向量空间的笛卡尔积，并对分解得到的低维向量空间分别做量化，每个高维向量就能由多个低维空间的量化编码组合表示。对每个低维空间进行聚类，得到L个中心点，检索时只需要计算和每个中心点的距离，再加上查表获取每个向量到自己聚类中心点的距离，可以大幅减少计算步骤，提升效率。

具体步骤如下：

一）空间划分

对商标编码向量按照空间进行划分，将T维空间分成M份，例如，T=768，M=8，即将768维向量分成8个96维的子空间；

二）量化

参见图5，为每个商标向量子空间单独训练一本码表，码表规模为k=256，维度d=D/M=768/8=96，对每个低维度向量进行k-means聚类，聚类后就有M=8本子码表，下面再依次量化每个子空间的数据，量化的过程就是计算每个短向量距离最近的聚类中心，距离采用L2距离进行度量；

三）压缩

商标原始D=768维的向量，被切分成M=8个d=96维的短向量，同时每个短向量都对应一个量化的索引值，索引值即该短向量距离最近的聚类中心的编号，每一个原始向量就可以压缩成M=8个索引值构成的压缩向量。压缩向量就是M个索引值，每个索引值对应一个聚类中心，同时保存压缩向量和聚类中心；

四）距离计算

参见图6，将待计算相似度的两个商标原始向量，直接使用两个压缩向量x，y的索引值所对应的码字q(x),q(y)之间的距离代替，而q(x),q(y)之间的距离可以离线计算，因此可以把q(x),q(y)之间的距离制作成查找表，只要按照压缩向量的索引值进行对应的查找就可以减少计算步骤，从而大幅提升商标向量检索性能。

参见图7所示向量检索服务组件图，向量检索单元23主要包括组件：

核心功能函数组件，提供建立索引，数据查询服务，代理服务，各组件调度服务，包括索引节点，数据节点，代理节点，根节点；

元数据存储组件，用于读取和存储内部组件的元数据，包括代理节点，索引节点等；

键值对数据存储组件，负责数据的持久化存储；

消息队列服务，用于管理操作和输出流日志，提供日志的发布和订阅服务。

在线服务单元24，用于响应所有对外服务，提供RestfulAPI接口，支持输入文本描述信息进行以文搜图检索，也支持输入商标图像base64编码，进行商标以图搜图检索。

以文搜图接口，调用训练模型的文本编码接口，将输入文本编码成768维编码向量，调用向量检索模块的检索服务，返回距离最近的前 K个商标信息；

以图搜图接口，调用训练模型的图像编码接口，将输入图像编码成768维编码向量，调用向量检索模块的检索服务，返回距离最近的前 K个商标信息。

在线检索服务模块流程，参见图8。

展示单元25，接收在线服务模块的检索结果，将结果按照相似度进行排序，并加载商标名称，分类，描述，图像，相似度，排名等信息，进行列表和详览展示。

本发明的技术效果

本发明提出了一种基于对比学习预训练模型的多模态商标检索系统的方法。它通过对比不同的图像文本对，可以在一个大小为N的patch中同时构建 N*N 个优化目标，实现简单快捷，计算高效；在这种方法中，学习的不再是图像中的一个物体，而是整个图像中的所有信息，不仅包含图像中的目标，还包含这些目标之间的位置，语义等逻辑关系，具有更有更好的全局性。

在商标检索系统中，多模态意味着系统能够处理多种类型的输入数据，例如文本、图像。使用对比学习预训练模型的方法可以提高系统的准确性，因为它能够利用已有的预训练模型在新的领域内进行推理，从而获得更好的性能。

利用高效的索引结构，可以加快向量的检索性能，提升系统响应速度。

综上所述，本发明提出的检索技术方案可以改进商标检索系统的性能，使其更准确地处理多种类型的输入数据。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。