用户兴趣区域与反馈引导的图片精准检索方法

文献发布时间：2023-06-19 10:41:48

技术领域

本发明涉以及一种图片精准检索方法，特别涉及一种用户兴趣区域与反馈引导的图片精准检索方法，属于图片精准检索技术领域。

背景技术

随着数据库的存储量越来越大，为解决传统的基于文本检索存在的人工标注语言的主观性问题，基于内容的图片检索应运而生，这种技术根据图片内容从图片库中检索出能够满足用户要求的图片。近年来，信息产业的不断开拓和相关支撑技术的飞速发展，大数据在各行各业得到了广泛应用，图片和视频都属于非结构化数据形态，在大数据集中占据十分重要的地位。人们如今已生活在一个充斥着各种传感器的世界，信息收集、储存与分析的数量正不断增加，特别是图片和视频信息获取途径越来越多，图片数据库规模越来越大，此类数据爆炸对数据计算能力提出了更高的标准，也将会使各应用领域对信息处理能力的要求不断提升，因此，用户想要快速精确的从庞大的图片数据库中找出满足需要的图片，对有效的储存、组织、查询多媒体资源提出了更高要求。

与此同时，机器学习、图片理解等技术不断发展，为基于内容的图片检索提供了技术支持，这些都促使基于内容的图片检索方法迅猛发展。从行业发展需求来分析，此项技术已被广泛应用到了互联网行业中，从用户需求的角度来分析，基于内容的图片检索使用户能从可视角度准确检索到相似图片，这种检索方式更加接近于用户的感性认知，同时也方便人们高效大规模的检索在线图片。

在大数据时代，图片获取的途径越来越多，处理图片信息的能力要求也在不断提高，基于内容的图像检索以图片内容为基本输入，基于一定数量的训练样本和机器学习算法，从海量数据库中快速检索得到所需的图片信息，具有广阔科研和商业应用价值。

但由于现有技术的基于内容的图片检索方法无法达到充分令用户满意的程度，随着统计学习方法和大数据关联的理论与技术的发展，基于内容的图片检索方法具有极大的性能提升空间，目前存在的问题和需要进一步完善的地方主要表现在以下方面：

第一，图片检索查准率低，现有技术几乎还没有出现一个图片检索系统能够在准确率方面达到令人满意的程度，查询检索图片时，对于返回的成百上千幅图片，用户仍然需花费大量的时间来进行筛选；

第二，与用户的交互程度不够，在很多应用领域需要用户积极参与并给出反馈意见，因为属于不同类别的图片会有不同的特性，此时需要设计不同的算法针对不同的图片特点进行针对性运算，同时，用户也希望在选择性提取和相似匹配算法方面有更多自由发挥的空间；

第三，语义特征与底层特征的关联度不够，现有技术在图片的底层特征方面已经做了很多个字，但仍存在一些问题，现有技术有意识的分析用户的反馈信息，但仍存在较大的局限性，没有从根本上解决问题，此外人工参与能提高检索效果，但也增加了检索耗费的时间，不利于实时检索。

第四，当今随着互联网信息急剧膨胀，互联网检索已进入到内容上更形象、意义上更宽泛的图片检索阶段，图片检索方法的发展刺激了互联网行业不断推出关联产品，而行业的发展需要又对关联技术的发展不断提出新需求，现有技术的图片检索主要应用在特定的数据库中，还未达到全部智能化的检索要求，针对大规模的图片数据，无法有效的检索所需的图片，无法应用用户反馈技术获取更加令人满意的效果。

第五，现有技术基于局部特征的方法引起了广泛关注，这种检索方法将图像分割成一定数量的局部特征点，然后提取相应特征，图片区域分割是基于区域的图片检索的基本步骤，但在没有图片分割先验知识的情况下进行分割是一件非常困难的工作，当场景中存在大量待分割的目标物体或不存在明确目标时，这项工作将变得更加困难，现有技术提取显著点方法虽有其优势，但由于显著点检测算子效率低，需要耗费大量的时间，此外，检测算子并不可能充分描述图片复杂内容，也不可能利用点集充分再现出某类图片最感兴趣区域。现有技术方法大部分是存在大量样本时的学习理论，由于在实际应用中很难取得大量的学习样本，效果往往不够理想，而有些算法计算复杂性也比较高。

第六，现有技术支持向量机模型常被用于用户反馈中，但基于SVM的反馈系统的平均准确率无法达到预期效果，主要原因是当正例反馈样本数目较小时，SVM分类器不稳定，SVM的最优超平面对小数目样本非常敏感，而用户在反馈时往往标记图片数目较少，同时也无法保证充分准确的标记所有样本，因此当样本不充分和标记不准确时，SVM很难达到较佳效果，此外，当正例样本数目少于负例样本时，求出的超平面也会产生偏差，这种情况下容易将负样本反馈成正样本，反馈学习时训练样本的数量可能会低于特征向量的维数，这种情况下也容易导致小样本问题；

第七，现有技术没有一种检索方法能在所有图片上都取得令人满意的效果，基于这一基本认知，本发明从用户需求角度分析，现有技术图片检索过程中存在的主要问题包括二点：一是无法充分精确的定位用户感兴趣区域，提取的图片目标与用户关注的区域存在偏差；二是无法准确检索出真正契合用户需求的目标图片。基于以上二点，本发明将获取用户感兴趣区域和引入用户反馈信息引导检索过程作为突破点，提出基于人眼关注模型和用户反馈的图片检索方法。

发明内容

针对现有技术的不足，本发明提供的用户兴趣区域与反馈引导的图片精准检索方法，主要包括：一是显著性区域提取，这是本发明的重点创新内容之一，有效选择显著的局部特征的前提就是能正确地提取出图片中的目标兴趣区域，本发明在视觉显著性基础上，提出了基于视觉显著性模型的目标兴趣区域选取方法、所存在的优缺点及改进方法；二是局部视觉图像特征提取，本发明基于局部视觉图像特征提取的图片检索方法，对词袋模型特征(BoF)进行深入研究，并与基于底层特征(色彩、纹理、形状)的图片检索进行对比分析得出结论；三是具有系统自适应和用户自调整功能的用户反馈机制，这也是本发明研究的重点创新内容，基于PSO的用户反馈算法，应用SVM与PSO相融合的反馈算法，用户对初步检索出来的结果进行标记之后，利用微粒群优化算法对正负样本选择、SVM训练参数及特征选取过程进行优化，利用优化的结果训练SVM分类器，对图片库中图片进行分类，通过SVM判别函数属于两类的概率大小判断输出检索结果。

为达到以上技术效果，本发明所采用的技术方案如下：

用户兴趣区域与反馈引导的图片精准检索方法，将获取用户感兴趣区域和引入用户反馈信息引导检索过程，提出基于人眼关注模型和用户反馈的图片检索方法，包括基于人眼关注模型的图片检索和基于用户反馈的图片检索方法，首先基于视觉显著性模型，改良视觉显著性模型并提出人眼关注计算模型整体架构，提取用户感兴趣的图像区域；其次解析图像特征提取方法，选择采用BoF特征；在提取目标兴趣区域、图像特征提取、初步检索的基础上，基于SVM的用户反馈算法，引入微粒群优化算法对反馈学习过程进行改进，建立融合SVM与PSO的S-P用户反馈引导算法；

基于人眼关注模型的图片检索包括生成显著性图、提取显著性区域、提取显著性区域方法的改良、提取特征向量，生成显著性图包括提取初级视觉特征、生成特征图、合并特征图与生成显著性图、关注焦点的定位和迁移，提取特征向量包括提取局部图像特征、视觉词典的生成、特征描述编码，基于人眼关注模型的感兴趣区域提取，采用视觉显著性模型的人眼关注模型为基础，对其中生成显著性图、显著性区域提取关键步骤进行改良，基于人眼关注计算模型整体架构，提出BoF特征的构建过程，包括局部图像特征提取，生成视觉词典、特征量化和编码及特征的汇集步骤，得到基于显著性区域提取的图片检索算法流程；

基于用户反馈的图片检索方法包括SVM和微粒群优化算法相融合的用户反馈、基于人眼关注模型和S-P用户反馈的图片检索方法，SVM和微粒群优化算法相融合的用户反馈包括微粒群优化算法与SVM的结合、微粒群优化算法优化特征选取、基于微粒群优化算法的SVM参数优化、微粒群优化算法优化正负样本的选取，在基于人眼关注模型的图片检索过程中引入用户反馈，反馈过程分成以下三个步骤：

步骤一，初次检索：用户首先提交一个实例图片，系统将用户提交的示例转交为特征向量表达，与图片库中的图片进行特征关联性比较，根据与查询图片的关联性从大到小排序，并将前N个结果返回给用户；

步骤二，用户根据检索结果，将符合要求的正例图片标记出来，排除负例图片，并将这一结果反馈给系统，系统根据用户的反馈信息对算法参数或者检索规则进行修改，然后进行新一轮检索；

步骤三，反馈多次，能够满足用户需求后，查询结束；

将粒子群优化算法引入到用户反馈过程中，对反馈学习过程进行优化，建立融合SVM与PSO的S-P用户反馈引导算法。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，提取初级视觉特征：对于彩色图片的输入，通过线性滤波提取亮度、方向及色彩三种初级视觉特征，其中亮度用一个亮度特征通道描述，色彩特征包括红绿(RG)和蓝黄(BY)二个特征，方向特征采用Gabor滤波，包括四个方向的特征，初级视觉特征一共有七个子特征；

对于方向特征，首先提取亮度特征，使用Gabor滤波器在0度、45度、90度、135度四个方向上进行滤波获取；对于亮度特征，通过彩色图片的RGB三分量平均值表示；对于色彩特征维度，计算红与绿、蓝与黄色彩之间的差值图来表示出不同反差效果，公式为：

本发明根据生物视觉色彩感知机理，对色彩特征通道引入方向和对比度信息，从生物学角度，对色彩的处理沿视网膜-侧膝体-U1-U2-PIT-IT腹侧通路完成，其中在U1区，由Double-Opponent型神经元形成RG、BY和亮度通路，其中RG和BY又分别包括色彩对抗信息，这两种色彩通路表现出对比度敏锐性，构造的受纳野数学模型，函数为：

T(x，y，λ)＝d

其中，(x，y)为图像的坐标位置，H(λ)、N(λ)、C(λ)分别对应图片的RGB三通道，t

求出RG、BY特征通道响应，对于红绿通道，首先用DOG滤波器的正分量作为卷积模板对图片的R通道进行卷积，G通道则用负分量作为卷积模板进行卷积，然后再求出RG通道响应。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，生成特征图：对各特征子通道图分别进行高斯平滑后以2为步长进行下采样操作，获取第二尺度图像，在此基础上继续进行此操作生成下一尺度图片，不同尺寸的图片组成高斯金字塔，在视觉显著性模型中，每一特征子通道得到9个尺度的图片，一共是9层金字塔图片；

获取图片中局部中心和周边背景的反差信息，尺度小的图片容易突出背景信息，尺度大的图片更容易突出局部信息，由两者相减就能获取中心目标和背景之间的反差；在该模型中的具体算法为：图片尺度s代表局部中心信息，取s∈{3,4,5}，图片s则表示背景信息，取s＝s+δ，其中δ∈{3,4}，则一共有6个尺度对，小尺度的图片进行线性插值，使之与尺度对中的图片具有相同大小，然后进行点对点的减运算，检测到中心和周边反差对比强烈的区域，最终获取七个通道，一共42幅中央周边差图，即特征图。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，合并特征图与生成显著性图：特征图的合并阶段将各种独立特征整合起来，对提取的特征图按照一定的策略进行整合竞争，从而生成最终的显著性图，并为注意焦点选择和迁移提供依据，采用局部迭代法进行特征图合并，首先对各特征图进行归一化，然后与高斯差分函数进行迭代卷积，经过标准化的迭代操作后，将各尺度下的特征图进行叠加，然后在不同特征下进行加权得到显著性图；

采用局部迭代法进行特征图合并，生成显著性图进行分析，加入全局显著信息生成显著性图，即对视觉显著性模型生成的显著性图加入全局显著信息，其主要步骤为：

第一步，色彩空间转换，LAB色彩空间接近人眼视觉的均匀色彩空间，将图片(M＝weight×height)由RGB转换为LAB；

第二步，求LAB色彩空间L、A、B的像素平均值，分别记作AvgL、AvgA、AvgB；

第三步，对LAB通道分别进行去噪处理；

第四步，根据下式求出每一点的显著值：

Salmap

Salmap表示图片中每一点像素值相对于整幅图片的差异，即全局显著性度量，然后再与视觉显著性模型生成显著性图进行合成。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，提取显著性区域：根据获取的关注焦点来提取显著性区域，基于显著性区域检测的模型改进关注焦点区域的轮廓提取，提取显著性区域主要步骤为：

第1步，确定色彩、亮度以及方向三种特征中对显著性作用最大的特征，即分别获取三类突出图中焦点位置对应的像素值，像素值最大的所对应的即为突出特征；

第2步，其次确定各特征图中对显著性作用最大的特征图，即分别获取各特征图焦点位置对应的像素值，像素值最大的对应的即为最具显著性的特征图；

第3步，对获取的特征图进行二值化，查找连通域，提取包含焦点的连通区域；

第4步，标绘显著性区域的轮廓。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，提取显著性区域方法的改良：在提取最显著性区域时，考虑焦点的邻域点的显著性的影响，本发明提出对各显著性区域的权重值进行计算并由大到小排序，权重值最大的即为最显著性区域，对于每一个焦点确定的显著性区域，首先统计该区域内显著性值达到一定临界值的像素个数，作为区域面积zone

采用人眼关注计算模型生成的显著性图和提取出的最显著性区域。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，在基于人眼关注模型的图片检索过程中引入用户反馈，反馈过程分成以下三个步骤：

步骤三，反馈多次，能够满足用户需求后，查询结束；

本发明将SVM和微粒群优化算法相结合，基于微粒群优化算法快速收敛性和适用于小数量反馈样本寻优，当用户对初步检索结果评价后，初始化粒子群反馈参数，计算粒子的Fitness，更新个体最优位置，利用更新结果训练SVM分类器，对图片库中图片进行分类，计算图片与分类面的距离并排序输出检索结果；

在具体反馈过程中，微粒群优化算法利用用户的反馈信息，对图片二次检索过程中的特征选取、SVM分类算法及显著性区域提取过程进行改进，微粒群优化算法是主体之间与环境进行分享和互相作用从而得到进化，归结为一种优化问题，在微粒群优化算法中，包括一定数量个体的种群在某一个检索空间中运动，每个粒子x

步骤1)，选择临界值和迭代次数；

步骤2)，初始化X

步骤3)，计算每个粒子的适应度；

步骤4)，对每个粒子，将粒子的适应度值与个体Best_q的适应度值进行比较，如果更好则将该位置作为粒子的最优Best_q；

步骤5)，对每个粒子，将它的Fitness与种群的全局最优位置Best_total的适应度值进行比较，如果更好则将当前位置作为全局最优位置；

步骤6)，更新粒子；

步骤7)，从步骤3)开始循环直到达到迭代次数或者满足误差条件，跳出循环，输出粒子最优位置；

将微粒群优化算法应用于图片检索领域中首要考虑粒子的空间位置表示，图片由特征向量表示被提取，若整个图片库的图片图像特征提取，得到一个向量空间，其中每个粒子由特征向量表示，粒子的空间位置坐标即是对应向量的每一维表示，微粒群优化算法在特定空间中检索最优化的解，这一过程是在特征向量空间中搜寻最优特征向量对应的正例图片，结合SVM算法与微粒群优化算法，基于用户反馈优化图片检索过程。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，微粒群优化算法优化特征选取：利用粒子进化方向来引导特征寻优过程，首先对于初步检索结果进行用户反馈，假定用户对此结果进行初次反馈，一共标记M幅正例图片，提取这M幅图片的局部特征，计算在每一维特征上的平均值，以此作为初始个体最优特征向量,按下式计算：

当前位置X

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，基于微粒群优化算法的SVM参数优化：利用微粒群优化算法对SVM算法过程的参数选择进行优化，对于微粒群优化算法找到的最优特征子集，首先将特征数据集分成训练集和测试集两个部分，利用训练集训练支持向量机，得到支持向量机模型文件，再将得到的模型应用于测试特征数据集，得到预测分类结果，适应度函数是衡量粒子群优化算法性能的关键，粒子的空间位置以SVM算法的一组参数表示，包括核函数参数、误差控制系数、惩罚因子，粒子所对应的适应度表示该组参数下训练结果的好坏，本发明以平均绝对误差作为适应度函数，在迭代过程中，当预测误差达到给定值，或者达到最大迭代次数，则结束；

基于微粒群优化算法的SVM算法流程为：

步骤一，提取训练集和测试集的特征数据，并统计实际测试集中正样本的个数以及所占比例，作为预测结果；

步骤二，初始化微粒群优化算法：初始化微粒群优化算法的参数，初始化各粒子速度和粒子的位置，这里以一组参数表示一个粒子的位置；

步骤三，将粒子的Best_q设置为当前位置；

步骤四，将全局最优位置Best_total设置为粒子中的Fitness最低的当前位置；

步骤五，对训练集进行SVM训练，计算每一个粒子的Fitness,更新粒子的Best_q和Best_total，如果粒子当前Fitness优于Best_q，更新Best_q，如果当前粒子的Fitness优于Best_total，则更新Best_total；

步骤六，继续更新粒子位置和速度，直到达到最大迭代次数或误差终止条件。

用户兴趣区域与反馈引导的图片精准检索方法，进一步的，将提取显著性区域和用户反馈相融合，基于人眼关注模型和S-P用户反馈的图片检索的算法流程为：

步骤1，提取显著性区域：用户选择图片数据库，提取最显著性区域并保存区域对每一张图片；

步骤2，图像特征提取：提取BoF特征对图片库中每一张图片显著性区域，建立特征数据库；

步骤3，初步检索：对待检索图片同样提取最显著性区域和BoF特征向量，与特征数据库进行相似性度量计算，按照相似性排序，输出排序后前M幅图片作为初步检索结果；

步骤4，用户反馈：用户对初步检索结果进行标记，即指出关联和非关联的结果，将关联的m幅图片反馈给系统；

步骤5，反馈参数初始化；

步骤6，微粒群优化算法优化：利用反馈的m幅图片信息，优化正负样本选择以及图像特征提取基于微粒群优化算法，建立特征数据集SVM训练；

步骤7，再次检索：利用SVM分类器对图片数据集进行分类并排序，输出检索结果；

步骤8，循环步骤1至步骤7，直至用户满意则输出最终检索结果。

与现有技术相比，本发明的贡献和创新点在于：

第一，本发明针对视觉显著性模型存在的提取显著性区域不完整、存在偏差等问题，对其中关键技术进行改进，提出人眼关注计算模型整体架构，准确定位用户感兴趣区域，为准确检索出符合用户需求的图片提供了基础；方法对额外资源的依赖较少，在实际应用中可行性更强，是一种简洁高效、实用性强的用户兴趣区域与反馈引导的图片精准检索方法；

第二，本发明提出了PSO和SVM相融合的用户反馈算法，通过选择不同的适应度函数对显著性区域提取、特征选取及SVM算法过程进行反馈优化，在实验中将本发明所用方法与初步检索及基于SVM反馈的检索结果进行对比，实验表明，该方法在提高检索准确率上具有较好的效果，方法可行性好，精确度和效率高；与其它复杂算法相比，本发明更加简便易操作，图片检索判断更精准；

第三，本发明提供的用户兴趣区域与反馈引导的图片精准检索方法，图片检索查准率高，能够在准确率方面达到令人满意的程度，与用户的交互效果好，在很多应用领域需要用户积极参与并给出反馈意见，因为属于不同类别的图片会有不同的特性，本发明设计不同的算法针对不同的图片特点进行针对性运算，用户在选择性提取和相似匹配算法方面有更多自由发挥的空间；本发明语义特征与底层特征的关联度好，有意识的分析用户的反馈信息，有利于实时检索；针对大规模的图片数据，本发明能有效的检索所需的图片，应用用户反馈技术获取更加令人满意的效果；

第四，本发明提供的用户兴趣区域与反馈引导的图片精准检索方法，基于人眼关注模型的感兴趣区域提取，采用视觉显著性模型的人眼关注模型为基础，针对该模型存在的提取显著性区域不完整、存在偏差等问题，对其中生成显著性图、显著性区域提取关键步骤进行改良，提出人眼关注计算模型整体架构，其次提出BoF特征的构建过程，包括局部图像特征提取，生成视觉词典、特征量化和编码及特征的汇集步骤，提出基于显著性区域提取的图片检索算法流程。由基于BoF特征与底层特征的检索结果对比能够看出，基于局部特征描述的优势，由提取显著性区域的检索和直接检索两种方案进行对比，能看出检索准确率有较大提高，由此充分体现本发明提取显著性区域的必要性和先进性；

第五，本发明提供的用户兴趣区域与反馈引导的图片精准检索方法，针对现有技术基于SVM的反馈系统的平均准确率无法达到预期效果，当正例反馈样本数目较小时，SVM分类器不稳定，SVM的最优超平面对小数目样本非常敏感，而用户在反馈时往往标记图片数目较少，同时也无法保证充分准确的标记所有样本，因此当样本不充分和标记不准确时，SVM很难达到较佳效果，此外，当正例样本数目少于负例样本时，求出的超平面也会产生偏差，这种情况下容易将负样本反馈成正样本，反馈学习时训练样本的数量可能会低于特征向量的维数，这种情况下也容易导致小样本问题。为弥补基于SVM的反馈算法存在的不足，本发明将粒子群优化算法引入到用户反馈过程中，建立融合SVM与PSO的S-P用户反馈引导算法，粒子群优化算法对样本的平衡性没有要求、收敛快速，整个算法过程得到优化，大幅提高图片目标检索的性能。

附图说明

图1是本发明构建的基于内容的图片检索系统框架图。

图2是本发明基于人眼关注模型的图片检索方法架构图。

图3是本发明的特征描述编码和汇集的过程示意图。

图4是融合SVM与PSO的S-P用户反馈引导算法流程图。

具体实施方式

下面结合附图，对本发明提供的用户兴趣区域与反馈引导的图片精准检索方法的技术方案进行进一步的描述，使本领域的技术人员能更好的理解本发明并能够予以实施。

现有技术没有一种检索方法能在所有图片上都取得令人满意的效果，基于这一基本认知，本发明从用户需求角度分析，图片检索过程中存在的主要问题包括二点：一是无法充分精确的定位用户感兴趣区域，提取的图片目标与用户关注的区域存在偏差；二是无法准确检索出真正契合用户需求的目标图片。基于以上二点，本发明将获取用户感兴趣区域和引入用户反馈信息引导检索过程作为突破点，提出基于人眼关注模型和用户反馈的图片检索方法。

首先基于视觉显著性模型，针对模型所存在的问题，改良视觉显著性模型并提出人眼关注计算模型整体架构，提取用户感兴趣的图像区域，该方法能有效提升检索效果；其次解析图像特征提取方法，针对底层特征难以在图片发生光照、尺寸、角度变化时保持不变的问题，选择采用BoF特征，并通过基于BoF与基于底层特征的检索对比，验证BoF图像特征提取的优越性；本发明在提取目标兴趣区域、图像特征提取、初步检索的基础上，设计基于SVM的用户反馈算法，引入微粒群优化算法对反馈学习过程进行改进，建立融合SVM与PSO的S-P用户反馈引导算法，在实验中将本发明方法与初步检索及基于SVM反馈的检索结果进行对比，本发明方法能有效的提高图片检索准确率。

一、图片精准检索方法架构

基于内容的图片检索主要包括图片提取特征向量、图片相似度评价、反馈引导，本发明建立的基于内容的图片精准检索方法架构如图1所示。由于图片本身的多样性，一张图片可能包括很多冗余信息或多个目标物体，如图1查询图片中，包括不只一个目标，在这种情况下，用户总是想检索包括最感兴趣目标的图片，关键在于对一张图片中目标兴趣区域的提取，由此在提取特征之前，本发明加入目标兴趣区域提取这一关键步骤，分别获取图片数据库和查询图片的目标兴趣区域，然后对目标兴趣区域进行图像特征提取，相似性评价检索，为进一步提高检索系统性能，同时引导用户反馈技术对初步检索结果进行用户反馈，根据反馈信息进行动态调整，然后进行再次优化检索，直至检索到用户满意的图片。

二、基于人眼关注模型的图片检索

提取目标兴趣区域的前提是对图片数据进行准确客观的分析，通过模拟人眼视觉系统的工作原理来分析和处理数据是解决这一问题的可靠途径。

本发明以视觉显著性模型作为基础，针对该模型存在提取显著性区域不完整、存在偏差的问题，对其中生成显著性图、显著性区域提取关键步骤进行改进，提出基于人眼关注模型的图片检索方法，模型计算总体架构如图2所示，其中生成显著性图分为初级视觉特征提取、特征图生成与合并、关注焦点的定位和迁移步骤。

(一)生成显著性图

1.提取初级视觉特征

对于彩色图片的输入，通过线性滤波提取亮度、方向及色彩三种初级视觉特征，其中亮度用一个亮度特征通道描述，色彩特征包括红绿(RG)和蓝黄(BY)二个特征，方向特征采用Gabor滤波，包括四个方向的特征，因此初级视觉特征一共有七个子特征。

为丰富色彩特征通道响应，本发明根据生物视觉色彩感知机理，对色彩特征通道引入方向和对比度信息，从生物学角度来说，人与哺乳动物视觉系统能分层处理视觉内容，对色彩的处理沿视网膜-侧膝体-U1-U2-PIT-IT腹侧通路完成，其中在U1区，由Double-Opponent型神经元形成RG、BY和亮度通路，其中RG和BY又分别包括色彩对抗信息，因此这两种色彩通路表现出对比度敏锐性。为表现这两种色彩通路，本发明构造的受纳野数学模型，函数为：

T(x，y，λ)＝d

其中，(x，y)为图像的坐标位置，H(λ)、N(λ)、C(λ)分别对应图片的RGB三通道，t

求出RG、BY特征通道响应，如对于红绿通道，首先用DOG滤波器的正分量作为卷积模板对图片的R通道进行卷积，G通道则用负分量作为卷积模板进行卷积，然后再求出RG通道响应。

2.生成特征图

对各特征子通道图分别进行高斯平滑后以2为步长进行下采样操作，获取第二尺度图像，在此基础上继续进行此操作生成下一尺度图片，不同尺寸的图片组成高斯金字塔，在视觉显著性模型中，每一特征子通道得到9个尺度的图片，一共是9层金字塔图片，实施例以亮度通道图为例，生成不同尺度图片的高斯金字塔图。

为使最后提取出的特征图更好的突出图片目标兴趣区域，获取图片中局部中心和周边背景的反差信息，尺度小的图片容易突出背景信息，尺度大的图片更容易突出局部信息，由两者相减就能获取中心目标和背景之间的反差。在该模型中的具体算法为：图片尺度s代表局部中心信息，取s∈{3,4,5}，图片s则表示背景信息，取s＝s+δ，其中δ∈{3,4}，则一共有6个尺度对，小尺度的图片进行线性插值，使之与尺度对中的图片具有相同大小，然后进行点对点的减运算，检测到中心和周边反差对比强烈的区域，最终获取七个通道，一共42幅中央周边差图，即特征图。

3.合并特征图与生成显著性图

特征图的合并阶段将各种独立特征整合起来，对提取的特征图按照一定的策略进行整合竞争，从而生成最终的显著性图，并为注意焦点选择和迁移提供依据，本发明分析比较多种方法的特征图合并效果，采用局部迭代法进行特征图合并，首先对各特征图进行归一化，然后与高斯差分函数进行迭代卷积，经过标准化的迭代操作后，将各尺度下的特征图(亮度、方向、颜色)进行叠加，然后在不同特征下进行加权得到显著性图。

本发明分析比较多种方法的特征图合并效果，采用局部迭代法进行特征图合并，生成显著性图进行分析，视觉显著性模型在生成显著性图时能再现显著性较大的局部区域，但由于是由底层特征合成显著性图，一些不具备突出特征的显著点可能被剔除，导致最后提取的显著性区域不完整。对此，本发明加入全局显著信息生成显著性图，即对视觉显著性模型生成的显著性图加入全局显著信息，其主要步骤为：

第一步，色彩空间转换，LAB色彩空间接近人眼视觉的均匀色彩空间，将图片(M＝weight×height)由RGB转换为LAB；

第二步，求LAB色彩空间L、A、B的像素平均值，分别记作AvgL、AvgA、AvgB；

第三步，对LAB通道分别进行去噪处理；

第四步，根据下式求出每一点的显著值：

Salmap

Salmap表示图片中每一点像素值相对于整幅图片的差异，即全局显著性度量，然后再与视觉显著性模型生成显著性图进行合成。

4.关注焦点的定位和迁移

显著性图表示场景中最突出特征，视觉显著性模型中应用胜者为王策略竞争神经网络使关注焦点在显著性图的引导下智能选择定位到最显著位置，当有若干个显著度相同的焦点同时出现时，关注焦点将迁移到和上一次关注焦点距离最近的显著位置。

(二)提取显著性区域

根据获取的关注焦点来提取显著性区域，本发明基于显著性区域检测的模型改进关注焦点区域的轮廓提取，提取显著性区域主要步骤为：

第2步，其次确定各特征图中对显著性作用最大的特征图，即分别获取各特征图焦点位置对应的像素值，像素值最大的对应的即为最具显著性的特征图；

第3步，对获取的特征图进行二值化，查找连通域，提取包含焦点的连通区域；

第4步，标绘显著性区域的轮廓。

(三)提取显著性区域方法的改良

针对模型存在一些问题，从方法步骤上来说模型中直接由关注焦点的位置值确定最显著性图，没有考虑焦点附近的显著点的影响，由此提取的显著性区域可能产生偏差。对此本发明对提取显著性区域方法进一步改良，由此更准确的获取图片中感兴趣目标，去除冗余信息，提高内容图像检索性能。

在提取最显著性区域时，考虑焦点的邻域点的显著性的影响，本发明提出对各显著性区域的权重值进行计算并由大到小排序，权重值最大的即为最显著性区域，对于每一个焦点确定的显著性区域，首先统计该区域内显著性值达到一定临界值的像素个数，作为区域面积zone

采用人眼关注计算模型生成的显著性图和提取出的最显著性区域。

(四)提取特征向量

获取图片中的显著性区域后，下一步是对目标兴趣区域提取特征向量进行。传统的底层特征(形状、色彩、纹理)能对全局图片内容进行描述，但难以在图片发生光照和尺寸、角度变化时保持不变，也无法达到对图片局部内容准确描述和区分的要求，因此本发明采用基于局部特征描述子来构建特征向量，局部特征描述子采用BoF特征模型表示特征。

本发明构建BoF特征的过程包括局部图像特征提取、生成视觉词典、特征量化与编码、特征汇集。

1.提取局部图像特征

BoF的第一个步骤是局部特征描述，本发明采用SURF算子作为建立BoF特征的局部特征描述子，SURF算子是对SIFT算法的一种改进，其主要优点在于计算速度快，同时具有较强的描述能力(包括再现性、稳定性、显著性)。较之SIFT算法，SURF算法不使用梯度图片，而是通过黑塞矩阵和积分图片减少计算时间。SURF采用的局部图像特征提取策略主要包括基于黑塞矩阵的兴趣点检测、点描述和匹配。

(1)积分图片

积分图片计算某一块区域内的像素和，一旦计算出一张图片的积分图片，仅需三次加减就能计算出一张图片任一矩形区域的像素和，计算时间并不取决于其区域大小，这一点在较大尺寸的滤波模板用来做卷积时尤为重要。

(2)黑塞矩阵的构建

基于黑塞矩阵的特征点检测是SURF算子的关键，通过计算每一像素点生成的矩阵行列式，求行列式的近似值作为判别式，利用行列式取值是否大于0来判别每一点是否为极值点，由此提取图片中的特征点，利用积分图片法计算矩阵近似值能极大的减少计算时间。对于图片中任意一点x＝(x，y)

其中H

det(L

参数t平衡黑塞行列表达式，同时也保留高斯核与近似高斯核的能量。

(3)尺度空间的构建

为了达到尺度不变性，本发明类似SIFT构造金字塔尺度空间，但与SIFT中不断对图片进行平滑下采样构造金字塔的方法不同，本发明采用改变滤波器的尺寸构建尺度空间，允许同一时间的多尺度图片处理，图片不需要第二次下采样，提高算法性能。

(4)精确定位特征点

为了准确定位特征点，本发明采用提高临界值，当临界值范围提高时检测到的特征点数目会减少，最终保留的只有几个最能保持稳定性的特征点，假设某一像素点所在的尺度图片为第五个金字塔图片，加上该像素的8邻域点及上下两个相邻的尺度层图(第三和第六个金字塔图)中对应位置的18个像素点，一共有26个点作为该点像素的周围像素点，如果这一点像素值大于其它26个点的像素值，则确定该点为该区域的特征点，通过这种方法进一步精准定位出特征点。

(5)特征描述子的生成

以特征点作为8×8的窗口中心像素，获得梯度的模和梯度方向对应于每个像素，然后与高斯函数加权，每个像素对应一个特征向量，然后在步长为4的窗口计算八个方向上HOG，形成一个种子点，4个种子点组成一个特征点，每个种子点有8个向量信息，最终形成64维特征向量。

2.视觉词典的生成

对于每个生成的图片特征描述，利用聚类算法集群，集群重心为视觉语汇，类似于文本分类词，聚类生成的码书为视觉字典，采用硬聚类算法K-means算法对提取特征进行分类集群，以目标函数求出极值调整迭代运算规则，使用欧几里德距离作为相似性量度标准，平方误差和准则函数作为聚类目标函数，转化成求目标函数的最优解的问题，寻求全局最小极值点，目标函数的检索方向沿目标函数和误差平方减小的方向。

3.特征描述编码

特征描述编码是根据视觉单词与局部特征的匹配程度来分配一个最直观的视觉词语或多个相邻的视觉单词，假设X

如图3所示，函数g是对特征描述子进行编码，函数f是对视觉词汇进行汇集，使图片的表示更具鲁棒性，在进行特征的视觉词汇指派过程时，将局部特征根据视觉特征向量与局部特征的邻近程度分配给一个最近的视觉词汇，视觉词汇若被指派，对应编码为1，其余为0，公式表达为：

根据视觉单词与局部特征的匹配程度分配一个最直观的视觉词语或多个相邻的视觉单词。

本发明主要基于人眼关注模型的感兴趣区域提取，采用视觉显著性模型的人眼关注模型为基础，针对该模型存在的提取显著性区域不完整、存在偏差等问题，对其中生成显著性图、显著性区域提取关键步骤进行改良，提出人眼关注计算模型整体架构，其次提出BoF特征的构建过程，包括局部图像特征提取，生成视觉词典、特征量化和编码及特征的汇集步骤，然后提出基于显著性区域提取的图片检索算法流程。由基于BoF特征与底层特征的检索结果对比能够看出，基于局部特征描述的优势，由提取显著性区域的检索和直接检索两种方案进行对比，能看出检索准确率有较大提高，由此能体现本发明提取显著性区域的必要性和先进性。

三、基于用户反馈的图片检索方法

基于人眼关注模型的显著性区域提取能有效定位到用户感兴趣区域，然后对该区域进行图像特征提取，初步检索能检索出符合用户需求的图片，但由于图片特征与高层语义之间差距明显，初步检索的结果可能无法满足用户的需求。为了更好的改善图片检索性能，本发明在基于人眼关注模型的图片检索过程中引入用户反馈，反馈过程分成以下三个步骤：

步骤三，反馈多次，能够满足用户需求后，查询结束。

现有技术支持向量机模型常被用于用户反馈中，但基于SVM的反馈系统的平均准确率无法达到预期效果，主要原因是当正例反馈样本数目较小时，SVM分类器不稳定，SVM的最优超平面对小数目样本非常敏感，而用户在反馈时往往标记图片数目较少，同时也无法保证充分准确的标记所有样本，因此当样本不充分和标记不准确时，SVM很难达到较佳效果，此外，当正例样本数目少于负例样本时，求出的超平面也会产生偏差，这种情况下容易将负样本反馈成正样本，反馈学习时训练样本的数量可能会低于特征向量的维数，这种情况下也容易导致小样本问题。

为弥补基于SVM的反馈算法存在的不足，本发明将粒子群优化算法引入到用户反馈过程中，粒子群优化算法对样本的平衡性没有要求、收敛快速，本发明对反馈学习过程进行优化，建立融合SVM与PSO的S-P用户反馈引导算法。

(一)SVM和微粒群优化算法相融合的用户反馈

本发明将SVM和微粒群优化算法相结合，基于微粒群优化算法快速收敛性和适用于小数量反馈样本寻优，当用户对初步检索结果评价后，初始化粒子群反馈参数，计算粒子的Fitness，更新个体最优位置，利用更新结果训练SVM分类器，对图片库中图片进行分类，计算图片与分类面的距离并排序输出检索结果。

本发明的S-P用户反馈引导算法整体算法架构如图4所示，在具体反馈过程中，微粒群优化算法利用用户的反馈信息，对图片二次检索过程中的特征选取、SVM分类算法及显著性区域提取过程进行改进，进一步优化整个算法过程，提高图片目标检索的性能。

1.微粒群优化算法与SVM的结合

微粒群优化算法是主体之间与环境进行分享和互相作用从而得到进化，归结为一种优化问题，在微粒群优化算法中，包括一定数量个体的种群在某一个检索空间中运动，每个粒子x

步骤1)，选择临界值和迭代次数；

步骤2)，初始化X

步骤3)，计算每个粒子的适应度；

步骤4)，对每个粒子，将粒子的适应度值与个体Best_q的适应度值进行比较，如果更好则将该位置作为粒子的最优Best_q；

步骤5)，对每个粒子，将它的Fitness与种群的全局最优位置Best_total的适应度值进行比较，如果更好则将当前位置作为全局最优位置；

步骤6)，更新粒子；

步骤7)，从步骤3)开始循环直到达到迭代次数或者满足误差条件，跳出循环，输出粒子最优位置。

将微粒群优化算法应用于图片检索领域中首要考虑粒子的空间位置表示，图片由特征向量表示被提取，若整个图片库的图片图像特征提取，得到一个向量空间，其中每个粒子由特征向量表示，粒子的空间位置坐标即是对应向量的每一维表示，微粒群优化算法在特定空间中检索最优化的解，这一过程是在特征向量空间中搜寻最优特征向量对应的正例图片，对此本发明结合SVM算法与微粒群优化算法，基于用户反馈优化图片检索过程。

2.微粒群优化算法优化特征选取

本发明对于图片库中图片的特征选取，利用粒子进化方向来引导特征寻优过程。首先对于初步检索结果进行用户反馈，假定用户对此结果进行初次反馈，一共标记M幅正例图片，提取这M幅图片的局部特征，计算在每一维特征上的平均值，以此作为初始个体最优特征向量,按下式计算：

当前位置X

3.基于微粒群优化算法的SVM参数优化

SVM在保证训练样本分类结果准确的基础上，考虑学习模型的复杂度，体现学习模型的泛化能力，防止过学习现象。在高维度特征模式识别和解决小样本中非线性分类问题表现出优势，具有很高的分类效率、准确性。首先在多维特征空间内构造出一个多维的线性子空间，对非线性分类应用核函数，平衡间隔最大化和训练误差最小化采用正则化因子，为实现样本的二分类使用决策面。

SVM虽能较好地解决高维、小样本问题，但要考虑参数选择。其中核函数参数、误差控制系数、惩罚因子的选取比较重要。误差控制系数控制函数与已知集合的差距，存在的误差的大小，参数的取值控制支持向量的个数和算法对未知样本的适用能力，误差系数反映向量机模型对输入变量噪声的敏锐程度，误差控制系数选择小，回归估计精度高，但支持向量数量增多，误差控制系数选择大，则支持向量数量少，但回归估计残差降低，SVM的稀疏性增大；核函数影响样本数据在高维特征空间中的映射情况；惩罚因子通过调节对经验误差的惩罚值影响学习机器的推广。

针对SVM参数影响问题，本发明利用微粒群优化算法对SVM算法过程的参数选择进行优化，对于微粒群优化算法找到的最优特征子集，首先将特征数据集分成训练集和测试集两个部分，利用训练集训练支持向量机，得到支持向量机模型文件，再将得到的模型应用于测试特征数据集，得到预测分类结果。适应度函数是衡量粒子群优化算法性能的关键，粒子的空间位置以SVM算法的一组参数表示，包括核函数参数、误差控制系数、惩罚因子，粒子所对应的适应度表示该组参数下训练结果的好坏，本发明以平均绝对误差作为适应度函数，在迭代过程中，当预测误差达到给定值，或者达到最大迭代次数，则结束。

基于微粒群优化算法的SVM算法流程为：

步骤一，提取训练集和测试集的特征数据，并统计实际测试集中正样本的个数以及所占比例，作为预测结果；

步骤二，初始化微粒群优化算法：初始化微粒群优化算法的参数，初始化各粒子速度和粒子的位置，这里以一组参数表示一个粒子的位置；

步骤三，将粒子的Best_q设置为当前位置；

步骤四，将全局最优位置Best_total设置为粒子中的Fitness最低的当前位置；

步骤六，继续更新粒子位置和速度，直到达到最大迭代次数或误差终止条件。

这种方法充分克服了SVM参数选择上的盲目性，与现有技术使用的试凑等方法相比具有更明确的引导。

4.微粒群优化算法优化正负样本的选取

当正例反馈样本数目较小时，SVM分类器并不稳定，特别是当正负样本数目不平滑或正例图片标记不准确时，SVM很难达到最佳效果，对此本发明提出基于微粒群优化算法优化SVM训练的正负样本选取过程，将图片库中每一张图片的特征向量作为初始粒子位置，计算适应度值，同时考虑反馈的正例图片和负例图片对粒子适应度值的影响，如果粒子越接近正例图片集合，则粒子的适应度值Fitness越小，反之亦然，如果粒子的适应度值较低则表示该粒子所对应的位置更佳，按照每个粒子的适应度值大小，对粒子重排序，即对图片库中每一张图片与查询图片的关联性进行排序，由此重新确定正例图片和负例图片，在每次迭代过程中适应度函数都随正负例图片动态变化而发生改变，当达到预定的迭代次数或正样本数目达到预定数目，则终止该过程，表示已选择了用于训练的正负样本。

(二)基于人眼关注模型和S-P用户反馈的图片检索方法

本发明将提取显著性区域和用户反馈相融合，基于人眼关注模型和S-P用户反馈的图片检索的算法流程为：