图像标注方法及装置

技术领域

本发明属于图像标注技术领域，特别是涉及一种图像标注方法及装置。

背景技术

图像的精确分类是利用分类模型在区分出图像内容的基本类别的基础上，进行更精细的子类别划分，如区分图像中鸟的种类、车的款式、狗的品种等，目前在工业界和实际生活中有着广泛的业务需求和应用场景。

在目前，训练分类模型之前，需要对样本图像进行精细的子类别的标注，目前常采用人工标注的方式，即通过标注员主观分析每一样本图像，并对样本图像的子类别进行标注。

但是，目前的标注方式，标注员需要能区分上百类相似的物体类别，对标注员要求较高，同时容易出现错标/漏标的情况，造成标注成本较高，标注的效率和精确度较低。

发明内容

本发明提供一种图像标注方法及装置，以便解决现有技术中标注成本较高，标注的效率和精确度较低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种图像标注方法，所述图像标注方法包括：

获取训练图像，所述训练图像标注有粗粒度类别；

将所述训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值；所述目标已标注训练图像为所述训练图像中标注有细粒度类别的训练图像，所述未标注训练图像的粗粒度类别与所述目标已标注训练图像的粗粒度类别相同；

根据所述相似度值，确定所述未标注训练图像的细粒度类别。

第二方面，本发明实施例提供了一种图像标注装置，所述装置包括：

第一确定模块，用于获取训练图像，所述训练图像标注有粗粒度类别；

相似度模块，用于将所述训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值；所述目标已标注训练图像为所述训练图像中标注有细粒度类别的训练图像，所述未标注训练图像的粗粒度类别与所述目标已标注训练图像的粗粒度类别相同；

标注模块，用于根据所述相似度值，确定所述未标注训练图像的细粒度类别。

本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的图像标注方法的步骤。

本发明实施例的第四方面，提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的图像标注方法的步骤。

在本发明实施例中，本发明包括：获取训练图像，训练图像标注有粗粒度类别；将训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值；目标已标注训练图像为训练图像中标注有细粒度类别的训练图像，未标注训练图像的粗粒度类别与目标已标注训练图像的粗粒度类别相同；根据相似度值，确定未标注训练图像的细粒度类别。在本发明中，基于粗细粒度类别的划分，仅需要前期标注少量的训练图像的细粒度类别，即可在无监督模式下，快速、准确的得到其他未标注训练图像的细粒度类别，以通过较低成本，有效提升标注准确率和效率。

附图说明

图1是本发明实施例提供的一种图像标注方法的步骤示意图；

图2是本发明实施例提供的一种图像标注方法的具体步骤示意图；

图3是本发明实施例提供的一种图像标注装置的结构框图；

图4是本发明实施例提供的一种装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种图像标注方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、获取训练图像，所述训练图像标注有粗粒度类别。

图像的分类是指将图像输入深度学习模型，从而使得深度学习模型输出该图像的精确类别，为了让深度学习模型具备该功能，需要利用训练数据对深度学习模型进行训练。

训练数据是指预先收集的较多数量的训练图像，以及对每个训练图像实现的真实类别标注，通过将标注的训练图像输入深度学习模型，并利用深度学习模型输出的结果与该训练图像真实的类别标注，求解差异度，再利用预设的损失函数即可实现对深度学习模型的参数优化，通过多轮迭代，直至差异值小于较小的阈值时，完成深度学习模型的训练，使得深度学习模型具备图像分类的功能。因此，在训练过程中对海量的训练图像进行精确、高效的标注，是目前研究的重要课题。

在本发明实施例中，可以对训练图像的类别进行粗细粒度的划分，其中粗粒度类别是指层级和涵盖范围较大的类别，如，运动、动物等，细粒度类别可以所属于对应的粗粒度类别，是一种层级和涵盖范围较小的类别，如，粗粒度类别“运动”可以包括的细粒度类别有“足球”、“篮球”、“跑步”等；粗粒度类别“动物”可以包括的细粒度类别有“猫”、“狗”、“鸭”等。进一步的，若将一个细粒度类别作为粗粒度类别，则其还可以包括更细粒度的类别，如，将细粒度类别“猫”作为粗粒度类别，则其可以包括的更细粒度类别有“波斯猫”、“蓝猫”、“埃及猫”等。这就使得粗细力度类别之间形成一种树状结构。

通过粗细粒度类别的划分可以看出，粗粒度类别的标注难易度较低，因此，可以先使得所有训练图像首先归类到对应的粗粒度类别下，即可以通过人工、机器标注的方式，为每个训练图像标注一个粗粒度类别，由于粗粒度类别的标注难易度较低，使得所需成本和计算资源较少。

步骤102、将所述训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值。

其中，所述目标已标注训练图像为所述训练图像中标注有细粒度类别的训练图像，所述未标注训练图像的粗粒度类别与所述目标已标注训练图像的粗粒度类别相同。

在本发明实施例中，在对每个训练图像进行粗粒度类别的标注后，可以进一步依据每个粗粒度类别包含的每个细粒度类别，添加对应的模板，使得该模板可以用于精确反映该细粒度类别的特性，即针对每个细粒度类别，从训练图像中选取至少一个训练图像作为该细粒度类别的模板，使得选取的训练图像与对应的细粒度类别可以构成已标注训练图像。其中，已标注训练图像可以仅占所有训练图像的少部分，如、5％、10％，使得已标注训练图像的生成过程消耗的计算资源和所需成本较少。

另外，最基本保证每个细粒度类别对应有一个训练图像，在预算和计算资源充足的情况下，每个细粒度类别可以对应有多个训练图像。

例如，针对粗粒度类别“动物”包括的细粒度类别：“猫”、“狗”、“鸭”，可以为细粒度类别“猫”对应设置至少一张内容为猫的训练图像作为模板；为细粒度类别“狗”对应设置至少一张内容为狗的训练图像作为模板；为细粒度类别“鸭”对应设置至少一张内容为鸭的训练图像作为模板

具体的，在确定了每个细粒度类别各自对应的已标注训练图像之后，训练图像中还存在较多数量的未标注训练图像，此时可以将该未标注训练图像与同一粗粒度分类下的所有细粒度分类对应目标已标注训练图像进行相似度计算，目标已标注训练图像即为细粒度分类对应的作为模板的训练图像。相似度值越大，说明该未标注训练图像与目标已标注训练图像对应的细粒度类别匹配的几率越大；相似度值越小，说明该未标注训练图像与目标已标注训练图像对应的细粒度类别匹配的几率越小。其中，计算未标注训练图像与目标已标注训练图像的相似度值，可以通过计算未标注训练图像的图像特征与目标已标注训练图像的图像特征之间的相似度值来实现。

例如，一张未标注图像的粗粒度类别为“动物”，则该未标注图像可以与粗粒度类别“动物”包括的细粒度类别：“猫”、“狗”、“鸭”分别对应的已标注训练图像进行相似度计算，得到该未标注图像与细粒度类别“猫”、“狗”、“鸭”分别对应的已标注训练图像之间的相似度值，假设该未标注图像为猫，则该未标注图像与细粒度类别“猫”对应的已标注训练图像之间的相似度会较大。

步骤103、根据所述相似度值，确定所述未标注训练图像的细粒度类别。

在本发明实施例中，与未标注训练图像的相似度值最大的目标已标注训练图像，可以认为是与未标注训练图像内容最接近的图像，因此，优选的，与未标注训练图像的相似度值最大的目标已标注训练图像的细粒度类别，也即为与该未标注训练图像最匹配的细粒度类别，可以利用该细粒度类别作为该未标注训练图像的标注类别，直至完成所有训练图像的标注。

综上，本发明实施例提供的一种图像标注方法，包括：获取训练图像，训练图像标注有粗粒度类别；将训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值；目标已标注训练图像为训练图像中标注有细粒度类别的训练图像，未标注训练图像的粗粒度类别与目标已标注训练图像的粗粒度类别相同；根据相似度值，确定未标注训练图像的细粒度类别。在本发明中，基于粗细粒度类别的划分，仅需要前期标注少量的训练图像的细粒度类别，即可在无监督模式下，快速、准确的得到其他未标注训练图像的细粒度类别，以通过较低成本，有效提升标注准确率和效率。

图2是本发明实施例提供的一种图像标注方法的具体步骤流程图，如图2所示，该方法可以包括：

步骤201、获取训练图像，所述训练图像标注有粗粒度类别。

该步骤具体可以参照上述步骤101，此处不再赘述。

步骤202、通过预设的目标网络模型，提取所述未标注训练图像的第一图像特征。

步骤203、通过所述目标网络模型，提取所述已标注训练图像的第二图像特征。

在本发明实施例中，图像是一种高维度的数据，直接对图像数据进行相似度计算会导致计算难度和消耗计算资源较大，因此，本发明实施例可以通过目标网络模型提取图像的图像特征，并基于低维度或高维度的图像特征数据实现相似度计算。即通过预设的目标网络模型，提取未标注训练图像的第一图像特征，以及提取已标注训练图像的第二图像特征。

具体的，特征是某一类对象区别于其他类对象的相应特点或特性，或是这些特点和特性的集合，特征是通过测量或处理能够抽取的数据，特征提取的主要目的是降维，且其主要思想是将原始图像样本投影到一个低维特征空间，得到最能反应图像样本本质或进行图像样本区分的低维图像样本特征。

对于训练图像而言，每一幅训练图像都具有能够区别于其他类训练图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如矩、直方图以及主成份等，在本申请实施例中，图像特征可以通过特征向量表达式进行表达，如，f＝{x1，x2…xn}，常见的图像特征提取方法包括：(1)几何法特征提取，几何法是建立在图像纹理基元理论基础上的一种纹理特征分析方法。(2)模型法特征提取，模型法以图像的构造模型为基础，采用模型的参数作为纹理特征，例如卷积神经网络模型。(3)信号处理法特征提取，纹理特征的提取与匹配主要有：灰度共生矩阵、自回归纹理模型、小波变换等。

步骤204、将所述未标注训练图像的第一图像特征与所述目标已标注训练图像的第二图像特征进行相似度计算，得到所述相似度值。

其中，所述目标已标注训练图像为所述训练图像中标注有细粒度类别的训练图像，所述未标注训练图像的粗粒度类别与所述目标已标注训练图像的粗粒度类别相同。

在该步骤中，可以将未标注训练图像的第一图像特征与目标已标注训练图像的第二图像特征进行相似度计算，将二者的相似度值作为未标注训练图像与目标已标注训练图像的相似度值。

具体的，由于第一图像特征和第二图像特征都为向量形式，因此第一图像特征和第二图像特征的相似度值可以通过二者的向量距离来反映，二者间的向量距离越大，说明二者相似度值越小，二者间的向量距离越小，说明二者相似度值越大。

可选的，相似度值包括所述第一图像特征与所述第二图像特征之间的余弦距离值、欧式距离值中的任意一种。在具体实现中，可以采用余弦距离值、欧式距离值等作为第一图像特征与第二图像特征之间的相似度值。

可选的，可以从目标知识图谱中，获取所述细粒度类别与所述粗粒度类别之间的树状所属关系。

在本发明实施例中，可以对训练图像的类别进行粗细粒度的划分，其中粗粒度类别是指层级和涵盖范围较大的类别，细粒度类别可以所属于对应的粗粒度类别，是一种层级和涵盖范围较小的类别，粗细力度类别之间形成一种树状结构。

具体的，知识图谱(Knowledge Graph)，用于反映知识发展进程与结构关系，知识图谱涵盖了自然界各种实体之间的关联关系，通过提取知识图谱中的树状结构关系，可以得到本发明实施例所需的细粒度类别与粗粒度类别之间的树状所属关系。另外，细粒度类别与粗粒度类别之间的树状所属关系也可以根据实际应用场景的特征独立进行建立。

步骤205、将与所述未标注训练图像的相似度值最大的目标已标注训练图像的细粒度类别，作为所述未标注训练图像的标注类别。

在本发明实施例中，与未标注训练图像的相似度值最大的目标已标注训练图像，可以认为是与未标注训练图像内容最接近的图像，因此，优选的，与未标注训练图像的相似度值最大的目标已标注训练图像的细粒度类别，也即为与该未标注训练图像最匹配的细粒度类别，可以利用该细粒度类别作为该未标注训练图像的标注类别，直至完成所有训练图像的标注。

可选的，步骤205之后还可以包括：

步骤206、将所述训练图像与所述细粒度类别的对应关系作为训练数据，对深度学习模型进行训练，得到目标深度学习模型。

在本发明实施例中，图像的分类是指将图像输入目标深度学习模型，从而使得目标深度学习模型输出该图像的精确类别，为了让目标深度学习模型具备该功能，需要利用训练数据对深度学习模型进行训练。

训练数据是指预先收集的较多数量的训练图像，以及对每个训练图像实现的真实类别标注，通过将标注的训练图像输入深度学习模型，并利用深度学习模型输出的结果与该训练图像真实的类别标注，求解差异度，再利用预设的损失函数即可实现对深度学习模型的参数优化，通过多轮迭代，直至差异值小于较小的阈值时，完成深度学习模型的训练，得到目标深度学习模型，使得目标深度学习模型具备图像分类的功能。

综上，本发明实施例提供的一种图像标注方法，包括：获取训练图像，训练图像标注有粗粒度类别；将训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值；目标已标注训练图像为训练图像中标注有细粒度类别的训练图像，未标注训练图像的粗粒度类别与目标已标注训练图像的粗粒度类别相同；根据相似度值，确定未标注训练图像的细粒度类别。在本发明中，基于粗细粒度类别的划分，仅需要前期标注少量的训练图像的细粒度类别，即可在无监督模式下，快速、准确的得到其他未标注训练图像的细粒度类别，以通过较低成本，有效提升标注准确率和效率。

图3是本发明实施例提供的一种图像标注装置的结构框图，如图3所示，该装置可以包括：

第一确定模块301，用于获取训练图像，所述训练图像标注有粗粒度类别。

相似度模块302，用于将所述训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值；所述目标已标注训练图像为所述训练图像中标注有细粒度类别的训练图像，所述未标注训练图像的粗粒度类别与所述目标已标注训练图像的粗粒度类别相同；

可选的，所述相似度模块302，包括：

相似度子模块，用于将所述未标注训练图像的第一图像特征与所述目标已标注训练图像的第二图像特征进行相似度计算，得到所述相似度值。

可选的，所述相似度模块302还可以包括：

第一提取子模块，用于通过预设的目标网络模型，提取所述未标注训练图像的第一图像特征；

第二提取子模块，用于通过所述目标网络模型，提取所述已标注训练图像的第二图像特征。

可选的，所述相似度值包括所述第一图像特征与所述第二图像特征之间的余弦距离值、欧式距离值中的任意一种。

标注模块303，用于根据所述相似度值，确定所述未标注训练图像的细粒度类别。

可选的，所述标注模块303包括：

标注子模块，用于将与所述未标注训练图像的相似度值最大的目标已标注训练图像的细粒度类别，作为所述未标注训练图像的细粒度类别。

可选的，所述装置还可以包括：

训练模块，用于将所述训练图像与所述细粒度类别的对应关系作为训练数据，对深度学习模型进行训练，得到目标深度学习模型。

可选的，所述装置还可以包括：

提取模块，用于从目标知识图谱中，获取所述细粒度类别与所述粗粒度类别之间的树状所属关系。

综上，本发明实施例提供的一种图像标注装置，包括：获取训练图像，训练图像标注有粗粒度类别；将训练图像中的未标注训练图像与目标已标注训练图像进行相似度计算，得到相似度值；目标已标注训练图像为训练图像中标注有细粒度类别的训练图像，未标注训练图像的粗粒度类别与目标已标注训练图像的粗粒度类别相同；根据相似度值，确定未标注训练图像的细粒度类别。在本发明中，基于粗细粒度类别的划分，仅需要前期标注少量的训练图像的细粒度类别，即可在无监督模式下，快速、准确的得到其他未标注训练图像的细粒度类别，以通过较低成本，有效提升标注准确率和效率。

另外，本发明实施例还提供一种装置，具体可以参照图4，该装置600包括处理器610，存储器620以及存储在存储器620上并可在处理器610上运行的计算机程序，该计算机程序被处理器610执行时实现上述实施例的图像标注方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的图像标注方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的图像标注方法的相应步骤，并且用于实现根据本发明实施例的图像标注装置中的相应模块。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。