基于适应标注的物件侦测模型的训练方法及系统

技术领域

本发明涉及一种基于适应标注的物件侦测模型的训练方法及系统。

背景技术

人工智能被广泛地应用在各种领域来进行影像的物件辨识。一般而言，在建立一个合用的基于人工智能的辨识模型时，往往需要使用大量已标注影像对辨识模型进行训练。在一些专业门槛较高的领域中，现行产生已标注影像的方法通常是以人工标注的方式产生。人工智能开发者往往难以修改由专业人员提供的人工标注的已标注影像。举例来说，在医疗影像的标注上，仰赖专业的医师来进行手动标注。医师手动标注的时间成本普遍较一般工读生来得高，导致难以要求医师在标注时以准确尺寸的标记框进行标注。另一方面，基于尊重医疗领域的高度专业，在取得医师手动标注的医疗影像后，不会对标记框进行调整或改动。基于上述种种原因，现有的技术难以有效地使用这类不经修改的手动标注的影像来训练出具有高效能的辨识模型。

发明内容

本发明的第一方面公开一种物件侦测模型的训练系统。训练系统包括一物件侦测模型及一损失计算模块。物件侦测模型用以根据一输入影像产生一输出影像。损失计算模块耦接至物件侦测模型，用以根据输出影像及一解答影像计算一分类损失总和，根据分类损失总和计算一损失值，并将损失值传送至物件侦测模型。分类损失总和根据对应于多个物件类别的多个分类损失计算得到。对应于各物件类别的各分类损失根据一第一参数、一第二参数及一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。

本发明的第二方面公开一种物件侦测模型的训练方法。训练方法包括：提供该物件侦测模型一输入影像，以令该物件侦测模型根据输入影像产生一输出影像；通过一损失计算模块根据输出影像及一解答影像计算一分类损失总和；通过损失计算模块根据分类损失总和计算一损失值；以及通过损失计算模块将损失值传送至物件侦测模型。分类损失总和根据对应于多个物件类别的多个分类损失计算得到。对应于各物件类别的各分类损失根据一第一参数、一第二参数及一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。

本发明的第三方面公开一种物件侦测模型的训练系统。训练系统包括一物件侦测模型、一第一损失计算模块及一第二损失计算模块。物件侦测模型包括一第一子模型及一第二子模型。第一子模型用以根据一输入影像产生一第一输出影像。第二子模型用以根据第一输出影像产生一第二输出影像。第一损失计算模块耦接至第一子模型，用以根据第一输出影像及一解答影像计算一第一分类损失总和，根据第一分类损失总和计算一第一损失值，并将第一损失值传送至第一子模型。第二损失计算模块耦接至第二子模型，用以根据第二输出影像及该解答影像计算一第二分类损失总和，根据第二分类损失总和计算一第二损失值，并将第二损失值传送至第二子模型。第一分类损失总和根据对应于多个物件类别的多个第一分类损失计算得到。对应于各物件类别的各第一分类损失根据一第一参数及一第二参数计算得到。第二分类损失总和根据对应于该些物件类别的多个第二分类损失计算得到。对应于各物件类别的各第二分类损失根据一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。

本发明的第四方面公开一种物件侦测模型的训练方法。训练方法包括：提供物件侦测模型的一第一子模型一输入影像，以令第一子模型根据输入影像产生一输出影像；通过一第一损失计算模块根据第一输出影像及一解答影像计算一第一分类损失总和；通过第一损失计算模块根据第一分类损失总和计算一第一损失值；通过第一损失计算模块将第一损失值传送至第一子模型；通过物件侦测模型的一第二子模型根据第一输出影像产生一第二输出影像；通过一第二损失计算模块根据第二输出影像及解答影像计算一第二分类损失总和；通过第二损失计算模块根据第二分类损失总和计算一第二损失值；以及通过第二损失计算模块将第二损失值传送至第二子模型。第一分类损失总和根据对应于多个物件类别的多个第一分类损失计算得到。对应于各物件类别的各第一分类损失根据一第一参数及一第二参数计算得到。第二分类损失总和根据对应于该些物件类别的多个第二分类损失计算得到。对应于各物件类别的各第二分类损失根据一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。

为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：

附图说明

图1A是理想的已标注影像的示意图；

图1B是实际的已标注影像的示意图；

图2是根据本发明一实施例的物件侦测模型的训练系统的方块图；

图3是根据本发明一实施例的物件侦测模型的训练系统的训练方法的流程图；

图4是根据本发明另一实施例的物件侦测模型的训练系统的方块图；

图5第是根据本发明另一实施例的物件侦测模型的训练系统的训练方法的流程图。

符号说明：

10、50：物件侦测模型

501：第一子模型

502：第二子模型

20、40：训练系统

70：第一损失计算模块

80：第二损失计算模块

90：损失计算模块

IMG-in：输入影像

IMG-out：输出影像

IMG-out1：第一输出影像

IMG-out2：第二输出影像

IMG-sol：解答影像

Loss：损失值

Loss1：第一损失值

Loss2：第二损失值

具体实施方式

为了更容易理解本发明的内容，本文的实施例皆以医疗影像为例来进行说明。需要注意的是，本发明可适用于训练用的解答影像(ground truth)为不可修改或不适合修改的情况，而并不限于医疗影像。

请参照图1A及图1B，图1A及图1B分别绘示理想的已标注影像的示意图及实际的已标注影像的示意图。说明本发明的实施例之前，先通过理想的已标注影像的示意图及实际的已标注影像的示意图的比较来说明现有技术面临的问题。

在图1A及图1B中，AA为第一物件，BB为第二物件，CC为第三物件，DD为第四物件。aa、aa1、aa2为用来标注第一病征的标记框，bb为用来标注第二病征的标记框，cc为用来标注第三病征的标记框，dd为用来标注第四病征的标记框。比较图1A及图1B可以发现实际的标注影像存在以下问题：

(1)标注不确实：病征可能会群聚出现，医师在标注时可能会将多个相同病征以单一标记框进行标注(例如图1B右侧三个第一物件AA仅以单一标记框aa1标注)。

(2)标记框偏移：病征尺寸较小时，医师标注的标记框可能未紧贴病征，甚至未完整将病征框入标记框中(例如图1B中左上角用以标注第一病征的标记框aa2未将第一物件AA完整框入)。

(3)标注遗漏：医师在标注时可能因类似病征数量过多而仅标注部分相似病征(例如图1B左侧的第一物件AA未以标记框进行标注)。

除了上述可通过图1A及图1B显示的问题以外，实际的已标注影像还存在(4)相似病征判定因人而异：不同的医师对于同一个病征可能有不同的判定。在实际的情况中，训练所需的已标注影像的数量通常为上千张，并由多位专业医师提供，而使得病征判定的标准不一致。举例来说，假设图1A中的第三物件CC在表现上相似于第一物件AA。大部分医师是以标记框cc来标注第三物件CC，少部分医师则是以标记框aa来标注第三物件CC。也就是大部分的医师会将第三物件CC判定为第三病征，而少部分的医师会将第三物件CC判定为第一病征。

本发明提出的训练方法及系统可以降低上述问题在训练物件侦测模型时产生的不良影响。

请参照图2，图2绘示的是根据本发明一实施例的物件侦测模型的训练系统的方块图。训练系统20包括一物件侦测模型10及一损失计算模块90。

物件侦测模型10可为单一阶段(one stage)的一类神经网路架构，并可通过计算机可读指令的组合来实现用以侦测物件及分类物件的演算法。在一实施例中，物件侦测模型10可以采用现有技术中适用的各种物件侦测模型。在另一实施例中，物件侦测模型10也可以采用各种经过改良的现有技术的物件侦测模型。换言之，本发明对于物件侦测模型10未加以限定。物件侦测模型10是用以根据一输入影像IMG-in产生一输出影像IMG-out。输入影像IMG-in可包括多个物件，例如是无标记框的图1A，即原始的医疗影像。物件侦测模型10会根据所使用的演算法来侦测输入影像IMG-in中物件，并将侦测出的物件以标记框标注，且每个标记框包括用以指示所框选的物件的一物件类别，以产生输出影像IMG-out。

损失计算模块90耦接至物件侦测模型10。损失计算模块90可通过计算机可读指令的组合来实现。损失计算模块90用以接收输出影像IMG-out及一解答影像IMG-sol，并根据输出影像IMG-out、解答影像IMG-sol及一损失函数(loss function)计算一损失值Loss。解答影像IMG-sol对应于输入影像IMG-in。解答影像IMG-sol为已标注的输入影像IMG-in，可视为输入影像IMG-in在经过标注后的正确答案(ground truth)。在一实施例中，解答影像IMG-sol可以是由医师手动标注的医疗影像。这样的影像可能会因存在前述的(1)-(4)的问题而在训练物件侦测模型10时(即训练阶段)产生不良的影响。损失计算模块90会将损失值传送至物件侦测模型10。物件侦测模型10可根据损失值调整物件侦测模型10的一或多个参数，以提升病征侦测的准确度。损失函数及损失值的细节将于下文说明。

在一实施例中，物件侦测模型10及损失计算模块90可储存于一存储器中，并由一处理器执行。处理器执行物件侦测模型10输出的输出影像IMG-out可储存至存储器中，且在处理器执行损失计算模块90时再从存储器中读取输出影像IMG-out，并将计算得到的损失值储存至存储器。

在一实施例中，损失值是根据一分类损失(classification loss)总和及一标记框损失(regulaion loss)总和计算得到，损失函数可以数学式表示为：

在本实施例中，用以计算对应于物件类别i的分类损失的分类损失函数可表示为：

需要注意的是，本发明不限定于使用此算式。上述数学式中p为信心度，代表物件侦测模型10对于以物件类别i的标记框标注的物件确实为的物件类别i的确定程度(每一个标记框会有一个对应的信心度)，为物件侦测模型10输出的不小于0且不大于1的一实数；β为第一参数，对应于输出影像中物件类别i的标记框有框选到应判断为物件类别i的物件时的惩罚分数，为一正实数；(1-β)对应于物件类别i的标记框未框选到应判断为物件类别i的物件时的惩罚分数；ε为第二参数，为用以判断输出影像中物件类别i的标记框是否有框选到物件类别i的物件的一阈值，为一正实数；Δε为容忍值，为一正实数；δ

上述所谓的正样本指的是物件侦测模型10所要侦测的物件类别i的物件，负样本指的是物件侦测模型10所要侦测的物件类别i以外的物件或背景等(即所要侦测的病征以外的组织如正常的血管及肌肉等)。

第三参数δ

其中w

在一实施例中，物件类别的数量L为4，包括第一病征Le1、第二病征Le2、第三病征Le3及第四病征Le4。权重矩阵为：

为了方便说明，以下以表格的方式说明权重矩阵。

表一

当在计算输出影像中物件类别Le1的分数加权时，会根据输出影像中物件类别Le1所框选的内容进行计算。举例来说，当输出影像中物件类别Le1的标记框框选到解答影像中所认定的第一病征、第二病征及第四病征时，δ

需要注意的是，第三参数的计算除了通过权重矩阵，也可以通过查表来进行。例如可权重矩阵可以以类似表一的权重表来替代，在计算第三参数时通过读取表格中对应的栏位来取得需要的权重。

第二参数ε可以根据整体的解答影像集合(包括解答影像及其他的解答影像)的标记框与对象(或理想的标记框)之间的差异来决定。举例来说，可以藉由计算整体的解答影集合的标记框与对象(或理想的标记框)的联集分之交集，并据以调整第二参数来适应。现有技术中，通常会将ε设为0.5，且不会设定容忍值Δε，即Δε为0。而本实施例中，通过降低ε的值来适应较低的负样本与正样本的比例，例如将ε降低至0.4，来放宽物件侦测模型10标注的标记框是正确标注的门槛。并且通过加入容忍值Δε，例如将Δε设定为0.1，来排除不良样本。通过设定第二参数及容忍值可以有效降低(1)标注不确实及(2)标记框偏移的问题在训练阶段产生的不良影响。

此外，由于解答影像可能存在未被标注的正样本，故本实施例通过提高第一参数β，例如将β设定为0.75，使得物件侦测模型10标注正样本的惩罚分数高于不标注正样本的惩罚分数，来强化正样本的学习。从而鼓励物件侦测模型10标注正样本，如此一来可以有效降低(3)标注遗漏在训练阶段产生的不良影响。第一参数可以根据解答影像与其他解答影像中已被标注的正样本与未被标注的正样本的比例来决定。

请参照图3，图3绘示根据本发明一实施例的物件侦测模型的训练方法的流程图。图3的训练方法可应用于图2的训练系统20。

S301中，提供一输入影像至物件侦测模型。

S303中，物件侦测模型根据输入影像产生一输出影像。

S305中，损失计算模块根据输出影像及解答影像计算一分类损失总和及一标记框损失总和，并根据一分类损失总和及一标记框损失总和计算一损失值。分类损失总和为对应于多个物件类别的多个分类损失的总和。对应于各个物件类别的分类损失根据一第一参数、一第二参数及一第三参数计算得到。第一参数、第二参数及第三参数的细节可参考前文所述。

S307中，物件侦测模型根据损失值决定是否调整物件侦测模型的一或多个参数。

S309中，判断物件侦测模型是否已训练完成。若是，结束此流程；若否，回到S301。

请参照图4，图4绘示的是根据本发明另一实施例的物件侦测模型的训练系统的方块图。训练系统40包括一物件侦测模型50、一第一损失计算模块70及一第二损失计算模块80。

物件侦测模型50包括一第一子模型501及一第二子模型503。物件侦测模型50可为两阶段(two stage)的一类神经网路架构，并可通过计算机可读指令的组合来实现用以侦测物件的演算法。第一子模型501用以分离前景及背景，可以采用现有技术中适用的各种前背景分离模型或各种经过改良的现有技术的前背景分离模型。第二子模型502用以分类物件，可以采用现有技术中适用的各种物件分类模型或各种经过改良的现有技术的前背景分离模型。

第一子模型501用以根据一输入影像IMG-in产生一第一输出影像IMG-out1。输入影像IMG-in可包括多个物件，例如是无标记框的图1A，即原始的医疗影像。第二子模型502用以根据第一输出影像IMG-out1输出一第二输出影像IMG-out2。

第一损失计算模块70耦接至第一子模型501，用以根据第一输出影像IMG-out1、解答影像IMG-sol及一第一损失函数计算一第一损失值Loss1，并将第一损失值Loss1传送至第一子模型501。

第二损失计算模块80耦接至第二子模型502，用以根据第二输出影像IMG-out2、解答影像IMG-sol及一第二损失函数计算一第二损失值Loss2，并将第二损失值Loss2传送至第二子模型502。

第一损失值Loss1可根据一第一分类损失总和及一第一标记框损失总和计算得到。第一损失函数可以数学式表示为：

在本实施例中，用以计算对应于物件类别i的第一分类损失的第一分类损失函数可表示为：

需要注意的是，本发明不限定于使用此算式。上述数学式中anchor1-i代表的是第一输出影像IMG-out1中用以标注物件类别i的标记框，其余参数可参考前文说明。

第二损失值Loss2可根据一第二分类损失总和及一第二标记框损失总和计算得到，第二损失函数可以数学表示为：

在本实施例中，用以计算对应于物件类别i的第二分类损失的第二分类损失函数可表示为：

本发明不限定于使用此算式。上述数学式中anchor2-i代表的是第一输出影像IMG-out1中用以标注物件类别i的标记框；在本实施例中，ε1等于ε，ε2等于ε-Δε，其余参数可参考前文说明。

在本实施例中，第一损失计算模块70是根据第一参数及第二参数来计算第二损失值，而第二损失计算模块80是根据第二参数及第三参数来计算第二损失值。换言之，第一损失计算模块70可降低前述(1)、(2)、(3)的问题在训练阶段产生的不良影响，而第二损失计算模块80可降低前述(4)的问题在训练阶段产生的不良影响。

需要注意的是，在替代的实施例中，ε1等于ε，ε2等于ε。在另一个替代的实施例中，ε1可以不等于ε，而ε2等于ε1。也就是说，基于第二损失模块80主要是强化训练第二子模型502对于相似病征的辨识，故第二损失计算模块80判断正样本的标准可不同于第一损失计算模块70。

请参照图5，图5绘示根据本发明一实施例的物件侦测模型的训练方法的流程图。图5的训练方法可应用于图4的训练系统40。

S501中，提供一输入影像至物件侦测模型。

S503中，物件侦测模型的一第一子模型根据输入影像产生一第一输出影像。

S505中，第一损失计算模块根据第一输出影像及解答影像计算一第一分类损失总和及一第一标记框损失总和，并根据第一分类损失总和及第一标记框损失总和计算一第一损失值。第一分类损失总和为对应于多个物件类别的多个第一分类损失的总和。对应于各个物件类别的第一分类损失是根据一第一参数及一第二参数计算得到。第一参数及第二参数的细节可参考前文所述。

S507中，物件侦测模型根据第一损失值决定是否调整第一子模型的一或多个参数。

S509中，物件侦测模型的一第二子模型根据第一输出影像产生一第二输出影像。

S511中，第二损失计算模块根据第二输出影像及解答影像计算一第二分类损失总和及一第二标记框损失总和，并根据第二分类损失总和及第二标记框损失总和计算一第二损失值。第二分类损失总和为对应于多个物件类别的多个第二分类损失的总和。对应于各个物件类别的第二分类损失是根据一第三参数计算得到。第三参数的细节可参考前文所述。

S513中，物件侦测模型根据第二损失值决定是否调整第二子模型的一或多个参数。

S515中，判断物件侦测模型是否已训练完成。若是，结束此流程；若否，回到S501。

本发明提出的训练系统及训练方法可以适应各类专业领域的解答影像不可修改或不适合修改的特性。例如在医疗领域中，在不更动专业医师提供的解答影像中的标注的前提下，本发明通过放宽病征的正样本学习条件、病征正样本训练强化以及区隔学习相似病征区域可以有效降低(1)标注不确实、(2)标记框偏移、(3)标注遗漏及、(4)相似病征判定因人而异等问题在训练阶段造成的不良影响。

综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本领域技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰。因此，本发明的保护范围当视所附的权利要求所界定的为准。