超声图像标签处理方法、装置、超声设备及存储介质

技术领域

本发明涉及超声图像处理技术领域，尤其涉及一种超声图像标签处理方法、装置、超声设备及存储介质。

背景技术

在超声应用中，图像分割是一个重点领域，不管是心脏对腔室的分割，还是乳腺对结节的分割，或者其他部位的应用，分割是工程师及临床医生最为关心的应用，精确的自动图像分割能够极大地提高医生的操作效率、诊断效率及精确度，因此，不同超声图像分割技术不断被提出来。近年来，自然图像的深度学习技术的迅速发展，使得超声领域的主流技术也迅速转向深度学习技术在超声领域中的应用，但与自然图像相比，深度学习在超声图像中的应用有一些天然的不足，其中一个重要的问题就是欠缺精确的标签数据集。由于目前深度学习的主流是全监督与半监督式的机器学习任务(无监督目前效果不够好)，标签数据集的质量极大的影响深度学习方法的效果。超声图像由于其较低的信噪比，模糊不清的边界特征，复杂的扫查面结构变化，使得即使是经验颇丰的专业医师在标注图像分割的结构边界时，也往往难以准确判断，一般需要反复观看一帧图像的前后视频帧，来辅助判断超声图像的结构边界到底在何处。但这种通过视频来标注方式需要借助前后视频帧来辅助识别当前视频帧进行标注，无法依据当前视频帧进行标注。也就是说，很可能当前超声图像中确实是没有足够的边界信息，在这种情况下，后续的训练想要学习到这种边界特征就会变得比较缺乏说服力。

总的来说，当前在超声图像分割的数据标注问题来说，主要的缺陷是两个，一个是标注的准确度，一个是标注的效率。目前深度学习在图像分割上的主流标注手段是对每个像素点赋予一个非零即一的数值，使图像完全二值化，１代表是某种结构，0代表不是某种结构，这种非零即一的判定给标注医生造成困扰，也实际上在超声图像中经常会难以下这种绝对的非零即一的判断。为了克服这个问题，研究者事实上已经提出了一种比较好的思路，即标签平滑方案，通过标签平滑，通过使医生标注时不用过于拘泥具体像素的分类，可以是从整体上迅速给出一个区域判断，而且由于标签平滑后，不再非零即一，通过模糊化使标签完全错误的风险大为降低，也能使模型能够学习到更好的图像特征，带来更强的泛化能力。

当前，标签平滑技术主要有两类，一是通过简单的局域加权(如高斯平滑)来获取连续变化的标签，这种方案过于简单，虽然可实现标签平滑，但平滑方式与图像结构的实际意义往往缺乏足够的关联，因此效果难以保证；二是通过一个基础模型基于原本的硬标签进行训练得到，即利用基础模型对原本的数据集进行一轮处理，得到一些平滑的关联信息，思路很好，但是由于仍然是基于一个很可能有错的硬标签进行训练的，因此得到的平滑标签的可靠性较低，且基础模型训练也增加工程的复杂性。

发明内容

本发明实施例提供一种超声图像标签处理方法、装置、超声设备及存储介质，以解决超声图像标注的准确度和效率较低的问题。

一种超声图像标签处理方法，包括：

获取原始超声图像和所述原始超声图像对应的原始标签图像；

对所述原始超声图像进行特征提取，获取所述原始超声图像对应的图像特征；

对所述原始标签图像进行解剖约束提取，获取所述原始标签图像对应的原始约束信息；

基于所述原始超声图像对应的图像特征，对所述原始标签图像对应的原始约束信息进行极限优化，获取内极限边界和外极限边界；

对所述内极限边界和所述外极限边界进行区域平滑处理，确定所述原始超声图像对应的目标标签图像。

一种超声图像标签处理装置，包括：

原始图像获取模块，用于获取原始超声图像和所述原始超声图像对应的原始标签图像；

图像特征获取模块，用于对所述原始超声图像进行特征提取，获取所述原始超声图像对应的图像特征；

原始约束信息获取模块，用于对所述原始标签图像进行解剖约束提取，获取所述原始标签图像对应的原始约束信息；

极限边界获取模块，用于基于所述原始超声图像对应的图像特征，对所述原始标签图像对应的原始约束信息进行极限优化，获取内极限边界和外极限边界；

目标标签图像获取模块，用于对所述内极限边界和所述外极限边界进行区域平滑处理，确定所述原始超声图像对应的目标标签图像。

一种超声设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述超声图像标签处理方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述超声图像标签处理方法。

上述超声图像标签处理方法、装置、超声设备及存储介质，提取原始超声图像的图像特征和原始标签图像的原始约束信息，再基于图像特征对原始标签图像对应的原始约束信息进行极限优化处理，获取两个极限边界；再对两个极限边界进行区域平滑处理，将平滑处理后的平滑标签，确定原始超声图像对应的目标标签图像，以将原始标签图像上的不够可靠的硬标签，转化为目标标签图像上的更加符合实际的平滑标签，以方便后续利用原始超声图像和目标标签图像进行模型训练，提升模型训练的准确率，并且由于不再特别强调原始标签图像上的硬标签的精确度，也会降低标注医师的工作量，提升标注工作效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中超声设备的一示意图；

图2是本发明一实施例中超声图像标签处理方法的一流程图；

图3是图2中步骤S202的一流程图；

图4是图2中步骤S202的另一流程图；

图5是图2中步骤S203的一流程图；

图6是图2中步骤S204的一流程图；

图7是图6中步骤S603的一流程图；

图8是图7中步骤S701的一流程图；

图9是图7中步骤S702的一流程图；

图10是图2中步骤S205的一流程图；

图11是本发明一实施例中超声图像标签处理装置的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的超声图像标签处理方法，该超声图像标签处理方法可应用如图1所示的超声设备中，超声设备包括主控制器和与主控制器相连的超声探头、波束合成处理器、图像处理器和显示屏。

主控制器为超声设备的控制器，主控制器与超声设备中的其他功能模块相连，包括但不限于超声探头、波束合成处理器、图像处理器和显示屏等功能模块相连，用于控制各个功能模块工作。

超声探头是超声波的发射和接收装置。本示例中，为了保证不同角度的超声图像都能够有较大的横向扫描覆盖范围，即保证不同角度的超声图像有较大的交叠范围，现有超声探头一般由若干大小相同的长条形压电换能器（每单个压电换能器称为阵元）等间隔排列组成；或者将多个压电换能器是呈二维阵列，即阵元排列成二维矩阵形状。超声探头内的压电换能器将施加在其上的电压脉冲激励转换成机械振动，从而对外发出超声波；超声波在人体组织等媒介中传播，会产生反射波和散射波等回波模拟信号，各个压电换能器可将回波模拟信号转换成回波电信号，对回波电信号进行放大和模数转换，转换成回波数字信号，再将回波数字信号发送给波束合成处理器。

波束合成处理器与超声探头相连，用于接收超声探头发送的回波数字信号，对一个或多个通道的回波数字信号进行波束合成，获取一路或多路回波合成信号，将回波合成信号发送给图像处理器。

图像处理器与波束合成处理器相连，用于接收波束合成处理器发送的回波合成信号，对回波合成信号进行图像合成，获取原始超声图像，再对原始超声图像进行空间复合等图像处理过程，形成复合超声图像；再对复合超声图像进行增益调节和动态变换，以获取目标超声图像。

一般来说，超声探头采用线扫描模式进行扫描，即每次发射只启用部分阵元激励超声波，形成一个角度超声波发射。相邻两次发射超声波之间，其发射中心会有所偏移，即启用的阵元中心位置会有所偏移，经过多次发射之后，使得超声波能够完整覆盖到全部成像区域。

作为一示例，图像处理器可以为显卡处理器（即Graphics Processing Unit，以下简称GPU），是专为执行复杂图形渲染所必需的数学和几何计算而设计的处理器，有助于提高目标超声图像的生成效率。本示例中，采用图像处理器专用于图像处理，使得主控制器从图像处理的任务中解放出来，可执行更多系统任务，有助于提高超声设备的整体性能。

在一实施例中，提供一种超声图像标签处理方法，以该方法应用在图1所示的图像处理器为例，该方法包括如下步骤：

S201：获取原始超声图像和原始超声图像对应的原始标签图像；

S202：对原始超声图像进行特征提取，获取原始超声图像对应的图像特征；

S203：对原始标签图像进行解剖约束提取，获取原始标签图像对应的原始约束信息；

S204：基于原始超声图像对应的图像特征，对原始标签图像对应的原始约束信息进行极限优化，获取内极限边界和外极限边界；

S205：对内极限边界和外极限边界进行区域平滑处理，确定原始超声图像对应的目标标签图像。

其中，原始数据集是指需要进行图像分割处理的数据集。原始超声图像是指需要进行图像分割处理的超声图像，可以为一般意义上看见的超声图像。原始标签图像是指对原始超声图像进行初始分割的多值图像，例如，如果原始超声图像只分割出一个目标结构，则其为0和1的二值图像；如果原始超声图像能分割出两个目标结构，则其0、1和2的三值图像，其中，0指背景，大于0的数值表征不同目标结构。

作为一示例，步骤S201中，图像处理器可获取需要进行图像分割处理的原始数据集，该原始数据集中包括至少一个原始超声图像以及每一原始超声图像对应的原始标签图像。

作为一示例，步骤S202中，图像处理器可对原始超声图像进行特征提取，具体采用局域统计方式，从原始超声图像中提取其对应的图像特征。本示例中，图像处理器可对原始超声图像中的每一目标像素点进行特征提取，具体先确定以该目标像素点为中心，基于特定的邻域半径确定邻域图像块；然后，可对该邻域图像块中所有像素点对应的图像特征进行统计分析，以将统计分析结果确定为该目标像素点的图像特征。

其中，原始约束信息是指对原始标签图像中用于表征某一目标结构的位置的信息。

作为一示例，步骤S203中，由于原始标签图像为二值图或者多值图，包括1个背景标签和至少一个目标结构对应的结构标签，图像处理器在获取到原始标签图像后，可根据至少一个目标结构对应的结构标签，确定每一目标结构对应的结构标签所限定的结构边界，可确定该结构边界对应的边界位置信息，将该边界位置信息确定为该目标结构对应的原始约束信息。

作为一示例，步骤S204中，由于原始标签图像中的背景标签和至少一个目标结构对应的结构标签是不精确的标签信息，为了提升标签信息的精确性，需对该目标结构对应的原始约束信息进行极限优化，具体中基于该目标结构对应的原始约束信息所限定的结构边界分别向内收缩和向外扩展，具体沿目标结构的结构中心与原始约束信息所限定的极限优化射线方向进行向内收缩和向外扩展，分别获取内极限约束信息和外极限约束信息；然后，基于每一目标像素点的图像特征，对内极限约束信息和外极限约束信息进行极化优化评估，以评估内极限约束信息和外极限约束信息是否满足预设要求，若满足预设要求，则基于内极限约束信息确定内极限边界，基于外极限约束信息确定外极限边界。此处的内极限约束信息是指对原始约束信息进行向内收缩所形成的约束信息，是内极限边界对应的像素坐标；相应地，内极限边界为对目标结构的结构边界向内收缩形成的新的边界，为一个几何图像。外极限约束信息是指对原始约束信息向外扩展所形成的约束信息，是外极限边界对应的像素坐标；相应地，外极限边界为对目标结构的结构边界向外扩展形成的新的边界。

作为一示例，步骤S205中，图像处理器在获取内极限边界和外极限边界后，可将内极限边界的内标签值设置为第一阈值（如1），将外极限边界的外标签值设置为第二阈值（如0）；接着，在内极限边界和外极限边界之间，沿每条极限优化射线方向进行等分插值，等分插值后的第一插值标签为介于第一阈值和第二阈值之间的数值；再基于所确定的第一插值标签，对非极限优化射线上的进行线性插值处理，以获取平滑处理后的第二插值标签，可基于第一插值标签和第二插值标签，确定原始超声图像对应的目标标签图像。此处的第二插值标签可理解地介于相邻两条极限优化射线、内极限边界和外极限边界之间形成的标签，是介于第一阈值和第二阈值之间的数值，使得标签之间更具有柔和性，且符合解剖约束所限定的边界需求，可保障标签结果的准确性。

本实施例中，提取原始超声图像的图像特征和原始标签图像的原始约束信息，再基于图像特征对原始标签图像对应的原始约束信息进行极限优化处理，获取两个极限边界；再对两个极限边界进行区域平滑处理，将平滑处理后的平滑标签，确定原始超声图像对应的目标标签图像，以将原始标签图像上的不够可靠的硬标签，转化为目标标签图像上的更加符合实际的平滑标签，以方便后续利用原始超声图像和目标标签图像进行模型训练，提升模型训练的准确率，并且由于不再特别强调原始标签图像上的硬标签的精确度，也会降低标注医师的工作量，提升标注工作效率。

在一实施例中，如图3所示，步骤S202，即对原始超声图像进行特征提取，获取原始超声图像对应的图像特征，包括：

S301：获取原始超声图像中，每一目标像素点的邻域图像块；

S302：对每一目标像素点的邻域图像块中所有像素点对应的像素灰度值进行局域统计，确定每一目标像素点对应的局域灰度均值和局域灰度方差；

S303：基于所有目标像素点对应的局域灰度均值和局域灰度方差，获取原始超声图像对应的图像特征。

其中，目标像素点是指原始超声图像中需要进行局域统计的像素点，可以为原始超声图像中的任一像素点。

作为一示例，步骤S301中，图像处理器可基于预先设置的邻域半径，以目标像素点为中心，确定每一目标像素点对应的邻域图像块。例如，邻域半径为3，某一目标像素点A的坐标为(Xi,Yj),则其所确定的邻域图像块为(Xi-1,Yj+1)、(Xi,Yj+1)、(Xi+1,Yj+1)、(Xi-1,Yj)、(Xi,Yj)、(Xi+1,Yj)、(Xi-1,Yj-1)、(Xi,Yj-1)和(Xi+1,Yj-1)这9个像素点所形成的局部区域。

作为一示例，步骤S302中，图像处理器在确定每一目标像素点对应的邻域图像块后，可对该邻域图像块中所有像素点对应的像素灰度值进行局域统计，具体可采用均值公式对所有所有像素点对应的像素灰度值进行计算，以确定该目标像素点的邻域图像块对应的局域灰度均值；并采用方差公式对所有所有像素点对应的像素灰度值进行计算，以确定该目标像素点的邻域图像块对应的局域灰度方差。

作为一示例，步骤S303中，图像处理器可将所有目标像素点的邻域图像块对应的局域灰度均值和局域灰度方差，确定为该原始超声图像对应的图像特征。

本实施例中，先确定每一目标像素点对应的邻域图像块，再对该邻域图像块中所有像素点对应的像素灰度值进行均值和方差统计，以将其所确定的局域灰度均值和局域灰度方差，确定为原始超声图像的图像特征，其统计计算过程简单，有助于保障图像特征的提取效率。

在一实施例中，如图4所示，步骤S202，即对原始超声图像进行特征提取，获取原始超声图像对应的图像特征，包括：

S401：获取原始超声图像中，每一目标像素点的邻域图像块；

S402：对每一目标像素点的邻域图像块进行直方图统计，确定每一目标像素点对应的直方图；

S403：基于所有目标像素点对应的直方图，获取原始超声图像对应的图像特征。

作为一示例，步骤S401中，图像处理器可基于预先设置的邻域半径，以目标像素点为中心，确定每一目标像素点对应的邻域图像块。例如，邻域半径为3，某一目标像素点A的坐标为(Xi,Yj),则其所确定的邻域图像块为(Xi-1,Yj+1)、(Xi,Yj+1)、(Xi+1,Yj+1)、(Xi-1,Yj)、(Xi,Yj)、(Xi+1,Yj)、(Xi-1,Yj-1)、(Xi,Yj-1)和(Xi+1,Yj-1)这9个像素点所形成的局部区域。

作为一示例，步骤S402中，图像处理器在确定每一目标像素点对应的邻域图像块后，可对该邻域图像块中所有像素点对应的像素灰度值进行直方图统计，确定每一目标像素点对应的直方图。该直方图是以像素灰度值为自变量，而计数为函数值的特征，即目标像素点的直方图为一个数组，该数组的元素为256个，取值范围为0-255，而每个元素的数值大于或等于0，且小于或等于邻域图像块中所有像素点的个数。

作为一示例，步骤S403中，图像处理器可将所有目标像素点的邻域图像块对应的直方图，确定为原始超声图像对应的图像特征，即原始超声图像中的每一目标像素点的图像特征，为其对应的邻域图像块的直方图，具体表征为该直方图对应的数组。

本实施例中，先确定每一目标像素点对应的邻域图像块，再对该邻域图像块中所有像素点对应的像素灰度值进行直方图统计，以将其所确定的直方图，确定为原始超声图像的图像特征，其统计计算过程简单，有助于保障图像特征的提取效率。

在一实施例中，原始标签图像包括背景标签和至少一个目标结构对应的结构标签；

如图5所示，步骤S203，即对原始标签图像进行解剖约束提取，获取原始标签图像对应的原始约束信息，包括：

S501：基于原始标签图像中每一目标结构对应的结构标签，确定每一目标结构对应的结构边界；

S502：基于目标结构对应的结构边界上的像素坐标，确定目标结构对应的原始约束信息。

其中，背景标签是指用于表征背景的标签。目标结构是指需要分割的结构。目标结构对应的结构标签用于表征属于某一目标结构的标签。例如，原始超声图像只分割出一个目标结构1，则0为背景标签，1为目标结构1的结构标签；如果原始超声图像能分割出两个目标结构，则0为背景标签，1为目标结构1的结构标签，2为目标结构2的结构标签。

其中，结构边界是指某一目标结构的边界线，是一个几何图像。原始约束信息是指结构边界中的像素坐标，是对结构边界这一几个图像的代数表述。

作为一示例，步骤S501中，图像处理器从原始标签图像中，确定1个背景标签和至少一个目标结构对应的结构标签，然后，原始标签图像中同一目标结构对应的结构标签，确定该目标结构对应的结构边界。例如，在原始标签图像为标签一个目标结构1的二值图时，0为背景标签，1为目标结构1的结构标签，可采用但不限于CANNY边缘算法，计算该目标结构的结构边界，也可以通过比较某一目标像素点对应的邻域图像块的数值，确定目标结构的结构边界，如在邻域半径为3，某一目标像素点(Xi,Yj)为中心的邻域图像块为(Xi-1,Yj+1)、(Xi,Yj+1)、(Xi+1,Yj+1)、(Xi-1,Yj)、(Xi,Yj)、(Xi+1,Yj)、(Xi-1,Yj-1)、(Xi,Yj-1)和(Xi+1,Yj-1)中，只有位于中心位置的目标像素点(Xi,Yj)的值为1，其他像素点的值为0，则该目标像素点A(Xi,Yj)为结构边界中的一个像素点，依次类推，确定该目标结构的结构边界。

作为一示例，步骤S502中，图像处理器在确定每一目标结构的结构边界后，可将该目标结构的结构边界在原始标签图像中的像素坐标（包括X坐标和Y坐标），确定为原始标签图像对应的原始约束信息。

本实施例中，先根据原始标签图像中同一目标结构的结构标签，限定该目标结构的结构边界所限定的几何图像；再将该结构边界中的像素坐标，确定为其原始约束信息，以达到对某一目标结构进行解剖约束的目的。

在一实施例中，如图6所示，步骤S204，即基于原始超声图像对应的图像特征，对原始标签图像对应的原始约束信息进行极限优化，获取内极限边界和外极限边界，包括：

S601：基于目标结构对应的原始约束信息和结构中心，确定原始约束信息对应的极限优化射线；

S602：基于原始约束信息对应的极限优化射线进行极限优化，确定原始约束信息对应的优化约束信息，优化约束信息包括内极限约束信息和外极限约束信息；

S603：基于每一目标像素点的图像特征、原始约束信息和优化约束信息，判断是否满足极限优化终止条件；

S604：若满足极限优化终止条件，则基于内极限约束信息确定内极限边界，并基于外极限约束信息确定外极限边界。

其中，结构中心是指目标结构所限定的结构边界的中心，该结构中心严格来说为接近目标结构的中心的像素点。作为一示例，可将该结构边界作为一带质量的物体，采用物理学求质心方式确定其结构中心，或者可在该结构边界外接矩形，以该矩形中心确定为结构中心。

作为一示例，步骤S601中，图像处理器在确定目标结构对应的原始约束信息后，可基于该原始约束信息限定出结构边界，并获取该结构边界对应的结构中心；然后，以目标结构的结构中心为中心，向外发射，将由结构中心发射经过原始约束信息的射线，确定为该原始约束信息对应的极限优化射线。例如，某一目标结构的结构中心为O（X0，Y0），则目标结构的结构边界上的一原始约束信息（即像素坐标）为A（X1，Y1),则该原始约束信息对应的极限优化射线为结构中心O与原始约束信息A所经过的射线，可采用射线ls表示。

其中，内极限约束信息是指对原始约束信息进行向内收缩所形成的约束信息，为原始约束信息沿极限优化射线方向向内收缩形成的像素坐标。外极限约束信息是指对原始约束信息进行向外扩展所形成的约束信息，为原始约束信息沿极限优化射线方向向外扩展形成的像素坐标。

作为一示例，步骤S602中，图像处理器在确定所有原始约束信息对应的极限优化射线后，可基于该极限优化射线对原始约束信息进行向内收缩，使其不断靠近结构中心，以获取内极限约束信息；并基于该极限优化射线对原始约束信息进行向外扩展，使其不断远离结构中心，以获取外极限约束信息；将内极限约束信息和外极限约束信息统称为优化约束信息。例如，在确定结构中心O与原始约束信息A所形成的极限优化射线ls后，可沿极限优化射线ls向内收缩，形成内极限约束信息B（X2,Y2)，沿极限优化射线ls向外扩展，形成外极限约束信息C（X3，Y3），即极限优化射线ls会依次经过结构中心O(X0,Y0)、内极限约束信息（X2，Y2）、原始约束信息（X1，Y1）和外极限约束信息（X3，Y3）。

其中，极限优化终止条件为预先设置的需要截断极限优化迭代处理过程的条件。

作为一示例，步骤S603中，图像处理器可根据基于每一目标像素点的图像特征、原始约束信息和优化约束信息，计算每次极限优化迭代过程中，优化约束信息所限定的优化极限边界与原始约束信息所限定的结构边界之间的目标相似度，再将该目标相似度与预先设置的极限优化终止条件进行比较，以确定是否满足极限优化终止条件。此处的目标相似度是根据每一目标像素点的图像特征、原始约束信息和优化约束信息所确定的相似度。在一示例中，该目标相似度可以为对边界相似度和特征相似度进行加权处理所确定的相似度，此处的边界相似度为优化极限边界与结构边界之间的相似度，而特征相似度为两个边界的图像特征之间的相似度。

作为一示例，步骤S604，图像处理器在目标相似度满足极限优化终止条件时，可确定满足预先设置的截断极限优化处理的条件，无需进一步基于原始约束信息对应的极限优化射线进行极限优化，即需停止进行迭代优化过程，以便基于停止迭代所确定的优化约束信息确定优化极限边界。例如，基于原始约束信息对应的极限优化射线向内收缩时，每次收缩均基于预设步长进行收缩，每次向内收缩后，需评估是否满足极限优化终止条件，若满足极限优化终止条件，不再进一步向内收缩，此时，可基于本次向内收缩所形成的内极限约束信息确定内极限边界。又例如，基于原始约束信息对应的极限优化射线向外扩展时，每次向外扩展均基于预设步长进行扩展，每次向外扩展后，需评估是否满足极限优化终止条件，若满足极限优化终止条件，不再进一步向外扩展，此时，可基于本次向外扩展所形成的外极限约束信息确定外极限边界。

本实施例中，先基于目标结构对应的原始约束信息和结构中心确定极限优化射线，以便基于该极限优化射线限定极限优化方向；基于该极限优化射线对原始约束信息进行极限优化，每次迭代过程，均需使其向内收缩或者向外扩展，以形成内极限约束信息或者外极限约束信息，并评估是否满足极限优化终止条件，若满足，才可基于内极限约束信息确定内极限边界，并基于外极限约束信息确定外极限边界，以保障内极限边界和外极限边界确定的可靠性和准确性。

在一实施例中，如图7所示，步骤S603，即基于每一目标像素点的图像特征、原始约束信息和优化约束信息，判断是否满足极限优化终止条件，包括：

S701：基于原始约束信息和优化约束信息，确定边界相似度；

S702：基于原始约束信息对应的目标像素点的图像特征和优化约束信息对应的目标像素点的图像特征，确定特征相似度；

S703：基于边界相似度和特征相似度，确定能量函数值；

S704：若能量函数值大于预设函数值，则确定满足极限优化终止条件。

其中，边界相似度为原始约束信息所限定的结构边界与优化约束信息所限定的优化极限边界之间的相似度。

作为一示例，步骤S701中，图像处理器在获取原始约束信息和优化约束信息这两个像素坐标后，可计算原始约束信息所限定的结构边界和优化约束信息所限定的优化极限边界之间的相似度，将其确定为边界相似度。本示例中，由于原始约束信息所限定的结构边界和优化约束信息所限定的优化极限边界为几何图像，可采用图像相似度算法，对结构边界和优化极限边界这两个几何图像进行相似度计算，确定边界相似度。本示例中，在优化极限边界为内极限边界时，其所确定的边界相似度为结构边界与内极限边界之间的相似度；在优化极限边界为外极限边界时，其所确定的边界相似度为结构边界与外极限边界之间的相似度。

其中，特征相似度可反映原始约束信息所限定的目标像素点与优化约束信息所限定的目标像素点之间的图像特征的相似度。

作为一示例，步骤S702中，图像处理器在对原始超声图像进行特征提取时，可获取原始超声图像中每一目标像素点的图像特征，该图像特征可以为像素灰度值的统计特征或者直方图；而原始约束信息和优化约束信息分别为结构边界和优化极限边界的像素坐标，因此，可确定原始约束信息对应的目标像素点的图像特征并确定优化约束信息对应的目标像素点的图像特征；然后，可采用但不限于余弦相似度或者其他相似度算法，对两个图像特征进行相似度计算，确定特征相似度。本示例中，在优化极限边界为内极限边界时，其所确定的特征相似度为结构边界上的目标像素点的图像特征与内极限边界对应位置的目标像素点的图像特征之间的相似度；在优化极限边界为外极限边界时，其所确定的特征相似度为结构边界上的目标像素点的图像特征与外极限边界对应位置的目标像素点的图像特征之间的相似度。

其中，能量函数值为对边界相似度和特征相似度进行计算所确定的函数值，该函数值可用于评估是否需要停止迭代处理的函数值。

作为一示例，步骤S703中，图像处理器可采用预先设置的能量函数公式对输入的边界相似度和特征相似度进行计算，获取计算输出的能量函数值。本示例中，该能量函数公式为

其中，预设函数值是预先设置的用于评估是否满足极限优化终止条件的函数值，该预设函数值可作为最大可容许的能量函数值，可采用τ表示。

作为一示例，步骤S704中，图像处理器在计算确定出能量函数值

本实施例中，基于原始约束信息和优化约束信息确定两者对应的边界相似度，基于原始约束信息对应的图像特征和优化约束信息对应的图像特征确定两者的特征相似度，再基于边界相似度和特征相似度进行处理，使得其所确定的能量函数值既与边界形状相关，又与边界上的图像特征相关，有助于保障基于能量函数值所限定的优化极限边界的精确度。

在一实施例中，如图8所示，步骤S701，即基于原始约束信息和优化约束信息，确定边界相似度，包括：

S801：基于原始约束信息和优化约束信息，确定仿射变换参数；

S802：基于仿射变换参数、原始约束信息和优化约束信息，确定边界相似度。

作为一示例，步骤S801中，图像处理器在获取原始约束信息和优化约束信息这两个像素坐标后，可采用但不限于最小二乘法、能量最小化，变分法和退火法等仿射变换算法，对原始约束信息和优化约束信息这两个像素坐标进行仿射变换，以获取两者之间的仿射变换参数，该仿射变换参数可采用θ表示。可理解地，由于约束信息的存在，无论是向内收缩形成的内极限约束信息还是向外扩展形成的外极限约束信息，均与原始约束信息具有仿射相似性，但实际情况下不会达到理想状态，其过程会存在偏差，这个偏差就是计算出的边界相似度。

作为一示例，步骤S802中，图像处理器获取仿射变换参数后，可采用预先设置的边界相似度算法，对仿射变换参数、原始约束信息和优化约束信息等输入参数进行计算，以获取边界相似度。例如，在优化约束信息为内极限约束信息时，边界相似度为结构边界与内极限边界之间的相似度；在优化约束信息为外极限约束信息时，边界相似度为结构边界与外极限边界之间的相似度。

本示例中，边界相似度算法为

本实施例中，先对原始约束信息和优化约束信息进行仿射变换，确定两者之间的仿射变换参数，再利用仿射变换参数对优化约束信息进行加权处理再计算与原始约束信息的差值，从而获取评估结构边界与优化极限边界的边界相似度。

在一实施例中，如图9所示，步骤S702，即基于原始约束信息对应的目标像素点的图像特征和优化约束信息对应的目标像素点的图像特征，确定特征相似度，包括：

S901：基于原始约束信息对应的目标像素点的图像特征和优化约束信息对应的目标像素点的图像特征，确定特征差值平方和；

S902：对特征差值平方和进行映射处理，确定特征相似度。

作为一示例，步骤S901中，图像处理器可根据原始超声图像中每一目标像素点的图像特征，确定原始约束信息对应的目标像素点的图像特征并确定优化约束信息对应的目标像素点的图像特征；然后，对同一极限优化射线上，原始约束信息对应的目标像素点的图像特征并确定优化约束信息对应的目标像素点的图像特征进行差值计算，获取该极限优化射线对应的特征差值，以反映同一极限优化射线上的两个图像特征的差异情况；再对所有极限优化射线对应的特征差值进行平方和计算，确定特征差值平方和，以反映所有极限优化射线上的两个图像特征的差异情况，综合反映原始约束信息所限定的结构边界和优化约束信息所限定的优化极限边界的图像特征的差异。

作为一示例，步骤S902中，图像处理器在获取所有极限优化射线对应的特征差值平方和后，可采用预先设置的映射函数对特征差值平方和进行映射处理，以将其映射为取值范围在0-1之间的特征相似度，使其与边界相似度基于基本相同的维度，有助于保障后续计算出的能量函数值的可靠性。

例如，图像处理器在确定原始约束信息对应的目标像素点的图像特征并确定优化约束信息对应的目标像素点的图像特征后，可采用如下公式计算其特征相似度算法进行处理：

其中，

本实施例中，基于原始约束信息对应的目标像素点的图像特征和优化约束信息对应的目标像素点的图像特征，确定特征差值平方和，使得该特征差值平方和可有效反映两个边界之间的图像特征的差异情况；再对计算出的特征差值平方和进行映射处理，以将其转换成0-1之间的特征相似度，以方便与边界相似度进行综合处理，保障后续处理的可靠性和处理效率。

在一实施例中，如图10所示，步骤S205，即对内极限边界和外极限边界进行区域平滑处理，确定原始超声图像对应的目标标签图像，包括：

S1001：将同一极限优化射线与内极限边界和外极限边界的交点，分别确定为极限优化射线对应的内边界标签和外边界标签；

S1002：对同一极限优化射线对应的内边界标签和外边界标签进行等分插值处理，获取极限优化射线对应的第一插值标签；

S1003：基于相邻两个极限优化射线的第一插值标签，对相邻两个极限优化射线所夹区域中的所有像素点的第一插值标签进行插值处理，获取相邻两个极限优化射线所夹区域中的所有像素点的第二插值标签；

S1004：基于第一插值标签和第二插值标签，确定原始超声图像对应的目标标签图像。

其中，内边界标签为极限优化射线与内极限边界之间的交点，该内边界标签的标签值可采用第一阈值（如1）表示。外边界标签为极限优化射线与外极限边界之间的交点，该外边界标签的标签值可采用第二阈值（如0）表示。

作为一示例，步骤S1001中，图像处理器在获取内极限边界和外极限边界后，可将同一极限优化射线与内极限边界的交点确定为内边界标签，并将该内边界标签对应的内标签值确定为第一阈值（如1）；同时，将该极限优化射线与外极限边界的交点确定为外边界标签，并将外边界标签对应的外标签值确定为第二阈值（如0）。

作为一示例，步骤S1002中，图像处理器在确定同一极限优化射线对应的内边界标签和外边界标签后，可对同一极限优化射线对应的内边界标签和外边界标签进行等分插值处理，例如，可进行二等分插值处理、三等分插值处理或者十等分插值处理，获取极限优化射线对应的第一插值标签。例如，在第一标签值为1，第二标签值为0时，对两者进行十等分插值处理，会依次形成9个第一插值标签，分别为0.9、0.8、0.7、0.6、0.5、0.4、0.3、0.2和0.1。

作为一示例，步骤S1003中，图像处理器在获取每一极限优化射线对应的第一插值标签后，可基于相邻两个极限优化射线的第一插值标签，对相邻两条极限优化射线所夹区域中的所有像素点进行插值处理，获取相邻两条极限优化射线所夹区域中的所有像素点的第二插值标签，该第二插值标签为对相邻两条极限优化射线上的第一插值标签进行插值处理后形成的标签。本示例中，对第1条极限优化射线进行十等分插值处理，会形成A1/A2……A9这九个第一插值标签；对第2条极限优化射线进行十等分插值处理，会形成B1/B2……B9这九个第一插值标签，可基于相邻两个极限优化射线的第一插值标签A1/A2……A9和B1/B2……B9，可对第1条极限优化射线和第2条极限优化射线所夹区域中所有像素点进行插值处理，具体为这两条极限优化射线与内极限边界和外极限边界所夹区域中所有像素点进行插值处理，以获取所夹区域中所有像素点的第二插值标签，例如，可基于A1和B1这两个第一插值标签，对A1和B1所限定的弧形区域内所有像素点进行插值处理，形成至少一个第二插值标签Ci1，可基于A2和B2这两个第一插值标签，对A2和B2所限定的弧形区域内所有像素点进行插值处理，形成至少两个第二插值标签Ci2……依此类推，确定其他两个第一插值标签所限定的弧形区域内所有像素点对应的所有第二插值标签，

作为一示例，步骤S1004中，图像处理器在确定所有极限优化射线上的第一插值标签和非极限优化射线上的第二插值标签后，可将所有第一插值标签和第二插值标签，确定为平滑处理后的平滑标签，基于所有平滑标签构建目标标签图像，以将原始标签图像上的不够可靠的硬标签，转化为目标标签图像上的更加符合实际的平滑标签，以方便后续利用原始超声图像和目标标签图像进行模型训练，提升模型训练的准确率，并且由于不再特别强调原始标签图像上的硬标签的精确度，也会降低标注医师的工作量，提升标注工作效率。

本示例中，先对同一极限优化射线上的内边界标签和外边界标签进行等分插值处理，确定极限优化射线上的第一插值标签后，再对相邻两个极限优化射线上的第一插值标签进行插值处理，确定非极限优化射线上的第二插值标签，以将基于0/1这种二值化的原始标签图像，转换成多个介质于0和1之间的多个小数点形式的等第一插值标签和第二插值标签，使得其所形成的平滑标签更平滑且更符合实际情况。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种超声图像标签处理装置，该超声图像标签处理装置与上述实施例中超声图像标签处理方法一一对应。如图11所示，该超声图像标签处理装置包括原始图像获取模块1101、图像特征获取模块1102、原始约束信息获取模块1103、极限边界获取模块1104和目标标签图像获取模块1105。各功能模块详细说明如下：

原始图像获取模块1101，用于获取原始超声图像和原始超声图像对应的原始标签图像；

图像特征获取模块1102，用于对原始超声图像进行特征提取，获取原始超声图像对应的图像特征；

原始约束信息获取模块1103，用于对原始标签图像进行解剖约束提取，获取原始标签图像对应的原始约束信息；

极限边界获取模块1104，用于基于原始超声图像对应的图像特征，对原始标签图像对应的原始约束信息进行极限优化，获取内极限边界和外极限边界；

目标标签图像获取模块1105，用于对内极限边界和外极限边界进行区域平滑处理，确定原始超声图像对应的目标标签图像。

在一实施例中，图像特征获取模块1102，包括：

邻域图像块获取子模块，用于获取原始超声图像中，每一目标像素点的邻域图像块；

局域统计子模块，用于对每一目标像素点的邻域图像块中所有像素点对应的像素灰度值进行局域统计，确定每一目标像素点对应的局域灰度均值和局域灰度方差；

图像特征获取子模块，用于基于所有目标像素点对应的局域灰度均值和局域灰度方差，获取原始超声图像对应的图像特征。

在一实施例中，图像特征获取模块1102，包括：

邻域图像块获取子模块，用于获取原始超声图像中，每一目标像素点的邻域图像块；

直方图获取子模块，用于对每一目标像素点的邻域图像块进行直方图统计，确定每一目标像素点对应的直方图；

图像特征获取子模块，用于基于所有目标像素点对应的直方图，获取原始超声图像对应的图像特征。

在一实施例中，原始标签图像包括背景标签和至少一个目标结构对应的结构标签；

原始约束信息获取模块1103，包括：

结构边界获取子模块，用于基于原始标签图像中每一目标结构对应的结构标签，确定每一目标结构对应的结构边界；

原始约束信息获取子模块，用于基于目标结构对应的结构边界上的像素坐标，确定目标结构对应的原始约束信息。

在一实施例中，极限边界获取模块1104，包括：

极限优化射线获取子模块，用于基于目标结构对应的原始约束信息和结构中心，确定原始约束信息对应的极限优化射线；

优化约束信息获取子模块，用于基于原始约束信息对应的极限优化射线进行极限优化，确定原始约束信息对应的优化约束信息，优化约束信息包括内极限约束信息和外极限约束信息；

极限优化终止判断子模块，用于基于每一目标像素点的图像特征、原始约束信息和优化约束信息，判断是否满足极限优化终止条件；

极限边界确定子模块，用于若满足极限优化终止条件，则基于内极限约束信息确定内极限边界，并基于外极限约束信息确定外极限边界。

在一实施例中，极限优化终止判断子模块，包括：

边界相似度确定单元，用于基于原始约束信息和优化约束信息，确定边界相似度；

特征相似度确定单元，用于基于原始约束信息对应的目标像素点的图像特征和优化约束信息对应的目标像素点的图像特征，确定特征相似度；

能量函数值确定单元，用于基于边界相似度和特征相似度，确定能量函数值；

极限优化终止判断单元，用于若能量函数值大于预设函数值，则确定满足极限优化终止条件。

在一实施例中，边界相似度确定单元，包括：

仿射变换参数确定子单元，用于基于原始约束信息和优化约束信息，确定仿射变换参数；

边界相似度确定子单元，用于基于仿射变换参数、原始约束信息和优化约束信息，确定边界相似度。

在一实施例中，特征相似度确定单元，包括：

特征差值平方和确定子单元，用于基于原始约束信息对应的目标像素点的图像特征和优化约束信息对应的目标像素点的图像特征，确定特征差值平方和；

特征相似度确定子单元，用于对特征差值平方和进行映射处理，确定特征相似度。

在一实施例中，目标标签图像获取模块1105，包括：

边界标签确定子模块，用于将同一极限优化射线与内极限边界和外极限边界的交点，分别确定为极限优化射线对应的内边界标签和外边界标签；

第一插值标签获取子模块，用于对同一极限优化射线对应的内边界标签和外边界标签进行等分插值处理，获取极限优化射线对应的第一插值标签；

第二插值标签获取子模块，用于基于相邻两个极限优化射线的第一插值标签，对相邻两个极限优化射线所夹区域中的所有像素点的第一插值标签进行插值处理，获取相邻两个极限优化射线所夹区域中的所有像素点的第二插值标签；

目标标签图像确定子模块，用于基于第一插值标签和第二插值标签，确定原始超声图像对应的目标标签图像。

关于超声图像标签处理装置的具体限定可以参见上文中对于超声图像标签处理方法的限定，在此不再赘述。上述超声图像标签处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于超声设备中的处理器中，也可以以软件形式存储于超声设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供一种超声设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中超声图像标签处理方法，例如图2所示S201-S205，或者图3至图10中所示，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现超声图像标签处理装置这一实施例中的各模块/单元的功能，例如图11所示的原始图像获取模块1101、图像特征获取模块1102、原始约束信息获取模块1103、极限边界获取模块1104和目标标签图像获取模块1105的功能，为避免重复，这里不再赘述。

在一实施例中，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中超声图像标签处理方法，例如图2所示S201-S205，或者图3至图10中所示，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述超声图像标签处理装置这一实施例中的各模块/单元的功能，例如图11所示的原始图像获取模块1101、图像特征获取模块1102、原始约束信息获取模块1103、极限边界获取模块1104和目标标签图像获取模块1105的功能，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。