用于医学图像数据标注的设备、方法及计算机程序产品

技术领域

所公开实施例的方面总体涉及数据标注，更具体地涉及用于数据标注的自动化轮廓调节。

背景技术

数据标注是标记用于机器学习的数据的过程。数据可以以各种格式(如文本、视频或图像)获得。在医学成像领域中，例如，人工智能(AI)和机器学习通过使得更容易以更高的准确度和速度更准确地预测结果而提供了优势。然而，为了创建这种自动化的应用或机器，需要大量的训练数据集。对于监督的机器学习，需要标记数据集来使机器能够学习输入模式并提供准确的预测。

在数据标注过程中，感兴趣对象的初始给定轮廓(也称为边界或边缘)可能不令人满意。这通常需要用户详尽地调节控制点以获得满意的轮廓标注。这种人工干预是时间密集的，易于出错并且通常低效。

因此，将期望提供解决上述问题中的至少一些的方法和设备。

发明内容

所公开实施例的方面涉及数据标注中的自动化控制点调节。所公开的实施例的这个和其它优点基本上如在至少一个附图中示出和/或结合该至少一个附图描述地、如在独立权利要求中阐述地那样提供。在从属权利要求中可以发现进一步的有利修改。

根据第一方面，所公开的实施例涉及一种用于数据标注中的自动化控制点调节的设备。该设备包括处理器，其被配置为基于用户输入和图像分割自动调节控制点的定位，控制点确定用于分割掩模的医学图像的轮廓。与常规方法相比，这减少了人类标记工作。

在可能的实施形式中，设备被配置为接收医学图像数据并且确定医学图像数据中的一个或多个感兴趣对象的轮廓。设备被配置为基于医学图像数据的一或多个特性在至少初始轮廓内的区域中分割医学图像数据。设备还被配置为在一个或多个感兴趣对象的轮廓上生成一个或多个控制点。检测第一控制点的位置的调节。设备被配置为基于检测到的第一控制点的调节来自动调节与第一控制点相邻的至少一个控制点的位置。

在可能的实施形式中，在用户界面的显示器上呈现原始图像、控制点和轮廓。

在可能的实施形式中，至少一个相邻控制点在距第一控制点的预定距离内。

在可能的实施形式中，至少一个相邻控制点包括在距第一控制点预定距离内的所有控制点。

在可能的实施形式中，确定第一控制点的位置的调节的距离和方向。

在可能的实施形式中，沿与第一控制点的移动相同的方向移动至少一个相邻控制点。

在可能的实施形式中，至少一个相邻控制点的移动距离与第一控制点的移动距离成比例。

在可能的实施形式中，至少一个相邻控制点的移动距离与第一控制点的移动距离相同。

在可能的实施形式中，沿与第一控制点的移动相同的方向移动至少一个相邻控制点，直到检测到与感兴趣对象相关联的下一分割线为止。

在可能的实施形式中，在自动调节至少一个相邻控制点之后，将初始轮廓自动更新为关于感兴趣对象的下一个轮廓。

在可能的实施形式中，至少一个相邻控制点的调节是基于像素的调节。

在可能的实施形式中，可以基于感兴趣对象的几何信息自动生成初始轮廓内的分割。

在可能的实施形式中，分割的输出可为粗略分割或精细分割中的一个或多个。

在可能的实施形式中，至少一个相邻控制点在控制点和轮廓的自动调节期间的移动程度取决于分割的粒度或精细程度。

在可能的实施形式中，基于沿着初始轮廓的点的一个或多个特性针对初始轮廓生成控制点。

在可能的实施形式中，针对轮廓生成的控制点的数量可以基于标注要求或用户输入而可调节。

在可能的实施形式中，自动调节的控制点的数量可以由用户指定，或者基于感兴趣对象的尺寸和/或形状以及初始轮廓的特性中的一个或多个来自动定义。

在可能的实施形式中，用户可以对调节后的控制点进行进一步调节。

在可能的实施形式中，医学图像数据是二维图像医学图像数据。

在可能的实施形式中，医学图像数据是三维图像医学图像数据。

在可能的实施形式中，医学图像数据包括数据切片图像，其中，切片图像被逐个加载和标注。

在可能的实施形式中，在自动调节控制点之后输出分割掩模。

所述图像数据也可以是RGB图像、深度图像、热图像或医学扫描图像中的一个或多个。

根据第二方面，所公开的实施例涉及一种方法。在一个实施例中，该方法包括：基于用户输入和图像分割自动调节控制点的定位，控制点确定用于分割掩模的医学图像的轮廓。与常规方法相比，这减少了人类标记工作。

根据第三方面，所公开的实施例涉及一种在非瞬时性计算机可读介质上具体实施的计算机程序产品，该计算机程序产品包括计算机指令，当在系统或设备的至少一个处理器上执行时，计算机指令被配置为执行本文所述的可能的实施形式。

根据第四方面，所公开的实施例涉及一种装置，该装置包括用于执行本文所述的可能实施形式的装置。

从结合附图考虑的本文所述的实施例，示例性实施例的这些和其它方面、实施形态以及优点将变得显而易见。然而，应当理解，说明书和附图仅被设计用于例示的目的，而不是作为对所公开发明的限制的定义，对所公开发明的限制应当参考所附权利要求。本发明的另外方面和优点将在以下描述中阐述，并且部分地将从描述显而易见，或者可以通过本发明的实践来了解。而且，本发明的方面和优点可以通过在所附权利要求中特别指出的装置和组合来实现和获得。

附图说明

在本公开的以下详细部分中，将参见附图所示的示例实施例更详细地说明本发明，附图中：

图1是并入有所公开实施例的方面的设备的框图。

图2例示了要由并入有所公开实施例的方面的设备标注的示例性医学图像数据。

图3例示了由并入有所公开实施例的方面的设备生成的图2的医学图像数据的示例性分割掩模。

图4A例示了图2的医学图像数据的示例性分割。

图4B例示了图4A的感兴趣对象的分解图。

图5例示了图4A的已分割医学图像数据上的控制点的手动调节或移动的一个示例。

图6例示了根据所公开实施例的方面的相邻控制点的自动调节的一个示例。

图7是例示了并入有所公开实施例的方面的示例性处理流程的流程图。

具体实施方式

以下详细描述例示了所公开实施例的示例性方面以及它们可以被实施的方式。尽管已经公开了执行所公开实施例的方面的一些模式，但是本领域技术人员将认识到，用于执行或实践所公开实施例的方面的其他实施例也是可能的。

参见图1，例示了用于数据标注的自动化轮廓调节的示例性设备100的示意性框图。所公开实施例的方面总体涉及基于用户输入和感兴趣对象或区域的特性自动调节一个或多个控制点的位置和初始轮廓。最小化了对于人工干预的需要，这提高了标注效率。

在一个实施例中，设备100可以被实施为医学图像或医学图像标注设备或系统110中的工具。设备100可以通信地耦合到成像系统110，如图1的示例所示。在替代实施例中，设备100可在成像系统110中具体实施或者是其一部分。这种成像系统的示例可以包括但不限于X射线成像系统、医疗共振成像(MRI)系统和计算机断层摄影(CT)系统。虽然本文通常提及医学成像系统，但是所公开实施例的方面不限于此。在替代实施例中，所公开实施例的方面可以在期望对感兴趣对象或区域的轮廓进行标注的任何成像系统中实施。

如本文所用的，术语“标注”通常指代定义图像中感兴趣的对象或区域的边缘或边界。参见图2，图像200是身体器官的扫描(在该示例中是脑组织的扫描)。该示例中的感兴趣对象或区域204被示出为器官202的整体形状的背景内或背景上的白色或较亮区域。为了本文中的描述的目的，区或区域204将被称为“感兴趣对象”。

作为示例，对于具有肿瘤的患者的CT/MRI扫描图像的给定序列，所公开实施例的标注工具为标注者提供了在扫描图像中标记出肿瘤区域的实用程序。在一个实施例中，输出可以是具有与扫描图像200相同尺寸的二值化掩模，其中“1”指示肿瘤区域，“0”指示正常或非肿瘤区域。

如图2所示，轮廓206确定感兴趣对象204的边界或边缘。如通常所理解的，为了准确的评估和标记目的，确定感兴趣对象204的边界或边缘是必要的。

在某些成像过程中，感兴趣对象204的边界或边缘将利用线或者其它合适的标记来标记。为了本文中的描述的目的，边界或边缘的这种标记或定义将被称为“轮廓206”。

如本文中将进一步描述的，控制点或标记通常可以用于确定和标注感兴趣对象204的轮廓206。当轮廓206没有被线或控制点准确地标记时，可以调节控制点的位置以更准确地限定轮廓206。所公开实施例的方面涉及控制点位置的自动调节和轮廓206的限定。

再次参见图1，在一个实施例中，设备或系统包括至少一个处理器102。处理器102被配置为接收图像数据108作为输入。如本文通常描述的，图像数据108是诸如图2的图像200的医学图像数据。

在一个实施例中，图像数据108从成像系统110接收。尽管图1的处理器102和设备100被示出为在成像系统110的外部，但是所公开实施例的方面不限于此。在替代实施例中，设备100和处理器102可以是成像系统110的部件。

在一个实施例中，处理器102被配置为最初基于分割掩模分割输入图像数据108。图3中示出了分割掩模的一个示例。在该示例中，分割的图像300包括暗的背景区域302和亮的或白色的区域304。白色区域304通常包含图2所示的感兴趣对象204。如将结合图4A进一步描述的，将分割区域304并且生成控制点。本文所述的分割过程通常包括任何适当的图像分割过程。

图4A中示出了分割的输入图像数据400的示例。如从该示例中可以看出的，图2的输入图像数据108的分割通常导致具有一系列网格状线402的分割图像400。在图4A的示例中，网格状线402是非线性的并且由分割算法生成。分割算法通常被配置为基于被示出为图4A中的扫描图像404的输入图像108的像素特征来生成网格状线402。图4A的示例中的白色或较浅颜色的区域406是感兴趣的对象。在生成网格状线402时的其他考虑可以包括但不限于感兴趣对象406的几何形状和尺寸。

还参见图4B，在一个实施例中，初始轮廓410确定感兴趣对象406的边界或边缘区域。如图4B所示，生成一个或多个控制点或标记412，并将其用于基于分割来确定或标记轮廓410。控制点412通常被配置为向用户提供轮廓410的视觉确定。

图4B所示的控制点412的数量仅仅是示例性的。在替代实施例中，控制点412的数量可为任何合适数量。例如，在一个实施例中，控制点412的数量由用户来设置。

在一个实施例中，可以在设备100的显示器106上呈现具有控制点412的分割输入图像400。在一个实施例中，显示器106可以是设备100的用户界面的一部分，其允许标注者交互和标注图像400，如本文通常描述的。在一个实施例中，设备100可以包括适当的工具，诸如操纵杆、触笔、鼠标或其他光标装置，其将允许标注者重新定位控制点412，如本文所述。所公开实施例的方面被配置为允许标注者点击图像400中的点、在图像400上画线、以及拖动或移动图像400上或中的点和线。在一个实施例中，显示器或用户界面106包括触摸屏或触敏装置，其允许标注者与图像400交互，如本文通常描述的。

例如，在一个实施例中，输入图像数据108包括CT/MRI扫描图像。要标注的输入图像数据108通常将是灰度图像序列的形式。当用户或标注者开始标注扫描图像时，这些扫描图像被加载并经由计算机屏幕或用户界面104示出给标注者，如图4A的示例所示。用户可以从由设备100提供的实用程序或工具箱中选择适当的工具，并且使用该工具来标注图像400，如本文通常描述的。例如，在一个实施例中，设备100可以提供菜单，标注者可以从该菜单选择适当的工具或实用程序来标注图像400，包括网格线402、控制点412和轮廓410。

处理器102被配置为基于分割来设置初始轮廓410和控制点412。分割过程使用合适的算法来确定感兴趣对象406的边缘。初始轮廓410和控制点412用于提供如由分割算法确定的边缘的视觉分界。

在一个实施例中，可以改变图4A所示的分割的粒度或细度。网格线定位得越靠近，分割的粒度越精细。这种粒度可用于向轮廓406提供更多的限定。例如，网格线中的更精细粒度可以增强分割算法对感兴趣对象的边缘的检测。在一个实施例中，分割的粒度或细度可以由用户设置或调节。

如图4A和图4B的示例所示，处理器102被配置为生成感兴趣对象406的初始轮廓410。在图4B的示例中，初始轮廓410由定位于网格线402上或附近的一个或多个控制点412来确定。所公开实施例的方面被配置为区分亮区和暗区，并且确定感兴趣对象406的边缘。于是，控制点412布置在形成边缘或最靠近边缘的一个或多个网格线(诸如网格线402a和402b)上或与其结合布置。

也称为标记412的控制点412通常被配置为提供沿着感兴趣对象406的边缘或边界的确定点。在一些情况下，需要手动调节一个或多个控制点412，以便更准确地确定边缘。例如，如图4B例示，一个或多个控制点412(诸如控制点412a和412b)可能没有相对于感兴趣对象的边缘或边界准确定位。在该示例中，控制点412a和412b与网格线402b相关联或由其连接。然而，控制点412a和412b的更准确的放置或连接可以是网格线402c。所公开实施例的方面被配置为使标注者能够手动地重新定位一个或多个控制点412以及相对于网格线402重新限定初始轮廓410。

图5例示了图像510的一个示例，其示出了控制点412的手动重新定位。在该示例中，控制点412a被手动地从初始位置502重新定位到下一个位置504。这样，控制点412a更紧密地与网格线402c相关联。在该示例中，网格线402c可比网格线402b更准确地与感兴趣对象406的边缘相关联。虽然仅一个控制点412a被示出为手动调节，但是所公开实施例的方面不限于此。在替代实施例中，可以调节任何合适数量的控制点412。

图6例示了根据所公开实施例的方面的对相邻或附近的控制点和轮廓的自动调节。如关于图5所述，控制点412a被手动地从位置502调节到位置504。根据所公开实施例的方面，自动调节和更新与手动调节的控制点相邻或在距手动调节的控制点预定距离内的一个或多个控制点的位置。

如本文所用的术语“相邻控制点”通常指代在手动调节的控制点的特定距离或范围内的控制点412，该手动调节的控制点在图5和图6的示例中是控制点412a。尽管在本文中使用了术语“相邻”，但是所公开实施例的方面旨在应用于在手动调节的控制点的预定范围或区域内的任何控制点。在一个实施例中，预定距离、范围或区域可以由用户/标注者手动设置或调节。

在图6的示例中，区域602被定义为与手动调节的控制点412a相邻的控制点的区域。在该示例中，控制点412b被自动地从图5所示的其位置504调节到如图6所示的新位置604。该示例中的新位置604与网格线402c相关联。

在一个实施例中，控制点412b的调节基于手动调节的控制点412a的移动程度。例如，控制点412b的新位置604的确定可以与手动调节的控制点412a的移动距离成比例。

在一个实施例中，相对于手动调节的控制点412a的移动，控制点412b的移动将是到下一个最近的网格线。在图6的示例中，控制点412b以相对于控制点412a的调节方向和距离的方向和距离从网格线402b移动到网格线402c。

如图6所示，除了调节控制点412b之外，还可以生成附加的控制点412c和412d。附加控制点412c和412d布置在将各个控制点连接到重新定位的控制点412a的网格线上。例如，控制点412c定位于连接控制点412a和412c的网格线402c上。

相邻控制点的自动重新定位导致生成或定义经调节或新的轮廓线，在图6中通常例示为轮廓线608。如该示例所示，相对于控制点412a的手动调节，图4B的初始轮廓线410的方面在图6的区域602中被修改或改变。在图4B的示例中，初始轮廓线410与网格线402b相关联。如图6所示，更新的轮廓线608现在与网格线402c相关联。

图7是例示了并入有所公开实施例的方面的过程的一个实施例的流程图。在一个实施例中，输入702图像数据。该图像数据可以包括图像序列。生成704分割掩模。然后应用706分割。在关于感兴趣对象的初始轮廓上生成706控制点。

在一个实施例中，确定或检测708至少一个控制点的手动调节。确定相邻或附近的控制点，并且相对于手动调节的控制点的移动自动调节710相邻控制点的位置。生成712更新的控制点和轮廓，以便由用户和/或标注者可视化。这可以包括例如显示具有更新的控制点和轮廓的图像。

在一个实施例中，图1所示的设备100通常包括计算装置。计算装置可以包括或包含任何合适的计算机或计算布置。

在一个实施例中，处理器102包括硬件处理器。虽然本文通常仅描述一个处理器102，但所公开实施例的方面不限于此。在替代实施例中，设备100可以包括任何合适数量的处理器102。

再次参见图1，设备100通常包括适当的逻辑、电路、接口和/或代码，其被配置为接收输入图像数据108并处理图像数据108，如本文通常描述的。在一些实施例中，处理器102可被配置为从成像系统110接收患者的图像帧序列(例如，一个或多个视频)。成像系统110将通常包括合适的图像捕捉装置或传感器。

处理器102通常包括适当的逻辑、电路、接口和/或代码，其被配置为处理图像输入数据108，如本文通常描述的。处理器102被配置为响应和处理驱动设备100的指令。处理器102的示例包括但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集(RISC)微处理器、超长指令字(VLIW)微处理器或任何其他类型的处理电路。可选地，处理器102可以是一个或多个单独的处理器、处理装置以及与处理装置相关联的可以由其他处理装置共享的各种元件。另外，一个或多个单独的处理器、处理装置以及元件被布置为各种架构，以便响应和处理驱动系统100的指令。设备100可以包括执行本文所述的过程所需的任何合适的部件或装置，例如存储器或储存器。

在一个实施例中，设备100可以包括独立计算装置或作为独立计算装置的一部分，独立计算装置与成像系统110通信或作为其一部分。在一个实施例中，设备100将包括或连接到执行本文所述的所公开实施例的方面所需的机器学习模型。

在图1的示例中，设备100还包括或通信地耦合到存储器104。虽然未示出，但是设备100可以通信地耦合到网络或网络接口，以实现与设备100和成像系统110的部件和装置的通信。

存储器104可以包括适当的逻辑、电路、接口和/或代码，其可以被配置为存储可由处理器102执行的指令。存储器104还被配置为存储图像数据108。存储器104还可以被配置为存储处理器102的操作系统和相关联的应用。存储器104的实施方式的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器(HDD)、闪存和/或安全数字(SD)卡。用于提供非瞬时性存储器的计算机程序产品的计算机可读存储介质可以包括但不限于电子储存装置、磁储存装置、光储存装置、电磁储存装置、半导体储存装置或前述的任何合适的组合。

所公开实施例的方面涉及用于高效数据标注的交互式轮廓细化过程。相对于轮廓上另一个控制点的手动调节，自动调节轮廓上一个或多个控制点的位置。所公开实施例的方面的实施方式可以是门户或安装在计算机中的软件的形式，其可以读取/加载/存储传感器数据(例如，CT/MRI扫描)、显示图像并向标注者(用户)提供工具以供他们标注图像。输出可以是由控制点和轮廓线生成的二值化掩模。

以上关于前述系统100公开的各种实施例和变型加以必要的变更适用于该方法。本文所述的方法在计算上是有效的，并且不会对处理器102造成处理负担。

在不脱离由所附权利要求限定的所公开实施例的方面的范围的情况下，对上文描述的所公开实施例的方面的实施例的修改是可能的。诸如“包括”、“并入”、“具有”、“是”的表述用于描述和要求保护所公开实施例的方面，旨在以非排他的方式来解释，即允许还存在未明确描述的项、组件或元件。对单数的引用也被解释为涉及复数。

由此，虽然已经示出、描述并指出了应用于本发明的示例性实施例的本发明的基本新颖特征，但是应当理解，本领域技术人员可以在所例示装置和方法的形式和细节以及它们的操作方面进行各种省略、替换和改变，而不脱离当前公开的发明的精神和范围。进一步地，明确预期的是以基本上相同的方式执行基本上相同的功能以实现相同结果的那些元件的所有组合都在本发明的范围内。而且，应当认识到，结合本发明的任何公开形式或实施例示出和/或描述的结构和/或元件可以作为设计选择的一般问题而并入任何其他公开或描述或建议的形式或实施例中。因此，本发明旨在仅由所附权利要求的范围指示的来限制。