医疗图像数据的处理装置以及医疗图像数据的处理方法

技术领域

本发明涉及能够对被检体的医疗图像数据进行处理的医疗图像数据的处理装置以及医疗图像数据的处理方法。

背景技术

对于放射科的医生而言，在对患者(被检体)进行检查时，通常会根据自己的经验来选择对图像进行处理的各个AI(Artificial Intelligence：人工智能)工作流、或者根据DICOM(Digital Imaging and Communications in Medicine：医学数字成像和通信)图像本身来自动生成AI工作流。

在根据经验来选择AI工作流时，如图11所示，由于针对由不同的设备取得的数据(图中示出CT数据、MR数据、以及X-线数据)、以及不同的器官(图中示出前列腺、肝脏、以及肺)分别存在多个AI工作流PL1、PL2、…PLx，因此医生需要按照取得的数据类型以及要检查的器官来选择适当的一个或多个AI工作流。而且，当医生运行所选择的AI工作流后，发现该AI工作流并不适当时，还要再次选择AI工作流。这些都给医生带来很大的负担。

在图11中，为了方便表示，针对每种数据以及每个器官，均以“PL1、PL2、…PLx”示出了AI工作流，但是每种数据以及每个器官中的“PL1、PL2、…PLx”与其它数据以及器官中的对应的“PL1、PL2、…PLx”分别是不同的。

在根据DICOM图像本身来自动生成AI工作流时，通常有如下两种生成方式。

在第一种生成方式中，根据DICOM图像的元数据(meta data)自动生成AI工作流。此时，在一次图像处理中，通常只能针对一个器官生成一个AI工作流，因此图像处理的效率较低。

在第二种生成方式中，对DICOM图像按照多个器官进行分割，并对分割出的每个器官分别自动分配多个AI工作流。此时，由于对各个器官都自动运行多个AI工作流，其中大量的AI工作流的运行对诊断无用，因此延长了诊断时间，图像处理的效率也较低。

而且，在如上所述自动生成AI工作流的情况下，仅根据DICOM图像本身来生成AI工作流，而并没有参考该患者以往的诊断信息、检查信息等，因此没有找到针对某些重要的器官或部位的适当的AI工作流，无法对患者进行全面的检查。

发明内容

因此，鉴于上述情况，本发明的目的在于提供一种能够自动地对患者生成适当的工作流的医疗图像数据的处理装置以及医疗图像数据的处理方法。

本发明的医疗图像数据的处理装置具备：存储部，存储有有关医疗图像数据的被检体的多个背景信息和表示对上述医疗图像数据实施的一系列的图像处理的流的模型工作流；推测处理模型生成部，对上述多个背景信息的每个与上述模型工作流的每个工作流之间的关系进行学习而生成推测处理模型；背景信息获取部，获取被检体的背景信息；医疗图像数据生成部，生成上述被检体的医疗图像数据；工作流生成部，通过将上述被检体的背景信息和上述模型工作流输入上述推测处理模型而生成针对上述被检体的工作流；医疗图像数据处理部，运行上述被检体的工作流来对上述被检体的上述医疗图像数据进行处理；以及显示部，显示上述医疗图像数据处理部的处理结果。

本发明的医疗图像数据的处理装置还可以构成为，上述推测处理模型生成部提取有关医疗图像数据的背景信息的第1关键词，对该第1关键词与上述模型工作流中的关键词之间的关系进行学习而生成推测处理模型。

本发明的医疗图像数据的处理装置还可以构成为，上述工作流生成部提取上述被检体的背景信息的第2关键词，将该第2关键词与上述模型工作流输入上述推测处理模型，在上述推测处理模型中对上述第2关键词与上述模型工作流中的关键词的相似性进行比较而对上述模型工作流的每个工作流生成相似度，并将上述相似度在规定阈值以上的模型工作流中的工作流生成为上述被检体的工作流。

本发明的医疗图像数据的处理装置还可以构成为，上述工作流生成部按照上述相似度由高到低的顺序来排列所生成的上述被检体的工作流。

本发明的医疗图像数据的处理装置还可以构成为，上述被检体的背景信息包含该被检体的当前的检查信息和该被检体的以往的诊断信息。

本发明的医疗图像数据的处理装置还可以构成为，上述工作流生成部基于上述当前的检查信息对上述被检体的各个背景信息付与权重，按照上述权重由高到低的顺序来排列所生成的上述被检体的与上述各个背景信息分别相关的工作流，上述显示部按照上述被检体的上述工作流的排列顺序来显示上述处理结果。

本发明的医疗图像数据的处理装置还可以构成为，还具备从上述医疗图像数据处理部的处理结果或在运行上述被检体的工作流的过程中得到的信息中提取背景信息的背景信息提取部，上述工作流生成部通过将上述提取的背景信息和上述模型工作流输入上述推测处理模型而生成针对上述被检体的追加工作流。

本发明的医疗图像数据的处理方法具备：存储步骤，存储有关医疗图像数据的被检体的多个背景信息和表示对上述医疗图像数据实施的一系列的图像处理的流的模型工作流；推测处理模型生成步骤，对上述多个背景信息的每个与上述模型工作流的每个工作流之间的关系进行学习而生成推测处理模型；背景信息获取步骤，获取被检体的背景信息；医疗图像数据生成步骤，生成上述被检体的医疗图像数据；工作流生成步骤，通过将上述被检体的背景信息和上述模型工作流输入上述推测处理模型而生成针对上述被检体的工作流；医疗图像数据处理步骤，运行上述被检体的工作流来对上述被检体的上述医疗图像数据进行处理；以及显示步骤，显示上述医疗图像数据处理步骤的处理结果。

本发明的医疗图像数据的处理方法还可以构成为，还具备从上述医疗图像数据处理步骤的处理结果或在运行上述被检体的工作流的过程中得到的信息中提取背景信息的背景信息提取步骤，在上述工作流生成步骤中，通过将上述提取的背景信息和上述模型工作流输入上述推测处理模型而生成针对上述被检体的追加工作流。

发明效果

根据本发明的医疗图像数据的处理装置以及医疗图像数据的处理方法，能够自动地对患者生成适当的工作流。

附图说明

图1是表示第1实施方式的医疗图像数据的处理装置的结构的框图。

图2是表示推测处理模型的生成的图。

图3是表示获得被检体的背景信息的一个方式的图。

图4是使用推测处理模型输出工作流的图。

图5是将输出的工作流按照相似度的大小进行排列的图。

图6是按照检查信息输出处理结果的图。

图7是表示第1实施方式的医疗图像数据的处理方法的流程图。

图8是表示第2实施方式的医疗图像数据的处理装置的结构框图。

图9是在第2实施方式中使用推测处理模型输出工作流的图。

图10是表示第2实施方式的医疗图像数据的处理方法的流程图。

图11是示出以往的针对不同模态数据下的不同器官的AI工作流的图。

具体实施方式

下面，参考附图对本发明的医疗图像数据的处理装置以及医疗图像数据的处理方法进行说明。

第1实施方式

图1是表示第1实施方式的医疗图像数据的处理装置的结构的框图。

如图1所示，医疗图像数据的处理装置10具备存储部11、推测处理模型生成部12、背景信息获取部13、医疗图像数据生成部14、工作流生成部15、医疗图像数据处理部16、以及显示部17。

存储部11存储有有关医疗图像数据的被检体的多个背景信息和表示对该医疗图像数据实施的一系列的图像处理的流的模型工作流。

具体地，存储部11由硬盘等具有数据存储功能的设备构成。医疗图像数据包含CT(电子计算机断层扫描)数据、MR(磁共振)数据等多模态的数据。背景信息包含对患者(被检体)进行诊断时由医生记录的问诊信息、化验信息、各种检查信息等。而且，模型工作流是AI模型工作流的简称，有关医疗图像数据的模型工作流包含对以往的多位患者所运行过的工作流，该工作流是指在对患者进行图像扫描后由图像处理装置对扫描数据实施的一系列的图像处理的流。图像处理装置在运行工作流后输出处理结果，医生参考该处理结果能够得到自己的诊断结果。

存储部11存储有以往每个患者的背景信息以及由当对患者进行图像扫描时所运行的工作流而构成的模型工作流。

如图2所示，S1示出以往的一位患者所进行过的图像扫描检查以及该患者的背景信息，该患者进行了CT胸部、腹部以及骨盆的扫描检查，该患者的背景信息包含“怀疑淋巴瘤”、“吸烟20年”、“肺大泡”以及“超声肝囊肿”。

在图2中，S3示出由对以往的多位患者进行图像扫描后而运行的工作流构成的模型工作流。工作流1是有关在对淋巴结进行扫描时执行过的处理，在该处理中，图像处理装置首先对获得的CT或MR等图像元数据进行淋巴结分割，然后进行淋巴结畸形归类。针对该处理，提取出处理的关键词“淋巴结”，并对其付与相似度“1”，进而将其存储为“工作流1”。以同样的方式形成“工作流2”、“工作流3”等多个工作流。将该运行过的所有工作流构成为模型工作流。

推测处理模型生成部12对多个背景信息的每个与模型工作流的每个工作流之间的关系进行学习而生成推测处理模型。具体地，推测处理模型生成部12提取以往进行了检查的患者的有关医疗图像数据的背景信息的关键词，对该关键词与模型工作流中的关键词之间的关系进行学习而生成推测处理模型。

如图2所示，通过TextCNN网络从S1中的背景信息中提取出关键词S2，将关键词S2以及模型工作流S3输入SBERT(Sentence-BERT)网络，对关键词S2与模型工作流S3的每个工作流之间的关系进行学习而生成推测处理模型。在图2中仅示出了以往的一个患者的背景信息，但在实际学习的过程中会分别输入以往的多个患者的背景信息。

在图2的示例中，通过TextCNN网络来提取背景信息中的关键词，但是也可以通过其它文本训练网络来提取背景信息中的关键词，而且，在图2的示例中，通过SBERT网络来生成推测处理模型，但是也可以通过能够对关键词S2与模型工作流S3的每个工作流之间的关系进行学习的其它网络来生成推测处理模型。

背景信息获取部13获取患者的背景信息，该患者为来到医院等诊疗所后被医生进行问诊、但还未经由图像诊断设备进行诊断的患者(在下文中，有时称作新来的患者)。该患者的背景信息包含经由医生的问诊等而得到的检查信息以及该患者的以往的诊断信息。以往的诊断信息包含来自EMR(Electronic Medical Record：电子病历系统)、LIS(Laboratory Information Management System：实验室信息管理系统)、HIS(HospitalInformation System：医院信息系统)、PACS(Picture Archiving and CommunicationSystems：影像归档和通信系统)等的诊断信息。图3示出了从PACS、EMR以及LIS中获得的一位患者的以往的诊断信息的例子。

医疗图像数据生成部14生成新来的患者的医疗图像数据，具体地，医疗图像数据生成部14可以由CT设备或MR设备等构成，根据医生的诊断对新来的患者进行CT扫描或者MR扫描等而生成CT三维图像或MR三维图像等医疗图像数据。

工作流生成部15通过将新来的患者的背景信息和模型工作流输入推测处理模型而生成针对该患者的工作流，具体地，工作流生成部15提取新来的患者的背景信息的关键词，将该关键词与模型工作流输入推测处理模型，在推测处理模型中对该关键词与模型工作流中的关键词的相似性进行比较而对模型工作流的每个工作流生成相似度，并将相似度在规定阈值以上的模型工作流中的工作流生成为该患者的工作流。

如图4的S1′所示，新来的患者经过医生问诊后，医生给出的诊断方案为进行CT胸部、腹部扫描，并且怀疑该患者患有子宫癌，并且，根据该患者的以往的诊断信息可知，该患者曾经吸烟5年、曾被诊断出肺大泡、超声肝囊肿、以及淋巴结增生。

如图4的S2′所示，工作流生成部15提取该患者的背景信息中的关键词“子宫癌”、“吸烟”、“肺大泡”、“肝囊肿”、“淋巴结增生”。

进而，工作流生成部15将关键词S2′以及模型工作流S3输入由SBERT网络生成的推测处理模型中，在推测处理模型中对关键词S2′与模型工作流S3中的关键词的相似性进行比较而对模型工作流的每个工作流生成相似度，输出工作流S4。在工作流S4中，不示出相似度为0的工作流。然后，工作流生成部15将相似度在规定阈值0.3以上的工作流生成为新来的患者的工作流。

由工作流生成部15生成的工作流所处理的图形的模态与新来的患者所进行的图像扫描的模态相同，例如当新来的患者进行了CT扫描的情况下，所生成的工作流是用于处理CT数据的工作流。

医疗图像数据处理部16运行新来的患者的工作流来对由医疗图像数据生成部14生成的该患者的医疗图像数据进行处理。

显示部17由液晶显示器等构成，显示医疗图像数据处理部16的处理结果。

在医疗图像数据的处理装置10中，对多个患者的已有背景信息和已有工作流之间的关系进行学习而生成推测处理模型，并将新来的患者的背景信息输入到该推测处理模型中而自动生成该新来的患者的工作流，由此能够对新来的患者生成适当的工作流，能够缩短图像处理的时间，并提高图像处理的效率。

另外，如图5所示，工作流生成部15也可以形成为，按照新来的患者的背景信息的关键词与模型工作流中的关键词的相似度由高到低的顺序来排列所生成的新来的患者的工作流，S6是排列后的工作流。通常，运行相似度高的工作流，与运行相似度低的工作流相比，其处理结果更加准确和适当。由于处理结果按照工作流的排列顺序而显示，因此能够将比较准确和适当的处理结果显示在靠上方的位置，便于医生参考。

由于新来的患者的背景信息中包含该患者的以往的诊断信息，在生成的工作流以及处理结果中，有时存在将与以往的诊断信息相关的工作流排列在前，而导致其处理结果显示在最上方的情况。此时，有时无法快速找出与医生的诊断目标相关的处理结果，会给医生造成混乱。

因此，如图6所示，也可以形成为，工作流生成部15基于新来的患者的当前的检查信息对该患者的各个背景信息付与权重，按照权重由高到低的顺序来排列所生成的该患者的与其各个背景信息分别相关的工作流，显示部17按照该患者的工作流的排列顺序来显示处理结果。

在图6中，在来自医生的检查信息中，首先，怀疑患者患有子宫癌，工作流生成部15基于该检查信息对与妇科疾病相关的血液检测信息付与权重1，从而使与血液检测信息相关的工作流a排列在最上方；其次，医生判断患者需要进行CT胸部、腹部扫描，工作流生成部15基于该检查信息对与CT胸部、腹部扫描相关的背景信息“淋巴结增生”、“肝囊肿”以及“吸烟20年、肺大泡”付与权重0.8、0.5、0.3，从而使与之分别相关的工作流b、工作流c、工作流d依次排列。从而，能够与医生的诊断目标相匹配地显示处理结果。

下面，参考图7，对医疗图像数据的处理方法进行说明。

在步骤S101中，从存储部11取得多个患者的已有的有关医疗图像数据的多个背景信息。

在步骤S102中，由推测处理模型生成部12对该取得的多个背景信息与存储部11所存储的模型工作流中的每个工作流之间的关系进行学习而生成推测处理模型。

在步骤S103中，由背景信息获取部13获取新来的患者的包含该患者的当前的检查信息以及该患者的以往的诊断信息的背景信息。

在步骤S104中，由医疗图像数据生成部14生成新来的患者的医疗图像数据。

在步骤S105中，由工作流生成部15提取新来的患者的背景信息的关键词，将该关键词与模型工作流输入在步骤S102中生成的推测处理模型，在推测处理模型中对该关键词与模型工作流中的关键词的相似性进行比较而对模型工作流的每个工作流生成相似度，并将相似度在规定阈值以上的模型工作流中的工作流生成为新来的患者的工作流。

在步骤S106中，由医疗图像数据处理部16运行新来的患者的工作流来对在步骤S104中生成的该患者的医疗图像数据进行处理。

在步骤S107中，由显示部17显示对新来的患者的医疗图像数据的处理结果。

由此，能够在短时间内对新来的患者生成适当的工作流，能够提高图像处理的效率。

第2实施方式

下面，使用图8对本发明的第2实施方式的医疗图像数据的处理装置的结构进行说明。对与第1实施方式重复的部分标注相同的附图标记而省略重复的说明。

在第2实施方式中，医疗图像数据的处理装置10除了具备与第1实施方式相同的存储部11、推测处理模型生成部12、背景信息获取部13、医疗图像数据生成部14、工作流生成部15、医疗图像数据处理部16、以及显示部17以外，还具备背景信息提取部18。

背景信息提取部18从医疗图像数据处理部16的处理结果或在运行患者的工作流的过程中得到的信息中提取背景信息。

如图9所示，当在医疗图像数据处理部16的处理结果S10中存在能够作为患者的新的背景信息的“冠状动脉狭窄”时，背景信息提取部18从处理结果S10中提取出背景信息S11、即“冠状动脉狭窄”，然后，由工作流生成部15将背景信息S11和模型工作流S3输入推测处理模型而生成针对患者的追加工作流S12。

另外，也可以形成为，背景信息提取部18从在运行患者的工作流的过程中得到的信息中提取背景信息，进而将该背景信息和模型工作流输入推测处理模型而生成针对患者的追加工作流。

如上所述，通过从图像数据的处理结果或在运行患者的工作流的过程中得到的信息中提取背景信息而生成追加工作流，能够对新来的患者生成更加适当的工作流，能够提高图像处理的准确度。

下面，参考图10，对第2实施方式的医疗图像数据的处理方法进行说明。

第2实施方式中的步骤S201～步骤S207与第1实施方式中的步骤S101～步骤S107相同，因此省略说明。

在步骤S208中，由背景信息提取部18从医疗图像数据处理部16的处理结果或在运行患者的工作流的过程中得到的信息中提取背景信息。

在步骤S209中，由工作流生成部15将在步骤S208中提取的背景信息和模型工作流输入推测处理模型而生成针对患者的追加工作流。

在本实施方式中，在通过第1实施方式对患者生成的工作流的基础上，进一步生成追加工作流，能够生成更加适当的工作流，由此提高图像处理的准确度。

另外，在以上实施方式中，以患者为例对被检体进行了说明，但被检体也可以是被进行检查的除患者以外的人或者动物等。

如上所述，虽然对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而示出的，并不意图对发明的范围进行限定。这些实施方式能够以其他各种方式加以实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中，并包含于技术方案所记载的发明和与其等同的范围中。