掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法、设备及存储介质

文献发布时间:2023-06-19 11:35:49


数据处理方法、设备及存储介质

技术领域

本申请涉及计算机技术领域,尤其涉及一种数据处理方法、设备及存储介质。

背景技术

计算机辅助诊断(Computer Aided Diagnosis,CAD)技术,可基于计算机强大的分析计算能力,结合影像学、医学图像处理技术以及其他可能的生理、生化手段,帮助医师发现病灶。

例如,治疗血管相关疾病时,可基于CT(Computed Tomography,电子计算机断层扫描)技术进行血管造影,得到血管造影图像,再基于计算机技术识别血管造影图像上的血管的分布情况,以提升病灶分析效率。

但是,现有技术对血管造影图像进行识别时,并未充分利用血管造影图像包含的特征,导致识别结果的准确率较低。因此,有待提出一种新的解决方案。

发明内容

本申请的多个方面提供一种数据处理方法、设备及存储介质,用以提升对图像包含的管状影像的识别结果。

本申请实施例提供一种数据处理方法,包括:获取待处理图像,所述待处理图像包含至少一个管状影像;计算所述至少一个管状影像各自的空间分布特征和图像特征;根据所述至少一个管状影像各自的空间分布特征和图像特征,识别所述至少一个管状影像各自对应的管状结构。

本申请实施例还提供一种数据处理方法,包括:获取待处理图像,所述待处理图像包含至少一个管状影像;将所述待处理图像输入管状结构识别模型,得到所述至少一个管状影像各自对应的识别结果;其中,所述管状结构识别模型中的特征计算层的输出数据,包括所述特征计算层的输入数据中的部分数据和所述特征计算层对所述输入数据的计算结果。

本申请实施例还提供一种数据处理方法,包括:获取待处理图像,所述待处理图像包含至少一个管状影像;将所述待处理图像输入管状结构识别模型,得到所述至少一个管状影像各自对应的识别结果;其中,所述管状结构识别模型中的第一特征计算层的输出数据,由所述第一特征计算层对本层输入数据的计算结果和所述至少一个管状影像的空间分布特征叠加得到;位于所述第一特征计算层之后的第二特征计算层的输入数据,包括:由所述第一特征计算层的输出数据和所述至少一个管状影像各自的图像特征融合得到的融合特征。

本申请实施例还提供一种数据处理方法,包括:获取待处理图像,所述待处理图像包含至少一个管状影像;将所述待处理图像输入管状结构识别模型,得到所述至少一个管状影像各自对应的识别结果;其中,所述管状结构识别模型包括图卷积神经网络,所述图卷积神经网络的输入数据为:以所述至少一个管状影像各自的特征为结点的结构图。

本申请实施例还提供一种数据处理设备,包括:存储器和处理器;所述存储器用于存储一条或多条计算机指令;所述处理器用于执行所述一条或多条计算机指令以用于:执行本申请实施例提供的数据处理方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现本申请实施例提供的数据处理方法中的步骤。

在本申请实施例提供的数据处理方法中,根据待处理图像包含的管状影像的空间分布特征和图像特征,对管状结构进行识别,可将管状结构具有的多种复杂特征作为识别依据,充分利用待处理图像提供的多种不同的管状结构的信息,有利于提升对管状影像的识别结果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1为本申请一示例性实施例提供的数据处理方法的流程示意图;

图2a为本申请另一示例性实施例提供的数据处理方法的流程示意图;

图2b为本申请一示例性实施例提供的管状结构识别模型的结构示意图;

图2c为本申请一示例性实施例提供的结构图的结构示意图;

图2d为本申请一示例性实施例提供的GCN层的数据传递过程示意图;

图3为本申请又一示例性实施例提供的数据处理方法的流程示意图;

图4为本申请又一示例性实施例提供的数据处理方法的流程示意图;

图5为本申请又一示例性实施例提供的数据处理方法的流程示意图;

图6为本申请一示例性实施例提供的应用场景图;

图7为本申请一示例性实施例提供的数据处理设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

现有技术中,对血管造影图像进行识别时,只考虑了造影图像表征的片面信息,并未充分利用待处理图像包含的多种复杂信息,因此导致血管识别的准确率较低。以下将结合现有技术提供的冠脉分支命名的方式,对现有技术存在的缺陷进行简单说明。在现有技术中,常用的冠脉分支命名方法是基于配准的方法和基于树形结构和LSTM(Long Short-Term Memory,长短期记忆网络)的方法。

在基于配准的方法中,先利用配准算法将冠脉树的主要分支RCA(left coronaryartery,左冠状动脉)、LM(left main coronary artery,左冠状动脉主干)、LAD(leftanterior descending,左前降支)、LCX(left circumflex artery,左旋支动脉)识别出来,然后利用规则和先验知识(例如,冠脉树的拓扑结构)将剩余的其他的分支归类。

在基于树形结构和LSTM的方案中,将冠脉树构建成一个二叉树,将每根血管作为二叉树上的节点,然后利用LSTM模型来学习父节点和孩子节点的关联性,最后预测出每个节点所属的归类,从而得到每根血管的名字。

上述两种方案中,仅仅考虑了血管树中主干血管和分支血管的位置依赖关系,但并未充分考虑血管树中的血管的其他信息,因而,导致血管的命名结果存在较大的误差。尤其在主干血管命名错误时,该误差的导致的结果更加严重。

针对现有技术中存在的上述技术问题,在本申请一些实施例中,提供了一种解决方案,以下结合附图,详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的数据处理方法的流程示意图,如图1所示,该方法包括:

步骤101、获取待处理图像,该待处理图像包含至少一个管状影像。

步骤102、计算该至少一个管状影像各自的空间分布特征和图像特征。

步骤103、根据该至少一个管状影像各自的空间分布特征和图像特征,识别该至少一个管状影像各自对应的管状结构。

其中,待处理图像可包括对管状结构进行成像得到的图像。

在一些实施例中,待处理图像可包括:在医学设备的辅助下,对生物体的管状结构进行造影得到的血管造影图像。例如,可以是基于CT技术对生物体的冠状动脉进行造影,得到的冠动脉造影(CT angiography,CTA)图像。

在另一些实施例中,待处理图像可包括:对城市铺设的热水管道进行热成像得到的图像。

在又一些实施例中,待处理图像可包括:基于遥感技术对地理环境中分布的河道、火车轨道、公路等进行成像得到的遥感图像。在待处理图像上,包含至少一个管状影像。其中,管状影像,指的是管状结构造影成像后,在待处理图像上对应的图像部分。在成像效果良好的情况下,一个管状影像可对应一个用于造影成像的管状结构。例如,对生物体的血管进行造影得到的造影图像上,可包含血管影像。对城市热水管进行热成像得到的热水管分布图像上,可包含热水管影像。对地理环境中分布的河道进行遥感成像得到的遥感图像上,可包含河道影响。

管状结构成像后,其具有的特征可反映在对应的管状影像上。因此,可基于管状影像表现出来的特征,识别其对应的管状结构。通常,管状结构具有较为复杂的空间分布特征以及个体间差异。以血管为例,血管在生物体内是较为复杂的存在。生物体各个部位的血管包括主干血管以及由主干血管旁引出的分支血管,血管造影成像后,主干血管和分支血管大致呈“树”状展现。从整体上看,血管树中不同血管之间具有一定的空间分布特征,例如部分分支血管位于主干血管的左侧,部分分支血管位于主干血管的右侧;从局部上看,血管树中不同血管的形状、尺寸、走向又各不相同。

基于上述,在本实施例中,识别待处理图像上的管状影像时,可从待处理图像上获取每个管状影像各自的空间分布特征和图像特征。基于空间分布特征和图像特征,可更加全面地将管状结构具有的复杂特征作为识别管状影像的依据,有利于较为准确地识别待处理图像上的管状结构。

其中,管状影像的空间分布特征,可包括但不限于管状影像在待处理图像上的位置特征、走向特征以及管状影像之间的连接关系等等。管状影像的图像特征,可包括但不限于管状影像的形状特征以及尺寸特征等等,此处不赘述。

在本实施中,根据待处理图像包含的管状影像的空间分布特征和图像特征,对管状结构进行识别,可将管状结构具有的多种复杂特征作为识别依据,充分利用待处理图像提供的多种不同的管状结构的信息,有利于提升对管状影像的识别结果。

在本申请的上述以及下述各实施例中,对管状影像进行识别的过程可采用基于神经网络(Neural Networks,NN)的机器学习模型实现。其中,神经网络可包括:卷积神经网络(Convolutional Neural Networks,CNN)、深度神经网络(Deep Neural Network,DNN)、图卷积神经网络(Graph Convolutional Networks,GCN)、循环神经网络(Recurrent NeuralNetwork,RNN)以及长短期记忆神经网络(Long Short-Term Memory,LSTM)一种或多种,本实施例不做限制。

为便于描述,在本申请的以下各实施例中,将用于对管状影像进行识别的模型描述为管状结构识别模型。在一些可选的实施例中,为充分利用待处理图像上的管状影像的多种特征,管状结构识别模型可由CNN、LSTM以及GCN组成,以下将结合图2a、图2b以及图2c进行示例性说明。

图2a为本申请另一示例性实施例提供的数据处理方法的流程示意图,如图2a所示,该方法包括:

步骤201、获取待处理图像,该待处理图像包含至少一个管状影像。

步骤202、从该待处理图像上,获取该至少一个管状影像各自的中心线。

步骤203、将该至少一个管状影像各自的中心线和该待处理图像输入管状结构识别模型。

步骤204、在管状结构识别模型内部,根据该至少一个管状影像各自的中心线,提取该至少一个管状影像各自的空间分布特征和图像特征。

步骤205、在管状结构识别模型内部,获取该至少一个管状影像各自对应的空间分布特征和图像特征的融合特征。

步骤206、将该至少一个管状影像各自对应的融合特征,作为该管状结构识别模型中的特征计算模块的输入数据。

步骤207、在该特征计算模块中,根据该输入数据和设定的模型参数进行计算,得到该特征计算模块的输出数据。

步骤208、在该管状结构识别模型的全连接层,根据该特征计算模块的输出数据,识别该至少一个管状影像各自对应的管状结构。

步骤209、输出该至少一个管状影像各自对应的管状结构的名称。

在步骤201中,待处理图像包含至少一个管状影像。例如,在一些场景下,待处理图像实现为冠状动脉造影图像时,待处理图像上可包含多个血管影像,且多个血管影像呈树状分布。

在步骤202中,可选地,以血管为例,获取血管影像的中心线的操作,可基于血管追踪的方式实现。

在血管追踪的过程,可采用血管追踪器识别出每个位置处的血管的方向和半径,并迭代计算,以搜索出完整的血管。在这个过程中,可采用血管判别器判断是否终止血管追踪器的搜索操作。基于血管追踪器和血管判别器识别出的血管的方向和半径,可绘制血管的中心线。其中,血管追踪器和血管判别器可基于多任务的三维卷积神经网络模型实现,此处不做赘述。

接下来,在步骤203中,可将待处理图像可前述步骤提取到的该至少一个管状影像各自的中心线输入管状结构识别模型。

在本实施例中,管状结构识别模型的输入包括:待处理图像以及待处理图像上的管状影像各自的中心线;管状结构识别模型的输出包括:待处理图像上的管状结构的名称。基于上述输入和输出,管状结构识别模型实现了“端对端”的管状影像识别操作。在“端对端”的识别过程中,管状结构识别模型未采用先产生中间结果,再根据中间结果获取最终识别结果的计算方式,有效避免了中间结果的准确性对最终识别结果的准确性产生的影响。

在步骤204中,其中,管状结构识别模型的一种典型的可选结构可如图2b所示。以下将结合图2b继续进行说明。

可选地,在管状结构识别模型内部,可包含特征提取模块,该特征提取模块,用于根据每个管状影像的中心线,从待处理图像上提取每个管状影像的空间分布特征和图像特征。

可选地,管状结构识别模型内部包含的特征提取模块,可包括:空间特征提取模块和图像特征提取模块。

其中,空间特征提取模块,用于从待处理图像上提取每个管状影像的空间分布特征;图像特征提取模块,用于从待处理图像上提取每个管状影像的图像特征。如图2b所示,在一些可选的实施方式中,空间特征提取模块可基于SCTS^2模块(SCT:sphericalcoordinate transform,球坐标系转换)实现;图像特征提取模块,基于三维卷积神经网络(3DCNN)和长短期记忆网络实现。当然,在其他可选实施方式中,空间特征提取模块和图像特征提取模块还可由其他的算法模块实现,本实施例不做限制。

以下将结合该至少一个管状影像中的第一管状影像为例,分别对空间特征提取模块和图像特征提取模块的执行逻辑进行示例性说明,该第一管状影像为任一管状影像。

其中,空间特征提取模块提取空间分布特征的可选方式,主要基于管状影像的中心线实现。管状影像的中心线,由一系列空间直角坐标系中的三维坐标点组成。可选地,空间特征提取模块,可获取第一管状影像的中心线上的起始点、终止点以及中间至少一个点的位置坐标,并根据这几个点的位置坐标,生成第一管状影像的位置特征向量。

在生成位置特征向量的过程中,空间特征提取模块可根据获取到的点的位置坐标进行坐标变换,将点的位置坐标从空间直角坐标系映射到球坐标系中。

以下将结合第一管状影像的中心线上的一个点P(x,y,z)进行说明,其中,(x,y,z)为点P在空间直角坐标系XYZ中的三维坐标。

针对P(x,y,z),可根据公式(1)进行球坐标转换:

基于上述公式1,可得到点P在球坐标系中的坐标,若用矩阵描述,可将点P表示为一个2×2的矩阵M,

可选地,继续以第一管状影像为例,基于第一管状影像的中心线上的起始点的位置坐标以及终止点的位置坐标,空间特征提取模块还可计算该起始点的切向量,并计算该起始点指向终止点的向量。基于起始点的切向量和起始点指向终止点的向量,空间特征提取模块可获取第一管状影像的方向特征向量。

可选地,空间特征提取模块,可根据该至少一个管状影像各自的中心线上的点的位置坐标的关联关系,获取该至少一个管状影像之间的连接关系。以第一管状影像为例,空间特征提取模块可提取第一管状影像的起始点的位置坐标,接着判断该起始点的位置坐标是否与其他管状影像的中心线上的某一点的位置坐标重合;若重合,则可认为第一管状影像与该其他管状影像相互连接。

需要说明的是,空间特征提取模块可将上述位置特征向量、方向特征向量以及连接关系中的任意一种或者多种的组合,作为管状影像的空间分布特征,本实施例不做限制。

可选地,图像特征提取模块,可根据该至少一个管状影像各自的中心线,从该待处理图像上,提取该至少一个管状影像各自对应的图像区域。例如,以第一管状影像为例,在待处理图像上,图像特征提取模块可沿着第一管状影像的中心线,提取与一系列包围体,作为第一管状影像对应的图像区域。其中,该包围体可以是立方体或者是圆柱体,包围体的截面尺寸与第一管状影像的直径适配。例如,包围体的截面尺寸可略大于第一管状影像的直径或者等于管状影像的直径,不再赘述。

获取到该至少一个管状影像各自对应的图像区域后,图像特征提取模块可采用卷积神经网络和长短期记忆网络,对该至少一个管状影像各自对应的图像区域进行特征提取,得到该至少一个管状影像各自对应的图像特征向量。其中,管状影像为三维影像时,卷积神经网络实现为三维卷积神经网络,如图2b所示的3DCNN,以对三维的管状影像进行特征提取。

在步骤205中,获取到每个管状影像的空间分布特征和图像特征后,管状结构识别模型可对每个管状影像的空间分布特征和图像特征进行融合,得到每个管状影像的融合特征。以下将继续以第一管状影像为例,对获取融合特征的过程进行示例性说明。

可选地,第一管状影像的空间分布特征和图像特征以向量的形式进行表征时,管状结构识别模型可将第一管状影像的空间分布特征对应的向量和该管状影像的图像特征对应的向量进行拼接,得到第一管状影像的特征拼接向量。该特征拼接向量,可用于表征第一管状影像的融合特征。

例如,承接上述步骤204,第一管状影像的空间分布特征包括位置特征向量和方向特征向量,图像特征以图像特征向量表征,那么管状结构识别模型可将第一管状影像的位置特征向量、方向特征向量以及图像特征向量进行拼接,得到第一管状影像的特征拼接向量。

应当理解,通过向量拼接的方式进行特征融合,是一种可选的特征融合方式,本申请包含但不限于此。例如,在另一些可选的实施方式中,对第一管状影像的空间分布特征和图像特征进行融合时,可将第一管状影像的空间分布特征对应的向量和图像特征对应的向量进行叠加,不再赘述。

接下来,在步骤206中,将该至少一个管状影像各自对应的融合特征,输入管状结构识别模型中的特征计算模块。其中,特征计算模块,指的是管状结构识别模型中,用于按照设定的模型参数,从输入数据中提取特征的模块,例如CNN中的卷积模块。可选地,该管状结构识别模型实现为图2b所示的结构时,该特征计算模块可实现为GCN中的图卷积模块。

GCN对图结构数据具有较好的学习的性能,适用于对具有一定空间结构特征的管状影像的特征进行处理。因此,为充分利用GCN的优势,管状结构识别模型可在将该至少一个管状影像各自对应的融合特征输入图卷积模块之前,进一步执行以下操作,即:根据该至少一个管状影像本身具有的空间结构特征,对该至少一个管状影像各自对应的融合特征进行结构化,得到图结构数据,并将图结构数据作为图卷积模块的输入数据。基于此,图卷积模块可进一步充分利用管状影像体现出的结构特征,有利于进一步提升图卷积模块提取到的特征的可靠性和可用性。

基于前述步骤的记载可知,管状结构识别模型获取到的该至少一个管状影像的空间分布特征,包括该至少一个管状影像之间的连接关系。基于此,管状结构识别模型可将该至少一个管状影像各自对应的融合特征作为结点,根据该至少一个管状影像之间的连接关系,绘制结构图;以及,将该结构图,作为图卷积模块的输入数据。结构图是一种图结构数据,既可体现该至少一个管状影像的融合特征的连接关系,也同时包含有该至少一个管状影像的融合特征。以下将结合附图,以管状影像实现为血管影像为例,对获取结构图的可选实施方式进行示例性说明。

图2c示意了根据血管树中的血管影像的连接关系,绘制得到的结构图。在图2c中,结点为血管树中每个血管影像的融合特征,若两个血管影像存在连接关系,则可采用线段将这两个血管影像对应的融合特征进行连接。例如,血管树中,主干血管1和分支血管3和分支血管7连接,在结构图中,可相应地在主干血管1的融合特征和分支血管3的融合特征之间添加线段,在主干血管1的融合特征和分支血管7的融合特征之间添加线段。在步骤207中,可选地,该图卷积模块包括多个GCN层,如图2b所示。GCN层的数量可以根据实际需求进行设置,例如可设置为3层、4层、5层等等,本实施例不做限制。

以下将以多个GCN层中的第一GCN层为例,对GCN层的处理逻辑进行示例性说明。其中,第一GCN层是图卷积模块中的任意一个GCN层,此处采用“第一”进行限定,仅用于方便描述和区分,并不对其排列顺序或者等级构成限制。

在图卷积模块中,每个GCN层的输入是图结构数据,输出也是图结构数据。即,每个GCN层可对输入的结构图执行特征提取操作,并输出操作后得到的结构图,以将其传递至下一层。为便于描述,将第一GCN层输入的图结构数据描述为第一结构图。

可选地,若该第一GCN层为图卷积模块中的首个GCN层,则该第一结构图为图卷积模块的输入数据包含的结构图,也就是前述步骤中根据该至少一个管状影像的融合特征和该至少一个管状影像的连接关系绘制的结构图。可选地,若该第一GCN层为图卷积模块中的非首个GCN层,则该第一结构图可根据该第一GCN层的前一个GCN层输出的结构图得到。

在第一GCN层中,可根据输入该第一GCN层的第一结构图中的结点的连接关系以及该第一GCN层的模型参数,对该第一结构图进行更新,得到第二结构图。

对该第一结构图进行更新的过程,可实现为对第一结构图上的每个结点的融合特征进行更新的过程。以下将以第一结构图中的第一结点为例进行示例性说明。其中,第一结点是第一结构图上的任一结点。

可选地,针对第一结点,可从该第一结构图上获取与该第一结点连接的第二结点。其中,第二结点的数量可以是一个或者多个,视具体连接情况而定。接着,对第一结点对应的融合特征和第二结点对应的融合特征执行特征融合操作,并根据执行该特征融合操作得到的特征,更新该第一结点对应的融合特征。

例如,以图2c为例,与结点1连接的结点为:结点2、结点6以及结点7;接下来,可计算结点1对应的融合特征、结点2对应的融合特征、结点6对应的融合特征以及结点7对应的融合特征的平均值,并将计算得到的平均值作为结点1新的融合特征。

可选地,对该第一结点对应的融合特征和该第二结点对应的融合特征执行特征融合操作的方式,可包括:计算第一结点对应的融合特征和第二结点对应的融合特征的平均值;或者,按照设定的权重,计算第一结点对应的融合特征和第二结点对应的融合特征的加权求和值,本实施例包含但不限于此。

基于上述方式,可对第一结构图上的每个结点对应的融合特征进行更新。在完成第一结构图的更新操作后,第一GCN层可根据本层的模型参数和第二结构图,得到第一GCN层的输出数据。

值得说明的是,本实施例中,在GCN层中引入了残差算法,以进一步提升管状影像的特征在GCN层之间的传递效果,提升管状结构识别的准确率。在残差算法中,每个GCN层在执行本层的数据处理操作后,可根据本层的处理结果和本层的输入数据作为本层的输出数据。以下将继续结合第一GCN层进行示例性说明。

可选地,第一GCN层根据本层的模型参数和第二结构图,得到第一GCN层的输出数据时,可执行以下的步骤:

首先,根据本层的模型参数对第二结构图进行特征提取,得到第三结构图。接着,若第一GCN层为图卷积模块中的首个图卷积层,则将该至少一个管状影像的空间分布特征和第三结构图进行叠加,作为第一GCN层的输出数据;若第一GCN层为非首个图卷积层,则可将第一GCN层的前一图卷积层的输出数据和第三结构图进行叠加,作为第一GCN层的输出数据。

基于上述,管状影像的空间分布特征,可随着模型的加深,更好地在GCN层中间进行传递。

还值得说明的是,本实施例中,在引入残差算法的基础上,还可进一步执行如下的步骤:

可选地,后一GCN层的输入数据,可由前一GCN层的输出数据和该至少一个管状影像的图像特征组成,以进一步增强管状影像的图像特征在GCN层之间的传递效果,增强图像特征对管状结构识别过程的贡献程度。

继续以第一GCN层为例,在一些可选的实施例中,获取到第一GCN层的输出数据后,可将该第一GCN层的输出数据和该至少一个管状影像的图像特征进行特征融合,作为该第二GCN层的输入数据;其中,该第二GCN层是该第一GCN层的下一个GCN层。可选地,该特征融合操作可以是向量拼接操作,不再赘述。

以下将结合图2d为例,对GCN层之间的数据传递过程进行示例性说明。

图2b中,圆圈可表示向量拼接操作,X,Y分别表示管状影像的空间分布特征和图像特征,图卷积模块包括3个GCN层:GCN层1、GCN层2、GCN层3。

X,Y拼接后得到的拼接向量(X,Y)输入图卷积模块,即GCN层1的输入为(X,Y);以G1(X,Y)表示GCN层1对(X,Y)的计算结果,那么,GCN层1的输出数据X`=G1(X,Y)+X。

接着,将GCN层1的输出数据X`和Y进行拼接,得到拼接向量(X`,Y),输入GCN层2;以G2(X`,Y)表示GCN层2对(X`,Y)的计算结果,那么,GCN层2的输出数据X``=G1(X`,Y)+X`。

接着,将GCN层2的输出数据X``和Y进行拼接,得到拼接向量(X``,Y),输入GCN层3;以G3(X``,Y)表示GCN层3对(X``,Y)的计算结果,那么,GCN层3的输出数据X```=G1(X``,Y)+X``。

在步骤207中,图卷积模块的计算结果,传递至管状结构识别模型中的全连接层。在全连接层,可根据该图卷积层的输出,计算该至少一个管状影像属于已知管状结构的概率,并根据该概率,输出该至少一个管状影像各自对应的管状结构。

在本实施中,根据待处理图像包含的管状影像的空间分布特征和图像特征,对管状结构进行识别,可将管状结构具有的多种复杂特征作为识别依据,充分利用待处理图像提供的多种不同的管状结构的信息,有利于提升对管状影像的识别结果。

特别地,当管状结构为血管时,可基于本实施例提供的技术方案,较为准确地识别血管造影图像上的血管,有利于提升病灶的分析效率。

另外,在本实施例中,管状结构识别模型中,采用了图卷积神经网络对血管影像的特征进行处理,可在血管识别的过程中,充分利用血管的空间结构,降低了分支血管对主干血管之间的依赖,一定程度上降低了主干血管的识别结果对分支血管的识别结果造成的影响。除此之外,本实施例引入了残差计算方式,使得每一个GCN层的输出数据包括该层的输入数据和该层对输入数据的计算结果,有利于特征在GCN层中有效地传递,提升血管识别的准确率。

值得说明的是,在一些可选的实施例中,识别到血管造影图像上的至少一个血管影像各自对应的血管之后,可进一步在血管造影图像上,展示该至少一个血管影像各自对应的血管名称,以便于用户查看血管识别结果。

在一些可选的实施例中,用户可根据实际情况对血管识别结果进行修改。例如,可双击任一血管影像或血管名称,以发起名称修改操作。响应针对该至少一个血管影像中的任一血管影像的名称修改操作,可获取修改后的血管名称,并展示修改后的血管名称。在一些实施例中,可将修改后的血管名称作为管状结构识别模型的真值,重新对管状结构识别模型进行迭代训练,以进一步优化管状结构识别模型。

在一些可选的实施例中,可进一步获取每一血管名称所属的健康血管造影得到的图像,作为参考图像。例如,造影图像包含的3个血管造影的血管名称为:左冠状动脉、左旋支动脉、左前降支,则可获取健康状态下的左冠状动脉、左旋支动脉以及左前降支的造影图像,作为参考图像。

接着,可将参考图像和该至少一个血管影像进行对比显示。这种对比显示的方式,可便于用户快速查看该至少一个血管造影图像中是否存在异常情况。

在一些可选的实施例中,基于每一血管名称所属的健康血管造影得到的图像,可获取血管名称所属的健康血管的形状特征。其中,形状特征可包括走向特征、直径特征、壁厚特征等等,本实施例不做限制。接着,可将该至少一个血管影像的形状特征和其对应的健康血管的形状特征进行对比,并可根据对比的结果,确定该至少一个血管影像中处于异常状态的血管影像,作为目标血管影像。

接下来,可突出展示该目标血管影像。可选地,突出展示目标血管影像的方式可包括高亮显示目标血管、在目标血管上添加星标符号、局部放大目标血管或者框选目标血管进行展示中的至少一种,本实施例不做限制。基于这种方式,可主动对用户进行异常提示,提升用户对造影图像的分析效率。

在本申请的上述以及下述各实施例采用的管状结构识别模型用于进行血管识别时,可采用大量的血管造影图像为训练样本,基于图2b示意的模型结构进行模型训练。在训练的过程中,采用的损失函数可以是交叉熵(Cross Entropy)损失函数,此处不做赘述。

图3为本申请又一示例性实施例提供的数据处理方法的流程示意图,如图3所示,该方法包括:

步骤301、获取待处理图像,该待处理图像包含至少一个管状影像。

步骤302、将该待处理图像输入管状结构识别模型,得到该至少一个管状影像各自对应的识别结果;其中,管状结构识别模型中的特征计算层的输出数据,包括特征计算层的输入数据中的部分数据和特征计算层对该输入数据的计算结果。

在本实施例中,可选地,管状结构识别模型可包括:CNN、DNN、GCN、RNN以及LSTM中的一种或多种,本实施例不做限制。

在一些可选的实施例中,为充分利用待处理图像上的管状结构的图像特征和空间分布特征,管状结构识别模型可实现为图2b所示的结构。相应地,特征计算层可实现为图2b所示的GCN层。

在本实施例中,特征计算层的输出数据,包括特征计算层的输入数据中的部分数据和特征计算层对该输入数据的叠加结果。

可选地,若该特征计算层为首个特征计算层,则该特征计算层的输入数据中的部分数据为:该至少一个管状影像的空间分布特征;那么,该特征计算层的输出数据可包括:该至少一个管状影像的空间分布特征和该特征计算层对本层输入数据的计算结果。

若该特征计算层为非首个特征计算层,则该特征计算层的输入数据中的部分数据为:前一特征计算层的输出数据。那么,该特征计算层的输出数据可包括:前一特征计算层的输出数据和该特征计算层对本层输入数据的计算结果。

可选地,若该特征计算层为非首个特征计算层,则该特征计算层的输入数据包括:前一特征计算层的输出数据和该至少一个管状影像各自的图像特征融合得到的融合特征。具体可参考图2d以及前述实施例的记载,此处不再赘述。

基于上述,随着模型逐渐加深,输入特征计算层的数据和特征计算层的计算结果数据可以有效的在特征计算层之间传递,有助于提升管状结构识别的准确率。

图4为本申请又一示例性实施例提供的数据处理方法的流程示意图,如图4所示,该方法包括:

步骤401、获取待处理图像,该待处理图像包含至少一个管状影像。

步骤402、将该待处理图像输入管状结构识别模型,得到该至少一个管状影像各自对应的识别结果;其中,该管状结构识别模型中的第一特征计算层的输出数据,由该第一特征计算层对本层输入数据的计算结果和该至少一个管状影像的空间分布特征叠加得到;位于该第一特征计算层之后的第二特征计算层的输入数据,包括:由该第一特征计算层的输出数据和该至少一个管状影像各自的图像特征融合得到的融合特征。

可选地,管状结构识别模型,包括图卷积神经网络;第二特征计算层的输入数据,包括:以所述融合特征为结点的结构图。具体可参考前述各实施例的记载,此处不再赘述。

在本实施例中,前一特征计算层的输出数据在向后一特征计算层的过程中,可引入该至少一个管状影像各自的特征共同作为输入数据,可进一步增强管状影像的图像特征在GCN层之间的传递效果,增强图像特征对管状结构识别过程的贡献程度。

图5为本申请又一示例性实施例提供的数据处理方法的流程示意图,如图5所示,该方法包括:

步骤501、获取待处理图像,该待处理图像包含至少一个管状影像。

步骤502、将该待处理图像输入管状结构识别模型,得到该至少一个管状影像各自对应的识别结果;其中,该管状结构识别模型包括图卷积神经网络,该图卷积神经网络的输入数据为:以该至少一个管状影像各自的特征为结点的结构图。

可选地,该至少一个管状影像的特征,包括:该至少一个管状影像各自的空间分布特征;或者,该至少一个管状影像各自的图像特征;该至少一个管状影像各自的空间分布特征和图像特征的融合特征。

本实施例中,基于图卷积神经网络构建管状结构识别模型,可充分充分发挥图卷积神经网络对图结构数据的处理能力,在识别管状结构的过程中,充分利用管状影像的空间结构特征,进一步提升管状结构识别结果的准确性。

需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201至步骤204的执行主体可以为设备A;又比如,步骤201和202的执行主体可以为设备A,步骤203的执行主体可以为设备B;等等。

另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。

需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。

以下将结合图6,对本申请实施例提供的数据处理方法的一种典型应用场景进行示例性说明。

本申请实施例提供的数据处理方法可应用于冠心病的诊断过程。在获取到患者的冠脉造影图像后,可将冠脉造影图像和冠脉树中心线输入数据处理设备,数据处理设备可执行前述各实施例提供的方法,对冠脉造影图像上的血管进行识别,并输出包含有血管识别结果的图像。血管识别结果包含冠脉分支命名结果,如图6所示的血管A~G。基于冠脉分支命名结果,计算机辅助诊断系统可执行冠脉树的重建、狭窄/斑块的检测与诊断、最终生成诊断报告。该诊断报告可向医生提供额外的信息用于疾病的诊断,从而提升医生的工作效率。

图7是本申请一示例性实施例提供的数据处理设备的结构示意图,如图7所示,该数据处理设备包括:存储器701以及处理器702。

存储器701,用于存储计算机程序,并可被配置为存储其它各种数据以支持在数据处理设备上的操作。这些数据的示例包括用于在数据处理设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。

存储器701可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

处理器702,与存储器701耦合,用于执行存储器701中的计算机程序,以用于:获取待处理图像,所述待处理图像包含至少一个管状影像;计算所述至少一个管状影像各自的空间分布特征和图像特征;根据所述至少一个管状影像各自的空间分布特征和图像特征,识别所述至少一个管状影像各自对应的管状结构。

进一步可选地,处理器702在计算所述至少一个管状影像各自的空间分布特征和图像特征时,具体用于:从所述待处理图像上,获取所述至少一个管状影像各自的中心线;根据所述至少一个管状影像各自的中心线,提取所述至少一个管状影像各自的空间分布特征和图像特征。

进一步可选地,针对所述至少一个管状影像中的任一管状影像,处理器702在根据所述至少一个管状影像各自的中心线,提取所述至少一个管状影像各自的空间分布特征时,具体用于执行以下至少一种操作:针对所述至少一个管状影像中的任一管状影像,根据所述管状影像的中心线上的起始点、终止点以及中间至少一个点的位置坐标,生成所述管状影像的位置特征向量;针对所述管状影像,根据所述起始点的切向量和所述起始点指向所述终止点的向量,获取所述管状影像的方向特征向量;根据所述至少一个管状影像各自的中心线上的点的位置坐标的关联关系,获取所述至少一个管状影像之间的连接关系。

进一步可选地,处理器702在根据所述至少一个管状影像各自的中心线,提取所述至少一个管状影像各自的空间分布特征和图像特征时,具体用于:根据所述至少一个管状影像各自的中心线,从所述待处理图像上,提取所述至少一个管状影像各自对应的图像区域;采用卷积神经网络和长短期记忆网络算法,对所述至少一个管状影像各自对应的图像区域进行特征提取,得到所述至少一个管状影像各自对应的图像特征向量。

进一步可选地,处理器702在根据所述至少一个管状影像各自的空间分布特征和图像特征,识别所述至少一个管状影像各自对应的管状结构时,具体用于:基于管状结构识别模型,获取所述至少一个管状影像各自对应的空间分布特征和图像特征的融合特征;将所述至少一个管状影像各自对应的融合特征,作为所述管状结构识别模型中的特征计算模块的输入数据;在所述特征计算模块中,根据所述输入数据和设定的模型参数进行计算,得到所述特征计算模块的输出数据;在所述管状结构识别模型的全连接层,根据所述特征计算模块的输出数据,识别所述至少一个管状影像各自对应的管状结构。

进一步可选地,处理器702在获取所述至少一个管状影像各自对应的空间分布特征和图像特征的融合特征时,具体用于:针对所述至少一个管状影像中的任一管状影像,将所述管状影像的空间分布特征对应的向量和所述管状影像的图像特征对应的向量进行拼接,得到所述管状影像的特征拼接向量;将所述至少一个管状影像各自对应的特征拼接向量,作为所述至少一个管状影像各自对应的融合特征。

进一步可选地,所述管状结构识别模型包含图卷积神经网络;处理器702在将所述至少一个管状影像各自对应的融合特征,作为所述管状结构识别模型中的特征计算模块的输入数据时,具体用于:从所述至少一个管状影像的空间分布特征,中获取所述至少一个管状影像的之间的连接关系;将所述至少一个管状影像各自对应的融合特征作为结点,根据所述至少一个管状影像之间的连接关系,绘制结构图;将所述结构图,作为所述特征计算模块的输入数据。

进一步可选地,所述特征计算模块包括多个图卷积层;处理器702在所述特征计算模块中,根据所述输入数据和设定的模型参数进行计算,得到所述特征计算模块的输出数据时,具体用于:在所述多个图卷积层中的第一图卷积层,根据输入的第一结构图中的结点的连接关系,对所述第一结构图进行更新,得到第二结构图;根据所述第一图卷积层的模型参数和所述第二结构图,得到所述第一图卷积层的输出数据;其中,若所述第一图卷积层为首个图卷积层,则所述第一结构图为所述输入数据包含的所述结构图;若所述第一图卷积层为非首个图卷积层,则所述第一结构图根据所述第一图卷积层的前一个图卷积层输出的结构图得到。

进一步可选地,处理器702在根据输入的第一结构图包含的结点的连接关系,对所述第一结构图进行更新,得到第二结构图时,具体用于:针对所述第一结构图中的第一结点,从所述第一结构图上获取与所述第一结点连接的第二结点;对所述第一结点对应的融合特征和所述第二结点对应的融合特征执行特征融合操作;根据执行所述特征融合操作得到的特征,更新所述第一结点对应的融合特征。

进一步可选地,处理器702在根据所述第一图卷积层的模型参数和所述第二结构图,得到所述第一图卷积层的输出数据时,具体用于:根据所述第一图卷积层的模型参数对所述第二结构图进行特征提取,得到第三结构图;若所述第一图卷积层为首个图卷积层,则将所述至少一个管状影像的空间分布特征和所述第三结构图进行叠加,作为所述第一图卷积层的输出数据;若所述第一图卷积层为非首个图卷积层,则将前一图卷积层的输出数据和所述第三结构图进行叠加,作为所述第一图卷积层的输出数据。

进一步可选地,处理器702在识别所述至少一个管状影像各自对应的管状结构之后,还用于:在所述血管造影图像上,展示所述至少一个血管影像各自对应的血管名称。

进一步可选地,处理器702还用于:响应针对所述至少一个血管影像中的任一血管影像的名称修改操作,获取修改后的血管名称;展示所述修改后的血管名称,并根据所述修改后的血管名称对所述管状结构识别模型进行优化操作。

进一步可选地,处理器702还用于:获取参考图像,所述参考图像由所述血管名称所属的健康血管造影得到;将所述参考图像和所述至少一个血管影像进行对比显示。

进一步可选地,处理器702还用于:获取所述血管名称所属的健康血管的形状特征;将所述至少一个血管影像的形状特征和所述健康血管的形状特征进行对比;根据所述对比的结果,确定所述至少一个血管影像中处于异常状态的目标血管影像;突出展示所述目标血管影像。

进一步可选地,处理器702还用于:将所述第一图卷积层的输出数据和所述至少一个管状影像的图像特征进行特征融合,作为所述第二图卷积层的输入数据;所述第二图卷积层是所述第一图卷积层的下一个图卷积层。

进一步,如图7所示,该数据处理设备还包括:通信组件703、显示器704、电源组件705等其它组件。图7中仅示意性给出部分组件,并不意味着数据处理设备只包括图7所示组件。

其中,通信组件703被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G或5G,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

其中,显示器704包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。

其中,电源组件705,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本实施例中,数据处理设备根据待处理图像包含的管状影像的空间分布特征和图像特征,对管状结构进行识别,可将管状结构具有的多种复杂特征作为识别依据,充分利用待处理图像提供的多种不同的管状结构的信息,有利于提升对管状影像的识别结果,提升病灶的分析效率。

需要说明的是,图7示意的数据处理设备,除了可根据前述实施例记载的数据处理逻辑执行数据处理操作之外,还可按照如下记载的数据处理逻辑执行数据处理操作:

执行逻辑1:处理器702用于获取待处理图像,所述待处理图像包含至少一个管状影像;将所述待处理图像输入管状结构识别模型,得到所述至少一个管状影像各自对应的识别结果;其中,所述管状结构识别模型中的特征计算层的输出数据,包括所述特征计算层的输入数据中的部分数据和所述特征计算层对所述输入数据的计算结果。

进一步可选地,若所述特征计算层为首个特征计算层,则所述特征计算层的输入数据中的部分数据为:所述至少一个管状影像的空间分布特征;

若所述特征计算层为非首个特征计算层,则所述特征计算层的输入数据中的部分数据为:前一特征计算层的输出数据。

进一步可选地,若所述特征计算层为非首个特征计算层,则所述特征计算层的输入数据包括:所述前一特征计算层的输出数据和所述至少一个管状影像各自的图像特征融合得到的融合特征。

执行逻辑2:处理器702用于获取待处理图像,所述待处理图像包含至少一个管状影像;将所述待处理图像输入管状结构识别模型,得到所述至少一个管状影像各自对应的识别结果;其中,所述管状结构识别模型中的第一特征计算层的输出数据,由所述第一特征计算层对本层输入数据的计算结果和所述至少一个管状影像的空间分布特征叠加得到;位于所述第一特征计算层之后的第二特征计算层的输入数据,包括:由所述第一特征计算层的输出数据和所述至少一个管状影像各自的图像特征融合得到的融合特征。

进一步可选地,所述管状结构识别模型,包括图卷积神经网络;所述第二特征计算层的输入数据,包括:以所述融合特征为结点的结构图。

执行逻辑3:处理器702用于获取待处理图像,所述待处理图像包含至少一个管状影像;将所述待处理图像输入管状结构识别模型,得到所述至少一个管状影像各自对应的识别结果;其中,所述管状结构识别模型包括图卷积神经网络,所述图卷积神经网络的输入数据为:以所述至少一个管状影像各自的特征为结点的结构图。

进一步可选地,所述至少一个管状影像的特征,包括:所述至少一个管状影像各自的空间分布特征;或者,所述至少一个管状影像各自的图像特征;或者,所述至少一个管状影像各自的空间分布特征和图像特征的融合特征。

相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由数据处理设备执行的各步骤。

相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由服务器执行的各步骤。

本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

相关技术
  • 数据处理设备、数据处理方法、程序转换处理设备和程序转换处理方法、程序转换处理设备、数据处理设备、程序转换处理方法和数据处理方法、数据处理设备、数据处理方法、程序分析处理设备和程序分析处理方法、数据处理设备、历史保存设备、数据处理方法和程序、以及编译处理设备
  • 移动设备的数据处理方法、装置、存储介质和移动设备
技术分类

06120112984304