医学影像处理方法、系统及存储介质
文献发布时间:2023-06-19 19:28:50
技术领域
本发明属于医学影像处理技术领域,尤其涉及一种医学影像处理方法、系统及存储介质。
背景技术
在医学影像可视化工程中,最基本的任务之一就是对医疗体数据进行渲染。与表面渲染不同的是,体渲染包含了从三维标量数据生成图像的多种技术。在体渲染技术中,PBVR(Physical-Based Volumetric Rendering,基于物理的体渲染)是目前比较前沿的渲染方法。PBVR是通过模拟现实世界中光流的方式渲染图像,具有层次感强、质感强以及光影效果真实的特点,但是对计算机计算力有较高的要求。为了降低PBVR的计算力成本,做到实时渲染,Monte Carlo Sampling(蒙特卡洛采样)等基于统计学的采样方法被接连提出,蒙特卡洛采样通过只追踪有限根光线及其反射、折射光线的方式来降低对计算机计算力的要求。但是,这种方法不可避免地带来噪声,导致渲染出的影像失真。
为了解决该问题,目前有两种处理方式:一是改进采样算法;二是应用去噪算法。对于第二种方式,人们提出了双边滤波、时间方差滤波等去噪算法。近年来,随着基于神经网络的深度学习技术的发展,越来越多的人开始利用深度学习来引导滤波去噪算法或者直接预测真实的像素值,从而在低采样率的条件下达到与高采样率近似的渲染效果。其中,双边网格滤波由双边滤波发展而来,采用将灰度信息升维、滤波再重建的理念降低了计算量,可以起到快速滤波和降噪的效果。
然而,目前双边网格等大多数基于神经网络的深度学习去噪方法都是用于离线的表面渲染和图像去雾中,没有考虑到体数据渲染的计算方程的特殊性来设计神经网络的输入特征以及网络架构,再加上体渲染的计算量庞大,导致存在难以实时地渲染去噪的问题。
发明内容
本发明要解决的技术问题是为了克服现有技术中基于神经网络的渲染去噪方法没有考虑到体数据渲染的特殊性,导致存在难以实时地渲染去噪等缺陷,提供一种医学影像处理方法、系统及存储介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供一种医学影像处理方法,所述医学影像处理方法包括:
获取待处理医学影像,以及所述待处理医学影像的影像信息;
基于所述影像信息,获取不同预设分辨率下的目标特征信息;
将所述目标特征信息输入至预设引导神经网络,以分别输出所述目标特征信息在不同所述预设分辨率下的引导图;
基于所述引导图,生成所述目标特征信息在对应的所述预设分辨率下的第一目标网格;
基于不同所述预设分辨率对应的多个所述第一目标网格,获取所述待处理医学影像经过去噪处理得到的目标医学影像。
在本方案中,通过引导神经网络将已经渲染的医学影像进行splatting(溅泼处理)分层,生成不同分辨率通道对应的多个第一目标网格,经过分层的网格可以快速地完成滤波处理,再对滤波后的网格进行slicing(切片处理)组合等操作,得到目标医学影像,可以快速、高效地对低采样率下渲染得到的待处理医学影像进行去噪处理,从而实现实时地基于物理的体渲染,保证了医学影像渲染的精度和效率。
较佳地,所述基于不同所述预设分辨率对应的多个所述第一目标网格,获取所述待处理医学影像经过去噪处理得到的目标医学影像的步骤包括:
对所述第一目标网格进行滤波处理,得到第二目标网格;
对所述第二目标网格进行切片处理,得到不同所述预设分辨率下的去噪医学影像;
基于不同的所述去噪医学影像,生成所述目标医学影像。
在本方案中,通过对分层后的第一目标网格进行滤波,可以提高对医学影像进行去噪的效率。
较佳地,所述基于不同的所述去噪医学影像,生成所述目标医学影像的步骤包括:
获取不同所述预设分辨率分别对应的去噪权重;
根据所述去噪权重,对不同的所述去噪医学影像进行融合处理,以得到所述目标医学影像。
在本方案中,通过对去噪医学影像进行加权组合,可以灵活地变换不同分辨率的影像所占的比重,按需得到最终的目标医学影像。
较佳地,所述目标特征信息为辐亮度信息;
所述获取不同预设分辨率下的目标特征信息的步骤包括:
对所述辐亮度信息进行下采样,获取不同所述预设分辨率下的所述辐亮度信息。
在本方案中,通过对辐亮度信息进行下采样得到不同分辨率下的辐亮度信息,再以多个分辨率通道生成网格,可以更好地针对医学影像的局部以及整体分别进行去噪。
较佳地,所述医学影像处理方法还包括:
基于所述影像信息,获取所述辐亮度信息以外的其他特征信息;
其中,所述其他特征信息包括反照率信息、法线信息和深度信息中的至少一种;
将所述其他特征信息和所述辐亮度信息输入至所述预设引导神经网络,以分别输出所述辐亮度信息在不同所述预设分辨率下的所述引导图。
在本方案中,通过其他特征信息辅助预设引导神经网络来引导辐亮度信息生成双边网格上的网格值,可以提高网格生成的准确性,进而提高医学影像处理的准确性和有效性。
较佳地,所述医学影像处理方法还包括:
计算得到当前帧医学影像的实际辐亮度信息与上一帧医学影像经过去噪处理后得到的第一辐亮度信息的平均值,以作为当前帧医学影像的目标辐亮度信息。
在本方案中,通过对辐亮度信息的时域滤波,可以避免前后帧局域内亮度不一致而导致的闪烁现象,提高医学影像渲染的质量。
较佳地,构建所述预设引导神经网络的步骤包括:
获取若干张样本医学影像;
对每张所述样本医学影像的体数据进行渲染,分别获取第一采样率下的样本图与第二采样率下的真值图;
其中,所述第一采样率小于所述第二采样率;
将所述样本图和所述真值图在同一位置处切分成若干样本图块和真值图块;
将样本图块输入神经网络,获取去噪后图块;
根据预设损失函数计算所述去噪后图块与对应的所述真值图块之间的损失值,并基于所述损失值更新所述神经网络的参数以得到所述预设引导神经网络。
在本方案中,通过将样本医学影像对应的样本图与真值图切分为若干个补丁块的形式训练预设引导神经网络,可以提高预设引导神经网络中参数的准确性。
较佳地,所述将所述样本图和所述真值图在同一位置处切分成若干样本图块和真值图块的步骤包括:
获取所述样本图和所述真值图的中心位置处的样本中心图和真值中心图;
将所述样本中心图和所述真值中心图在同一位置处切分成若干所述样本图块和所述真值图块。
在本方案中,通过获取中心位置处的样本图块和真值图块进行训练,可以筛选出有效部分的图块,提高训练数据的有效性,进而提高预设引导神经网络中参数的准确性。
本发明还提供一种医学影像处理系统,所述医学影像处理系统包括:
影像信息获取模块,用于获取待处理医学影像,以及所述待处理医学影像的影像信息;
目标特征获取模块,用于基于所述影像信息,获取不同预设分辨率下的目标特征信息;
引导图生成模块,用于将所述目标特征信息输入至预设引导神经网络,以分别输出所述目标特征信息在不同所述预设分辨率下的引导图;
第一网格生成模块,用于基于所述引导图,生成所述目标特征信息在对应的所述预设分辨率下的第一目标网格;
目标影像获取模块,用于基于不同所述预设分辨率对应的多个所述第一目标网格,获取所述待处理医学影像经过去噪处理得到的目标医学影像。
在本方案中,通过引导神经网络将已经渲染的医学影像进行splatting分层,生成不同分辨率通道对应的多个第一目标网格,经过分层的网格可以快速地完成滤波处理,再对滤波后的网格进行slicing组合等操作,得到目标医学影像,可以快速、高效地对低采样率下渲染得到的待处理医学影像进行去噪处理,从而实现实时地基于物理的体渲染,保证了医学影像渲染的精度和效率。
较佳地,所述目标影像获取模块还包括:
第二网格生成单元,用于对所述第一目标网格进行滤波处理,得到第二目标网格;
去噪影像获取单元,用于对所述第二目标网格进行切片处理,得到不同所述预设分辨率下的去噪医学影像;
目标影像获取单元,用于基于不同的所述去噪医学影像,生成所述目标医学影像。
在本方案中,通过对分层后的第一目标网格进行滤波,可以提高对医学影像进行去噪的效率。
较佳地,所述目标影像获取单元还用于:
获取不同所述预设分辨率分别对应的去噪权重;
根据所述去噪权重,对不同的所述去噪医学影像进行融合处理,以得到所述目标医学影像。
在本方案中,通过对去噪医学影像进行加权组合,可以灵活地变换不同分辨率的影像所占的比重,按需得到最终的目标医学影像。
较佳地,所述目标特征信息为辐亮度信息;
所述目标特征获取模块包括:
辐亮度获取单元,用于对所述辐亮度信息进行下采样,获取不同所述预设分辨率下的所述辐亮度信息。
在本方案中,通过对辐亮度信息进行下采样得到不同分辨率下的辐亮度信息,再以多个分辨率通道生成网格,可以更好地针对医学影像的局部以及整体分别进行去噪。
较佳地,所述医学影像处理系统还包括:
其他特征获取模块,用于基于所述影像信息,获取所述辐亮度信息以外的其他特征信息;
其中,所述其他特征信息包括反照率信息、法线信息和深度信息中的至少一种;
引导图生成模块还用于将所述其他特征信息和所述辐亮度信息输入至所述预设引导神经网络,以分别输出所述辐亮度信息在不同所述预设分辨率下的所述引导图。
在本方案中,通过其他特征信息辅助预设引导神经网络来引导辐亮度信息生成双边网格上的网格值,可以提高网格生成的准确性,进而提高医学影像处理的准确性和有效性。
较佳地,所述医学影像处理系统还包括:
时域滤波模块,用于计算得到当前帧医学影像的实际辐亮度信息与上一帧医学影像经过去噪处理后得到的第一辐亮度信息的平均值,以作为当前帧医学影像的目标辐亮度信息。
在本方案中,通过对辐亮度信息的时域滤波,可以避免前后帧局域内亮度不一致而导致的闪烁现象,提高医学影像渲染的质量。
较佳地,所述医学影像处理系统还包括网络构建模块,用于构建所述预设引导神经网络;
所述网络构建模块包括:
样本影像获取单元,用于获取若干张样本医学影像;
渲染单元,用于对每张所述样本医学影像的体数据进行渲染,分别获取第一采样率下的样本图与第二采样率下的真值图;
其中,所述第一采样率小于所述第二采样率;
切分单元,用于将所述样本图和所述真值图在同一位置处切分成若干样本图块和真值图块;
去噪单元,用于将样本图块输入神经网络,获取去噪后图块;
网络训练单元,用于根据预设损失函数计算所述去噪后图块与对应的所述真值图块之间的损失值,并基于所述损失值更新所述神经网络的参数以得到所述预设引导神经网络。
在本方案中,通过将样本医学影像对应的样本图与真值图切分为若干个补丁块的形式训练预设引导神经网络,可以提高预设引导神经网络中参数的准确性。
较佳地,所述切分单元还用于:
获取所述样本图和所述真值图的中心位置处的样本中心图和真值中心图;
将所述样本中心图和所述真值中心图在同一位置处切分成若干所述样本图块和所述真值图块。
在本方案中,通过获取中心位置处的样本图块和真值图块进行训练,可以筛选出有效部分的图块,提高训练数据的有效性,进而提高预设引导神经网络中参数的准确性。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的医学影像处理方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的医学影像处理方法。
在符合本领域常识的基础上,各优选条件,可任意组合,即得本发明各较佳实施例。
本发明的积极进步效果在于:通过引导神经网络将已经渲染的医学影像进行splatting分层,生成不同分辨率通道对应的多个第一目标网格,经过分层的网格可以快速地完成滤波处理,再对滤波后的网格进行slicing组合等操作,得到目标医学影像,可以快速、高效地对低采样率下渲染得到的待处理医学影像进行去噪处理,从而能够保证实时地进行基于物理的体渲染,保证了医学影像渲染的精度和效率。
附图说明
图1为本发明实施例1的医学影像处理方法的第一流程图;
图2为本发明实施例1的医学影像处理方法的第二流程图;
图3为本发明实施例1的医学影像处理方法的第三流程图;
图4为本发明实施例1的医学影像处理方法的第四流程图;
图5为本发明实施例1的医学影像处理方法的第五流程图;
图6为本发明实施例1的医学影像处理方法的第六流程图;
图7为本发明实施例1的医学影像处理方法的第七流程图;
图8为本发明实施例2的医学影像处理系统的第一模块示意图;
图9为本发明实施例2的医学影像处理系统的第二模块示意图;
图10为本发明实施例3的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种医学影像处理方法,参见图1,该医学影像处理方法包括:
S1、获取待处理医学影像,以及待处理医学影像的影像信息;
本发明的主要改进在于体数据渲染后的去噪过程,步骤S1中的待处理医学影像为经过渲染后得到的影像。与表面渲染不同,由于体渲染的辐射传输方程需在体数据内部进行距离采样并积分,在只提取其光线初次碰撞的信息不够的情况下,则需要获取的待处理医学影像的影像信息包括光线初次碰撞及二次碰撞所得的辐亮度信息以及法线、深度、反照率等其他特征信息。
S2、基于影像信息,获取不同预设分辨率下的目标特征信息;
步骤S2基于影像信息,获取不同分辨率下的目标特征信息,如辐亮度信息。高分辨率的信息可以用于描绘医学影像局部的精确的特征,低分辨率的信息可以用于描绘医学影像整体的轮廓的特征。
S3、将目标特征信息输入至预设引导神经网络,以分别输出目标特征信息在不同预设分辨率下的引导图;
步骤S3将不同分辨率的目标特征信息分多个通道输入引导神经网络,生成对应的引导图。例如,可以分三个分辨率通道生成引导图e
S4、基于引导图,生成目标特征信息在对应的预设分辨率下的第一目标网格;
步骤S4基于上述的引导图,使得输入的目标特征信息在引导图的引导下进行splatting分别生成对应的第一目标网格,如网格0、网格1、网格2。其中,生成网格采用Bilateral Grid(双边网格算法)。
S5、基于不同预设分辨率对应的多个第一目标网格,获取待处理医学影像经过去噪处理得到的目标医学影像。
步骤S5对上述的第一目标网格进行滤波、slicing以及加权组合等操作,获取去噪后的目标医学影像。
在本方案中,通过引导神经网络将已经渲染的医学影像进行splatting分层,生成不同分辨率通道对应的多个第一目标网格,经过分层的网格可以快速地完成滤波处理,再对滤波后的网格进行slicing组合等操作,得到目标医学影像,可以快速、高效地对低采样率下渲染得到的待处理医学影像进行去噪处理,从而实现实时地基于物理的体渲染,保证了医学影像渲染的精度和效率。
在一可实施的方案中,如图2所示,步骤S5包括:
S51、对第一目标网格进行滤波处理,得到第二目标网格;
S52、对第二目标网格进行切片处理,得到不同预设分辨率下的去噪医学影像;
S53、基于不同的去噪医学影像,生成目标医学影像。
具体地,可以对第一目标网格进行核滤波操作得到第二目标网格,滤波核可以为帐篷滤波。再对第二目标网格进行slicing切片处理,即执行引导网格生成的逆过程,将滤波后的第二目标网格重建为去噪医学影像。最后基于不同分辨率下的去噪医学影像,生成目标医学影像。
在本方案中,通过对分层后的第一目标网格进行滤波,可以提高对医学影像进行去噪的效率。
在一可实施的方案中,如图3所示,步骤S53包括:
S531、获取不同预设分辨率分别对应的去噪权重;
S532、根据去噪权重,对不同的去噪医学影像进行融合处理,以得到目标医学影像。
例如,对三个分辨率下的去噪医学影像0、1、2,其权重分别为w
在本方案中,通过对去噪医学影像进行加权组合,可以灵活地变换不同分辨率的影像所占的比重,按需得到最终的目标医学影像。
在一可实施的方案中,目标特征信息为辐亮度信息;
如图4所述,步骤S2包括:
S21、基于影像信息,对辐亮度信息进行下采样,获取不同预设分辨率下的辐亮度信息。
具体地,根据不同的下采样倍率对辐亮度信息进行下采样,得到不同预设分辨率下的辐亮度信息。
在本方案中,通过对辐亮度信息进行下采样得到不同分辨率下的辐亮度信息,再以多个分辨率通道生成网格,可以更好地针对医学影像的局部以及整体分别进行去噪。
在一可实施的方案中,如图5所示,步骤S2包括:
S22、基于影像信息,获取辐亮度信息以外的其他特征信息;
其中,其他特征信息包括反照率信息、法线信息和深度信息中的至少一种;
步骤S3包括:
S31、将其他特征信息和辐亮度信息输入至预设引导神经网络,以分别输出辐亮度信息在不同预设分辨率下的引导图。
具体地,将反照率信息、法线信息和深度信息等其他特征信息一并输入预设引导神经网络,以生成引导图,并帮助预设引导神经网络判断辐亮度信息是如何映射为第一目标网格上的网格值。
在本方案中,通过其他特征信息辅助预设引导神经网络来引导辐亮度信息生成双边网格上的网格值,可以提高网格生成的准确性,进而提高医学影像处理的准确性和有效性。
在一可实施的方案中,医学影像处理方法还包括:
计算得到当前帧医学影像的实际辐亮度信息与上一帧医学影像经过去噪处理后得到的第一辐亮度信息的平均值,以作为当前帧医学影像的目标辐亮度信息。
具体地,若前后帧医学影像经去噪后局域内的辐亮度不一致会导致flickering(闪烁)的现象,因此,要将当前帧医学影像的实际辐亮度信息与上一帧医学影像经过去噪处理后的第一辐亮度信息进行时域滤波融合,即计算得到当前帧医学影像的实际辐亮度信息与上一帧医学影像经过去噪处理后得到的第一辐亮度信息的平均值,以作为当前帧医学影像的目标辐亮度信息。
在本方案中,通过对辐亮度信息的时域滤波,可以避免前后帧局域内亮度不一致而导致的闪烁现象,提高医学影像渲染的质量。
在一可实施的方案中,构建预设引导神经网络的步骤包括:
获取若干张样本医学影像;
对每张样本医学影像的体数据进行渲染,分别获取第一采样率下的样本图与第二采样率下的真值图;
其中,第一采样率小于第二采样率;
将样本图和真值图在同一位置处切分成若干样本图块和真值图块;
将样本图块输入神经网络,获取去噪后图块;
根据预设损失函数计算去噪后图块与对应的真值图块之间的损失值,并基于损失值更新神经网络的参数以得到预设引导神经网络。
具体地,对样本医学影像的体数据进行低采样率(如采样32次/像素)的渲染,生成低采样率下的第一次碰撞和第二次碰撞的辐亮度、反照率、法线、深度等信息,将其全部保存为高动态范围图像文件作为样本图;再对同样的样本医学影像的体数据进行高采样率(如采样4096次/像素)渲染,生成高采样率下的第一次碰撞和第二次碰撞的辐亮度、反照率、法线、深度等信息,将其全部保存为高动态范围图像文件作为真值图。
将每对样本图与真值图在相同位置处切分为若干样本图块和真值图块。在训练预设引导神经网络时,使用样本图块与真值图块进行训练。将样本图块在多分辨率通道输入神经网络生成双边网格,进行滤波处理、slicing处理以及加权组合后得到去噪后图块,根据预设损失函数,计算对应的真值图块与去噪后图块之间的损失值,并将其差值反向传播回神经网络,促使神经网络中的权重值更新,以得到预设引导神经网络。
在本方案中,通过将样本医学影像对应的样本图与真值图切分为若干个补丁块的形式训练预设引导神经网络,可以提高预设引导神经网络中参数的准确性。
在一可实施的方案中,将样本图和真值图在同一位置处切分成若干样本图块和真值图块的步骤包括:
获取样本图和真值图的中心位置处的样本中心图和真值中心图;
将样本中心图和真值中心图在同一位置处切分成若干样本图块和真值图块。
具体地,由于医学影像的有效部分往往集中在屏幕的中间位置,旁边有大量的黑色背景,为了防止切分出过多的纯黑补丁影响神经网络的训练效果,要从图片的中心位置处获取样本图块和真值图块。
在本方案中,通过获取中心位置处的样本图块和真值图块进行训练,可以筛选出有效部分的图块,提高训练数据的有效性,进而提高预设引导神经网络中参数的准确性。
下面结合图6的医学影像处理的整体流程图和图7的去噪流程图,以一具体的实施方式说明本实施例提供的医学影像处理方法的完整实现过程:
(一)导入病人数据
从硬盘读取CT(电子计算机断层扫描)/MR(磁共振)等医学影像体数据,将其导入可视化引擎。
(二)渲染
可视化引擎将屏幕空间光栅化,接着为了进行计算体数据映射在屏幕空间的像素值,将从光栅化后的每一个像素发射n(n<64)根光线对体数据的像素值进行采样,经过路径追踪及辐射传输方程的计算后,可得到n-spp(sampling per pixel,每像素采样)的低采样特征信息,包括辐亮度r
与表面渲染不同,由于体渲染的辐射传输方程需在体数据内部进行距离采样并积分,如果只提取其光线初次碰撞的信息不够的。因此我们提取的辐亮度r
(三)去噪
1)参照图3,经由渲染阶段得到的图像i的辐亮度为r
2)将辐亮度r
其中,H、W、D分别为所投射的双边网格的高、宽、深度,即双边网格的分辨率为H*W*D,η
3)将r
其中,u、v分别为原未去噪医学影像对应的宽、高轴的坐标值,例如,原图为720*1280分辨率,此时h=720,w=1280,u∈[0,1279],v∈[0,719],且u、v皆为正整数;j=(u,v)为噪声图像i的像素坐标,
4)在网格0、网格1、网格2上分别进行核滤波操作,滤波核为帐篷滤波:
T(x,y,z)=max(1-|x|,0)·max(1-|y|,0)·max(1-|z|,0)
其中,x、y、z为双边网格参考系的坐标。
滤波后网格为
w
其中,q=(x,y,z)为未去噪医学影像的像素j=(u,v)投射至双边网格后的坐标值。
5)执行引导网格生成的逆过程,将滤波后的网格重建为图像i,即
其中,G′
6)将得到的去噪后图像0、1、2经过加权平均组合起来,权重分别为w0、w1、w2。
7)输出最终的去噪图像i(即目标医学影像),并复制一份作为下一帧i+1的时滤波处理的前一帧输入。
(四)后处理
对得到的高动态图像进行tone-mapping(色调映射)及伽马矫正转为低动态图片,并显示在屏幕上。
另外,预设引导神经网络的训练过程如下:
1)数据集的生成
训练神经网络需要成对的样本图和真值图。对于样本图的生成,将已收集的样本医学体数据输入体渲染引擎,生成低采样率下的光线第一次碰撞的辐亮度、反照率、法线、深度,以及第二次碰撞的辐亮度、反照率、深度,其中,辐亮度、反照率、法线均为RGB(红绿蓝)三通道,深度为单一通道,将其全部保存为高动态范围图像文件作为样本图。对于真值图的生成,则使用渲染引擎对样本图相同的样本医学体数据进行高采样率(如采样4096次/像素)渲染,并将最后渲染出的图像保存为高动态范围图像文件。
此外需要考虑数据的有效性,由于选择的网络卷积层为128*128*20,需要将每对样本图与真值图在相同位置处随机剪切为n
另外,由于医学体数据的特殊性,其数据客体往往展示于屏幕的中间部分,周围有大量黑色背景。为防止剪切出过多的纯黑色样本图-真值图补丁对,导致影响训练效果,将从图片居中位置随机偏移一定量来决定补丁位置。设x
x
y
其中N(0,0.1)为期望为0,标准差为
2)训练过程
将样本图块在多分辨率通道输入神经网络生成双边网格,进行滤波处理、slicing处理以及加权组合后得到去噪后图块,根据预设损失函数,计算对应的真值图块与去噪后图块之间的损失值,并将其差值反向传播回神经网络,促使神经网络中的权重值更新,以得到预设引导神经网络。
损失函数选择真值图每像素辐亮度与样本图每像素辐亮度之差的L1-loss(一种损失函数),即
其中,R
i)计算重建后的去噪后图块到网格的梯度
ii)计算网格到引导网络的梯度
iii)根据链式法则三步梯度相乘得到最终梯度:
由于推导过程过于复杂在此不做赘述。
需要说明的是,本发明中使用的体数据可为任意医疗器械生成的可渲染数据;本发明中神经网络的层数及尺寸可根据需求改动,例如若非用于实时渲染,即对耗时要求不高,则可使用5-7卷积层的神经网络增加去噪效果,任何对网络结构的改动都会影响其计算耗时;本发明中所用渲染特征及其通道数不限于文中提及,可根据需求变化;本发明中所取损失函数不限于L1-loss,也可为L2-loss(一种损失函数)、交叉熵等函数。
本实施例提供的医学影像处理方法,通过引导神经网络将已经渲染的医学影像进行splatting分层,生成不同分辨率通道对应的多个第一目标网格,经过分层的网格可以快速地完成滤波处理,再对滤波后的网格进行slicing组合等操作,得到目标医学影像,可以快速、高效地对低采样率下渲染得到的待处理医学影像进行去噪处理,从而实现实时地基于物理的体渲染;另外,还通过对样本图和真值图打补丁以及筛选出影像中心位置处的补丁的方式来训练预设引导神经网络,提高了神经网络的整体性能,保证了医学影像渲染去噪的精度和效率。
实施例2
本实施例提供一种医学影像处理系统,参照图8,该医学影像处理系统包括:
影像信息获取模块1,用于获取待处理医学影像,以及待处理医学影像的影像信息;
目标特征获取模块2,用于基于影像信息,获取不同预设分辨率下的目标特征信息;
引导图生成模块3,用于将目标特征信息输入至预设引导神经网络,以分别输出目标特征信息在不同预设分辨率下的引导图;
第一网格生成模块4,用于基于引导图,生成目标特征信息在对应的预设分辨率下的第一目标网格;
目标影像获取模块5,用于基于不同预设分辨率对应的多个第一目标网格,获取待处理医学影像经过去噪处理得到的目标医学影像。
在一可实施的方案中,参照图9,目标影像获取模块5还包括:
第二网格生成单元51,用于对第一目标网格进行滤波处理,得到第二目标网格;
去噪影像获取单元52,用于对第二目标网格进行切片处理,得到不同预设分辨率下的去噪医学影像;
目标影像获取单元53,用于基于不同的去噪医学影像,生成目标医学影像。
在一可实施的方案中,目标影像获取单元53还用于:
获取不同预设分辨率分别对应的去噪权重;
根据去噪权重,对不同的去噪医学影像进行融合处理,以得到目标医学影像。
在一可实施的方案中,目标特征信息为辐亮度信息;
目标特征获取模块2包括:
辐亮度获取单元21,用于对辐亮度信息进行下采样,获取不同预设分辨率下的辐亮度信息。
在一可实施的方案中,医学影像处理系统还包括:
其他特征获取模块6,用于基于影像信息,获取辐亮度信息以外的其他特征信息;
其中,其他特征信息包括反照率信息、法线信息和深度信息中的至少一种;
引导图生成模块3还用于将其他特征信息和辐亮度信息输入至预设引导神经网络,以分别输出辐亮度信息在不同预设分辨率下的引导图。
在一可实施的方案中,医学影像处理系统还包括:
时域滤波模块7,用于计算得到当前帧医学影像的实际辐亮度信息与上一帧医学影像经过去噪处理后得到的第一辐亮度信息的平均值,以作为当前帧医学影像的目标辐亮度信息。
在一可实施的方案中,医学影像处理系统还包括网络构建模块8,用于构建预设引导神经网络;
网络构建模块8包括:
样本影像获取单元81,用于获取若干张样本医学影像;
渲染单元82,用于对每张样本医学影像的体数据进行渲染,分别获取第一采样率下的样本图与第二采样率下的真值图;
其中,第一采样率小于第二采样率;
切分单元83,用于将样本图和真值图在同一位置处切分成若干样本图块和真值图块;
去噪单元84,用于将样本图块输入神经网络,获取去噪后图块;
网络训练单元85,用于根据预设损失函数计算去噪后图块与对应的真值图块之间的损失值,并基于损失值更新神经网络的参数以得到预设引导神经网络。
在一可实施的方案中,切分单元83还用于:
获取样本图和真值图的中心位置处的样本中心图和真值中心图;
将样本中心图和真值中心图在同一位置处切分成若干样本图块和真值图块。
由于本实施例提供的医学影像处理系统与实施例1提供的医学影像处理方法原理相同,故在此不再赘述。
本实施例提供的医学影像处理系统,通过引导神经网络将已经渲染的医学影像进行splatting分层,生成不同分辨率通道对应的多个第一目标网格,经过分层的网格可以快速地完成滤波处理,再对滤波后的网格进行slicing组合等操作,得到目标医学影像,可以快速、高效地对低采样率下渲染得到的待处理医学影像进行去噪处理,从而实现实时地基于物理的体渲染;另外,还通过对样本图和真值图打补丁以及筛选出影像中心位置处的补丁的方式来训练预设引导神经网络,提高了神经网络的整体性能,保证了医学影像渲染去噪的精度和效率。
实施例3
本实施例提供了一种电子设备,图10为该电子设备的模块示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现实施例1的医学影像处理方法。图10显示的电子设备30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,电子设备30可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备30的组件可以包括但不限于:上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器,例如随机存取存储器(RAM)321和/或高速缓存存储器322,还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序,从而执行各种功能应用以及数据处理,例如本公开实施例1的医学影像处理方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且,模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图10所示,网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现实施例1的程序模块的初始化方法。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行实现实施例1的程序模块的初始化方法。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
- 存储系统的数据处理方法、装置、系统及可读存储介质
- 医学影像的二维与三维图像配准方法、系统、存储介质、配准器
- CEC系统的异常处理方法、系统、设备及存储介质
- 电子凭证处理方法、系统以及电商系统、存储介质
- 一种医学影像处理方法、系统、终端及存储介质
- 医学影像处理方法、系统、计算机设备、存储介质