图像处理方法及相关装置、设备
文献发布时间:2023-06-19 10:55:46
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法及相关装置、设备。
背景技术
随着计算机技术的发展,利用人工智能技术实现对图像中目标对象的检测,以得到目标对象的目标区域已在越来越多的领域中得到应用。例如,在放疗规划中,通过检测得到肿瘤等病灶的目标区域,能够规划高能射线剂量和角度,使得多方向的高能射线聚焦照射于肿瘤等病灶的目标区域,同时尽量避开附近正常器官。
目前,利用人工智能技术检测得到的目标区域的位置通常存在一定的误差,而在放疗规划等应用领域中,目标区域的精度要求又格外严格,因此,有必要人工对图像中目标区域的位置进行进一步的修正处理,而在需要处理的图像较多时,往往费时费力,从而导致处理效率低下。有鉴于此,如何提高图像处理效率成为亟待解决的问题。
发明内容
本申请提供一种图像处理方法及相关装置、设备。
本申请第一方面提供了一种图像处理方法,包括:获取多帧未处理图像,其中,多帧未处理图像分别包含属于目标对象的目标区域;选取至少一帧未处理图像作为待处理图像;对待处理图像进行处理,得到已处理图像,已处理图像包括目标区域的最终位置;基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,以得到未处理图像中目标区域的最终位置。
通过获取多帧未处理图像,且多帧未处理图像分别包含属于目标对象的目标区域,并选取至少一帧未处理图像作为待处理图像,进而对待处理图像进行处理,得到已处理图像,且已处理图像包括目标区域的最终位置,以基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置,故能够利用计算机辅助修正目标区域的最终位置,能够有效降低图像处理的工作量,提高图像处理效率。
其中,基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置之后,方法还包括:重新执行选取至少一帧未处理图像作为待处理图像的步骤以及后续步骤,直至更新完多帧未处理图像中目标区域的位置。
在基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置之后,重新执行选取至少一帧未处理图像作为待处理图像的步骤以及后续步骤,直至更新完多帧未处理图像中目标区域的位置,能够基于计算机对目标区域的最终位置的更新进一步进行处理,从而能够不断循环往复直至更新完多帧未处理图像中目标区域的位置,进而能够有利于提高图像处理效率。
其中,选取至少一帧未处理图像作为待处理图像,包括:按照预设选择策略自行选取至少一帧未处理图像作为待处理图像;或者,提示用户按照预设选择策略对未处理图像进行选择,并将用户选取的至少一帧未处理图像作为待处理图像。
按照预设选择策略自行选取至少一帧未处理图像作为待处理图像,能够尽可能减少用户工作量,有利于提高图像处理的效率;而提示用户按照预设选择策略对未处理图像进行选择,并将用户选取的至少一帧未处理图像作为待处理,能够增加与用户的交互,有利于提高用户感知与体验。
其中,多帧未处理图像标注有目标区域的原始位置;预设选择策略包括:在不存在已处理图像的情况下,从原始目标区域面积满足预设条件的若干帧未处理图像中选择至少一帧图像,其中,原始目标区域面积基于原始位置获取。
多帧未处理图像标注有目标区域的原始位置,且预设选择策略包括:在不存在已处理图像的情况下,从原始目标区域面积满足预设条件的若干帧未处理图像中选择至少一帧图像,且原始目标区域面积基于原始位置获取,从而能够在未存在已处理图像时,基于未处理图像的原始目标区域面积选择待处理图像,进而能够有利于选取目标区域的图像信息较为丰富的未处理图像作为首次处理的待处理图像,进而能够有利于提高后续对未处理图像的目标区域的最终位置的更新效果,有利于提高图像处理效率。
其中,预设条件包括:多帧未处理图像按照原始目标区域面积由大到小排序后排在前预设数量位的若干帧图像。
将预设条件设置为多帧未处理图像按照原始目标区域面积由大到小排序后排在前预设数量位的若干帧图像,能够选取原始目标区域面积较大的图像作为首次处理的待处理图像;由于原始目标区域面积较大的图像所包含的目标对象的图像信息较为丰富,故在基于对其目标区域的最终位置更新未处理图像的目标区域的最终位置时,能够有利于提高对最终位置的更新效果,从而能够有利于提高图像处理效率。
其中,预设选择策略包括:在存在已处理图像的情况下,选择靠近已处理图像的至少一帧未处理图像作为待处理图像。
将预设选择策略设置为包括在存在已处理图像的情况下,选择靠近已处理图像的至少一帧未处理图像作为待处理图像,由于选择的待处理图像靠近已处理图像,从而基于已处理图像目标区域的最终位置对所选择的待处理图像的目标区域的最终位置的更新效果也较好,故能够有利于减少用户对所选择的待处理图像的处理工作量,从而能够有利于提高图像处理效率。
其中,在首次执行选取至少一帧未处理图像作为待处理图像之后,方法还包括:将位于待处理图像之前和之后的未处理图像分别划分为两个图像集;预设选择策略进一步包括:在存在已处理图像的情况下,先选择完其中一个图像集再选择另一个图像集,其中,每个图像集均是选择靠近已处理图像的至少一帧未处理图像作为待处理图像。
在首次执行选取至少一帧未处理图像作为待处理图像之后,将位于待处理之前和之后的未处理图像分别划分为两个图像集,且预设选择策略进一步包括:在存在已处理图像的情况下,先选择完其中一个图像集再选择另一个图像集,且每个图像集均是选择靠近已处理图像的至少一帧未处理图像作为待处理图像,通过划分图像集,并处理完一个图像集之后再处理另一个图像集,且在每个图像集的处理过程中,均选择靠近已处理图像的至少一帧未处理图像作为待处理图像,从而能够有利于有序地、分阶段地进行图像处理,进而能够有利于提高图像处理效率。
其中,在图像集为位于待处理图像之前的图像集的情况下,预设选择策略包括:从图像集中的最后一帧未处理图像开始,按照从后往前的顺序,依次选取至少一帧未处理图像作为待处理图像。
在图像集为位于待处理图像之前的图像集的情况下,图像集中的最后一帧未处理图像开始,按照从后往前的顺序,依次选取至少一帧未处理图像作为待处理图像,能够有利于有序地对图像集内的待处理图像进行图像处理,进而能够有利于提高图像处理效率。
其中,在图像集为位于待处理图像之后的图像集的情况下,预设选择策略包括:从图像集中的第一帧未处理图像开始,按照从前往后的顺序,依次选取至少一帧未处理图像作为待处理图像。
在图像集为位于待处理图像之后的图像集的情况下,从图像集中的第一帧未处理图像开始,按照从前往后的顺序,依次选取至少一帧未处理图像作为待处理图像,能够有利于有序地对图像集内的待处理图像进行图像处理,进而能够有利于提高图像处理效率。
其中,获取多帧未处理图像,包括:从原始第一图像中提取得到多帧未处理图像;其中,原始第一图像是对目标对象进行图像采集得到的;基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的最终位置,包括:基于已处理图像中目标区域的最终位置,生成与原始第一图像对应的掩码第一图像;利用原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置;基于第一预测位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
多帧未处理图像是从原始第一图像中提取得到的,且原始第一图像是对目标对象进行图像采集得到的,从而基于已处理图像中目标区域的最终位置,生成与原始第一图像对应的掩码第一图像,并利用原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置,进而利用未处理图像中目标区域的第一预测位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置,故能够在一次预测处理中得到未处理图像中目标区域的第一预测位置,从而对未处理图像的目标区域的最终位置进行整体更新,进而能够提高更新未处理图像中目标区域的最终位置的效率,有利于提高图像处理效率。
其中,利用已处理图像中目标区域的最终位置,生成与原始第一图像对应的掩码第一图像,包括:利用已处理图像中目标区域的最终位置,生成与已处理图像对应的第一掩码图像;其中,第一掩码图像中与已处理图像中的目标区域对应的像素点为第一像素值,其他像素点为第二像素值;以及,生成与未处理图像对应的第二掩码图像;其中,第二掩码图像中像素点为第二像素值;将第一掩码图像和第二掩码图像进行组合,得到掩码第一图像。
通过利用已处理图像中目标区域的最终位置,生成与已处理图像对应的第一掩码图像,且第一掩码图像中与已处理图像中目标区域对应的像素点为第一像素值,其他像素点为第二像素值,并生成与未处理图像对应的第二掩码图像,且第二掩码图像中像素点为第二像素值,从而将第一掩码图像和第二掩码图像进行组合,得到掩码第一图像,从而通过分区域设置像素点的像素点为第一像素值或第二像素值得到对应的掩码图像,进而能够提高三维掩码图像的获取效率和准确性,有利于提高后续更新未处理图像目标区域的最终位置的效率和准确性。
其中,利用原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的预测第一位置,包括:利用区域预测模型对原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置。
通过利用区域预测模型对原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置,能够提高目标区域位置预测的效率和鲁棒性,从而能够有利于提高后续更新未处理图像目标区域的最终位置的效率和鲁棒性。
其中,利用区域预测模型对原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置之前,方法还包括:获取样本原始第一图像和对应的样本掩码第一图像;其中,样本原始第一图像包含多帧样本原始第二图像,且多帧样本原始第二图像标注有目标区域的实际位置;利用区域预测模型对样本原始第一图像和样本掩码第一图像进行预测处理,得到多帧样本原始第二图像中目标区域的第二预测位置;利用目标区域的实际位置和第二预测位置之间的差异,调整区域预测模型的网络参数。
通过获取样本原始第一图像和对应的样本掩码第一图像,且样本原始第一图像包含多帧样本原始第二图像,多帧二维图像标注有目标区域的实际位置,从而利用区域预测模型对样板原始第一图像和样本掩码第一图像进行预测处理,得到多帧样本原始第二图像中目标区域的第二预测位置,并利用目标区域的实际位置和第二预测位置之间的差异,调整区域预测模型的网络参数,故能够有利于提高区域预测模型的准确性,进而能够有利于提高更新未处理图像目标区域的最终位置的准确性。
其中,原始第一图像为三维医学图像,目标对象为病灶,目标区域为病灶区域;和/或,处理结果包括以下任一者:用户进行位置修正后的目标区域,用户确认无需进行位置修正的目标区域。
将原始第一图像设置三维医学图像,将目标对象设置为病灶,将目标区域设置为病灶区域,能够有利于在医学领域应用上述图像处理方法,从而能够利用计算机辅助修正病灶区域的最终位置,还能够尽量贴合医护人员的修正标准来进行辅助更新,故此,能够有效降低图像处理的工作量,提高图像处理效率;而将处理结果设置为包括:用户进行位置修正后的目标区域,用户确认无需进行位置修正的目标区域中的任一者,能够有利于提高图像处理的鲁棒性。
其中,多帧未处理图像分别包括与目标对象的不同方位对应的目标区域。
由于多帧未处理图像包括与目标对象的不同方位对应的目标区域,故多帧未处理图像所包含的目标区域之间存在较强的相关性,因此在更新未处理图像中目标区域的位置过程中,能够有利于进一步提高位置更新的准确性。
本申请第二方面提供了一种图像处理装置,包括:图像处理模块、图像选择模块、位置确定模块和位置更新模块,图像获取模块用于获取多帧未处理图像,其中,多帧未处理图像分别包含属于目标对象的目标区域;图像选择模块用于选取至少一帧未处理图像作为待处理图像;位置确定模块用于对待处理图像进行处理,得到已处理图像,已处理图像包括目标区域的最终位置;位置更新模块用于基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像处理方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像处理方法。
上述方案,通过获取多帧未处理图像,且多帧未处理图像分别包含属于目标对象的目标区域,从而选取至少一帧未处理图像作为待处理图像,进而对待处理图像进行处理,得到已处理图像,已处理图像包括目标区域的最终位置,以基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置,故能够利用计算机辅助修正目标区域的最终位置,能够有效降低图像处理的工作量,提高图像处理效率。
附图说明
图1是本申请图像处理方法一实施例的流程示意图;
图2是图1中步骤S14一实施例的流程示意图;
图3是训练预测预测模型一实施例的流程示意图;
图4是本申请图像处理方法另一实施例的流程示意图;
图5是对第M帧至第N帧未处理图像进行处理一实施例的流程示意图;
图6是对图5中起始帧图像C进行处理一实施例的流程示意图;
图7是对图5中第M帧至第C-1帧的图像集进行处理一实施例的流程示意图;
图8是对图5中第C+1帧至第N帧的图像集进行处理一实施例的流程示意图;
图9是本申请图像处理装置一实施例的框架示意图;
图10是本申请电子设备一实施例的框架示意图;
图11是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请图像处理方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取多帧未处理图像。
本公开实施例中,多帧未处理图像分别包含属于目标对象的目标区域。目标对象具体可以根据实际应用情况进行设置,以医学应用为例,目标对象可以是肾脏、肝脏、脾脏等器官,其他应用场景可以根据实际情况进行设置,在此不再一一举例。此外,在一个具体的实施场景中,在放疗规划等领域中,目标对象具体可以是肿瘤等病灶。
在一个实施场景中,未处理图像分别包含与目标对象的不同方位对应的目标区域。具体地,目标对象的不同方位对应的目标区域可以包括:目标对象在平行于水平面的不同高度处所对应的目标区域;或者,目标对象在垂直于水平面的不同宽度处所对应的目标区域,具体可以根据实际应用情况进行设置,仍以医学应用为例,目标对象的不同方位对应的目标区域可以包括:目标对象在横断面的不同高度处的目标区域;或者,目标对象在冠状面的不同宽度处的目标区域;或者,目标对象在矢状面的不同宽度处的目标区域,在此不做限定。
在一个具体的实施场景中,通过对目标对象进行图像采集(如,计算机断层扫描、核磁共振等)可以得到原始第一图像,从而对原始第一图像进行提取,可以得到多帧未处理图像,多帧未处理图像可以是未处理的二维图像。具体地,可以提取原始第一图像中包含目标对象的二维图像,作为待处理图像,例如,原始第一图像可以是三维医学图像(如,计算机断层扫描图像、核磁共振图像),目标对象可以为肿瘤等病灶,则可以提取三维医学图像中包含病灶的多帧二维图像,作为多帧未处理图像。各帧未处理图像中的一部分病灶对应的区域即为目标区域,其他应用场景可以以此类推,在此不再一一举例。
步骤S12:选取至少一帧未处理图像作为待处理图像。
在选取未处理图像作为待处理图像时,可以按照预设选择策略进行选取,以提高图像处理的有序性。此外,可以每次选取时,可以仅选取一帧未处理图像作为待处理图像,也可以选取多帧未处理图像作为待处理图像,具体可以根据实际应用需要进行设置,在此不做限定。
在一个实施场景中,在首次选取未处理图像时,即当前还不存在已处理图像时,可以从原始目标区域面积满足预设条件的若干帧未处理图像中选择至少一帧图像,作为待处理图像。具体地,原始目标区域面积可以是基于目标区域的原始位置得到的,目标区域的原始位置可以是未处理图像所标注的。具体地,目标区域的原始位置可以是利用人工智能在多帧未处理图像中检测得到的,例如,可以利用人工智能对原始第一图像进行检测,得到原始第一图像中目标对象的目标区域的原始位置,从而在提取原始第一图像中包含目标对象的二维图像时,可以得到标注有目标区域的原始位置的未处理图像,上述人工智能可以是深度学习的目标检测模型,如病灶检测模型、器官检测模型等等,在此不做限定。此外,原始目标区域面积可以统计目标区域的原始位置所包含的像素点个数得到。故此,能够在未存在已处理图像时,基于未处理图像的原始目标区域面积选择待处理图像,进而能够有利于选取目标区域的图像信息较为丰富的未处理图像作为首次处理的待处理图像,进而能够有利于提高后续对未处理图像的目标区域的最终位置的更新效果,有利于提高图像处理效率。
在一个具体的实施场景中,上述预设条件具体可以包括:多帧未处理图像按照原始目标区域面积由大到小排序后排在前预设数量位的若干帧图像,具体地,前预设数量位可以是前3位、前2位、第1位等等,具体可以根据实际应用需要进行设置,在此不做限定。故此,能够选取原始目标区域面积较大的图像作为首次处理的待处理图像,由于原始目标区域面积较大的图像所包含的目标对象的图像信息较为丰富,故后续在基于对其目标区域的最终位置更新未处理图像的目标区域的最终位置时,能够有利于提高对最终位置的更新效果,从而能够有利于提高图像处理效率。此外,在放疗规划等应用场景中,肿瘤等目标对象往往具有凸状结构,故为了免于计算原始目标区域面积,提高选取未处理图像的速度,可以直接选取靠近多帧未处理图像中间帧的至少一帧作为首次选取的待处理图像,例如,多帧未处理图像位于原始第一图像中的第M帧到第N帧,则可以选择靠近中间帧(M+N)/2的至少一帧作为首次选取的待处理图像,此外,在其他应用场景中,若目标对象也具有与肿瘤等相似的凸状结构,也可以直接选取靠近多帧未处理图像中间帧的至少一帧作为首次选取的待处理图像,从而可免于计算原始目标区域面积,具体可以根据实际应用需要进行设置,在此不做限定。
在另一个具体的实施场景中,可以按照预设选择策略自行选取至少一帧未处理图像作为待处理图像,以供用户处理,从而能够尽可能减少用户工作量,有利于提高图像处理的效率。
在又一个具体的实施场景中,也可以提示用户按照预设选择策略对未处理图像进行选择,并将用户选取的至少一帧未处理图像作为待处理图像,具体可以采用语音、文字等方式对用户进行提示,从而能够增加与用户的交互,有利于提高用户感知与体验。
在另一个实施场景中,在首次选取未处理图像之后,当已选取并处理过未处理图像时,即若当前已经存在已处理图像时,可以选择靠近已处理图像的至少一帧未处理图像,作为待处理图像。具体地,靠近已处理图像的至少一帧未处理图像,可以是与已处理图像相邻的至少一帧未处理图像,例如,第i帧图像为已处理图像,且第1至第i-1帧,以及第i+1至第n帧均为未处理图像,则可以选取第i-1帧未处理图像作为待处理图像,或者,也可以选取第i+1帧未处理图像作为待处理图像,或者,还可以选取第i-1和第i+1帧未处理图像作为待处理图像,具体可以根据实际应用需要进行设置,在此不做限定。由于选择的待处理图像靠近已处理图像,从而后续基于已处理图像目标区域的最终位置对所选择的待处理图像的目标区域的最终位置的更新效果也较好,故能够有利于减少后续用户对所选择的待处理图像的处理工作量,从而能够有利于提高图像处理效率。
在一个具体的实施场景中,在首次执行选取至少一帧未处理图像作为待处理图像之后,可以将位于待处理图像之前和之后的未处理图像分别划分为两个图像集,从而在当前存在已处理图像时,可以先选择完其中一个图像集再选择另一个图像集,其中,每个图像集均是选择靠近已处理图像的至少一帧未处理图像作为待处理图像。例如,原始第一图像中第M帧至第N帧二维图像中对应有目标对象,则可以将第M帧至第N帧二维图像作为未处理图像,在首次选择未处理图像作为待处理图像时,选择第C帧作为待处理图像,之后,可以将第M帧至第C-1帧作为一个图像集,将第C+1帧至第N帧作为另一图像集,从而可以先选择完第M帧至第C-1帧的图像集,再选择第C+1帧至第N帧的图像集,或者先选择完第C+1帧至第N帧的图像集,再选择第M帧至第C-1帧的图像集,具体可以根据实际应用需要进行设置,在此不做限定。
步骤S13:对待处理图像进行处理,得到已处理图像。
本公开实施例中,已处理图像包括目标区域的最终位置。具体地,可以获取用户对待处理图像的处理结果,在此基础上,可以基于该处理结果对待处理图像进行处理,得到已处理图像。
在一个实施场景中,用户对待处理图像的处理结果可以包括以下任一者:用户进行位置修正后的目标区域,用户确认无需进行位置修正,在此不做限定。例如,用户认为待处理图像中目标区域的原始位置满足后续使用要求而无需修正,则可以确定待处理图像中目标区域的原始位置无需再进行修正,此时,处理结果包括用户确认无需进行位置修正的目标区域,也就是目标区域的原始位置;或者,用户认为待处理图像中目标区域的原始位置不满足后续使用要求需要修正,则可以对目标区域的原始位置进行修正,此时,处理结果包括用户进行位置修正后的目标区域,并将待处理图像确定为已处理图像,将修正后的目标区域的位置作为目标区域的最终位置。具体地,在本公开实施例以及下述公开实施例中,若无其他特别说明,目标区域的位置可以包括目标对象在图像中的轮廓,目标区域的原始位置可以包括利用人工智能等目标检测方式检测得到的目标对象在图像中的初始轮廓,用户对目标区域的原始位置的修正即包括用户对目标对象在图像中的初始轮廓的修正,目标区域的最终位置即包括目标对象在图像中的最终轮廓。
步骤S14:基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
在一个实施场景中,可以利用人工智能学习已处理图像中目标区域的最终位置,从而在已处理图像是基于用户对待处理图像的处理结果的基础上获取的基础上,能够学习到用户对目标区域的处理标准,进而可以利用学习到的处理标准,更新未处理图像中目标区域的最终位置,且使得更新结果能够尽可能地贴合用户习惯,具体可以参阅下述公开实施例,在此暂不赘述。故此,能够降低用户处理图像的工作量,提高图像处理效率。仍以放疗规划为例,可以基于已处理图像中病灶区域的最终位置,更新未处理图像中病灶区域的最终位置,从而能够降低医护人员对未处理图像的处理工作量,提高图像处理效率。其他应用场景可以以此类推,在此不再一一举例。
在一个具体的实施场景中,在基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置之后,可以将未处理图像作为已处理图像,并结束图像处理流程,从而可以快速地完成对多帧未处理图像的处理流程。故此,能够在处理精度要求相对不高的应用场景中,快速地且相对准确地完成对未处理图像的处理。
在另一个具体的实施场景中,在基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标取得最终位置之后,还可以重新执行上述步骤S12以及后续步骤,即重新执行选取至少一帧未处理图像作为待处理图像的步骤以及后续步骤,逐步处理完多帧未处理图像,直至处理完多帧未处理图像,进而能够有利于提高图像处理精度。故此,能够在放疗规划等处理精度要求相对较高的应用场景中,实现边处理边更新,在提高图像处理效率的同时,还能够提高图像处理精度。
上述两种处理方式可以根据实际应用需要进行选择,即在更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置之后,既可以直接将未处理图像作为已处理图像,并结束图像处理流程,或者,也可以重新执行上述步骤S12以及后续步骤,直至处理完多帧未处理图像。例如,当处理精度要求相对较低时,可以选择前者,当处理精度要求相对较高时,可以选择后者,在此不做限定。
上述方案,通过获取多帧未处理图像,且多帧未处理图像分别包含属于目标对象的目标区域,从而选取至少一帧未处理图像作为待处理图像,进而对待处理图像进行处理,得到已处理图像,且已处理图像包括目标区域的最终位置,以基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置,故能够利用计算机辅助修正目标区域的最终位置,能够有效降低图像处理的工作量,提高图像处理效率。
请参阅图2,图2是图1中步骤S14一实施例的流程示意图。具体可以包括如下步骤:
步骤S141:基于已处理图像中目标区域的最终位置,生成与原始第一图像对应的掩码第一图像。
本公开实施例中,多帧未处理图像是从原始第一图像中提取得到的,且原始第一图像是对目标对象进行图像采集得到的,具体可以参阅前述实施例中的相关描述,在此不再赘述。
掩码第一图像可以包括与原始第一图像提取得到的每一图像分别对应的掩码二维图像,其中,掩码二维图像中对应于目标区域的像素点可以设置为第一像素值(如,1),且掩码二维图像中对应于目标区域之外的像素点可以设置为第二像素值(如,0),上述第一像素值和第二像素值的具体数值仅为实际实施时可能存在的一种情况,具体可以根据实际应用需要进行设置,在此不做限定。
在一个具体的实施场景中,可以利用已处理图像中目标区域的最终位置,生成与已处理图像对应的第一掩码图像,且第一掩码图像中与已处理图像中的目标区域对应的像素点设置为第一像素值,其他像素点设置为第二像素值,并生成与未处理图像对应的第二掩码图像,且第二掩码图像中像素点为第二像素值,从而将第一掩码图像和第二掩码图像进行组合,得到掩码第一图像。此外,在组合过程中,可以按照与其对应的二维图像在原始第一图像中的顺序进行组合,例如,与某一掩码图像对应的二维图像是原始第一图像中第一帧,则该掩码图像在掩码第一图像中也应位于第一帧;或者,某一掩码图像对应的二维图像是原始第一图像中最后一帧,则该掩码图像在掩码第一图像中也应位于最后一帧,其他情况可以以此类推,在此不再一一举例。
步骤S142:利用原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置。
通过原始第一图像和掩码第一图像可以学习到用户修正目标区域位置的处理标准,从而可以得到未处理图像中目标区域的第一预测位置,即可以按照学习得到的处理标准,预测得到未处理图像中目标对象的轮廓。
在一个实施场景中,可以预先训练一区域预测模型,从而可以利用区域预测模型对原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置。在一个具体的实施场景中,区域预测模型可以采用UNet、VNet等架构,在此不做限定。在另一个具体的实施场景中,利用区域预测模型对原始第一图像和掩码第一图像进行预测处理,可以得到更新的掩码二维图像,从而利用更新的掩码二维图像和与其对应的未处理图像,可以得到未处理图像中目标区域的第一预测位置。
请参阅图3,图3是训练预测预测模型一实施例的流程示意图,区域预测模型的训练过程具体可以包括如下步骤:
步骤S31:获取样本原始第一图像和对应的样本掩码第一图像。
公开实施例中,样本原始第一图像包含多帧样本原始第二图像,且多帧样本原始第二图像标注有目标区域的实际位置。
样本原始第一图像可以根据具体应用场景进行设置,以放疗规划场景为例,样本原始第一图像可以包括但不限于:计算机断层扫描图像、核磁共振图像,具体可以根据实际需要进行设置,在此不做限定。
样本原始第一图像所包含的多帧样本原始第二图像中可以标注有目标对象对应的目标区域的实际位置,即目标对象在样本原始第二图像中的实际轮廓。
与样本原始第一图像对应的样本掩码第一图像可以包括多帧样本掩码图像,且多帧样本掩码图像分别对应于多帧样本原始第二图像,在实际应用时,至少有一帧样本掩码图像的像素值根据对应的样本原始第二图像中目标区域的实际位置进行设置,其他样本掩码图像的像素值可以统一设置为预设数值,例如,至少一帧样本掩码图像中与对应的样本原始第二图像中目标区域内的像素点设置为第一像素值,其他像素点设置为第二像素值,且其他样本掩码图像的像素点统一设置为第二像素值。
步骤S32:利用区域预测模型对样本原始第一图像和样本掩码第一图像进行预测处理,得到多帧样本原始第二图像中目标区域的第二预测位置。
具体地,利用区域预测模型对样本原始第一图像和样本掩码第一图像进行预测处理,得到多帧样本原始第二图像中目标区域的第二预测位置。在实际应用时,至少有一帧样本掩码图像的像素值根据对应的样本原始第二图像中目标区域的实际位置进行设置,其他样本掩码图像的像素值可以统一设置为预设数值,经过预测处理之后,可以得到其他样本掩码图像对应的样本原始第二图像中目标区域的第二预测位置,例如,有一帧样本掩码图像的像素值是根据对应的样本原始第二图像中目标区域的实际位置设置的,而其他样本掩码图像的像素值是统一设置为预设数值的,则预测处理之后,可以得到其他样本掩码图像对应的样本原始第二图像中目标区域的第二预测位置。
步骤S33:利用目标区域的实际位置和第二预测位置之间的差异,调整区域预测模型的网络参数。
具体地,在实际应用时,至少有一帧样本掩码图像的像素值可以根据对应的样本原始第二图像中目标区域的实际位置进行设置,其他样本掩码图像的像素值可以统一设置为预设数值,经过预测处理之后,可以得到其他样本掩码图像对应的样本原始第二图像中目标区域的第二预测位置,则可以利用其他样本掩码图像对应的样本原始第二图像中目标区域的第二预测位置和实际位置之间的差异,调整区域预测模型的网络参数。
在一个具体的实施场景中,可以利用预设损失函数计算目标区域的实际位置和第二预测位置之间的损失值,并根据计算得到的损失值调整区域预测模型的网络参数。预设损失函数可以包括但不限于:dice loss损失函数、交叉熵损失函数,具体可以根据实际应用需要进行设置,在此不做限定。
在另一个具体的实施场景中,可以采用随机梯度下降(Stochastic GradientDescent,SGD)、批量梯度下降(Batch Gradient Descent,BGD)、小批量梯度下降(Mini-Batch Gradient Descent,MBGD)等方式,利用损失值对区域预测模型的网络参数进行调整,其中,批量梯度下降是指在每一次迭代时,使用所有样本来进行参数更新;随机梯度下降是指在每一次迭代时,使用一个样本来进行参数更新;小批量梯度下降是指在每一次迭代时,使用一批样本来进行参数更新,在此不再赘述。
在又一个具体的实施场景中,还可以设置一训练结束条件,当满足训练结束条件时,可以结束对区域预测模型的训练。具体地,训练结束条件可以包括:损失值小于一预设损失阈值;当前训练次数达到预设次数阈值(例如,500次、1000次等),在此不做限定。
步骤S143:基于未处理图像中目标区域的第一预测位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
具体地,可以将未处理图像中目标区域的最终位置更新为第一预测位置,即可以将未处理图像中目标对象的轮廓更新为区域预测模型预测得到的轮廓。
区别于前述实施例,多帧未处理图像是从原始第一图像中提取得到的,且原始第一图像是对目标对象进行图像采集得到的,从而利用已处理图像中目标区域的最终位置,生成与原始第一图像对应的掩码第一图像,并利用原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置,进而利用未处理图像中目标区域的第一预测位置,更未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置,故能够在一次预测处理中得到未处理图像中目标区域的第一预测位置,从而对未处理图像的目标区域的最终位置进行整体更新,进而能够提高更新未处理图像中目标区域的最终位置的效率,有利于提高图像处理效率。
请参阅图4,图4是本申请图像处理方法另一实施例的流程示意图。具体可以包括如下步骤:
步骤S401:获取多帧未处理图像。
本公开实施例中,多帧未处理图像分别包含属于目标对象的目标区域。
具体请参阅前述公开实施例中的相关步骤。
步骤S402:从原始目标区域面积满足预设条件的若干帧未处理图像中选择至少一帧图像,作为待处理图像,其中,原始目标区域面积是基于目标区域的原始位置得到的。
在一个实施场景中,多帧未处理图像可以标注有目标区域的原始位置。具体地,目标区域的原始位置可以是利用人工智能检测到的,具体可以参阅前述公开实施例中相关描述,在此不再赘述。
在另一个实施场景中,预设条件可以包括:多帧未处理图像按照原始目标区域面积由大到小排序后排在前预设数量位的若干帧二维图像。
具体请参阅前述公开实施例中的相关步骤。
步骤S403:将位于待处理图像之前和之后的未处理图像分别划分为两个图像集。
具体请参阅前述公开实施例中的相关步骤。
步骤S404:确定其中一个图像集为先处理的图像集,另一个图像集为后处理的图像集。
具体地,可以将位于待处理图像之前的图像集作为先处理的图像集,将位于待处理图像之后的图像集作为后处理的图像;或者,也可以将位于待处理图像之后的图像集作为先处理的图像集,将位于待处理图像之前的图像集作为后处理的图像,具体可以根据实际应用需要进行设置,在此不做限定。
步骤S405:对待处理图像进行处理,得到已处理图像。
本公开实施例中,已处理图像包括目标区域的最终位置。具体请参阅前述公开实施例中的相关步骤。
步骤S406:基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
具体请参阅前述公开实施例中的相关步骤。
此外,也可以先执行上述步骤S405至步骤S406,从而先对首次选择的待处理图像进行处理,并对未处理图像进中目标区域的最终位置进行更新,再执行步骤S403至步骤S404,或者,上述步骤S05至步骤S406和步骤S403至步骤S404也可以同时执行,具体可以根据实际应用需要进行设置,在此不做限定。
步骤S407:判断多帧未处理图像是否全部处理完毕,若否,则执行步骤S408,否则执行步骤S410。
若多帧未处理图像已经全部处理完毕,则可以执行步骤S410,结束图像处理流程,反之,则可以执行步骤S408,以继续对未处理图像进行处理。
步骤S408:选择靠近已处理图像的至少一帧未处理图像,作为新的待处理图像。
在当前已经存在已处理图像时,可以选择靠近已处理图像的至少一帧未处理图像,作为新的待处理图像,具体可以参阅前述实施例中的相关步骤,在此不再赘述。
步骤S409:重新执行步骤S405以及后续步骤。
在选择得到新的待处理图像之后,可以重新执行上述步骤S405以及后续步骤,以继续进行图像处理流程。
步骤S410:结束。
区别于前述实施例,通过获取多帧未处理图像,并从原始目标区域面积满足预设条件的若干帧未处理图像中选择至少一帧图像,作为待处理图像,从而将位于待处理图像之前和之后的未处理图像分别划分为两个图像集,并确定其中一个图像集为先处理的图像集,另一个图像集为后处理的图像集,继而对待处理图像进行处理,得到已处理图像,且已处理图像包括目标区域的最终位置,并基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到目标区域的最终位置,并仍然存在未处理图像的情况下,选择靠近已处理图像的至少一帧未处理图像,作为新的待处理图像,从而重复执行上述对待处理图像进行处理,得到已处理图像的步骤以及后续步骤,直至全部处理完毕,能够利用计算机辅助修正目标区域的最终位置,从而完成对全部未处理图像中目标区域的位置处理,故此,能够有效降低图像处理的工作量,提高图像处理效率和精度。
在一个具体的实施场景中,原始第一图像中第M帧至第N帧二维图像中对应有目标对象,则可以将第M帧至第N帧二维图像作为未处理图像,选择第C帧作为起始帧图像,将第M帧至第C-1帧作为一个图像集,将第C+1帧至第N帧作为另一图像集,从而可以将第M帧至第N帧的待处理图像的处理流程划分三部分,即起始帧图像C的处理流程、第M帧至第C-1帧的图像集的处理流程、第C+1帧至第N帧的图像集的处理流程,请结合参阅图5,图5是对第M帧至第N帧未处理图像进行处理一实施例的流程示意图,如图所示,具体可以包括如下步骤:
步骤S51:选取起始帧图像C,并对起始帧图像C进行处理。
具体请结合参阅图6,图6是对图5中起始帧图像C进行处理一实施例的流程示意图,如图6所示,对对起始帧图像C进行处理的具体流程可以包括如下步骤:
步骤S511:获取原始第一图像中目标区域的原始位置。
在一个实施场景中,目标区域的原始位置具体是可以利用人工智能检测得到的。具体可以参阅前述实施例中相关描述。
步骤S512:对待处理图像进行处理,得到已处理图像。
本公开实施例中,已处理图像包括目标区域的最终位置。具体地,起始帧图像C可以根据前述实施例中的相关步骤确定得到,在此不再赘述。
步骤S513:基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
具体可以参阅前述实施例中的相关步骤,在此不再赘述。
步骤S52:选取第M帧至第C-1帧的图像集,并对该图像集进行处理。
具体请结合参阅图7,图7是对图5中第M帧至第C-1帧的图像集进行处理一实施例的流程示意图,如图7所示,在图像集为位于待处理图像之前的图像集(即第M帧至第C-1帧的图像集)的情况下,可以从该图像集中最后一帧未处理图像开始,按照从后往前的顺序,依次选取至少一帧未处理图像作为待处理图像。具体地,对第M帧至第C-1帧的图像集进行处理具体可以包括如下步骤:
步骤S521:选取第i=C-1帧图像,作为处理本图像集的起始帧图像。
本图像集的起始帧图像可以选择靠近已处理图像的图像,即靠近第C帧的图像。
步骤S522:对第i帧图像进行处理,得到已处理图像。
具体可以参阅前述公开实施例中的相关步骤。
步骤S523:基于第i帧图像中目标区域的最终位置,更新第M至第i-1帧图像中目标区域的位置。
具体可以参阅前述公开实施例中的相关步骤。
步骤S524:判断i是否等于M,若否,则执行步骤S525,否则执行步骤S527。
当i不等于M时,可以认为本图像集尚未全部处理完毕,则可以继续对本图像集中未处理图像进行处理,反之,则可以认为本图像集已经全部处理完毕,则可以结束对本图像集的处理流程。
步骤S525:将i-1数值重新赋予i。
例如,在首次处理本图像集时,i的初始值为C-1,则在第二次处理本图像集中的未处理图像时,仍然可以选择靠近已处理图像的未处理图像作为待处理图像,则可以将C-2的数值赋予i,即第二次处理第C-2帧图像,以此类推,在此不再一一举例。
步骤S526:重新执行步骤S522以及后续步骤。
在确定下一次需要处理的未处理图像时,可以重新执行上述步骤,直至本图像集中的未处理图像全部处理完毕为止。
步骤S527:结束。
当本图像集全部处理完毕时,可以结束对本图像集的处理流程。
步骤S53:选取第C+1帧至第N帧的图像集,并对该图像集进行处理。
具体请结合参阅图8,图8是对图5中第C+1帧至第N帧的图像集进行处理一实施例的流程示意图,如图8所示,图像集为位于待处理图像之后的图像集(即第C+1帧至第N帧的图像集)的情况下,可以从该图像集中第一帧未处理图像开始,按照从前往后的顺序,依次选取至少一帧未处理图像作为待处理图像。具体地,对第C+1帧至第N帧的图像集进行处理具体可以包括如下步骤:
步骤S531:选取第i=C+1帧图像,作为处理本图像集的起始帧图像。
本图像集的起始帧图像可以选择靠近已处理图像的图像,即靠近第C帧的图像。
步骤S532:对第i帧图像进行处理,得到已处理图像。
具体可以参阅前述公开实施例中的相关步骤。
步骤S533:基于第i帧图像中目标区域的最终位置,更新第i+1至第N帧图像中目标区域的位置。
具体可以参阅前述公开实施例中的相关步骤。
步骤S534:判断i是否等于N,若否,则执行步骤S535,否则执行步骤S537。
当i不等于N时,可以认为本图像集尚未全部处理完毕,则可以继续对本图像集中未处理图像进行处理,反之,则可以认为本图像集已经全部处理完毕,则可以结束对本图像集的处理流程。
步骤S535:将i+1数值重新赋予i。
例如,在首次处理本图像集时,i的初始值为C+1,则在第二次处理本图像集中的未处理图像时,仍然可以选择靠近已处理图像的未处理图像作为待处理图像,则可以将C+2的数值赋予i,即第二次处理第C+2帧图像,以此类推,在此不再一一举例。
步骤S536:重新执行步骤S532以及后续步骤。
在确定下一次需要处理的未处理图像时,可以重新执行上述步骤,直至本图像集中的未处理图像全部处理完毕为止。
步骤S537:结束。
当本图像集全部处理完毕时,可以结束对本图像集的处理流程。
上述步骤S52和步骤S53可以按照先后顺序执行,具体地,可以先执行步骤S52,后执行步骤S53,也可以先执行步骤S53,后执行步骤S52;或者,上述步骤S52和步骤S53还可以同时执行,在此不做限定。
区别于前述实施例,将第M帧至第N帧的待处理图像的处理流程划分三部分,即起始帧图像C的处理流程、第M帧至第C-1帧的图像集的处理流程、第C+1帧至第N帧的图像集的处理流程,能够提高图像处理的有序性。
请参阅图9,图9是本申请图像处理装置90一实施例的框架示意图。图像处理装置90包括:图像处理模块91、图像选择模块92、位置确定模块93和位置更新模块94,图像获取模块91用于获取多帧未处理图像,其中,多帧未处理图像分别包含属于目标对象的目标区域;图像选择模块92用于选取至少一帧未处理图像作为待处理图像;位置确定模块93用于对待处理图像进行处理,得到已处理图像,且已处理图像包括目标区域的最终位置;位置更新模块94用于基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
上述方案,通过获取多帧未处理图像,且多帧未处理图像包含属于目标对象的目标区域,从而选取至少一帧未处理图像作为待处理图像,进而对待处理图像进行处理,得到已处理图像,且已处理图像包括目标区域的最终位置,以基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置,故能够利用计算机辅助修正目标区域的最终位置,能够有效降低图像处理的工作量,提高图像处理效率。
在一些公开实施例中,图像处理装置90还包括重复执行模块,用于结合图像选择模块92、位置确定模块93和位置更新模块94重新执行选取至少一帧未处理图像作为待处理图像的步骤以及后续步骤,直至更新完多帧未处理图像中目标区域的位置。
区别于前述实施例,在基于已处理图像中目标区域的最终位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置之后,重新执行选取至少一帧未处理图像作为待处理图像的步骤以及后续步骤,直至更新完多帧未处理图像中目标区域的位置,能够基于计算机对目标区域的最终位置的更新进一步进行处理,从而能够不断循环往复直至更新完多帧未处理图像中目标区域的位置,进而能够有利于提高图像处理效率。
在一些公开实施例中,图像选择模块92具体用于按照预设选择策略自行选取至少一帧未处理图像作为待处理图像,或者,图像选择模块92具体用于提示用户按照预设选择策略对未处理图像进行选择,并将用户选取的至少一帧未处理图像作为待处理图像。
区别于前述实施例,按照预设选择策略自行选取至少一帧未处理图像作为待处理图像,能够尽可能减少用户工作量,有利于提高图像处理的效率;而提示用户按照预设选择策略对未处理图像进行选择,并将用户选取的至少一帧未处理图像作为待处理,能够增加与用户的交互,有利于提高用户感知与体验。
在一些公开实施例中,多帧未处理图像标注有目标区域的原始位置;预设选择策略包括:在不存在已处理图像的情况下,从原始目标区域面积满足预设条件的若干帧未处理图像中选择至少一帧图像,其中,原始目标区域面积基于原始位置获取。
区别于前述实施例,多帧未处理图像标注有目标区域的原始位置,且预设选择策略包括:在不存在已处理图像的情况下,从原始目标区域面积满足预设条件的若干帧未处理图像中选择至少一帧图像,且原始目标区域面积基于目标区域的原始位置获取,从而能够在未存在已处理图像时,基于未处理图像的原始目标区域面积选择待处理图像,进而能够有利于选取目标区域的图像信息较为丰富的未处理图像作为首次处理的待处理图像,进而能够有利于提高后续对未处理图像的目标区域的最终位置的更新效果,有利于提高图像处理效率。
在一些公开实施例中,预设条件包括:多帧未处理图像按照原始目标区域面积由大到小排序后排在前预设数量位的若干帧图像。
区别于前述实施例,将预设条件设置为多帧未处理图像按照原始目标区域面积由大到小排序后排在前预设数量位的若干帧图像,故能够选取原始目标区域面积较大的图像作为首次处理的待处理图像,由于原始目标区域面积较大的图像所包含的目标对象的图像信息较为丰富,故在基于对其目标区域的最终位置更新未处理图像的目标区域的最终位置时,能够有利于提高对最终位置的更新效果,从而能够有利于提高图像处理效率。
在一些公开实施例中,预设选择策略包括:在存在已处理图像的情况下,则选择靠近已处理图像的至少一帧未处理图像作为待处理图像。
区别于前述实施例,将预设选择策略设置为包括在存在已处理图像的情况下,选择靠近已处理图像的至少一帧未处理作为待处理图像,由于选择的待处理图像靠近已处理图像,从而基于已处理图像目标区域的最终位置对所选择的待处理图像的目标区域的最终位置的更新效果也较好,故能够有利于减少用户对所选择的待处理图像的处理工作量,从而能够有利于提高图像处理效率。
在一些公开实施例中,图像处理装置90还包括图像划分模块,用于在首次执行选取至少一帧未处理图像作为待处理图像之后,将位于待处理图像之前和之后的未处理图像分别划分为两个图像集,预设选择策略进一步包括:在存在已处理图像的情况下,先选择完其中一个图像集再选择另一个图像集,其中,每个图像集均是选择靠近已处理图像的至少一帧未处理图像作为待处理图像。
区别于前述实施例,在首次执行选取至少一帧未处理图像作为待处理图像之后,将位于待处理之前和之后的未处理图像分别划分为两个图像集,且预设选择策略进一步包括:在存在已处理图像的情况下,先选择完其中一个图像集在选择另一个图像集,且每个图像集均是选择靠近已处理图像的至少一帧未处理图像作为待处理图像,通过划分图像集,并处理完一个图像集之后再处理另一个图像集,且在每个图像集的处理过程中,均选择靠近已处理图像的至少一帧未处理图像作为待处理图像,从而能够有利于有序地、分阶段地进行图像处理,进而能够有利于提高图像处理效率。
在一些公开实施例中,在图像集为位于待处理图像之前的图像集的情况下,预设选择策略包括:从图像集中的最后一帧未处理图像开始,按照从后往前的顺序,依次选取至少一帧未处理图像作为待处理图像。
区别于前述实施例,在图像集为位于待处理图像之前的图像集的情况下,图像集中的最后一帧未处理图像开始,按照从后往前的顺序,依次选取至少一帧未处理图像作为待处理图像,能够有利于有序地对图像集内的待处理图像进行图像处理,进而能够有利于提高图像处理效率。
在一些公开实施例中,在图像集为位于待处理图像之后的图像集的情况下,预设选择策略包括:从图像集中的第一帧未处理图像开始,按照从前往后的顺序,依次选取至少一帧未处理图像作为待处理图像。
区别于前述实施例,在图像集为位于待处理图像之后的图像集的情况下,从图像集中的第一帧未处理图像开始,按照从前往后的顺序,依次选取至少一帧未处理图像作为待处理图像,能够有利于有序地对图像集内的待处理图像进行图像处理,进而能够有利于提高图像处理效率。
在一些公开实施例中,图像获取模块91具体用于从原始第一图像中提取得到多帧未处理图像;其中,原始第一图像是对目标对象进行图像采集得到的,位置更新模块94具体包括掩码图像生成子模块,用于基于已处理图像中目标区域的最终位置,生成与原始第一图像对应的掩码第一图像,位置更新模块94还包括位置预测处理子模块,用于利用原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置,位置更新模块94还包括最终位置更新子模块,用于基于未处理图像中目标区域的第一预测位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置。
区别于前述实施例,多帧未处理图像是从原始第一图像中提取得到的,且原始第一图像是对目标对象进行图像采集得到的,从而利用已处理图像中目标区域的最终位置,生成与原始第一图像对应的掩码第一图像,并利用原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置,进而利用未处理图像中目标区域的第一预测位置,更新未处理图像中目标区域的位置,得到未处理图像中目标区域的最终位置,故能够在一次预测处理中得到未处理图像中目标区域的第一预测位置,从而对未处理图像的目标区域的最终位置进行整体更新,进而能够提高更新未处理图像中目标区域的最终位置的效率,有利于提高图像处理效率。
在一些公开实施例中,掩码图像生成子模块包括第一掩码生成单元,用于利用已处理图像中目标区域的最终位置,生成与已处理图像对应的第一掩码图像;其中,第一掩码图像中与已处理图像中的目标区域对应的像素点为第一像素值,其他像素点为第二像素值,掩码图像生成子模块包括第二掩码生成单元,用于生成与未处理图像对应的第二掩码图像;其中,第二掩码图像中像素点为第二像素值,掩码图像生成子模块包括掩码图像组合单元,用于将第一掩码图像和第二掩码图像进行组合,得到掩码第一图像。
区别于前述实施例,通过利用已处理图像中目标区域的最终位置,生成与已处理图像对应的第一掩码图像,且第一掩码图像中与已处理图像中目标区域对应的像素点为第一像素值,其他像素点为第二像素值,并生成与未处理图像对应的第二掩码图像,且第二掩码图像中像素点为第二像素值,从而将第一掩码图像和第二掩码图像进行组合,得到掩码第一图像,从而通过分区域设置像素点的像素点为第一像素值或第二像素值得到对应的掩码图像,进而能够提高三维掩码图像的获取效率和准确性,有利于提高后续更新未处理图像目标区域的最终位置的效率和准确性。
在一些公开实施例中,位置预测处理子模块具体用于利用区域预测模型对原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置。
区别于前述实施例,通过利用区域预测模型对原始第一图像和掩码第一图像进行预测处理,得到未处理图像中目标区域的第一预测位置,能够提高目标区域位置预测的效率和鲁棒性,从而能够有利于提高后续更新未处理图像目标区域的最终位置的效率和鲁棒性。
在一些公开实施例中,图像处理装置90还包括样本获取模块,用于获取样本原始第一图像和对应的样本掩码第一图像;其中,样本原始第一图像包含多帧样本原始第二图像,且多帧样本原始第二图像标注有目标区域的实际位置,图像处理装置90还包括样本处理模块,用于利用区域预测模型对样本原始第一图像和样本掩码第一图像进行预测处理,得到多帧样本原始第二图像中目标区域的第二预测位置,图像处理装置90还包括参数调整模块,用于利用目标区域的实际位置和第二预测位置之间的差异,调整区域预测模型的网络参数。
区别于前述实施例,通过获取样本原始第一图像和对应的样本掩码第一图像,且样本原始第一图像包含多帧样本原始第二图像,多帧二维图像标注有目标区域的实际位置,从而利用区域预测模型对样板原始第一图像和样本掩码第一图像进行预测处理,得到多帧样本原始第二图像中目标区域的第二预测位置,并利用目标区域的实际位置和第二预测位置之间的差异,调整区域预测模型的网络参数,故能够有利于提高区域预测模型的准确性,进而能够有利于提高更新未处理图像目标区域的最终位置的准确性。
在一些公开实施例中,原始第一图像为三维医学图像,目标对象为病灶,目标区域为病灶区域;和/或,处理结果包括以下任一者:用户进行位置修正后的目标区域,用户确认无需进行位置修正的目标区域。
区别于前述实施例,将原始第一图像设置三维医学图像,将目标对象设置为病灶,将目标区域设置为病灶区域,能够有利于在医学领域应用上述图像处理方法,从而能够利用计算机辅助修正病灶区域的最终位置,还能够尽量贴合医护人员的修正标准来进行辅助更新,故此,能够有效降低图像处理的工作量,提高图像处理效率;而将处理结果设置为包括:用户进行位置修正后的目标区域,用户确认无需进行位置修正的目标区域中的任一者,能够有利于提高图像处理的鲁棒性。
在一些公开实施例中,多帧未处理图像分别包括与目标对象的不同方位对应的目标区域。
区别于前述实施例,由于多帧未处理图像包括与目标对象的不同方位对应的目标区域,故多帧未处理图像所包含的目标区域之间存在较强的相关性,因此在更新未处理图像中目标区域的位置过程中,能够有利于进一步提高位置更新的准确性。
请参阅图10,图10是本申请电子设备100一实施例的框架示意图。电子设备100包括相互耦接的存储器101和处理器102,处理器102用于执行存储器101中存储的程序指令,以实现上述任一图像处理方法实施例的步骤。在一个具体的实施场景中,电子设备100可以包括但不限于:微型计算机、服务器,此外,电子设备100还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器102用于控制其自身以及存储器101以实现上述任一图像处理方法实施例的步骤。处理器102还可以称为CPU(Central Processing Unit,中央处理单元)。处理器102可能是一种集成电路芯片,具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器102可以由集成电路芯片共同实现。
上述方案,能够有效降低图像处理的工作量,提高图像处理效率。
请参阅图11,图11为本申请计算机可读存储介质110一实施例的框架示意图。计算机可读存储介质110存储有能够被处理器运行的程序指令111,程序指令111用于实现上述任一图像识别方法实施例的步骤。
上述方案,能够有效降低图像处理的工作量,提高图像处理效率。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
- 图像处理方法及相关设备、迁移网络训练方法及相关设备
- 模型训练、图像发送、图像处理方法及相关装置设备