掌桥专利:专业的专利平台
掌桥专利
首页

医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置

文献发布时间:2023-06-19 11:26:00


医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置

技术领域

本发明涉及一种医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置,特别是涉及一种控制有无医疗图像的报知信息的报知的技术。

背景技术

从内窥镜图像中自动检测病变等关注区域的技术有望防止病变漏看。该自动检测技术终究是以防止漏看为目的,在用户识别到病变的存在后也继续报知检测结果会妨碍观察,故不优选。因此,可以考虑在用户识别后设为特意不报知报知信息的非报知。

但是,有可能用户在没有注意到已被设为非报知的情况下继续进行检查。在该情况下,由于不向用户报知报知信息,因此有可能漏看病变。

针对这样的课题,专利文献1中公开了如下技术:通过对非显示图标进行点击操作,将附加了针对病灶候选阴影的标记(相当于报知信息)的CT(Computed Tomography)图像的标记设为非显示,当经过了规定时间时恢复为原来的带标记的CT图像。根据该技术,即使在将标记设为非显示的情况下,也能够防止在不显示标记的状态下继续进行检查。

以往技术文献

专利文献

专利文献1:日本专利第4393016号

发明内容

发明要解决的技术课题

但是,在专利文献1所记载的技术中,存在为了将标记设为非显示而需要用户操作这样的缺点。

本发明是鉴于这种情况而完成的,其目的在于提供一种不依赖于用户操作地适当控制有无医疗图像的报知信息的报知的医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置。

用于解决技术课题的手段

为了达到上述目的,医疗图像处理装置的一个方面是一种如下的医疗图像处理装置,其具备报知控制部,该报知控制部将医疗图像中包含的报知信息控制为在报知部中进行报知的报知状态和不进行报知的非报知状态中的任一种状态,报知控制部在医疗图像充分满足非报知条件的情况下将报知信息设为非报知状态,并且在从医疗图像变成不充分满足非报知条件起经过非报知维持时间后将报知信息设为报知状态。

根据本方面,由于在医疗图像充分满足非报知条件的情况下将报知信息设为非报知状态,并且在从医疗图像变成不充分满足非报知条件起经过非报知维持时间后设为报知状态,因此不充分满足非报知条件的情况成为报知状态,充分满足非报知条件的情况成为非报知状态,并且在从变成不充分满足非报知条件起直到经过非报知维持时间为止维持非报知状态,在经过非报知维持时间后成为报知状态。因此,能够不依赖于用户操作地适当控制有无医疗图像的报知信息的报知。

优选具备:图像获取部,其依次获取医疗图像;报知信息获取部,其从医疗图像获取报知信息;判定部,其判定医疗图像是否充分满足非报知条件;以及计时部,其对从医疗图像变成不充分满足非报知条件起的经过时间进行计时。由此,能够适当地进行医疗图像的获取、报知信息的获取、非报知条件的判定以及经过时间的判定。

优选非报知条件是判定医疗图像的图像特征量的条件,医疗图像处理装置具备从医疗图像获取图像特征量的图像特征量获取部。由此,能够根据图像特征量来停止报知。

优选图像特征量包括医疗图像的亮度、颜色信息、时间变化及频率信息中的至少一个。由此,能够适当地停止报知。

优选非报知条件是判定医疗图像的针对受检体的处置状态的条件,医疗图像处理装置具备根据医疗图像推定处置状态的处置状态推定部。由此,能够根据处置状态来停止报知。

优选具备根据处置状态设定非报知维持时间的非报知维持时间设定部。由此,能够适当地设定非报知维持时间。

优选非报知条件是判定关注区域特征量的条件,医疗图像处理装置具备:关注区域检测部,其从医疗图像检测关注区域;以及关注区域特征量获取部,其从关注区域获取关注区域特征量。由此,能够根据关注区域特征量来停止报知。

优选关注区域特征量包括关注区域的面积、医疗图像内的位置及时间变化中的至少一个。由此,能够适当地停止报知。

优选报知部包括输出声音的声音输出部,报知控制部具备使声音输出部输出声音的声音控制部。由此,能够适当地报知报知信息。

优选报知部包括第一显示部,报知控制部具备使第一显示部显示报知信息的显示控制部。由此,能够适当地报知报知信息。

优选报知部包括与第一显示部不同的第二显示部,显示控制部使第二显示部显示报知信息。由此,能够适当地报知报知信息。

优选显示控制部根据报知状态和非报知状态变更第二显示部上的报知信息的显示方式。由此,能够适当地报知报知信息。

优选显示控制部在非报知状态的情况下使第二显示部显示报知信息。由此,能够在第一显示部中适当地进行医疗图像的观察,能够在第二显示部中适当地报知报知信息。

优选显示控制部使与第一显示部不同的第三显示部显示表示是非报知状态的信息。由此,用户能够知道报知信息为非报知状态。

优选显示控制部使与第一显示部不同的第四显示部显示与从医疗图像变成不充分满足非报知条件起的经过时间相关的信息。由此,用户能够知道与经过时间相关的信息。

为了达到上述目的,诊断辅助装置的一个方面是一种如下的诊断辅助装置,其具备:上述的医疗图像处理装置;以及第一显示部。根据本方面,能够不依赖于用户操作地适当控制有无医疗图像的报知信息的显示。

为了达到上述目的,医疗图像处理方法的一个方式是一种如下的医疗图像处理方法:具有报知控制工序,将医疗图像中包含的报知信息控制为在报知部中进行报知的报知状态和不进行报知的非报知状态中的任意一种状态,在报知控制工序中,在医疗图像充分满足非报知条件的情况下将报知信息设为非报知状态,并且在从医疗图像变成不充分满足非报知条件起经过非报知维持时间后将报知信息设为报知状态。

根据本方面,能够不依赖于用户操作地适当控制有无医疗图像的报知信息的报知。用于使计算机执行上述医疗图像处理方法的程序也包含在本方面中。

发明效果

根据本发明,能够不依赖于用户操作地适当控制有无医疗图像的报知信息的报知。

附图说明

图1是表示包括医疗图像处理装置的内窥镜系统的整体结构的概略图。

图2是表示医疗图像处理装置的电结构的一例的框图。

图3是表示医疗图像处理方法的各处理的一例的流程图。

图4是表示显示器的显示转变的图。

图5是表示报知状态下的显示器的显示的一例的图。

图6是表示报知状态下的显示器的显示的一例的图。

图7是表示报知状态下的显示器的显示的一例的图。

图8是表示报知状态下的显示器的显示的一例的图。

图9是表示显示器的显示转变的图。

图10是表示显示器的显示转变的图。

图11是表示显示器的显示转变的图。

图12是表示显示器的显示转变的图。

图13是表示医疗图像处理装置的电结构的框图。

图14是表示第一显示器和第二显示器的显示转变的一例的图。

图15是表示第一显示器和第二显示器的显示转变的另一例的图。

图16是表示第一显示器和第三显示器的显示转变的另一例的图。

图17是表示第一显示器和第四显示器的显示转变的另一例的图。

图18是表示医疗图像处理装置的电结构的一例的框图。

具体实施方式

以下,参照附图对本发明的优选实施方式进行详细说明。

<内窥镜系统的整体结构>

图1是表示包括本实施方式所涉及的医疗图像处理装置的内窥镜系统9的整体结构的概略图。如图1所示,内窥镜系统9具备作为电子内窥镜的内窥镜观测器10、光源装置11、内窥镜处理器装置12、显示装置13、医疗图像处理装置14、操作部15、以及显示器16。

内窥镜观测器10用于拍摄时间序列的医疗图像,例如是软性内窥镜。该内窥镜观测器10具有:插入部20,其插入受检体内且具有顶端和基端;手边操作部21,其连设于插入部20的基端侧且由用户(医生)把持来进行各种操作;以及通用塞绳22,其连设于手边操作部21。

插入部20整体细径且形成为长条状。插入部20从其基端侧朝向顶端侧依次由软性部25、弯曲部26、及顶端部27连设构成,软性部25具有挠性,弯曲部26通过手边操作部21的操作可弯曲,顶端部27中内置有未图示的摄像光学系统(物镜)及摄像元件28等。

摄像元件28是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型摄像元件。被观察部位的图像光经由在顶端部27的顶端面开口的未图示的观察窗、及配置于该观察窗后方的未图示的物镜入射到摄像元件28的摄像面。摄像元件28拍摄入射到该摄像面的被观察部位的图像光(转换为电信号),并输出摄像信号。

在手边操作部21上设置有由用户操作的各种操作部件。具体而言,在手边操作部21上设置有用于弯曲部26的弯曲操作的两种弯曲操作钮29、用于操作供气供水的供气供水按钮30、以及用于吸引操作的吸引按钮31。另外,在手边操作部21上还设置有静止画面拍摄指示部32和处置器具导入口33,静止画面拍摄指示部32用于进行被观察部位的静止画面39的拍摄指示,从处置器具导入口33将处置器具(未图示)插入插通插入部20内的处置器具插通路(未图示)内。

通用塞绳22是用于将内窥镜观测器10连接到光源装置11的连接塞绳。该通用塞绳22内包插通插入部20内的光导35、信号电缆36、及流体管(未图示)。另外,在通用塞绳22的端部设置有连接到光源装置11的连接器37a、从该连接器37a分支且连接到内窥镜处理器装置12的连接器37b。

通过将连接器37a连接到光源装置11,将光导35及流体管(未图示)插入光源装置11。由此,经由光导35及流体管(未图示),可从光源装置11向内窥镜观测器10供给所需照明光、水和气体。其结果是,可从顶端部27的顶端面的照明窗(未图示)向被观察部位照射照明光。另外,根据上述供气供水按钮30的按下操作,可从顶端部27的顶端面の供气供水喷嘴(未图示)向顶端面的观察窗(未图示)喷射气体或水。

通过将连接器37b连接到内窥镜处理器装置12,可将信号电缆36与内窥镜处理器装置12电连接。由此,经由信号电缆36,可从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号,并且可从内窥镜处理器装置12向内窥镜观测器10输出控制信号。

光源装置11经由连接器37a向内窥镜观测器10的光导35供给照明光。照明光可选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者这些的组合等根据观察目的的各种波长频带的光。此外,特定波长频带是比白色波长频带窄的频带。

特定波长频带的第一例例如是可见范围的蓝色频带或绿色频带。该第一例的波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带,且第一例的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。

特定波长频带的第二例例如是可见范围的红色频带。该第二例的波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带,且第二例的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。

特定波长频带的第三例包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带,且第三例的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。该第三例的波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带,且第三例的光在上述400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。

特定波长频带的第四例为用于观察生物体内的荧光物质发出的荧光(荧光观察)且激励该荧光物质的激励光的波长频带(390nm至470nm)。

特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带,且第五例的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。

内窥镜处理器装置12经由连接器37b及信号电缆36控制内窥镜观测器10的动作。另外,内窥镜处理器装置12基于经由连接器37b及信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号,生成由时间序列的帧图像38a(参照图2)构成的时间序列的医疗图像即动态画面38。动态画面38的帧率例如是30fps(frame per second)。

而且,内窥镜处理器装置12在使用内窥镜观测器10的手边操作部21操作静止画面拍摄指示部32时,与动态画面38的生成并行地,根据拍摄指示的定时获取动态画面38中的一张帧图像38a作为静止画面39。

动态画面38和静止画面39是拍摄受检体内、即生物体内而得的医疗图像。而且,动态画面38和静止画面39在为通过上述特定波长频带的光(特殊光)获得的图像的情况下,两者皆为特殊光图像。接着,内窥镜处理器装置12将生成的动态画面38和静止画面39分别输出到显示装置13和医疗图像处理装置14。

此外,内窥镜处理器装置12也可以基于通过上述白色光获得的普通光图像,生成(获取)具有上述特定波长频带的信息的特殊光图像。在该情况下,内窥镜处理器装置12作为特殊光图像获取部发挥功能。接着,内窥镜处理器装置12通过进行基于包含在普通光图像中的红色(Red)、绿色(Green)及蓝色(Blue)的RGB颜色信息、或者蓝绿色(Cyan)、品红色(Magenta)及黄色(Yellow)的CMY颜色信息的运算,获取特定波长频带的信号。

另外,内窥镜处理器装置12也可以例如基于通过上述白色光获得的普通光图像和通过上述特定波长频带的光(特殊光)获得的特殊光图像中的至少一方,生成公知的氧饱和度图像等特征量图像。在该情况下,内窥镜处理器装置12作为特征量图像生成部发挥功能。此外,包括上述生物体内图像、普通光图像、特殊光图像、及特征量图像的动态画面38或静止画面39中的每一个都是出于利用图像进行诊断、检查的目的来拍摄人体或将计测的结果图像化而得到的医疗图像。

显示装置13连接到内窥镜处理器装置12,显示从该内窥镜处理器装置12输入的动态画面38和静止画面39。用户在确认显示于显示装置13的动态画面38的同时,进行插入部20的插拔操作等,当在被观察部位发现病变等时,操作静止画面拍摄指示部32执行被观察部位的静止画面拍摄,另外,进行诊断、活检等。

医疗图像处理装置14是进行作为关注区域的病变的自动识别和自动鉴别的装置,将医疗图像中包含的报知信息报知给用户。医疗图像处理装置14例如使用个人计算机。另外,操作部15使用有线连接或无线连接于个人计算机的键盘和鼠标等,显示器16(报知部的一例)使用可连接到个人计算机的液晶监视器等各种监视器。

利用医疗图像处理装置14和显示器16(第一显示部的一例),作为在显示器16上显示动态画面38和报知信息的诊断辅助装置发挥功能。

<第一实施方式>

〔医疗图像处理装置的结构〕

图2是表示第一实施方式所涉及的医疗图像处理装置14的电结构的一例的框图。图2所示的医疗图像处理装置14主要由时间序列图像获取部40、关注区域检测部42、坐标计算部44、图像信息获取部46、非报知维持时间设定部54、判定部56、计时部58、控制部60、显示控制部62、以及存储部64构成。

控制部60基于存储于存储部64的程序(医疗图像处理程序)68,统一控制时间序列图像获取部40、关注区域检测部42、坐标计算部44、图像信息获取部46、非报知维持时间设定部54、判定部56、计时部58、及显示控制部62,另外,作为这些各部的一部分发挥功能。

存储部64例如是硬盘装置等存储装置。存储部64存储关注区域检测部42的检测结果以及所拍摄的静止画面39,并且存储程序68以及与医疗图像处理装置14的各种控制相关的信息等。

另外,存储部64具备图形存储部66。在图形存储部66中存储有用于将报知信息报知给用户的图形。

时间序列图像获取部40依次获取作为医疗图像的一例的内窥镜图像。在此,时间序列图像获取部40使用有线连接或无线连接于内窥镜处理器装置12(参照图1)的未图示的图像输出输入接口,从内窥镜处理器装置12获取由时间序列的帧图像38a构成的动态画面38在本例中,由内窥镜观测器10拍摄的动态画面38)。另外,当使用内窥镜观测器10在动态画面38的拍摄过程中进行如上所述的静止画面39的拍摄时,时间序列图像获取部40从内窥镜处理器装置12获取动态画面38和静止画面39。

此外,取代从内窥镜处理器装置12直接获取动态画面38,时间序列图像获取部40可以经由存储卡、硬盘装置等各种信息存储介质获取动态画面38。另外,时间序列图像获取部40也可以经由互联网获取上传到互联网上的服务器或数据库等的动态画面38。

关注区域检测部42是从医疗图像获取医疗图像中包含的报知信息的报知信息获取部的一例,从在受检体内的观察中拍摄到的动态画面38中检测关注区域。关注区域检测部42包括卷积神经网络(CNN:Convolutional Neural Network),该卷积神经网络计算动态画面38的各帧图像38a(或者被间隔剔除的一定间隔的帧图像38a)的特征量,并进行图像内的关注区域的识别处理。

作为关注区域的例子,有息肉、癌、大肠憩室、炎症、EMR(Endoscopic MucosalResection)瘢痕、ESD(Endoscopic Submucosal Dissection)瘢痕、夹持部位、出血点、穿孔、血管异型性、处置器具等。

关注区域检测部42也能够获取所检测到的关注区域属于与“肿瘤性”、“非肿瘤性”、“其他”之类的病变相关的多个类别中的哪一类别的类别分类等的识别结果。

此外,关注区域检测部42不限于利用CNN检测关注区域,也可以利用图像处理分析图像内的颜色、像素值梯度、形状、大小等特征量来检测关注区域。

坐标计算部44是报知信息获取部的一例,计算表示由关注区域检测部42检测到的关注区域在图像内的位置的坐标信息。坐标计算部44计算例如包围关注区域的多边形或圆的轮廓线上的一个以上的坐标信息。坐标计算部44可以计算多边形的顶点的坐标或多边形的边的中点的坐标作为坐标信息,也可以计算将圆的圆周多等分的点的坐标作为坐标信息。

图像信息获取部46是从动态画面38中获取图像信息的图像处理部,该图像信息用于推定不需要报知信息的定时、或者关注区域检测部42的检测结果的可靠度降低的定时。图像信息获取部46具备图像特征量获取部48、处置状态推定部50及关注区域特征量获取部52。

图像特征量获取部48获取作为动态画面38的各帧图像38a的特征量的图像特征量。处置状态推定部50通过图像处理分析动态画面38的各帧图像38a并推定对受检体的处置状态。关注区域特征量获取部52获取由关注区域检测部42检测到的关注区域的特征量即关注区域特征量。

非报知维持时间设定部54设定后述的非报知维持时间。非报知维持时间例如存储在存储部64中。非报知维持时间设定部54从存储部64读出非报知维持时间,并设定读出的非报知维持时间。非报知维持时间设定部54可以根据处置状态推定部50推定的处置状态来设定非报知维持时间,也可以将用户输入的值设定为非报知维持时间。

判定部56判定动态画面38是否充分满足非报知条件。判定部56也可以基于图像信息获取部46获取的图像信息,判定动态画面38是否充分满足非报知条件。即,判定部56也可以基于图像特征量获取部48获取的图像特征量、处置状态推定部50推定的处置状态、关注区域特征量获取部52获取的关注区域特征量中的至少一个,判定动态画面38是否充分满足非报知条件。

计时部58对从动态画面38变成不充分满足非报知条件起的经过时间进行计时。计时部58也可以通过对从动态画面38变成不充分满足非报知条件起的帧图像38a的数量(帧数)进行计数来对经过时间进行计时。

显示控制部62对显示器16的显示进行控制。显示控制部62具备图像显示控制部62A和报知信息显示控制部62B。图像显示控制部62A将时间序列图像获取部40获取的动态画面38输出到显示器16,使显示器16显示动态画面38。即,在显示器16上依次显示多个帧图像38a。

报知信息显示控制部62B是在报知部中报知医疗图像中包含的报知信息的报知控制部的一例。报知信息显示控制部62B将报知信息控制为进行报知的报知状态和不进行报知的非报知状态中的任意一种状态。报知信息显示控制部62B在报知状态下使显示器16显示与由关注区域检测部42检测到的关注区域相关的信息作为报知信息。在此,报知信息显示控制部62B使从图形存储部66读出的图形重叠在显示于显示器16的帧图像38a的在坐标计算部44中计算出的坐标信息的位置上。由此,在显示于显示器16的动态画面38的关注区域的位置上重叠显示图形,通过图形强调关注区域。

另外,报知信息显示控制部62B在动态画面38充分满足非报知条件的情况下将报知信息设为非报知状态。即,报知信息显示控制部62B在动态画面38充分满足非报知条件的情况下,设为不显示从图形存储部66读出的图形的非报知状态,停止利用显示器16对报知信息的报知。

而且,报知信息显示控制部62B在从动态画面38变成不充分满足非报知条件起直到经过非报知维持时间设定部54设定的非报知维持时间为止维持非报知状态,在经过非报知维持时间后设为显示报知信息的报知状态。即,非报知维持时间是从变成不充分满足报知条件起维持非报知状态的时间。

报知信息显示控制部62B判定从动态画面38变成不充分满足非报知条件起的经过时间是否超过了非报知维持时间,在从变成不充分满足起的经过时间未超过非报知维持时间的情况下,将报知信息维持为非报知状态。

另外,在从变成不充分满足起的经过时间超过非报知维持时间的情况下,报知信息显示控制部62B将报知信息设为报知状态。在此,报知信息显示控制部62B使从图形存储部66读出的图形重叠在显示于显示器16的帧图像38a内的在坐标计算部44中计算出的坐标信息的位置上。

此外,若将与非报知条件相反的条件设为报知条件,则可解释为报知信息显示控制部62B在动态画面38充分满足报知条件的情况下将报知信息设为报知状态,在动态画面38不充分满足报知条件的情况下将报知信息设为非报知状态。在该情况下,报知信息显示控制部62B在从动态画面38充分满足报知条件起直到经过非报知维持时间为止维持非报知状态。另外,报知信息显示控制部62B在从动态画面38充分满足报知条件起经过非报知维持时间后设为报知状态。

〔医疗图像处理方法〕

接下来,对使用了医疗图像处理装置14的医疗图像处理方法进行说明。医疗图像处理方法通过控制部60执行存储在存储部64中的程序68来实施。

在本实施方式中,报知信息是关注区域的位置,医疗图像处理装置14将表示关注区域的位置的图形显示在显示器16上。报知信息可以是关注区域的有无,也可以是检测到的关注区域的类别分类的识别结果。

图3是表示第一实施方式所涉及的医疗图像处理方法的各处理的一例的流程图。医疗图像处理方法包括图像获取工序(步骤S1)、图像显示工序(步骤S2)、关注区域检测工序(步骤S3)、判定工序(步骤S5)、计时工序(步骤S7)以及报知控制工序(步骤S9、步骤S10)。

在步骤S1中,时间序列图像获取部40获取动态画面38的帧图像38a。在步骤S2中,图像显示控制部62A使显示器16显示在步骤S1中获取的帧图像38a。

在步骤S3中,关注区域检测部42从在步骤S1中获取的帧图像38a中检测关注区域。在步骤S4中,控制部60判定在步骤S3中是否从帧图像38a中检测到关注区域。

在步骤S4中判定为未检测到关注区域时,结束本流程图的处理。在该情况下,由于不存在报知信息,因此不进行报知信息的报知(显示)。因此,在显示器16上不显示表示关注区域的位置的图形。

另一方面,在步骤S4中判定为检测到关注区域时,转移到步骤S5。在步骤S5中,判定部56判定在步骤S1中获取的帧图像38a是否充分满足非报知条件。

在步骤S5中判定为帧图像38a充分满足非报知条件时,转移到步骤S9。在步骤S9中,报知信息显示控制部62B将报知信息设为非报知状态(非显示状态),结束本流程图的处理。因此,在显示器16上不显示表示关注区域的位置的图形。

另一方面,在步骤S5中判定为帧图像38a不充分满足非报知条件时,转移到步骤S6。在步骤S6中,判定部56判定在步骤S1中获取的帧图像38a之前的帧图像38a是否已充分满足非报知条件。

在步骤S6中判定为之前的帧图像38a不充分满足非报知条件时,转移到步骤S10。在步骤S10中,报知信息显示控制部62B将报知信息设为报知状态(显示状态),结束本流程图的处理。因此,在显示于显示器16的帧图像38a的关注区域的位置上重叠图形。

另外,在步骤S6中判定为之前的帧图像38a充分满足非报知条件时,转移到步骤S7。在步骤S7中,计时部58对从动态画面38变成不充分满足非报知条件起的经过时间进行计时。

在接下来的步骤S8中,报知信息显示控制部62B判定计时部58计时的经过时间是否超过了非报知维持时间。在此,非报知维持时间由非报知维持时间设定部54设定为预定的时间。

非报知维持时间被设定为大于0的时间。非报知维持时间例如为0.5秒以上30秒以下的时间。非报知维持时间优选为1秒以上7秒以下的时间,更优选为2秒以上4秒以下的时间。

在步骤S8中,当判定为经过时间未超过非报知维持时间时,转移到步骤S9。在步骤S9中,与从步骤S5转移来的情况同样地,报知信息显示控制部62B将报知信息设为非报知状态,结束本流程图的处理。因此,在显示器16上不显示表示关注区域的位置的图形。

在步骤S8中,当判定为经过时间超过了非报知维持时间时,转移到步骤S10。在步骤S10中,与从步骤S6转移来的情况同样地,报知信息显示控制部62B将报知信息设为报知状态,结束本流程图的处理。因此,在显示于显示器16的帧图像38a的关注区域的位置上重叠图形。

如上所述,根据第一实施方式所涉及的医疗图像处理方法,能够不依赖于用户操作地适当控制有无医疗图像的报知信息的报知(显示)。

在本流程图中,关注区域检测部42与报知状态和非报知状态无关地对帧图像38a进行关注区域检测,但关注区域检测部42也可以仅在报知状态的情况下进行关注区域检测。

图4是表示显示器16的显示转变的图。图4所示的F4A表示某一时刻的显示器16的显示。另外,图4所示的F4B表示从F4A经过一定时间后的显示器16的显示,图4所示的F4C表示从F4B进一步经过一定时间后的显示器16的显示。在F4A、F4B及F4C中显示在显示器16上的帧图像38a是构成一定帧率的一个动态画面38的各自不同的帧图像38a。

F4A表示由于帧图像38a不充分满足非报知条件,因此报知信息为报知状态的情况。在F4A中,包围在帧图像38a中检测到的关注区域R1的框形状的图形F1与帧图像38a重叠而显示在显示器16上。这样,通过报知关注区域的位置,能够防止用户漏看关注区域。

F4B表示由于帧图像38a充分满足了非报知条件,因此报知信息为非报知状态的情况。在F4B中,在显示器16上显示有包含关注区域R1的帧图像38a,但不显示报知信息,因此未显示有图形F1。

若在显示器16上显示有图形F1,则根据情况,可能会妨碍观察帧图像38a。例如,在用户发现了关注区域R1后只能成为观察障碍。因此,如F4B所示,在充分满足被认为是不需要报知信息的定时的非报知条件的情况下,通过不显示报知信息,用户能够容易地观察医疗图像。

另外,在根据关注区域检测部42的错误的检测结果显示图形F1的情况下,也会妨碍观察帧图像38a。因此,在充分满足被认为是关注区域检测部42的检测结果的可靠度降低的定时的非报知条件的情况下,也同样地通过不显示报知信息,用户能够容易地观察医疗图像。

此外,由于在从帧图像38a变成不充分满足非报知条件起直到经过非报知维持时间为止的期间,也维持报知信息的非报知状态,因此与F4B同样地不显示图形F1。

F4C表示从帧图像38a变成不充分满足非报知条件起经过非报知维持时间后,报知信息再次成为报知状态的情况。与F4A同样地,包围在帧图像38a中检测到的关注区域R1的框形状的图形F1与帧图像38a重叠而显示在显示器16上。

若使报知信息保持非报知状态,则在之后重新开始关注区域的筛选且需要显示报知信息的情况下也不显示报知信息,用户有可能漏看关注区域。因此,在变成不充分满足非报知条件的情况下,将报知信息设为报知状态。由此,能够不依赖于用于重新开始显示的用户操作地防止无法继续进行报知信息的显示。

在此,若在变成不充分满足非报知条件后立即显示报知信息,则会根据动态画面38的图像信息以较短的间隔重复显示和非显示,会产生对用户来说麻烦的情况。因此,在从变成不充分满足非报知条件起经过非报知维持时间后设为报知状态。通过如此从非显示向显示转移,能够防止以较短的间隔重复显示和非显示。

<显示的变形例>

〔关注区域的报知方式〕

在显示器16中报知关注区域的方式不限于以框形状的图形包围关注区域的例子。

图5~图8是表示报知状态下的显示器16的显示的一例的图,分别显示有包含关注区域R1的帧图像38a。

在图5所示的情况下,报知信息显示控制部62B通过显示对关注区域R1进行了填涂的信息IN1来报知关注区域R1。填涂的颜色只要是能够报知给用户的颜色,就不受限定。这样,通过填涂关注区域,能够容易地识别关注区域的范围并进行报知。

图6和图7示出了与关注区域在图像内的位置无关地报知是否检测到关注区域的例子。

在图6所示的情况下,报知信息显示控制部62B通过显示对帧图像38a的周围进行了着色的信息IN2,来报知检测到关注区域R1的旨意。这样,通过用医疗图像的周围的颜色进行报知,不会在医疗图像上重叠妨碍观察的图形,而且,能够减少用户的视线移动来进行报知。

在图7所示的例子中,报知信息显示控制部62B通过在帧图像38a的外侧的右上位置显示星形的图形的信息IN3,来报知检测到关注区域R1的旨意。图形的形状和配置位置不限于该例子。这样,通过在医疗图像的外侧的特定位置显示特定的图形,不会在医疗图像上重叠妨碍观察的图形,而且,能够减少用户的视线移动来进行报知。另外,由于报知在显示画面内的影响范围较小即可,因此具有对用户来说报知不麻烦这样的优点。

在图8所示的情况下,报知信息显示控制部62B通过显示仅对帧图像38a的周围中的接近关注区域的区域(在此为右上)进行了着色的信息IN4,来报知关注区域R1的大致位置。这样,通过用颜色报知医疗图像的周围中的接近关注区域的区域,不会在医疗图像上重叠妨碍观察的图形,而且,能够掌握检测对象的大致位置来进行报知。

〔其他信息的显示〕

图9是表示显示器16的显示转变的图。图9中所示的F9A表示某一时刻的显示器16的显示。另外,图9所示的F9B表示从F9A经过3秒后的显示器16的显示,图9所示的F9C表示从F9B进一步经过2秒后的显示器16的显示。在F9A、F9B及F9C中显示在显示器16上的帧图像38a是构成一定帧率的一个动态画面38的各自不同的帧图像38a。

在F9A、F9B及F9C中,在显示器16的与帧图像38a的显示区域(第一显示部的一例)不同的显示区域(第三显示部的一例)显示有报知状态或非报知状态的信息IN5(表示是非报知状态的信息的一例)、以及将报知信息设为非报知状态的剩余时间、即非报知维持时间与经过时间之差的时间的信息IN6(与从医疗图像变成不充分满足非报知条件起的经过时间相关的信息的一例)。

F9A和F9B表示非报知状态的情况。在F9A和F9B中,在显示器16上显示有包含关注区域R1的帧图像38a,但报知信息显示控制部62B不进行关注区域R1的报知。

在F9A中,报知信息显示控制部62B显示表示是非报知状态的“off”作为信息IN5,显示表示剩余时间为5秒的“5sec”作为信息IN6。另外,在F9B中,报知信息显示控制部62B显示表示是非报知状态的“off”作为信息IN5,显示表示剩余时间为2秒的“2sec”作为信息IN6。

F9C表示经过非报知维持时间而成为报知状态的情况。在F9C中,在显示器16上显示有包含关注区域R1的帧图像38a,报知信息显示控制部62B将包围关注区域R1的框形状的图形F1重叠在帧图像38a上。另外,在F9C中,报知信息显示控制部62B显示表示是报知状态的“on”作为信息IN5,显示表示经过了非报知维持时间的“0sec”作为信息IN6。报知信息显示控制部62B也可以在报知状态的情况下不显示信息IN6。

另外,图10和图11分别是表示显示器16的显示转变的图。图10所示的F10A、F10B及F10C的转变的定时和图11所示的F11A、F11B及F11C的转变的定时分别与图9所示的F9A、F9B及F9C的转变的定时相同。即,在F10A、F10B及F10C中显示的帧图像38a和在F11A、F11B及F11C中显示的帧图像38a分别与在F9A、F9B及F9C中显示的帧图像相同。

在F10A、F10B及F10C中,在显示器16的与帧图像38a的显示区域不同的显示区域显示报知状态或非报知状态的信息IN5、以及将报知信息设为非报知状态的剩余时间的信息IN7(与从医疗图像变成不充分满足非报知条件起的经过时间相关的信息的一例)。

信息IN7是使用条(进度条)来表现非报知状态的剩余时间的信息,被设定为条的填涂部分的长度与经过时间具有相关性。

F10A和F10B表示非报知状态的情况。在F10A和F10B中,在显示器16上显示有包含关注区域R1的帧图像38a,但报知信息显示控制部62B不进行关注区域R1的报知。在F10A中,报知信息显示控制部62B显示表示是非报知状态的“off”作为信息IN5,显示填涂了5秒剩余时间的条作为信息IN7。另外,在F10B中,报知信息显示控制部62B显示表示是非报知状态的“off”作为信息IN5,显示填涂了2秒剩余时间的条作为信息IN7。

F10C表示经过非报知维持时间而成为报知状态的情况。在F10C中,在显示器16上显示有包含关注区域R1的帧图像38a,报知信息显示控制部62B将包围关注区域R1的框形状的图形F1重叠在帧图像38a上。另外,在F10C中,报知信息显示控制部62B显示表示是报知状态的“on”作为信息IN5,显示填涂了0秒剩余时间的条、即没有填涂的条作为信息IN7。报知信息显示控制部62B也可以在报知状态的情况下不显示信息IN7。

这样,通过显示填涂部分的长度与经过时间具有相关性的条,用户能够通过图形来解释剩余时间。

在F11A、F11B及F11C中,在显示器16的与帧图像38a的显示区域不同的显示区域显示报知状态或非报知状态的信息IN5、以及将报知信息设为非报知状态的剩余时间的信息IN8(与从医疗图像变成不充分满足非报知条件起的经过时间相关的信息的一例)。

信息IN8通过显示区域的一部分的颜色信息来表现剩余时间,剩余时间越短,颜色越浓。

FllA和F11B表示非报知状态的情况。在F11A和F11B中,在显示器16上显示有包含关注区域R1的帧图像38a,但报知信息显示控制部62B不进行关注区域R1的报知。在F11A中,报知信息显示控制部62B显示表示是非报知状态的“off”作为信息IN5,显示剩余时间相当于5秒的浓度的颜色作为信息IN8。另外,在F11B中,报知信息显示控制部62B显示表示是非报知状态的“off”作为信息IN5,显示剩余时间相当于2秒的浓度的颜色作为信息IN8。

F11C表示经过非报知维持时间而成为报知状态的情况。在F11C中,在显示器16上显示有包含关注区域R1的帧图像38a,报知信息显示控制部62B将包围关注区域R1的框形状的图形F1重叠在帧图像38a上。另外,在F11C中,报知信息显示控制部62B显示表示是报知状态的“on”作为信息IN5,显示剩余时间相当于0秒的浓度的颜色作为信息IN8。

在此,F11B的信息IN8的颜色浓度相对高于F11A的信息IN8的颜色浓度,F11C的信息IN8的颜色浓度相对高于F11B的信息IN8的颜色浓度。此外,也可以是剩余时间越短则颜色越浓。

这样,通过利用医疗图像的显示区域的周边的颜色浓度来表现剩余时间,用户不需要注视特定区域就能够掌握剩余时间,具有不妨碍观察这样的优点。

图12是表示显示器16的显示转变的图。图12所示的F12A表示某一时刻的显示器16的显示。另外,图12所示的F12B表示从F12A经过一定时间后的显示器16的显示,图12所示的F12C表示从F12B进一步经过一定时间后的显示器16的显示。在F12A、F12B和F12C中显示在显示器16上的帧图像38a是构成一定帧率的一个动态画面38的各自不同的帧图像38a。

在F12A、F12B及F12C中,在显示器16的与帧图像38a的显示区域不同的显示区域显示信息IN9,该信息IN9集中表现了报知状态或非报知状态的信息和将报知信息设为非报知状态的剩余时间的信息。

信息IN9在文字“AI”变灰时,表示是充分满足非报知条件的非报知状态。另外,在文字“AI”为一定浓度的红色时,表示是报知状态。而且,在从变成不充分满足非报知条件起直到经过非报知维持时间为止的非报知状态下,红色的浓度根据剩余时间而连续地变化。

F12A表示充分满足非报知条件的非报知状态的情况。在F12A中,在显示器16上显示有包含关注区域R1的帧图像38a,但报知信息显示控制部62B不进行关注区域R1的报知。另外,报知信息显示控制部62B显示变灰后的文字“AI”作为信息IN9。这表示AI(ArtificjalIntelligence)对关注区域的检测报知未发挥功能。

F12B表示从变成不充分满足非报知条件起直到经过非报知维持时间为止的非报知状态的情况。在F12B中,在显示器16上显示有包含关注区域R1的帧图像38a,但报知信息显示控制部62B不进行关注区域R1的报知。另外,报知信息显示控制部62B显示与剩余时间对应浓度的红色文字“AI”作为信息IN9。

F12C表示报知状态的情况。在F12C中,在显示器16上显示有包含关注区域R1的帧图像38a,报知信息显示控制部62B将包围关注区域R1的框形状的图形F1重叠在帧图像38a上。另外,报知信息显示控制部62B显示与报知状态相当的一定浓度的红色文字“AT”作为信息IN9。这表示关注区域的检测发挥功能。

在此,F12C的信息IN9的红色浓度相对高于F12B的信息IN9的红色浓度。此外,信息IN9的充分满足非报知条件的非报知状态下的颜色、报知状态下的颜色以及浓度不限于该例子。

这样,通过统一表现报知状态或非报知状态的信息和剩余时间的信息,具有画面显示不会变复杂这样的优点。另外,通过在报知状态与非报知状态之间改变文字的颜色,用户会容易地识别报知状态和非报知状态。此外,通过根据剩余时间连续改变文字的颜色浓度,用户能够掌握剩余时间。非报知状态时的文字也可以不是变灰而是停止显示自身。另外,剩余时间也可以不通过文字而是通过图标等图的浓淡来表现。

<非报知条件的详情>

〔判定图像特征量的情况〕

判定部56判定的非报知条件例如是判定医疗图像的图像特征量的条件。图像特征量包括医疗图像的亮度、颜色信息、时间变化及频率信息中的至少一个。

例如,在用户从动态画面38中发现关注区域并观察关注区域的期间,认为是不需要报知信息的定时。在观察关注区域时,一般动态画面38的时间变化相对变小。

因此,图像特征量获取部48检测动态画面38的多个帧图像38a的时间变化作为图像特征量。判定部56对检测到的时间变化与作为非报知条件而设定的时间变化进行比较。其结果,在判定为检测到的时间变化相对较小的情况下,报知信息显示控制部62B判断为用户处于发现关注区域后的观察中,将报知信息设为非报知状态。

另外,在内窥镜系统9处于供水中或吸水中的期间,认为是不需要报知信息的定时。在供水时和吸水时,一般帧图像38a的黄色成分和高频成分变多。

因此,图像特征量获取部48检测帧图像38a的颜色成分作为图像特征量。判定部56对检测到的黄色成分与作为非报知条件而设定的黄色成分进行比较。其结果,在判定为检测到的黄色成分相对较多的情况下,报知信息显示控制部62B判断为内窥镜系统9处于供水中或吸水中,将报知信息设为非报知状态。

同样地,图像特征量获取部48检测帧图像38a的频率成分作为图像特征量。判定部56对检测到的高频成分与作为非报知条件而设定的高频成分进行比较。其结果,在判定为检测到的高频成分相对较多的情况下,报知信息显示控制部62B判断为内窥镜系统9处于供水中或吸水中,将报知信息设为非报知状态。

另外,帧图像38a的亮度过高时、过低时,或者帧图像38a的模糊过大时,认为是关注区域检测部42的检测结果的可靠度降低的定时。

因此,图像特征量获取部48检测帧图像38a的亮度作为图像特征量。判定部56对检测到的亮度与作为非报知条件而设定的亮度的范围进行比较。其结果,在判定为检测到的亮度未包含在设定的亮度范围内的情况下,报知信息显示控制部62B判断为关注区域检测部42的检测结果的精度变差,将报知信息设为非报知状态。

同样地,图像特征量获取部48检测帧图像38a的模糊作为图像特征量。判定部56将检测到的模糊与作为非报知条件而设定的模糊进行比较。其结果,在判定为检测到的模糊相对较大的情况下,报知信息显示控制部62B判断为关注区域检测部42的检测结果的精度变差,将报知信息设为非报知状态。

这样,通过将非报知条件设定为不需要报知信息的定时、或者关注区域检测结果的可靠度降低的定时的图像特征量,判定部56对设定的图像特征量与由图像特征量获取部48获取的图像特征量进行比较,能够在适当的定时自动地将报知信息设为非报知状态。

在判定图像特征量的非报知条件变成不充分满足的情况下,不应该立即重新开始报知信息的报知状态。例如,在帧图像38a的时间变化小的情况下,由于身体活动的影响,时间变化暂时变大,变化量立刻返回变小这样的情况很多。这种暂时的时间变化较大的定时并不是重新开始了筛选,不需要显示报知信息。另外,若以较短的间隔重复显示和非显示,则存在对用户来说较麻烦这样的问题。因此,即使从变成不充分满足非报知条件起,也在直到经过非报知维持时间为止维持非报知状态,在经过非报知维持时间后设为报知状态,从而能够避免这种问题。

〔判定处置状态的情况〕

非报知条件也可以是判定医疗图像的针对受检体的处置状态的条件。用户对受检体实施处置的期间认为是不需要报知信息的定时。作为处置状态,可以考虑在帧图像38a中拍摄了处置器具的情况、拍摄了出血的情况、或者内窥镜系统9被设定为以规定的倍率放大并拍摄的放大模式的情况等。

例如,处置状态推定部50根据帧图像38a检测处置器具。判定部56将检测到的处置器具与作为非报知条件而设定的处置器具即活检钳子或圈套器(snare)进行比较。在判定为检测到的处置状态充分满足非报知条件的情况下,报知信息显示控制部62B判断为用户正在处置中,将报知信息设为非报知状态。

此外,在根据帧图像38a检测到处置器具的情况下,也可以与处置器具的种类无关地判断为用户正在处置中,将报知信息设为非报知状态。在该情况下,判定部56可以不进行是否满足非报知条件的判定,也可以将所有的处置器具设定为非报知条件来进行判定。

另外,处置状态推定部50根据帧图像38a检测出血量。判定部56将检测到的出血量与作为非报知条件而设定的出血量进行比较。在判定为检测到的出血量充分满足非报知条件的情况下,报知信息显示控制部62B判断为用户正在处置中,将报知信息设为非报知状态。

另外,在处置状态推定部50中,检测内窥镜系统9被设定的模式。判定部56对检测到的模式与作为非报知条件而设定的放大模式进行比较。在判定为检测到的模式充分满足非报知条件的情况下,报知信息显示控制部62B判断为用户正在处置中,将报知信息设为非报知状态。

另外,处置状态推定部50检测散布在受检体内的颜色素材。判定部56对检测到的颜色素材与作为非报知条件而设定的颜色素材进行比较。在判定为检测到的颜色素材充分满足非报知条件的情况下,报知信息显示控制部62B判断为用户正在诊断中,将报知信息设为非报知状态。

此外,在检测到颜色素材的情况下,也可以与颜色素材的种类无关地判断为用户正在处置中,将报知信息设为非报知状态。在该情况下,判定部56可以不进行是否满足非报知条件的判定,也可以将全部颜色素材设定为非报知条件来进行判定。

这样,通过将非报知条件设定为不需要报知信息的定时的处置状态,判定部56对设定的处置状态与由处置状态推定部50获取的处置状态进行比较,能够在适当的定时自动地将报知信息设为非报知状态。

在判定处置状态的非报知条件变成不充分满足的情况下,不应该立即重新开始报知信息的显示。例如,在帧图像38a中包含活检钳子而设为非报知的情况下,钳子被粘膜或残液覆盖而暂时未拍摄出来、且立即返回这样的状况很多。基于与判定图像特征量的情况相同的理由,不优选在这样的暂时未拍摄到钳子的定时立即重新开始显示。因此,即使在从变成不充分满足非报知条件起,也直到经过非报知维持时间为止维持非报知状态,在经过非报知维持时间后设为报知状态,从而能够避免这种问题。

另外,也可以根据处置状态来变更非报知维持时间。例如,在帧图像38a中包含活检钳子的情况下,如果成为活检钳子未从钳子口伸出来的状态,则可判断为活检处置结束。因此,非报知维持时间设定部54将成为活检钳子未从钳子口伸出来的状态后的非报知维持时间设定为相对较短的时间即可。

另一方面,在EMR(Endoscopic Mucosal Resection)这样的处置的情况下,存在局部注射、利用圈套器切除以及利用夹子止血这样的一系列流程。例如,在从局部注射后到将圈套器从钳子口取出为止的期间,无法根据帧图像38a检测处置器具,但在此期间也是处于处置作业中,不应该重新显示报知信息。因此,在根据帧图像38a检测到局部注射的情况下,非报知维持时间设定部54将未检测到局部注射后的非报知维持时间设定为相对较长的时间,从而能够避免在一系列作业中重新显示报知信息。

〔判定关注区域特征量的情况〕

非报知条件也可以是判定医疗图像的关注区域特征量的条件。关注区域特征量包括关注区域的面积、医疗图像内的位置以及时间变化中的至少一个。

在观察关注区域时,一般帧图像38a中的关注区域的面积比例大,帧图像38a内的关注区域的位置位于中央部,以及关注区域的时间变化小。

因此,关注区域特征量获取部52检测帧图像38a内的关注区域的面积作为关注区域特征量。判定部56对检测到的面积与作为非报知条件而设定的面积进行比较。其结果,在判定为检测到的面积相对较大的情况下,报知信息显示控制部62B判断为用户处于发现关注区域后的观察中,将报知信息设为非报知状态。

另外,关注区域特征量获取部52检测关注区域在帧图像38a内的位置作为关注区域特征量。判定部56对检测到的位置与作为非报知条件而设定的位置进行比较。其结果,在判定为检测到的关注区域的位置比作为非报知条件而设定的位置更靠近中央部的情况下,报知信息显示控制部62B判断为用户处于发现关注区域后的观察中,将报知信息设为非报知状态。

同样地,关注区域特征量获取部52检测动态画面38的关注区域的时间变化作为关注区域特征量。判定部56对检测到的时间变化与作为非报知条件而设定的时间变化进行比较。其结果,在判定为检测到的时间变化相对较小的情况下,报知信息显示控制部62B判断为用户处于发现关注区域后的观察中,将报知信息设为非报知状态。

这样,通过将非报知条件设定为不需要报知信息的定时的关注区域特征量,判定部56对设定的关注区域特征量与由关注区域特征量获取部52获取的关注区域特征量进行比较,能够在适当的定时自动地将报知信息设为非报知状态。

与此前同样地,在判定关注区域特征量的非报知条件变成不充分满足的情况下,不应该立即重新开始报知信息的显示。例如,存在尽管关注区域的面积较大,但关注区域的一部分暂时被残液等覆盖而判断为面积较小的情况,或者尽管位于帧图像38a的中央部,但由于身体活动的影响而暂时移动到帧图像38a的端部的情况等。因此,即使在从变成不充分满足非报知条件起,也直到经过非报知维持时间为止维持非报知状态,在经过非报知维持时间后设为报知状态,从而能够避免这种问题。

<第二实施方式>

〔医疗图像处理装置的结构〕

至此说明了在医疗图像处理装置14上连接有单一显示器16的例子,但医疗图像处理装置14也可以连接多个显示装置。

图13是表示第二实施方式所涉及的医疗图像处理装置14的电结构的框图。医疗图像处理装置14与图2所示的框图相同。显示控制部62与第一显示器16A、第二显示器16B、第三显示器16C及第四显示器16D连接,控制各个显示器的显示。

第一显示器16A、第二显示器16B、第三显示器16C及第四显示器16D例如设置在内窥镜系统9中。第一显示器16A、第二显示器16B、第三显示器16C及第四显示器16D是分别不同的液晶监视器等显示装置。在此,连接了四个显示装置,但显示装置的数量根据需要决定即可。另外,第一显示器16A、第二显示器16B、第三显示器16C及第四显示器16D也可以是单一显示装置的画面内的各自不同的区域。

图14是表示第一显示器16A和第二显示器16B的显示转变的一例的图。

报知信息显示控制部62B与第一实施方式所涉及的显示器16的显示同样地控制第一显示器16A(第一显示部的一例)的显示。图14所示的F14A、F14B及F14C表示第一显示器16A的显示,与图4所示的F4A、F4B及F4C相同。

即,F14A和F14C表示报知信息为报知状态的情况。在F14A和F14C中,包围在帧图像38a中检测到的关注区域R1的框形状的图形F1重叠在帧图像38a上。另外,F14B表示报知信息为非报知状态的情况。在F14B中,未显示图形F1,仅显示帧图像38a。

另外,报知信息显示控制部62B根据第一显示器16A的报知状态和非报知状态变更第二显示器16B(第二显示部的一例)上的报知信息的显示方式。在此,当报知信息为非报知状态时,报知信息显示控制部62B在第二显示器16B上显示报知信息。

图14所示的F14D、F14及F14分别表示与F14A、F14及F14相同定时的第二显示器16B的显示。在F14D、F14及F14中显示的帧图像38a分别是与在F14A、F14B及F14C中显示的帧图像38a相同的图像。

在作为报知信息为报知状态的定时的F14D和F14中,未显示图形F1。另一方面,在作为报知信息为非报知状态的定时的F14中,包围关注区域R1的框形状的图形F1重叠在帧图像38a上。

这样,仅在报知信息为非报知状态的情况下使第二显示器16B显示报知信息。由此,对于第一显示器16A,能够抑制在不需要报知信息的定时妨碍用户观察的影响。另外,对于第二显示器16B,在用户需要报知信息的情况下能够确认报知信息。

在此,在第二显示器16B上显示了帧图像38a,但在第二显示器16B上所显示的也可以仅是作为报知信息的图形F1。

图15是表示第一显示器16A和第二显示器16B的显示转变的另一例的图。在该例子中,当报知信息为非报知状态时,报知信息显示控制部62B将显示在第二显示器16B上的报知信息变更为更高强调等级的显示。在此,强调等级是指用户识别报知信息的容易度,强调等级相对越高,用户越容易识别报知信息。

图15所示的F15、F15B及F15C表示第一显示器16A的显示,与图14所示的F14A、F14B及F14C相同。另外,图15所示的F15、F15E及F15F分别表示与F15A、F15B及F15C相同定时的第二显示器16B的显示。在F15D、F15E及F15F中显示的帧图像38a分别是与在F15A、F15B及F15C中显示的帧图像38a相同的图像。

在作为报知状态的定时的F15D和F15F中,与F15A和F15C同样地,包围在帧图像38a中检测到的关注区域R1的框形状的图形F1重叠在帧图像38a上。另外,在作为非报知状态的定时的F15E中,包围在帧图像38a中检测到的关注区域R1的框形状的图形F2重叠在帧图像38a上。在此,图形F2的线的粗细相对粗于图形F1的线的粗细。因此,图形F2的强调等级相对高于图形F1的强调等级。

通过这样控制第二显示器16B的显示,在报知信息为非报知状态时用户需要报知信息的情况下,能够更容易确认报知信息。

报知信息显示控制部62B也可以使第二显示器16B显示图5~图8所示的用于报知关注区域的信息IN1~IN4。另外,报知信息显示控制部62B也可以仅在报知信息为非报知状态的情况下,使第二显示器16B显示信息IN1~IN4。在该情况下,图像显示控制部62A可以在第二显示器16B上显示医疗图像,也可以不显示医疗图像。

图16是表示第一显示器16A和第三显示器16C的显示转变的另一例的图。在该例子中,当报知信息为非报知状态时,报知信息显示控制部62B在第三显示器16C(第三显示部的一例)上显示表示报知信息为非报知状态的信息。

图16所示的F16A、F16B及F16C表示第一显示器16A的显示,与图14所示的F14A、F14B及F14C相同。另外,图16所示的F16、F16E及F16F分别表示与F16A、F16B及F16C相同定时的第三显示器16C的显示。

报知信息显示控制部62B在作为报知状态的定时的F16D和F16F中,在第三显示器16C上不进行显示。另外,报知信息显示控制部62B在作为非报知状态的定时的F16E中,在第三显示器16C上显示表示是非报知状态的信息IN10。

在此,使用了文字作为信息IN10,但也可以是符号或颜色等。另外,报知信息显示控制部62B也可以在作为报知状态的定时的F16D和F16F中,在第三显示器16C上显示表示是报知状态的信息。

通过这样控制第三显示器16C的显示,用户能够识别是非报知状态。也可以在非报知状态下用户通过操作部15进行操作来将第一显示器16A立即设为报知状态。

图17是表示第一显示器16A和第四显示器16D的显示转变的另一例的图。在该例子中,报知信息显示控制部62B在第四显示器16D(第四显示部的一例)上显示与从变成不充分满足非报知条件起的经过时间有关的信息。

图17所示的F17A、F17B及F17C表示第一显示器16A的显示,与图14所示的F14A、F14B及F14C相同。此外,F17B表示在从帧图像38a变成不充分满足非报知条件起直到经过非报知维持时间为止的期间内维持报知信息的非报知状态的情况。图17所示的F17D、F17E及F17F分别表示与F17A、F17B及F17C相同定时的第四显示器16D的显示。

报知信息显示控制部62B在作为不充分满足非报知条件的定时的F17D和F17中,在第四显示器16D上不进行显示。另外,报知信息显示控制部62B在作为从帧图像38a变成不充分满足非报知条件起直到经过非报知维持时间为止的定时的F17E中,在第四显示器16D上显示将报知信息设为非报知状态的剩余时间、即非报知维持时间与经过时间之差的时间的信息IN11。

在此,作为信息IN11,显示了将报知信息设为非报知状态的剩余时间的文字信息、以及间接显示剩余时间的图形,即区域的颜色依次变化的图形,但也可以显示从变成不充分满足非报知条件起的经过时间。另外,报知信息显示控制部62B也可以使第二显示器16B显示图9~图12所示的剩余时间的信息IN6~IN9。

通过这样控制第四显示器16D的显示,用户能够识别与从变成不充分满足非报知条件起的经过时间相关的信息。也可以在第四显示器16D上显示有信息IN11的状态下用户通过操作部15进行操作来将第一显示器16A立即设为报知状态。

<第三实施方式>

〔医疗图像处理装置的结构〕

图18是表示第三实施方式所涉及的医疗图像处理装置14的电结构的一例的框图。此外,对与图2所示的框图共同的部分赋予相同的符号,并省略其详细说明。

医疗图像处理装置14具备声音控制部70。声音控制部70是报知控制部的一例,该报知控制部在报知部中报知在拍摄受检体而得到的医疗图像中包含的报知信息。声音控制部70与声音输出部17连接。声音输出部17作为报知报知信息的报知部发挥功能,例如设置在内窥镜系统9(参照图1)中。声音输出部17构成为包括例如蜂鸣器或扬声器等输出声音的部件。声音控制部70在报知状态下使声音输出部17输出声音来报知报知信息。输出的声音可以是警报声,也可以是与报知信息相关的声音。

在此,对作为报知报知信息的报知部包括显示器16和声音输出部17的结构进行了说明,但也可以仅具备声音输出部17。另外,作为报知报知信息的报知部,也可以是使用发光的灯或振动的振动器等的方式。

<其他>

上述医疗图像处理方法可配置为用于使计算机实现各工序的程序,也可配置存储该程序的CD-ROM(Compact Disk-Read Only Memory)等非暂时性记录介质。

在至此说明的实施方式中,说明了内窥镜处理器装置12和医疗图像处理装置14分别为不同的装置,但也可以将内窥镜处理器装置12和医疗图像处理装置14构成为一体的装置,作为具有医疗图像处理装置14的功能的内窥镜处理器装置12。

执行内窥镜处理器装置12和医疗图像处理装置14的各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中,包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Un北)、专门用于图像处理的处理器即GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、以及具有为了执行ASIC(Application SpecificIntegrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成,也可以由同种或异种的两个以上的处理器(例如,多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合)构成。另外,还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子,首先,有诸如以服务器及客户端等计算机为代表,使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次,有诸如以片上系统(System On Chup:SoC)等为代表,使用以一个IC(Integrated Circu北)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样,使用一个以上的各种处理器作为硬件结构来构成各种处理部。

而且,更具体而言,这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。

本发明的技术范围不限于上述实施方式中记载的范围。各实施方式中的结构等在不脱离本发明的主旨的范围内可以在各实施方式之间适当组合。

符号说明

9 内窥镜系统

10 内窥镜观测器

11 光源装置

12 内窥镜处理器装置

13 显示装置

14 医疗图像处理装置

15 操作部

16 显示器

16A 第一显示器

16B 第二显示器

16C 第三显示器

16D 第四显示器

17 声音输出部

20 插入部

21 手边操作部

22 通用塞绳

25 软性部

26 弯曲部

27 顶端部

28 摄像元件

29 弯曲操作钮

30 供气供水按钮

31 吸引按钮

32 静止画面拍摄指示部

33 处置器具导入口

35 光导

36 信号电缆

37a 连接器

37b 连接器

38 动态画面

38a 帧图像

39 静止画面

40 时间序列图像获取部

42 关注区域检测部

44 坐标计算部

46 图像信息获取部

48 图像特征量获取部

50 处置状态推定部

52 关注区域特征量获取部

54 非报知维持时间设定部

56 判定部

58 计时部

60 控制部

62 显示控制部

62A 图像显示控制部

62B 报知信息显示控制部

64 存储部

66 图形存储部

68 程序

70 声音控制部

F1、F2 图形

IN1~INl1 信息

R1 关注区域

S1~S10 医疗图像处理方法的各步骤

相关技术
  • 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置
  • 医疗图像处理装置、医疗图像处理方法及程序、内窥镜系统
技术分类

06120112919837