处理器装置、医疗图像处理装置、医疗图像处理系统及内窥镜系统

技术领域

本发明涉及一种处理器装置、医疗图像处理装置、医疗图像处理系统及内窥镜系统。

背景技术

在医疗领域，广泛进行使用具备光源装置、内窥镜及处理器装置的内窥镜系统的诊断。在使用内窥镜系统的诊断中，有时通过对照明光等下工夫的图像增强观察(IEE，image enhanced endoscopy：图像增强内镜)，使用用内窥镜拍摄观察对象而获得的图像(以下，称为内窥镜图像)，获得与观察对象的表面结构或粘膜表层等相关的各种诊断支援信息。

在使用IEE的诊断中，有时能够通过获取由多种照明光等获得的多种内窥镜图像，并详细地比较或叠加这些内窥镜图像来进行适当的诊断。例如，已知通过获取基于白色光的照明光的正常图像信号和基于与白光不同光谱的特殊光的照明光的特殊图像信号，可以防止病变等的疏漏，在内窥镜检查中以高精度判定疾病的严重度或进展程度的内窥镜系统(专利文献1)。

以往技术文献

专利文献

专利文献1：日本特开2020-065685号公报

发明内容

发明要解决的技术课题

通过对基于白色光的正常图像信号的内窥镜图像和基于特殊光的特殊图像信号的内窥镜图像进行不同的图像处理，能够得到适当的诊断支援信息。即，当内窥镜图像的种类与获取内窥镜图像时的照明光的种类相对应地设定时，优选进行根据内窥镜图像的种类选择的内窥镜图像的图像处理。

照明光的种类基于从处理器装置传输到光源装置的信号来决定，处理器装置具有内窥镜图像及其种类的两者的信息。因此，当内窥镜图像从处理器装置传输到外部装置并由外部装置进行图像处理时，内窥镜图像的种类也必须同时从处理器装置传输到外部装置。此时，为了防止内窥镜图像与内窥镜图像的种类的对应不一致，在存储内窥镜图像的信息容器的标题部分记录内窥镜图像的种类并传输时，DVI(Digital Visual Interface)等不能作为一般视频信号传输，在很多情况下通用个人计算机(以下简称PC。)无法接收。并且，在很多情况下，PC很难通过其他信号线在防止对应不一致的情况下传输。

另一方面，由于基于PC的图像处理以各种方式广泛进行，因此要求通过PC更容易地判别和处理内窥镜图像。

本发明的目的在于提供一种能够容易地判别内窥镜图像的种类的处理器装置、医疗图像处理装置、医疗图像处理系统以及内窥镜系统。

用于解决技术课题的手段

本发明为处理器装置，具备第1处理器，其中，第1处理器获取摄影条件不同的多种医疗图像，根据医疗图像的种类，改变构成医疗图像的数据的一部分，或者在医疗图像的至少1个种类改变构成医疗图像的数据的一部分且在医疗图像的其他种类不改变构成医疗图像的数据的一部分，由此生成通过将构成医疗图像的数据的一部分作为表示医疗图像的种类的识别信息的带有识别信息的医疗图像。

优选构成医疗图像的数据为构成医疗图像的预先设定的区域的数据。

优选构成医疗图像的数据为像素值。

优选多种医疗图像包括用于显示在显示器上的显示用图像和用于进行与诊断信息有关的分析的分析用图像。

优选第1处理器相对于分析用图像，通过改变构成分析用图像的数据的一部分作为识别信息，并且，相对于显示用图像，在分析用图像中不改变与作为识别信息的数据对应的部分的构成显示用图像的数据而作为识别信息。

优选第1处理器相对于显示用图像，通过改变构成显示用图像的数据的一部分作为识别信息，并且，相对于分析用图像，在显示用图像中不改变与作为识别信息的数据对应的部分的构成分析用图像的数据而作为识别信息。

优选摄影条件为照明光的光谱。

并且，本发明为医疗图像处理装置，具备第2处理器，其中，第2处理器进行如下处理：获取构成医疗图像的数据的一部分被作为识别信息的多种带有识别信息的医疗图像，根据识别信息，识别带有识别信息的医疗图像的种类，根据带有识别信息的医疗图像的种类来控制显示在显示器上的带有识别信息的医疗图像。

优选多种带有识别信息的医疗图像包括用于显示在显示器上的显示用图像和用于进行与诊断信息有关的分析的分析用图像。

优选第2处理器在显示器的主画面上显示显示图像，并且，根据带有识别信息的医疗图像的种类来决定是否将分析用图像显示在显示器的子画面上，将决定显示时的带有识别信息的医疗图像显示在显示器的子画面上。

优选第2处理器根据带有识别信息的医疗图像的种类，对带有识别信息的医疗图像进行针对每种带有识别信息的医疗图像设定的图像处理。

优选第2处理器当带有信息的医疗图像为显示用图像时，对显示用图像进行显示用图像处理，并且当带有识别信息的医疗图像为分析用图像时，对分析用图像进行分析用图像处理。

优选第2处理器使用基于机器学习的分析模型进行分析用图像处理。

优选第2处理器制作显示分析用图像处理的结果的分析结果图像，将分析结果图像重叠在显示用图像上并生成重叠图像。

并且，本发明的医疗图像处理系统，其包括：处理器装置及医疗图像处理装置，第2处理器获取第1处理器生成的多种带有识别信息的医疗图像。

并且，本发明的医疗图像处理系统，其包括：处理器装置及医疗图像处理装置，处理器装置获取显示由第2处理器制作的分析用图像处理的结果的分析结果图像。

优选处理器装置将分析结果图像重叠在显示用图像上。

优选处理器装置调整带有识别信息的医疗图像的帧速率，医疗图像处理装置获取帧速率调整后的带有识别信息的医疗图像。

优选处理器装置或所述医疗图像处理装置调整用于显示在显示器上的图像的帧速率。

并且，本发明为内窥镜系统，其包括：多个光源，发出互不相同的波长带的光；内窥镜，拍摄由多个光源发出的照明光所照亮的被摄体；及医疗图像处理系统，处理器装置具备光源用处理器，所述光源用处理器控制发出多个光源的光强度比的组合互不相同的多种照明光的每一个。

发明效果

根据本发明，可以容易地确定内窥镜图像的种类。

附图说明

图1是内窥镜系统的外观图。

图2是表示内窥镜系统的功能的框图。

图3是说明光源部所包含的4色LED的说明图。

图4是表示紫色光V、蓝色光B、绿色光G及红色光R的光谱的图表。

图5是表示第1照明光的光谱的图表。

图6是用于说明由内窥镜系统拍摄的内窥镜图像的种类和顺序的说明图。

图7是表示具备识别信息的带有识别信息的内窥镜图像的图像图。

图8是表示包含观察对象部分和掩模部分的内窥镜图像的图像图。

图9(A)是表示具备第1识别信息的带有第1认识信息的内窥镜图像的图像图，图9(B)是表示具备第2识别信息的带有第2认识信息的内窥镜图像的图像图。

图10是用于说明由内窥镜系统拍摄的内窥镜图像的种类和识别信息的说明图。

图11是用于说明由内窥镜系统拍摄的内窥镜图像的种类、摄影顺序及识别信息的说明图。

图12是说明对分析用图像附加了识别信息的情况的说明图。

图13是说明对显示用图像附加了识别信息的情况的说明图。

图14是表示医疗图像处理装置的功能的框图。

图15是用于说明医疗图像处理装置中的各种图像和处理流程的说明图。

图16是在显示器的子画面上显示分析用图像时的图像图。

图17是在显示器的子画面上不显示图像时的图像图。

图18是在显示器的子画面上显示过去图像时的图像图。

图19是用于说明帧速率转换部复制显示用图像和分析用图像来调整帧速率的功能的说明图。

图20是用于说明帧速率转换部复制显示用图像来调整帧速率的功能的说明图。

图21是用于说明在补充帧图像上附加了基于内窥镜图像的种类的识别信息而生成的带有第3识别信息的内窥镜图像的说明图。

图22是用于说明在补充帧图像上附加了基于内窥镜图像的种类和原图像的信息的识别信息而生成的带有第3识别信息的内窥镜图像的说明图。

图23是说明在显示用图像、分析用图像及补充帧图像上附加了基于内窥镜的种类和摄影顺序的识别信息而生成的带有第3识别信息的内窥镜图像的说明图。

图24是表示医疗图像处理系统和内窥镜系统中的内窥镜图像处理的一连串的流程的流程图。

图25是用于说明将医疗图像处理装置包含在诊断支援装置中的情况的说明图。

图26是用于说明将医疗图像处理装置包含在医疗业务支援装置中的情况的说明图。

具体实施方式

如图1所示，内窥镜系统10具有内窥镜12、光源装置13、处理器装置14、显示器15、键盘16及医疗图像处理装置17。内窥镜12与光源装置13光学连接，且与处理器装置14电连接。处理器装置14连接医疗图像处理装置17。医疗图像处理装置17从处理器装置14接收带有识别信息的内窥镜图像，进行包含基于机器学习等的图像分析的各种图像处理。另外，在本实施方式中，医疗图像为内窥镜图像。

内窥镜12具有插入于具有观察对象的受检者的体内的插入部12a、设置于插入部12a的基端部分的操作部12b以及设置于插入部12a的前端侧的弯曲部12c及前端部12d。弯曲部12c通过操作操作部12b的弯角钮12e(参考图2)来进行弯曲动作。前端部12d通过弯曲部12c的弯曲动作而朝向所期望的方向。

操作部12b除了弯角钮12e以外还具有用于改变摄像倍率的变焦操作部12f及用于观察模式的切换操作的模式切换开关12g。另外，观察模式的切换操作或变焦操作可以设为除了使用模式切换开关12g或变焦操作部12f以外，还使用键盘16或脚踏开关(未图示)等的操作或命令。

内窥镜系统10具有正常观察模式、特殊观察模式及诊断支援观察模式这3个观察模式。正常观察模式是在显示器15上显示正常图像的模式，所述正常图像为作为照明光使用白色光拍摄观察对象而获得的自然色彩的图像。特殊观察模式包括第1特殊观察模式。第1特殊观察模式是在显示器15上显示强调表层血管等的表层信息的第1图像的模式。

诊断支援观察模式是用在显示器15上显示在正常图像重叠通过图像分析的结果显示的分析结果图像而得的重叠图像的模式。图像分析的结果是用于支援医生等诊断的诊断支援信息，通过使用第1图像的图像分析获得。因此，分析结果图像包括通过使用第1图像的图像分析获得的关于病变等的诊断支援信息。在诊断支援观察模式中，通过使用第1图像的图像分析检测病变等时，将表示该病变的位置等诊断支援信息的分析结果图像重叠到正常图像上而得的重叠图像显示在显示器15上。当启动内窥镜系统10时，选择诊断支援观察模式。

处理器装置14与显示器15及键盘16电连接。显示器15显示正常图像、第1图像、重叠图像和/或这些图像所附带的信息等。键盘16作为接受功能设定等的输入操作的用户界面而发挥作用。另外，在处理器装置14中也可以连接记录图像或图像信息等的外置记录部(省略图示)。

如图2所示，光源装置13发出向观察对象照射的照明光，具备光源部20和控制光源部20的光源用处理器21。光源部20例如由多色LED(Light Emitting Diode，发光二极管)等半导体光源、激光二极管与荧光体的组合、或氙气灯、卤素光源构成。并且，光源部20包括用于调整由LED等发射的光的波长带的滤光器等。光源用处理器21通过各LED等的开/关、各LED等的驱动电流和驱动电压的调整来控制照明光的光量。并且，光源用处理器21通过滤光器的变更等来控制照明光的波长带。

如图3所示，在本实施方式中，光源部20具有V-LED(Violet Light EmittingDiode：紫色发光二极管)20a、B-LED(Blue Light Emitting Diode：蓝色发光二极管)20b、G-LED(Green Light Emitting Diode：绿色发光二极管)20c及R-LED(Red Light EmittingDiode：红色发光二极管)20d这4种颜色的LED。

如图4所示，V-LED20a产生中心波长410±10nm、波长范围380～420nm的紫色光V。B-LED20b产生中心波长450±10nm、波长范围420～500nm的蓝色光B。G-LED20c产生波长范围达到480～600nm的绿色光G。R-LED20d产生中心波长620～630nm且波长范围达到600～650nm的红色光R。

光源用处理器21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。当为正常观察模式时，光源用处理器21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比的组合成为Vc∶Bc∶Gc∶Rc的正常光的方式，控制各LED20a～20d。

当设定为特殊观察模式时，光源用处理器21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比的组合成为Vs1∶Bs1∶Gs1∶Rs1的第1照明光的方式，控制各LED20a～20d。第1照明光优选强调表层血管。因此，第1照明光优选使紫色光V的光强度大于蓝色光B的光强度。例如，如图5所示，将紫色光V的光强度Vs1与蓝色光B的光强度Bs1的比率设为“4∶1”。

另外，在本说明书中，光强度比的组合包括至少1个半导体光源的比率为0(零)的情况。因此，包括各半导体光源中的任一个或2个以上不点亮的情况。例如，如紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比的组合为1∶0∶0∶0的情况那样，仅点亮半导体光源中的1个，且不点亮其他3个的情况下也具有光强度比，是光强度比的组合之一。

如上所述，在正常观察模式或特殊观察模式中发出的紫色光V、蓝色光B、绿色光G及红色光R的光强度比的组合、即照明光的种类相互不同。在诊断支援观察模式下，种类互不相同的照明光自动切换发光。另外，可以使用利用了具有与这些观察模式下使用的照明光相互不同的光强度比的组合的不同种类的照明光的观察模式。

光源用处理器21在设定为诊断支援观察模式时切换并发出特定种类的照明光。具体而言，交替重复连续发射普通光的普通光期间和连续发射第1照明光的第1照明光期间。具体而言，以规定的帧数进行发射正常光的正常光期间之后，以规定的帧数进行发射第1照明光的第1照明光期间。之后，再次成为正常光期间，重复正常光期间和第1照明光期间的设定。

另外，“帧”是指，用于控制拍摄观察对象的摄像传感器45(参考图2)的单位，例如，“1帧”是指，至少包含由来自观察对象的光曝光摄像传感器45的曝光期间和读出图像信号的读取期间的期间。在本实施方式中，与作为摄影的单位的“帧”对应地分别定义正常光期间或第1期间等各种期间。

如图6所示，在诊断支援观察模式中，以3帧量进行发射正常光的正常光期间，以1帧量进行发射第1照明光的第1照明光期间。之后，再次成为正常光期间，重复正常光期间和第1照明光期间的设定的4帧量。因此，在正常光期间3帧的期间，连续拍摄3个正常图像71之后，在第1照明光期间，拍摄1个第1图像72。另外，在图6中，第1图像72用阴影表示。之后，回到正常光期间，继续重复该图案。

各LED20a～20e发出的光经由由反射镜、透镜等构成的光路耦合部(未图示)入射到光导件41。光导件41内置于内窥镜12及通用塞绳(连接内窥镜12与光源装置13及处理器装置14的塞绳)。光导件41将来自光路耦合部的光传播到内窥镜12的前端部12d。

在内窥镜12的前端部12d设置有照明光学系统30a及摄像光学系统30b。照明光学系统30a具有照明透镜42，通过光导件41传播的照明光经由照明透镜42照射到观察对象。摄像光学系统30b具有物镜43、变焦透镜44及摄像传感器45。来自观察对象的反射光、散射光及荧光等各种光经由物镜43及变焦透镜44入射到摄像传感器45。由此，观察对象的图像成像在摄像传感器45中。变焦透镜44通过操作变焦操作部12f而在望远端与广角端之间自由移动，并且放大或缩小在摄像传感器45上成像的观察对象。

摄像传感器45是按每个像素设置有R(红色)、G(绿色)或B(蓝色)的滤色器中的任一个的彩色摄像传感器，拍摄观察对象并输出RGB各色的图像信号。作为摄像传感器45，能够利用CCD(Charge Coupled Device：电荷耦合元件)摄像传感器或CMOS(ComplementaryMetal-Oxide Semiconductor：互补金属氧化物半导体)摄像传感器。并且，代替设置有原色的滤色器的摄像传感器45，可以使用具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤波器的补色摄像传感器。当使用补色摄像传感器时，输出CMYG这4种颜色的图像信号。因此，通过补色-原色颜色转换，将CMYG这4种颜色的图像信号转换为RGB这3种颜色的图像信号，从而能够获得与摄像传感器45相同的RGB图像信号。并且，代替摄像传感器45也可以使用没有设置滤色器的单色传感器。

摄像传感器45由摄像控制部(未图示)驱动控制。在正常观察模式下，中央控制部59(参考图3)与摄像控制部同步地通过光源用处理器21控制光源部20的发光，在正常观察模式中，控制拍摄被正常光照射的观察对象。由此，从摄像传感器45的B像素输出Bc图像信号，从G像素输出Gc图像信号，从R像素输出Rc图像信号。在特殊观察模式或诊断支援观察模式中，中央控制部59(参考图3)控制摄像传感器45以控制光源部20的发光并拍摄被特殊光照射的观察对象。由此，在第1特殊观察模式中，从摄像传感器45的B像素输出Bs1图像信号，从G像素输出Gs1图像信号，从R像素输出Rs1图像信号。

CDS/AGC(Correlated Double Sampling(相关双采样)/Automatic Gain Control(自动增益控制))电路46对由摄像传感器45获得的模拟的图像信号进行相关双采样(CDS)或自动增益控制(AGC)。经过了CDS/AGC电路46的图像信号通过A/D(Analog/Digital：模拟/数字)变频器47转换为数字图像信号。A/D转换后的数字图像信号输入于处理器装置14。

在处理器装置14中，与图像处理等的处理相关的程序存储于程序用存储器(未图示)。在处理器装置14中，通过由作为第1处理器的图像用处理器等构成的中央控制部59使程序用存储器内的程序动作，从而实现图像获取部51、DSP(Digital Signal Processor：数字信号处理器)52、降噪部53、存储器54、信号处理部55、图像处理部56、显示控制部57、视频信号生成部58及中央控制部59的功能。图像处理部56具备识别信息赋予部61和帧速率转换部62，这些功能也同样地通过利用由图像用处理器构成的中央控制部59来使程序用存储器内的程序动作来实现。并且，中央控制部59接收来自内窥镜12及光源装置13的信息，并根据接收到的信息，除了进行处理器装置14的各部的控制以外，还进行内窥镜12或光源装置13的控制。并且，还接收来自键盘16的命令等的信息。

作为医疗图像获取部的图像获取部51获取从内窥镜12输入的内窥镜图像的数字图像信号。图像获取部51按每一帧获取对由各照明光照明的观察对象进行拍摄而得的图像信号。照明光的种类，即照明光的光谱为摄影条件之一。图像获取部51获取照明光的光谱等摄影条件互不相同的多种内窥镜图像。

作为摄影条件，除了照明光的光谱，即，各LED20a～20d的光量比以外，可以举出与观察对象之间的观察距离、或内窥镜12的变焦倍率等。光量比从中央控制部59获取。观察距离例如有观察距离为远距离的非扩大观察距离和观察距离为近距离的扩大观察距离等，通过从内窥镜图像获得的曝光量获得。另外，可以通过图像的频率分析来获取观察距离。变焦倍率例如有用于非放大观察的非放大、可用于放大观察的低倍率到高倍率等，可以基于变焦操作部12f的改变操作来获取。在本实施方式中，照明光的光谱被用作摄影条件。

获取的图像信号被发送到DSP52。DSP52对接收到的图像信号进行色彩校正处理等数字信号处理。降噪部53对通过DSP52实施色彩校正处理等的图像信号实施例如基于移动平均法和中值滤波法等的降噪处理。降低噪声的图像信号存储于存储器54。

信号处理部55从存储器54获取降噪后的图像信号。并且，根据需要对所获取的图像信号实施颜色转换处理、色彩强调处理及结构强调处理等信号处理，并生成拍摄有观察对象的彩色的内窥镜图像。

在信号处理部55中，在正常观察模式或诊断支援观察模式中，对所输入的1帧量的降噪后的正常图像用的图像信号实施颜色转换处理、色彩强调处理、结构强调处理等正常观察模式用图像处理。被实施该正常观察模式用图像处理的图像信号作为正常图像输入到图像处理部56。

在特殊观察模式或诊断支援观察模式中，对在第1特殊观察模式中输入的1帧量的降噪后的第1图像用的图像信号分别实施颜色转换处理、色彩强调处理、结构强调处理等第1特殊观察模式用的图像处理。被实施该第1特殊观察模式用图像处理的图像信号作为第1图像输入到图像处理部56。

信号处理部55所生成的内窥镜图像在观察模式为正常观察模式时为正常观察图像，当观察模式为特殊观察模式时为包括第1图像的特殊观察图像，因此颜色转换处理、色彩强调处理及结构强调处理的内容根据观察模式而不同。在正常观察模式的情况下，信号处理部55实施使观察对象呈自然的色彩的上述各种信号处理而生成正常观察图像。在特殊观察模式的情况下，信号处理部55例如实施强调观察对象的血管的上述各种信号处理而生成包含第1图像的特殊观察图像。

半导体光源包括发射波长带为中心波长410±10nm并且波长范围420～500nm的紫色光V(第1窄频带光)的V-LED20a、及发射波长带为中心波长450±10nm并且波长范围380～420nm的蓝色光B(第2窄频带光)的B-LED20b。因此，在由信号处理部55生成的特殊观察图像即第1图像中，以粘膜的表面为基准位于观察对象内比较浅的位置的血管(所谓表层血管)或血液变成品红色系的颜色(例如棕褐色)。因此，在第1图像中，相对于以粉红色系的颜色表示的粘膜，观察对象的血管或出血(血液)通过颜色的差异来强调。

图像处理部56进行各种图像处理。图像处理部56具备识别信息赋予部61和帧速率转换部62。识别信息赋予部61通过改变构成获取的内窥镜图像的数据的一部分，或者在内窥镜图像的至少1个种类中改变，并且在内窥镜图像的另一种类中不改变，生成将构成内窥镜图像的数据的一部分作为显示内窥镜图像的种类的识别信息的带有识别信息的医疗图像。将带有识别信息的医疗图像传送至显示器15或医疗图像处理装置17时，帧速率转换部62根据需要转换帧速率。另外，在本实施方式中，由于医疗图像为内窥镜图像，因此生成带有识别信息的内窥镜图像作为带有识别信息的医疗图像。

构成内窥镜图像的数据是指例如图像本身的数据，而不是存储内窥镜图像的信息容器的标题部分等图像以外的数据。构成内窥镜图像的数据优选为能够在通用PC中处理的图像文件的数据。只要为构成内窥镜图像的数据，则数据的格式或表达方法没有限制，可以使用像素值、频率分布或使用这些等计算的值等。

中央控制部59与摄像控制部同步地通过光源用处理器21控制的光源部20的发光相关的信息识别内窥镜图像的种类，识别信息赋予部61根据识别的内窥镜图像的种类，改变一部分构成获取的内窥镜图像的图像本身的数据。或者，根据识别出的内窥镜图像的种类，对于某一种类的内窥镜图像，改变一部分构成所获取的内窥镜图像的图像本身的数据，对于另一种类的内窥镜图像，不改变构成所获取的内窥镜图像的图像本身的数据。识别信息赋予部61在内窥镜图像的一部分中，通过改变构成图像的数据或不改变构成图像的数据，生成带有识别信息的内窥镜图像。因此，带有识别信息的内窥镜图像包括改变构成内窥镜图像的数据的内窥镜图像及不改变构成内窥镜图像的数据的内窥镜图像本身。

通过识别带有识别信息的内窥镜图像中的识别信息来识别内窥镜图像的种类。当识别信息为像素值时，在带有识别信息的内窥镜图像中，准备改变像素值时的像素的位置以及改变后的像素值的值与内窥镜图像的种类对应的对应信息，对于作为构成带有识别信息的内窥镜图像的像素中识别信息的像素，使用该对应信息调查对应的内窥镜图像的种类。由此，能够识别带有识别信息的内窥镜图像是哪种内窥镜图像。因此，为了识别内窥镜图像的种类，不需要使用除标题部分等的图像本身的数据以外的数据。

构成内窥镜图像的数据优选为构成内窥镜图像的像素的像素值。在这种情况下，识别信息赋予部61通过根据所识别的内窥镜图像的种类来改变构成内窥镜图像的像素中的规定的一部分像素的像素值，生成带有识别信息的内窥镜图像。并且，根据情况，为了识别像素值已改变的内窥镜图像的种类，在另一种类的内窥镜图像中，将不改变像素值的作为带有识别信息的内窥镜图像。

要改变的像素值优选改变成，以免影响内窥镜图像用于观察或诊断等的情况。像素值也可以使用颜色信息或亮度信息中的任一个。并且，可以将该改变像素值的像素改变为用户无法视觉辨认，或者以用户可以视觉辨认但不影响映现在内窥镜图像的观察对象等的视觉辨认的方式进行改变等。

作为用户无法视觉辨认改变像素值的像素的情况，可举出在内窥镜图像的一部分像素中，改变为不影响用户视觉辨认的特定的像素值的方法、以及改变为虚拟像素值、或将电子水印适用于内窥镜图像等。另外，电子水印还可以适用于构成像素值以外的内窥镜图像的数据。

当将内窥镜图像的一部分像素改变为具有不影响用户视觉辨认的特定的像素值的像素时，可以通过增大或减小等来改变构成内窥镜图像的一部分的位置的像素值的红色、绿色及蓝色中的至少1个或多个值，或者亮度信息。根据内窥镜图像的种类，可以相应地改变红色、绿色、蓝色或亮度中的任意一种，或者可以增大或减小像素值的改变，或者只要为用户视觉辨认时无法视觉辨认改变像素值的像素的方式则可以采用任何方法。在这种情况下，通过将改变的像素值与周围的像素值进行比较等，可以识别内窥镜图像的种类。

将内窥镜图像的一部分像素值替换改变为虚拟像素值时，也可以在不影响用户视觉辨认的情况下替换为虚拟像素值。虚拟像素值例如预先根据内窥镜图像的种类来决定像素值。将该虚拟像素值替换为内窥镜图像的规定位置的像素值。在这种情况下，通过获取替换位置的虚拟像素值，可以识别内窥镜图像的种类。

将电子水印适用于内窥镜图像时，可以采用公知的电子水印技术。例如，包括内窥镜图像的种类的水印信息可以被嵌入内窥镜图像中，当获得水印信息或恢复带水印的内窥镜图像时等可以识别内窥镜图像的种类。

如图7所示，通过将构成内窥镜图像的数据的一部分改变为预先设定的像素值即识别信息81，生成带有识别信息的内窥镜图像82。在带有识别信息的内窥镜图像82中，识别信息81赋予在不是带有识别信息的内窥镜图像82的观察对象映现的区域，虽然用户能够视觉辨认但以不影响内窥镜图像中映现的观察对象等的视觉辨认的方式赋予。

优选构成内窥镜图像的数据为构成内窥镜图像的预先设定的区域的数据。因此，优选带有识别信息的内窥镜图像的识别信息位于内窥镜图像的预先设定的区域。作为预先设定的区域，可举出内窥镜图像中观察对象没有映现的掩模部分、或观察对象映现的区域的缘部等。如图8所示，在本说明书中，内窥镜图像83表示显示器15上映现的整个图像，是指包括观察对象部分83a和掩模部分83b的图像。另外，在图8中，用虚线包围表示观察对象部分83a，用斜线表示掩模部分83b。在图7的情况下，当内窥镜图像的掩模部分83b的区域的一部分以用户能够视觉辨认的状态，识别信息81改变为规定的像素值。

如图9所示，识别信息赋予部61通过将根据内窥镜图像的种类互不相同的像素值替换改变为内窥镜图像83的相同位置的像素值，将改变的像素值作为识别信息。在图9(A)中，赋予第1识别信息81a，在图9(B)中，赋予第2识别信息81b。因此，图9(A)的带有识别信息的内窥镜图像82和图9(B)的带有识别信息的内窥镜图像82是指不同种类的内窥镜图像，及分别带有识别信息的内窥镜图像82的内窥镜图像的种类的特定不取决于图像数据以外的标题部分等信息、或例如从中央控制部59或光源用处理器21同步发送的另一信息等，可以仅从带有识别信息的内窥镜图像82的图像数据识别。并且，通过将第1识别信息81a和第2识别信息81b设为用户能够识别的不同的颜色等，用户只要看一眼带有识别信息的内窥镜图像82就能够正确地掌握内窥镜图像的种类。

另外，优选多种内窥镜图像包括用于显示在显示器15上的显示用图像和用于分析诊断支援信息的分析用图像。作为显示用图像和分析用图像的内窥镜图像的种类，包含2种内窥镜图像，例如，将显示在显示器15上的作为显示用图像，进行图像分析，用户很难视觉辨认，但是如果通过机器学习等作为图像分析的对象时，可以作为得到良好的分析结果的种类的内窥镜图像。在这种情况下，可以防止分析用图像显示在显示器15上。

在本实施方式中，在诊断支援观察模式下，自动获取正常图像和第1图像的照明光的光谱不同且种类不同的内窥镜图像的2种。因此，将正常图像作为显示用图像，将第1图像作为分析用图像。

如图10所示，在本实施方式中，重复获取3帧正常图像71之后获取1帧第1图像72的图案(参考图6)。识别信息赋予部61对获取的各内窥镜图像各自赋予识别信息81，生成带有识别信息的内窥镜图像82。因此，通过识别信息赋予部61，正常图像71中，通过内窥镜图像的掩模部分的规定的区域的像素改变为规定的像素值，赋予用于识别正常图像的第1识别信息81a，生成带有第1识别信息的内窥镜图像82a。第1图像72中同样地赋予用于识别第1图像的识别信息81b，生成带有第2识别信息的内窥镜图像82b。另外，在图10中，正常图像71由正常图像71和显示器15显示，正常图像71显示在显示器15上。由于第1图像72没有显示在显示器15上，因此其按原样显示。并且，在图中，识别信息81的不同的阴影表示不同的识别信息81。

另外，在图10中，如上所述，当人观看正常图像71和第1图像72时看起来具有不同的色彩，因此通过对第1图像72标注斜线以示出两者的内窥镜图像的外观差异。并且，放大显示附加到带有识别信息的内窥镜图像82的识别信息81。另外，图中，为了避免附图复杂化，有时仅对一部分的附图标注符号。

并且，识别信息81可以包括2个以上的信息。例如，除了内窥镜图像的种类以外，识别信息81还可以包括与拍摄顺序有关的信息。如图11所示，与图10的情况同样地，重复获取3帧正常图像71之后获取1帧第1图像72的图案(参考图6)。识别信息赋予部61对获取的各内窥镜图像各自赋予识别信息81，生成带有识别信息的内窥镜图像82。在此，通过识别信息赋予部61，正常图像71的最初的帧中，通过内窥镜图像的掩模部分的规定的区域的像素改变为规定的像素值，赋予用于识别正常图像且第1次拍摄的第1识别信息81(A-1)，生成带有第1识别信息的内窥镜图像82(A-1)。第1识别信息81(A-1)表示显示正常图像即拍摄顺序为第1次的识别信息(A-1)。

正常图像71的下一帧中，通过内窥镜图像的掩模部分的规定的区域的像素改变为规定的像素值，赋予用于识别正常图像且第2次拍摄的第1识别信息81(A-2)，生成带有第1识别信息的内窥镜图像82(A-2)。第1识别信息81(A-2)表示显示正常图像且拍摄顺序为第2次的识别信息(A-2)。同样地，图11中，显示生成从第1识别信息81(A-3)赋予到第1识别信息(A-7)的带有第1识别信息的内窥镜图像82。

并且，第1图像72的最初的帧中，与正常图像71同样地，通过内窥镜图像的掩模部分的规定的区域的像素改变为规定的像素值，赋予用于识别第1图像且第1次拍摄的第2识别信息81(B-1)，生成带有第2识别信息的内窥镜图像82(B-1)。第2识别信息81(B-1)表示显示第1图像且拍摄顺序为第1次的识别信息(B-1)。

第1图像72的下一帧中，通过内窥镜图像的掩模部分的规定的区域的像素改变为规定的像素值，赋予用于识别第1图像且第2次拍摄的第2识别信息81(B-2)，生成带有第2识别信息的内窥镜图像82(B-2)。第2识别信息81(B-2)表示显示第1图像且拍摄顺序为第2次的识别信息(B-2)。图11中，显示生成从第2识别信息81(B-1)赋予到第2识别信息(B-2)的带有第2识别信息的内窥镜图像82。

优选除了内窥镜图像的种类以外，通过识别信息81还包括关于摄影顺序的信息，仅从内窥镜图像的图像数据就能够容易地获得这些信息。

并且，识别信息赋予部61可以相对于分析用图像，通过改变构成分析用图像的数据的一部分作为识别信息，并且，相对于显示用图像，通过不改变构成在分析用图像中将与作为识别信息的数据对应的部分的显示用图像的数据而作为识别信息。同样地，可以相对于显示用图像，通过改变构成显示用图像的数据的一部分作为识别信息，并且，相对于分析用图像，通过不改变构成在显示用图像中将与作为识别信息的数据对应的部分的分析用图像的数据而作为识别信息。

如图12所示，在作为分析用图像的第1图像72中，通过改变构成第1图像72的数据的一部分来赋予识别信息81b并生成带有第2识别信息的内窥镜图像82b，在作为显示用图像的正常图像71，通过不改变构成在第1图像72中将与作为识别信息81b的数据对应的部分的正常图像71的数据而作为识别信息81a生成带有第1识别信息的内窥镜图像82a。另外，在图12中，识别信息81b没有用阴影表示，这表示没有通过识别信息赋予部61进行改变构成原始的内窥镜图像的数据等。以下图13中也相同。

如图13所示，在作为显示用图像的正常图像71中，通过改变构成正常图像71的数据的一部分来赋予识别信息81a并生成带有第1识别信息的内窥镜图像82a，在作为分析用图像的第1图像72，通过不改变构成在正常图像71中将与作为识别信息81a的数据对应的部分的第1图像72的数据而生成作为识别信息81b的带有第2识别信息的内窥镜图像82b。

如上所述，当识别信息赋予部61将识别信息81赋予到分析用图像或显示用图像时，能够根据构成图像的数据的一部分的改变的有无来识别作为显示用图像的正常图像和作为分析用图像的第1图像。因此，例如，当存在2种内窥镜图像时，通过改变1种内窥镜图像中的数据的一部分即可，可以减少赋予识别信息81的麻烦。并且，当通过仅改变识别用图像中的数据的一部分来赋予识别信息81时，显示用图像的图像数据完全不改变。因此，当显示用图像显示在显示器15等上时，识别信息81完全不会影响用户的可见性，因此优选。

带有识别信息的内窥镜图像82从处理器装置14发送至医疗图像处理装置17。医疗图像处理装置17接收从处理器装置14发送的带有识别信息的内窥镜图像82，并根据带有识别信息的医疗图像82的种类控制在显示器15上显示的带有识别信息的内窥镜图像82。并且，医疗图像处理装置17根据带有识别信息的内窥镜图像82的种类进行显示用处理或分析处理。分析处理后，将通过显示分析结果表示的分析结果发送至处理器装置14。并且，通过将分析结果图像重叠在带有识别信息的内窥镜图像82上来生成重叠图像，并且将重叠图像显示在显示器15上。

医疗图像处理装置17为具备处理器的通用PC，通过安装软件来发挥各种功能。在医疗图像处理装置17中，与处理器装置14同样地，与图像分析处理等的处理相关的程序存储于程序用存储器。在医疗图像处理装置17中，通过由作为第2处理器的图像用处理器等构成的中央控制部使程序用存储器内的程序动作，从而带有识别信息的医疗图像获取部91、带有识别信息的医疗图像识别部92、带有识别信息的医疗图像处理部93及显示控制部94(参考图14)的功能。带有识别信息的医疗图像处理部93具备显示图像处理部95、图像分析部96、分析结果制作部97、图像重叠部98即帧速率转换部99(参考图14)，这些功能也同样地通过利用由图像用处理器构成的中央控制部来使程序用存储器内的程序动作来实现。并且，中央控制部接收来自处理器装置14等的信息，并根据接收到的信息，进行医疗图像处理装置17的各部的控制。并且，与键盘(未图示)等的用户界面连接，并接收来自用户界面的命令等信息。

并且，医疗图像处理装置17还与显示器15连接，显示由医疗图像处理装置17生成的各种图像。各种机器可以连接到医疗图像处理装置17。作为各种机器，例如可举出进行命令等的键盘等的用户界面、用于保存图像等的数据的存储设备等。

如图14所示，医疗图像处理装置17具备带有识别信息的医疗图像获取部91、带有识别信息的医疗图像识别部92、带有识别信息的医疗图像处理部93及显示控制部94。带有识别信息的医疗图像获取部91获取从处理器装置14发送的多种带有识别信息的内窥镜图像82。所获取的图像发送到带有识别信息的医疗图像识别部92。在带有识别信息的内窥镜图像82中，构成内窥镜图像的数据的一部分作为识别信息81。带有识别信息的医疗图像识别部92根据赋予到带有识别信息的内窥镜图像82的识别信息81，识别带有识别信息的内窥镜图像82的种类。带有识别信息的医疗图像处理部93根据带有识别信息的内窥镜图像82的种类来控制显示器15上的显示，并且对带有识别信息的内窥镜图像82进行按照带有识别信息的内窥镜图像82的种类设定的图像处理。

带有识别信息的医疗图像识别部92根据带有识别信息的内窥镜图像82的识别信息，识别带有识别信息的内窥镜图像82的种类。带有识别信息的内窥镜图像82的种类与带有识别信息的内窥镜图像82原本的内窥镜图像的种类相同。根据识别信息81的内容来进行识别。带有识别信息的医疗图像识别部92预先具备识别信息81的内容与内窥镜图像的种类相对应的对应信息。根据对应信息和带有识别信息的内窥镜图像82所具有的识别信息81的内容，识别该带有识别信息的内窥镜图像82为哪种内窥镜图像。另外，关于识别信息81和识别信息81的内容等，与处理器装置14中的识别信息赋予部61赋予的识别信息81相同，如上所述。

如图14所示，带有识别信息的医疗图像处理部93具备显示图像处理部95、图像分析部96、分析结果制作部97、图像重叠部98及帧速率转换部99。

带有识别信息的医疗图像处理部93进行的图像处理包括显示用图像处理和分析用图像处理。优选多种带有识别信息的内窥镜图像82包括用于显示在显示器15上的显示用图像和用于分析诊断支援信息的分析用图像。并且，优选带有识别信息的内窥镜图像82为显示用图像时，带有识别信息的医疗图像处理部93对显示用图像进行显示用图像处理，并且当带有识别信息的内窥镜图像82为分析用图像时，对分析用图像进行分析用图像处理。

当带有识别信息的内窥镜图像82的种类为用于显示在显示器15上的内窥镜图像的种类即显示用图像时，显示图像处理部95进行显示用图像处理。优选显示用图像处理根据带有识别信息的内窥镜图像82的种类而不同。通过由显示图像处理部95进行的显示用图像处理，生成适合在显示器15上显示的图像。

当带有识别信息的内窥镜图像82的种类为用于进行与诊断支援信息有关的分析的内窥镜图像的种类即分析用图像时，图像分析部96进行分析用图像处理。优选分析用图像处理根据带有识别信息的内窥镜图像82的种类而不同，并且，优选根据分析的内容而不同。可以通过由图像分析部96进行的图像分析处理来获得诊断支援信息。诊断支援信息通过显示该信息的分析结果图像等提示给用户。

如图15所示，具体而言，本实施方式中，显示用图像为正常图像71，分析用图像为第1图像72，因此带有识别信息的内窥镜图像82有在正常图像71上赋予了识别信息81a的带有第1识别信息的内窥镜图像82a和在第1图像72上赋予了识别信息81b的带有第2识别信息的内窥镜图像82b的这2种。这些带有识别信息的内窥镜图像82在带有识别信息的医疗图像识别部92中，读取识别信息81，确定内窥镜图像的种类。另外，在识别信息或带有识别信息的内窥镜图像中不区分种类的情况下，例如是指识别信息81或带有识别信息的内窥镜图像82等。

在带有识别信息的内窥镜图像82的每一个中确定种类之后，带有第1识别信息的内窥镜图像82a和带有第2识别信息的内窥镜图像82b分别通过不同的流程进行处理。

带有第1识别信息的内窥镜图像82a被发送到显示图像处理部95和图像分析部96。显示图像处理部95进行用于在显示器15上显示的图像处理。图像分析部96根据需要以带有第1识别信息的内窥镜图像82a为对象进行分析。带有第2识别信息的内窥镜图像82b发送到显示图像处理部95和图像分析部96。当在显示器上显示带有第2识别信息的内窥镜图像82b时，在显示图像处理部95中，进行用于在显示器15上显示带有第2识别信息的内窥镜图像82b的图像处理。图像分析部96根据需要以带有第2识别信息的内窥镜图像82b为对象进行分析。另外，在图15中，为了区分带有第1识别信息的内窥镜图像82a和带有第2识别信息的内窥镜图像82b的流程，将带有第2识别信息的内窥镜图像82b的流程用单点划线表示。

在本实施方式中，带有识别信息的医疗图像处理部93进行对下处理：带有第1识别信息的内窥镜图像82a为显示用图像，因此在显示图像处理部95中进行显示用图像处理，不进行图像分析，带有第2识别信息的内窥镜图像82b为分析用图像，因此在图像分析部96中进行分析用图像处理，在显示器15上不显示带有第2识别信息的内窥镜图像82b，因此不进行显示用图像处理。

图像分析部96将带有识别信息的内窥镜图像82作为对象，进行用于计算机支援诊断(CAD，computer-aided diagnosis)的分析用图像处理。分析用图像处理可以进行公知的分析用图像处理。通过基于内窥镜图像的分析用图像处理，输出氧饱和度等各种特征量、血管位置或病变位置的检测、或者病变阶段的估计等诊断支援信息。

优选图像分析部96使用基于机器学习的分析模型进行分析用图像处理。基于机器学习的分析模型优选使用在图像分析中输出良好结果的卷积神经网络。并且，优选分析模型根据带有识别信息的内窥镜图像82的种类而不同。这是因为，根据带有识别信息的内窥镜图像82的种类而能够输出良好结果的分析用图像处理的内容不同。出于同样的原因，优选分析模型根据分析的内容而不同。因此，优选图像分析部96具备多个分析模型，根据内窥镜图像的种类使用适当的分析模型。并且，优选多个分析模型生成不同的诊断支援信息作为分析结果。

在本实施方式中，对带有第2识别信息的内窥镜图像82b进行基于图像分析部96的分析用图像处理。带有第2识别信息的内窥镜图像82b为第1图像72，因此强调了表层结果等，通过区分肿瘤性息肉和非肿瘤性息肉的分析模型获得了良好的结果。因此，图像分析部96通过检测肿瘤性息肉的分析模型来分析带有第2识别信息的内窥镜图像82b，并生成分析结果。另外，该分析模型区分肿瘤性息肉和非肿瘤性息肉，即使存在非肿瘤性息肉，只要不是肿瘤性息肉则不会通知或警告用户。

优选带有识别信息的医疗图像处理部93制作显示分析用图像处理的结果的分析结果图像，将分析结果图像重叠在显示用图像上并生成分析图像。具体而言，分析结果制作部97获取图像分析部96的分析结果，并将图像分析部96的分析结果以能够通知给用户的方式，例如能够以声音或图像等的方式制作分析结果。在本实施方式中，关于是否为肿瘤性息肉，在内窥镜图像中，通过在观察对象映现的区域的缘部显示的框和框的颜色，在显示器15上显示并通知给用户。如果有肿瘤性息肉，则以红框显示，如果没有肿瘤性息肉，则以绿框显示。在本实施方式中，没有检测到肿瘤性息肉，因此分析结果制作部97生成在观察对象映现的区域的缘部显示的绿色框的分析结果图像101作为分析结果。

图像重叠部98从显示图像处理部95获取重叠分析结果图像101的内窥镜图像。优选重叠分析结果图像101的内窥镜图像为显示用图像，因此对带有第1识别信息的内窥镜图像82a进行显示用处理作为正常图像71。并且，从分析结果制作部97获取分析结果图像101。并且，通过将分析结果图像101重叠在从显示图像处理部95获得的正常图像71上来生成重叠图像102。所生成的重叠图像102发送至显示控制部94。

显示控制部94从显示图像处理部95和图像重叠部98获取3种图像，进行用于显示在显示器15上的控制。从显示图像处理部95获取基于带有第1识别信息的内窥镜图像82a的正常图像71及基于带有第2识别信息的内窥镜图像82b的第1图像72。从图像重叠部98获得重叠图像102。因此，显示控制部94根据命令进行将正常图像71、第1图像72和/或重叠图像102显示在显示器15上的控制。如上所述，通过将医疗图像处理装置17连接至显示器15，可以用预先设定的布局显示这些图像中的一个或多个。

并且，也可以将由分析结果制作部97制作的分析结果图像101发送至处理器装置14。由此，能够在处理器装置14中将分析结果图像101重叠于各种内窥镜图像。并且，重叠的图像还可以显示在连接到处理器装置14的显示器15上。通过以这种方式将分析结果图像101发送到处理器装置14，分析结果图像的利用可能性提高，因此优选。

另外，在上述实施方式中，对作为分析用图像的第1图像72不显示于显示器15的情况进行了说明，但根据分析用图像的种类，可以将其显示在显示器15上。显示的分析用图像优选为确立内窥镜图像的诊断学且可观察的种类的内窥镜图像即分析用图像。例如，通过使用如第1图像72那样的蓝色窄带光的特殊光观察的内窥镜图像等即分析用图像确立使用其的诊断学，医生查看时有助于诊断，因此显示在显示器15上。作为优选显示的种类的分析用图像，可举出使用蓝色窄带光的分析用图像、进行了颜色强调处理或结构强调处理的内窥镜图像或显示氧饱和度等活体信息的分析用图像。

另一方面，作为分析用图像，没有确立使用该种类的内窥镜图像的诊断学，难以观察的分析用图像可以不显示在显示器15上。例如，仅使用紫色光V作为照明光的内窥镜图像等为对于分析氧饱和度等有用的分析用图像，但即使显示在显示器15上也有可能对诊断没有帮助。因此，带有识别信息的医疗图像处理部93可以根据带有识别信息的内窥镜图像82的种类来控制显示在显示器15上的带有识别信息的内窥镜图像82。

当在显示器15上显示分析用图像时，优选例如显示在显示器15的子画面上。此时，显示器15具有主画面和子画面。因此，带有识别信息的医疗图像处理部93将显示图像显示在显示器15的主画面上。此外，优选根据带有识别信息的内窥镜图像82的种类决定是否在显示器15的子画面上显示分析用图像，将决定显示的带有识别信息的内窥镜图像82显示在显示器15的子画面上。

如图16所示，在本实施方式中，显示器15具有1个主画面201、第1子画面202和第2子画面203这2个子画面。并且，显示器15具有显示患者信息的患者信息显示画面204。主画面201显示作为显示用图像的正常图像71。第1子画面202上例如显示分析结果制作部97制作的分析结果图像101。另外，在图16中，分析结果图像是以地图形式显示作为分析结果的关注区域的判别结果的图像。以地图形式显示的判别结果例如是在地图上通过关注区域的颜色来区分显示判别结果。并且，第1子画面202具有以文本形式显示分析结果的分析结果文本显示画面205。在分析结果文本显示画面205上，通过显示例如“非肿瘤性：NON-NEOPLASTIC”或“增生性：HYPERPLASTIC”等，以文本形式显示分析结果。

第2子画面203例如显示分析用图像中分析结果生成部97为了制作分析结果图像101而使用的内窥镜图像。在本实施方式中，第2子画面203上显示作为分析用图像的第1图像72。由于第1图像72的种类是通过使用蓝色窄带光的特殊光观察获得的内窥镜图像，因此通过显示在第2子画面203上，对于医生等的诊断有帮助。

如图17所示，当显示器15具有子画面时，根据分析用图像的种类，在第2子画面203上不显示分析用图像。并且，如图18所示，在第2子画面203上不显示分析用图像时，对于主画面201上显示的显示用图像的被摄体，可以显示作为过去获取的内窥镜图像的过去图像205。这是因为，比较同一被摄体的过去和现在可能有助于诊断等。

如上所述，在基于处理器装置14和医疗图像处理装置17的医疗图像处理系统18中，医疗图像处理装置17的带有识别信息的医疗图像获取部91获取处理器装置14的识别信息赋予部61生成的带有识别信息的内窥镜图像82。带有识别信息的内窥镜图像82通过将构成内窥镜图像的数据的一部分作为表示内窥镜图像的种类的识别信息81来生成。因此，很容易识别内窥镜图像的种类。例如，由于内窥镜图像的种类包含在内窥镜图像本身的数据中，因此能够在通用PC中容易地识别。并且，根据内窥镜图像的种类，在CAD等中进行不同的图像处理时，可以连续地自动进行内窥镜图像的种类的识别和与内窥镜图像的种类相对应的图像处理。因此，与手动切换特定的内窥镜图像的种类的获取及其图像处理时相比，针对每个观察模式设定获取的内窥镜图像的种类及其图像处理时减轻了用户的负担。

处理器装置14、医疗图像处理装置17及医疗图像处理系统18在IEE中自动切换照明光的种类时有用。即，当照明光的光谱差异作为摄影条件，与内窥镜图像的种类相对应时，通过设定成自动切换照明光的种类，可以自动获取多个显示用图像和诊断支援信息。并且，通过处理器装置14和医疗图像处理装置17的多个机器，可以进行显示图像的处理及分析结果的处理，因此可以以用于在显示器15上显示的优选模式或者用于制作医疗图表或检查报告的优选模式等高自由度制作或加工图像。

并且，当带有识别信息的内窥镜图像82包括多种的识别信息81时，除了照明光的光谱等的内窥镜图像的种类以外，还可以获得其他信息。其他信息例如可举出摄影顺序的信息。

另外，处理器装置14和医疗图像处理装置17优选具备调整内窥镜图像的帧速率的帧速率转换部62或帧速率转换部99。在处理器装置14中，为了将图像发送到医疗图像处理装置17或者在显示器15上显示显示用图像等图像，帧速率转换部62调整发送的图像的帧速率。在医疗图像处理装置17中同样地，帧速率转换部99根据需要为了在发送时调整发送的图像的帧速率，并在显示器15上显示显示用图像等图像，调整要发送的图像的帧速率。

优选当将包括显示用图像和分析用图像的带有识别信息的内窥镜图像82从处理器装置14发送至医疗图像处理装置17时，通过分别用显示用图像和分析用图像来补充获得显示用图像和分析用图像的帧来进行调整，以适合医疗图像处理装置17的处理的帧速率发送带有识别信息的内窥镜图像82。当用显示用图像和分析用图像进行补充时，例如，可以制作复制获得显示用图像和分析用图像的帧的补充帧图像，并将该补充帧图像用作显示用图像或分析用图像。

处理器装置14中的帧速率转换部62制作对显示用图像的帧和分析用图像的补帧图像73。将从正常图像71生成的带有第1识别信息的内窥镜图像82a和从第1图像72生成的带有第2识别信息的内窥镜图像82b与从带有第1识别信息的内窥镜图像82a和带有第2识别信息的内窥镜图像82b复制的补帧图像73组合成1秒60帧(60fps，frames per second)的基础上，发送至医疗图像处理装置17。由此，医疗图像处理装置17可以获取调整成规定帧速率的影像。

如图19所示，例如，在处理器装置14中，以1秒30fps获取作为显示用图像的带有第1识别信息的内窥镜图像82a，并且以1秒15fps获取作为分析用图像的带有第2识别信息的内窥镜图像82b。带有第2识别信息的内窥镜图像82b标注斜线。帧速率转换部62为了组合带有第1识别信息的内窥镜图像82a、带有第2识别信息的内窥镜图像82b与补帧图像73设为60fps，在补帧图像73的15fps中，从带有第1识别信息的内窥镜图像82a复制10fps，从带有第2识别信息的内窥镜图像82b复制5fps，作为补帧图像73。即，在带有第1识别信息的内窥镜图像82a的30fps中，对3个帧复制1个帧作为10fps量的补帧图像73。同样地，在带有第2识别信息的内窥镜图像82b的15fps中，对5个帧复制1个帧作为5fps量的补帧图像73。另外，补帧图像73由虚线表示。复制时，可以复制复制时刻的前一帧的图像。这样，当以30fps获取带有第1识别信息的内窥镜图像82a，以15fps获取带有第2识别信息的内窥镜图像82b时，通过帧速率转换部62，可以将15fps追加到补充帧图像73以使其成为60fps。

在处理器装置14中，图像获取部51获取显示用图像和分析用图像，在显示器15上不显示分析用图像时，通过用显示用图像补充获取分析用图像的帧，可以显示易于视觉辨认的内窥镜图像。对于医疗图像处理装置17也同样，优选调整显示器15所要显示的图像的帧速率。

如图20所示，例如，在处理器装置14中，以1秒39帧(39fps)获取作为显示用图像的带有第1识别信息的内窥镜图像82a，并且以1秒13帧(13fps)获取作为分析用图像的带有第2识别信息的内窥镜图像82b。当在显示器15上不显示分析用图像时，帧速率转换部62将显示用图像的帧对所有的帧的每一个制作补帧图像73，组合带有第1识别信息的内窥镜图像82a和补帧图像73以1秒60帧(60fps)显示在显示器15上。由此，能够提高显示器15上显示的图像的可见性。另外，医疗图像处理装置17中的帧速率转换部99也具有同样的功能。

另外，在图像处理部56中，可以在识别信息赋予部61和帧速率转换部62中，通过帧速率转换部62进行帧速率转换之后，在识别信息赋予部61中赋予识别信息81。在这种情况下，在由帧速率转换部62生成补帧图像73之后，在识别信息赋予部61中赋予识别信息81。

可以将识别信息81赋予到补帧图像73。如图21所示，在这种情况下，通过将表示为补帧图像73的识别信息81c赋予到补帧图像73，生成带有第3识别信息的内窥镜图像82c。识别信息81c可以与表示内窥镜图像的种类的识别信息互不相同。由此，在医疗图像处理装置17中，能够根据图像数据容易地掌握补帧图像73。

并且，识别信息81c可以包括关于复制源的内窥镜图像的种类的信息。如图22所示，可以在复制正常图像71而获得的补帧图像73的情况下，生成赋予识别信息81(C-1)的带有第3识别信息的内窥镜图像82(C-1)，在复制第1图像72而获得的补帧图像73的情况下，生成赋予识别信息81(C-2)的带有第3识别信息的内窥镜图像82(C-2)。由此，在医疗图像处理装置17中，除了补帧图像73以外，还能够根据图像数据容易地掌握补充帧图像73的复制源是什么。

并且，识别信息81c除了与复制源的内窥镜图像的种类有关的信息以外，还可以包括关于摄影顺序的信息。如图23所示，正常图像71，基于第3次拍摄的图像生成带有第1识别信息的内窥镜图像82(A-3)，复制该正常图像71的补帧图像73中，生成赋予识别信息81(A3-C1)的带有第3识别信息的内窥镜图像82(A3-C1)。同样地，第1图像72，基于第n次拍摄的图像生成带有第2识别信息的内窥镜图像82(B-n)，复制该第1图像72的补帧图像73为第m次的补帧图像73，生成赋予识别信息81(Bn-Cm)的带有第3识别信息的内窥镜图像82(Bn-Cm)。由此，在医疗图像处理装置17中，除了补帧图像73以外，还能够根据图像数据容易地掌握补充帧图像73的复制源是什么、及摄影顺序。

医疗图像处理装置17中，可以识别补帧图像73，因此可以将补帧图像73作为内窥镜图像的种类的1个。因此，医疗图像处理装置17能够进行与补帧图像73对应的图像处理方法。作为对补帧图像73的图像处理方法，例如可举出对与补帧图像73的原始图像相同种类的内窥镜图像进行图像处理，或者对补帧图像73不进行图像处理等方法。

并且，通过调整帧速率转换部62，设定高帧速率时等，识别带有第1识别信息的内窥镜图像82a、带有第2识别信息的内窥镜图像82b或作为补帧图像73的带有第3识别信息的内窥镜图像82c，当带有第3识别信息的内窥镜图像82c为一定比例以上时，从图像处理速度等的观点考虑，对带有第1识别信息的内窥镜图像82a或带有第2识别信息的内窥镜图像82b的图像处理中，可以调整进行图像处理的速度。这样，通过对补帧图像73也赋予识别信息81c，医疗图像处理装置17中，可以在不获取帧速率的信息的情况下仅根据图像数据的信息掌握帧速率的信息，可以用于图像处理的速度的调整等。

接着，沿着图24所示的流程图对内窥镜图像的种类的判别的一连串的流程进行说明。使用内窥镜拍摄观察对象。分别以预先设定的帧图案获取作为显示用图像的正常图像71和作为分析用图像的第1图像72(步骤ST110)。另外，在显示器15上显示已经调整了帧速率的正常图像71。在处理器装置14中，识别信息赋予部61将识别信息81赋予到正常图像71和第1图像72中的每一个(步骤ST120)。

赋予了识别信息81的带有第1识别信息的内窥镜图像82a和带有第2识别信息的内窥镜图像82b由医疗图像处理装置17的带有识别信息的医疗图像获取部91获取(步骤ST130)。作为显示用图像的带有第1识别信息的内窥镜图像82a中，在显示图像处理部95中进行显示图像用图像处理。作为分析用图像的带有第2识别信息的内窥镜图像82b中，在图像分析部96中，使用基于机器学习的分析模型进行用于获得诊断支援信息的图像分析(步骤ST140)。分析结果制作部97生成通过显示图像分析结果表示的分析结果图像101。图像重叠部98将分析结果图像101重叠在作为显示用图像处理进行的带有第1识别信息的内窥镜图像82a的正常图像71上，生成重叠图像102(步骤ST150)。在显示器15上显示重叠图像102(步骤ST160)。

另外，在上述实施方式中，进行内窥镜图像的处理时适用本发明，但是也可以将本发明适用于处理内窥镜图像以外的医疗图像的处理器装置、医疗图像处理装置或医疗图像处理系统。

此外，如图25所示，内窥镜系统10中，图像处理部56和/或中央控制部59的一部分或全部可以设置在例如与处理器装置14进行通信并与内窥镜系统10协作的诊断支援装置610。同样地，内窥镜系统10中，医疗图像处理装置17的一部分或全部可以设置在例如与医疗图像处理装置17进行通信并与内窥镜系统10协作的诊断支援装置610。

并且，如图25所示，内窥镜系统10中图像处理部56和/或中央控制部59的一部分或全部可以设置于例如从内窥镜系统10直接或从PACS(Picture Archiving andCommunication Systems)22间接获取由内窥镜12拍摄的图像的诊断支援装置610。同样地，内窥镜系统10中医疗图像处理装置17的一部分或全部可以设置于例如从内窥镜系统10直接或从PACS(Picture Archiving and Communication Systems)22间接获取由内窥镜12拍摄的图像的诊断支援装置610。

并且，如图26所示，在包括内窥镜系统10的第1检查装置621、第2检查装置622、……、第N检查装置623等各种检查装置、经由网络626连接的医疗业务支援装置630上可以设置内窥镜系统10中图像处理部56和/或中央控制部59的一部分或全部、或者医疗图像处理装置17的一部分或全部。

在上述实施方式中，光源用处理器及作为第1处理器和第2处理器的图像用处理器以及处理器装置14中所包含的中央控制部59、图像获取部51、DSP52、降噪部53、存储器54、信号处理部55、图像处理部56、显示控制单元57、视频信号生成部58、医疗图像处理装置中包含的带有识别信息的医疗图像获取部91、带有识别信息的医疗图像识别部92、带有识别信息的医疗图像处理部93以及显示控制部94等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器包括执行软件(程序)而作为各种处理部发挥功能的通用的处理器即CPU(Central Processing Unit：中央处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA、CPU与FPGA的组合)构成。并且，也可以将多个处理部由一个处理器来构成。作为将多个处理部由一个处理器构成的例子，第1，有如以客户端或服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且该处理器作为多个处理部而发挥功能的方式。第2，有如以片上系统(System On Chip：SoC)等为代表，使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上上述各种处理器而构成。

而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(circuitry)。

符号说明

10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，12f-变焦操作部，12g-模式切换开关，13-光源装置，14-处理器装置，15-显示器，16-键盘，17-医疗图像处理装置，18-医疗图像处理系统，20-光源部，20a-V-LED，20b-B-LED，20c-G-LED，20d-R-LED，21-光源用处理器，22-PACS，30a-照明光学系统，30b-摄像光学系统，41-光导件，42-照明透镜，43-物镜，44-变焦透镜，45-摄像传感器，46-CDS/AGC电路，47-A/D变频器，51-图像获取部，52-DSP，53-降噪部，54-存储器，55-信号处理部，56-图像处理部，57、94-显示控制部，58-视频信号生成部，59-中央控制部，61-识别信息赋予部，62、99-帧速率转换部，71-正常图像，72-第1图像，73-补帧图像，81-识别信息，81a-第1识别信息，81b-第2识别信息，82-带有识别信息的内窥镜图像，82a-带有第1识别信息的内窥镜图像，82b-带有第2识别信息的内窥镜图像，83-内窥镜图像，83a-观察对象部分，83b-掩模部分，91-带有识别信息的医疗图像获取部，92-带有识别信息的医疗图像识别部，93-带有识别信息的医疗图像处理部，95-显示图像处理部，96-图像分析部，97-分析结果制作部，98-图像重叠部，101-分析结果图像，102-重叠图像，201-主画面，202-第1子画面，203-第2子画面，204-患者信息显示画面，205-分析结果文本显示画面，206-过去图像，610-诊断支援装置，621-第1检查装置，622-第2检查装置，623-第n检查装置，626-网络，630-医疗业务支援装置，ST110～ST160-步骤。