图像处理装置

技术领域

本发明涉及图像处理装置，尤其是涉及进行基于计算机支援诊断(CAD；Computer-Aided Diagnosis)的处理的图像处理装置。

背景技术

在医疗领域及工业领域等中广泛使用如下的内窥镜系统，该内窥镜系统具备拍摄被检体内部的被摄体的内窥镜、以及生成由内窥镜拍摄到的被摄体的观察图像的视频处理器等。

另一方面，近年来，已知有一种进行基于所谓的计算机支援诊断(CAD；Computer-Aided Diagnosis)的处理的图像处理(识别处理)，在该图像处理中，通过利用计算机等的信息处理技术，对通过内窥镜等得到的图像进行该图像的信息的定量化及解析，将该结果积极地用于图像诊断。

该计算机支援诊断(CAD)通常是支援医生的系统。即计算机支援诊断(CAD)是并非由计算机自己决定疾病名称等而仅是为作出最终决策的医生提供判断材料的支援系统。

例如，在使用计算机解析的定量的结果病灶的良性恶性鉴别等决策困难的病症中，通过提示作为资料的信息(由计算机分析出的定量的数值等)来支援医生的决策。

此外，通过利用该计算机支援诊断(CAD)功能，例如还起到如下效果：能够降低医生看漏从医疗图像检测到的病灶候选的危险，并且，能够实现读影步骤的缩短。

然而，已知用于该计算机支援诊断(CAD)功能的识别处理需要庞大的计算处理。因此，在对输入的图像实施这种识别处理的情况下，只要不使用能够进行高速的运算处理的处理器等，就可能在输出识别结果时产生延迟。

图14是示出如上述那样利用了计算机支援诊断(CAD)功能的内窥镜系统的一例的图。该图14所示的内窥镜系统101是包括图像处理装置105的系统，该图像处理装置105具备发挥计算机支援诊断(CAD)功能的识别处理电路153。

如图14所示，在包括具备识别处理电路153的图像处理装置105的内窥镜系统101中，在公知的视频处理器103中对在内窥镜102中拍摄到的内窥镜图像实施规定的图像处理之后，在该图像处理装置105中，实施规定的识别处理。

具体而言，在图像处理装置105中，在帧捕获电路151、数据转送电路152中连续地取入所输入的图像，并将该图像向识别处理电路153发送。之后，在识别处理电路153中，如上述那样基于计算机支援诊断(CAD)功能实施识别处理。在识别处理电路153中进行识别处理而得到的图像信号经由规定的输出图像生成电路154被输入到监视器106。

这里，在上述的识别处理电路153中实施的识别处理通常利用所谓的GP-GPU(General-purpose computing on graphics processing units：图形处理单元中的通用计算)。

该GP-GPU是基于GPU(Graphics Processing Units：图形处理单元)的通用计算处理技术，近年来其处理速度进一步高速化。但是，如上所述，用于计算机支援诊断(CAD)功能的识别处理需要庞大的计算处理，难以针对实现高识别精度的处理对全部图像无延迟地进行解析。因此，在如上述那样具备识别处理电路153的图像处理装置105中，即便采用了高速化的GP-GPU，结果上所输出的图像信号相对于所输入的内窥镜图像信号也可能大幅延迟。

而且，当产生该延迟时，监视器所显示的图像相对于内窥镜的运动而变慢，因此，可能对内窥镜操作带来障碍。此外，为了避免延迟而执行计算量少的识别处理通常可能导致识别精度下降。

本发明是鉴于上述情况而完成的，其目的在于，在能够实施计算机支援诊断(CAD)等高度的识别处理的图像处理装置中，提供能够在提高识别处理的精度的同时抑制所输出的影像信号的延迟效果的图像处理装置。

发明内容

用于解决问题的手段

本发明的一方案的图像处理装置具备：影像分配部，其输入从图像生成部连续输出的第1图像信息信号，至少向第1路径输出与所输入的该第1图像信息信号相应的第2图像信息信号，并且向第2路径输出第3图像信息信号，该第3图像信息信号是与所述第1图像信息信号相应的图像信息信号，并且是与所述第2图像信息信号不同的图像信息信号；信息解析部，其输入所述第2图像信息信号，对该第2图像信息信号实施规定的解析，并输出该解析的结果；以及信息附加部，其基于从所述影像分配部输出的所述第3图像信息信号和从所述信息解析部输出的所述解析结果，生成并连续输出第4图像信息信号。

附图说明

图1是示出包含本发明的第1实施方式的图像处理装置在内的内窥镜系统的结构的框图。

图2是示出第1实施方式的图像处理装置的结构的框图。

图3是示出第1实施方式的图像处理装置中的影像分配电路的结构的框图。

图4是示出第1实施方式的图像处理装置中的信息解析电路的结构的框图。

图5是示出第1实施方式的图像处理装置中的信息附加电路的结构的框图。

图6是说明第1实施方式的图像处理装置中的影像分配电路、信息附加电路及信息解析电路的作用的时序图。

图7是示出向第1实施方式的图像处理装置输入的第1图像信息信号的一例的图。

图8是示出第1实施方式的图像处理装置中的识别处理用(信息解析用)的图像区域的例子的图。

图9是示出本发明的第2实施方式的图像处理装置中的信息解析电路的结构的框图。

图10是示出本发明的第3实施方式的图像处理装置中的影像分配电路的结构的框图。

图11是示出第3实施方式的图像处理装置中的信息解析电路的结构的框图。

图12是示出第3实施方式的图像处理装置中的信息附加电路的结构的框图。

图13是说明第3实施方式的图像处理装置中的影像分配电路、信息附加电路及信息解析电路的作用的时序图。

图14是示出以往的能够实施计算机支援诊断(CAD)等识别处理的图像处理装置的一结构例的框图。

具体实施方式

以下，使用附图对本发明的实施方式进行说明。

＜第1实施方式＞

图1是示出包含本发明的第1实施方式的图像处理装置在内的内窥镜系统的结构的框图，图2是示出第1实施方式的图像处理装置的结构的框图。

如图1所示，包含本第1实施方式的图像处理装置的内窥镜系统1具有：内窥镜2，其观察被检体并输出规定的摄像信号；视频处理器3，其与该内窥镜2连接，输入所述摄像信号，对所述摄像信号实施规定的图像处理后将其输出；未图示的光源装置，其供用于照明被检体的照明光；图像处理装置5，其输入从视频处理器3输出的摄像信号，对该摄像信号实施规定的识别处理后将其输出；以及监视器6，其显示与从该图像处理装置5输出的摄像信号相应的观察图像。

如图1所示，内窥镜2具备向被检体的体腔内插入的公知的插入部等，在该插入部的前端配设有由公知的摄像元件等构成的摄像部21。从该摄像部21输出与被检体相关的摄像信号。

视频处理器3配设有图像处理部31，该图像处理部31与内窥镜2连接，输入所述摄像信号并对其实施规定的图像处理。从该图像处理部31输出被实施了规定的图像处理的摄像信号。另外，在图像处理部31的输出与监视器6等显示装置直接连接的情况下，从该图像处理部31输出的摄像信号所相关的内窥镜图像能够直接显示在该监视器6中。

＜图像处理装置5的结构＞

如图1、图2所示，图像处理装置5具备：影像分配电路51，其输入从视频处理器3输出的第1图像信息信号，将该第1图像信息信号分配为第2图像信息信号和第3图像信息信号并输出；信息解析电路53，其输入来自影像分配电路51的第2图像信息信号，对该第2图像信息信号实施规定的解析，输出该解析结果；以及信息附加电路52，其基于从影像分配电路51输出的第3图像信息信号和从信息解析电路53输出的所述解析结果，生成并连续地输出第4图像信息信号。

如图2所示，在本实施方式中，所述影像分配电路51及所述信息附加电路52构成为如下电路，该电路形成在配设于图像处理装置5内的所谓的FPGA(field-programmablegate array：现场可编程门阵列)55中。

此外，在本实施方式中，所述信息解析电路53是由作为基于GPU(GraphicsProcessing Units：图形处理单元)的通用计算处理技术的GP-GPU(General-purposecomputing on graphics processing units：图形处理单元中的通用计算)56构成的电路。

＜影像分配电路51的结构＞

这里，对影像分配电路51的结构详细进行说明。

图3是示出本实施方式的图像处理装置5中的影像分配电路51的结构的框图。

如图2、图3所示，影像分配电路51的特征在于，输入从作为外部装置的视频处理器3连续输出的第1图像信息信号，至少向第1路径输出与所输入的该第1图像信息信号相应的第2图像信息信号，并且向第2路径输出第3图像信息信号，该第3图像信息信号是与所述第1图像信息信号相应的图像信息信号、并且是与所述第2图像信息信号不同的图像信息信号。

＜信息解析用图像处理电路71＞

即，影像分配电路51具有基于所述第1图像信息信号生成并输出所述第2图像信息信号(解析用图像数据)的信息解析用图像处理电路71。该信息解析用图像处理电路71基于所输入的所述第1图像信息信号，生成信息解析电路53中的规定的解析用的解析用图像数据，将该解析用图像数据作为所述第2图像信息信号而输出。

这里，在本实施方式中，信息解析用图像处理电路71首先将所输入的所述第1图像信息信号中的规定的区域(后述的信息解析电路53中实施识别处理的区域)切出，生成与该切出的区域相关的所述解析用图像数据，作为所述第2图像信息信号向所述第1路径输出。

具体而言，此时假设向图像处理装置5输入了从视频处理器3输出的第1图像信息信号(例如包含图7所示的内窥镜图像62的整体图像信号)。另外，图7是示出向第1实施方式的图像处理装置输入的第1图像信息信号的一例的图，示出在监视器6的显示画面61中显示有包含内窥镜图像62的第1图像信息信号整体的图像的状态。

此时，向图像处理装置5中的信息解析用图像处理电路71输入了从视频处理器3输出的包含内窥镜图像62的第1图像信息信号。

这里，本实施方式中的信息解析用图像处理电路71从该第1图像信息信号中切出作为规定区域的内窥镜图像62。在本实施方式中，该切出的规定区域为所谓的八边形的面罩形状的内窥镜图像62。另外，该内窥镜图像62的图像数据量比该第1图像信息信号整体的数据量小。

之后，信息解析用图像处理电路71生成与该切出的内窥镜图像62相关的所述析用图像数据，作为所述第2图像信息信号朝向后级的信息解析电路53(经由第1路径)输出。

此外，信息解析用图像处理电路71生成对与所输入的所述第1图像信息信号相关的规定的物理特性(例如颜色设定值、γ值、明亮度、轮廓的强调程度等)进行均衡化而得到的所述解析用图像数据，作为所述第2图像信息信号向所述第1路径输出。

即，关于所述输入的第1图像信息信号，例如在前级的视频处理器3等中，可能根据手术医生的喜好而对上述物理特性(颜色设定值、γ值、明亮度、轮廓的强调程度等)进行了各种设定。信息解析用图像处理电路71对这些已经实施了各种设定的图像信号暂时进行均衡化，由此，有助于提高后级的、即信息解析电路53中的识别处理的精度。

＜输出影像用图像处理电路72＞

另一方面，影像分配电路51具有输出影像用图像处理电路72，该输出影像用图像处理电路72基于所述第1图像信息信号，生成并输出所述第3图像信息信号。该输出影像用图像处理电路72生成对所输入的所述第1图像信息信号(与从视频处理器3输出的内窥镜图像相关的摄像信号)实施了规定的图像处理而得到的所述第3图像信息信号(输出用图像数据)，作为将延迟抑制到最小限度的信号向所述第2路径输出。

另外，作为所述规定的图像处理功能，输出影像用图像处理电路72也可以具有针对所输入的所述第1图像信息信号(与从视频处理器3输出的内窥镜图像相关的摄像信号)而调整为视觉上优选的色调的功能或者强调处理功能等图像校正功能。

＜信息解析电路53的结构＞

接着，对信息解析电路53的结构详细进行说明。

图4是示出本实施方式的图像处理装置5中的信息解析电路53的结构的框图。

如上所述，信息解析电路53在本实施方式中由GP-GPU56构成，输入从影像分配电路51输出的第2图像信息信号(解析用图像数据)，对该第2图像信息信号(解析用图像数据)实施规定的解析(在本实施方式中为基于识别处理的解析)，将该解析结果朝向信息附加电路52输出。

此外，如图4所示，信息解析电路53具备信息解析结果输出电路91，该信息解析结果输出电路91输入所述第2图像信息信号(解析用图像数据)，实施规定的解析，并输出该解析结果。

＜信息解析结果输出电路91＞

信息解析结果输出电路91对在影像分配电路51的信息解析用图像处理电路71中生成的解析用图像数据(第2图像信息信号)实施与所谓的计算机支援诊断(CAD)功能相关的识别处理以及进行该识别处理所需的图像处理，将该识别处理的解析结果向后级的信息附加电路52输出。

这里，如上所述，计算机支援诊断(CAD)例如是利用基于计算机等的信息处理技术对通过内窥镜等得到的图像进行该图像的信息的定量化及解析、并将其结果积极地用于图像诊断从而支援医生的系统。

此外，信息解析结果输出电路91起到实施与该计算机支援诊断(CAD)功能相关的识别处理等的作用，即，起到如下作用：从在信息解析用图像处理电路71中生成的解析用图像数据(第2图像信息信号)提取例如图8所示的关注区域63，针对对于该提取出的关注区域的定量的结果病灶的良性恶性鉴别等决策困难的病症，提示作为资料的信息(由计算机分析出的定量数值等)，从而支援医生的决策。

如上所述，本实施方式的信息解析电路53由GP-GPU(General-purpose computingon graphics processing units：图形处理单元中的通用计算)构成。如上所述，该GP-GPU是基于GPU(Graphics Processing Units：图形处理单元)的通用计算处理技术。

然而，在本实施方式中，虽然采用处理速度更加高速化的GP-GPU，但如上所述，用于计算机支援诊断(CAD)功能的识别处理需要庞大的计算处理。因此，即便采用了高速化的GP-GPU，在本实施方式的信息解析电路53中，输出的解析结果信号也可能相对于输入的解析用图像数据(第2图像信息信号)产生延迟。

当产生了这样延迟时，监视器所显示的图像相对于内窥镜的运动而变慢，因此，可能对内窥镜操作带来障碍，本申请发明是鉴于这种情况而完成的，即便在信息解析电路53中实施计算机支援诊断(CAD)等高度识别处理且进一步提高了识别处理的精度，也能够抑制从该图像处理装置5输出的影像信号的延迟效果。

＜信息附加电路52的结构＞

接着，对信息附加电路52的结构详细进行说明。

图5是示出本实施方式的图像处理装置5中的信息附加电路52的结构的框图。

如上所述，信息附加电路52在本实施方式中与所述影像分配电路51一起由FPGA(field-programmable gate array：现场可编程门阵列)55形成。具体而言，输入所述第3图像信息信号及所述解析结果信号的信息附加信号输出电路81形成于FPGA55。

另外，所述第3图像信息信号一起在所述影像分配电路51中被生成并朝向该信息附加电路52被输出。此外，所述解析结果信号在所述信息解析电路53中被生成并朝向该信息附加电路52被输出。

＜信息附加信号输出电路81＞

信息附加信号输出电路81首先输入在影像分配电路51的输出影像用图像处理电路72中生成并输出的输出用图像数据(第3图像信息信号)。如上所述，该输出用图像数据(第3图像信息信号)是在输出影像用图像处理电路72中对与从视频处理器3输出的内窥镜图像相关的摄像信号(第1图像信息信号)实施规定的图像处理而得到的图像数据，在延迟被抑制到最小限度的状态下从该输出影像用图像处理电路72被输出而输入到信息附加信号输出电路81。

另一方面，信息附加信号输出电路81输入从信息解析电路53中的信息解析结果输出电路91输出的解析结果信号。

信息附加信号输出电路81的特征在于，将延迟被抑制到最小限度的所述输出用图像数据(第3图像信息信号)与可能产生相对大的延迟的所述解析结果信号合成，生成第4图像信息信号，并向后级的例如监视器6输出。

＜本实施方式的作用＞

接着，参照图6对本实施方式的作用进行说明。

图6是说明第1实施方式的图像处理装置中的影像分配电路、信息附加电路及信息解析电路的作用的时序图。

如上所述，向信息解析电路53中的信息解析结果输出电路91输入从影像分配电路51中的信息解析用图像处理电路71输出的解析用图像数据(第2图像信息信号)。

此时，如图6所示，假设向影像分配电路51输入的第1图像信息信号所相关的影像输入帧为(N、N+1、N+2、N+3、N+4、N+5、N+6···)。在影像分配电路51的信息解析用图像处理电路71中，基于该影像输入，如上述那样生成解析用图像数据，作为第2图像信息信号朝向信息解析电路53输出。

另外，从影像分配电路51向信息附加电路52输出相对于第1图像信息信号将延迟抑制到最小限度的第3图像信息信号，作为输出用图像数据。

之后，在输入了该第2图像信息信号的信息解析电路53的信息解析结果输出电路91中实施上述识别处理，但此时，例如如图6所示，跨越帧N与帧N+1的连续帧而进行针对帧N的识别处理。然后，将该识别处理中的解析结果信号向后级的信息附加电路52输出。

此外，信息解析结果输出电路91跨越帧N+2与帧N+3的连续帧而进行针对帧N+2的识别处理，将该识别处理中的解析结果信号接在上述的针对帧N的解析结果信号之后向后级的信息附加电路52输出。

信息附加电路52中的信息附加信号输出电路81首先输入在影像分配电路51的输出影像用图像处理电路72中生成并输出的输出用图像数据(第3图像信息信号)。如上所述，该输出用图像数据(第3图像信息信号)在延迟被抑制到最小限度的状态下被输出，在信息附加信号输出电路81中，将该信号作为图6所示的影像输出帧而输出。

另一方面，信息附加信号输出电路81将如上述那样从信息解析电路53中的信息解析结果输出电路91按照时间序列连续输出的解析结果与所述影像输出帧重叠。具体而言，进行将在信息解析结果输出电路91中如上述那样求出的解析结果、即针对帧N的识别处理的解析结果、针对帧N+2的识别处理的解析结果···适当重叠于该影像输出帧(N、N+1、N+2、N+3、N+4、N+5、N+6···)的处理。

信息附加电路52中的信息附加信号输出电路81将重叠了上述的解析结果的所述影像输出帧(N、N+1、N+2、N+3、N+4、N+5、N+6···)作为第4图像信息信号朝向后级的例如监视器6等输出。

这里，如上所述，从影像分配电路51(输出影像用图像处理电路72)朝向信息附加电路52(信息附加信号输出电路81)输出的输出用图像数据(第3图像信息信号)在延迟被抑制到最小限度的状态下被输出。此外，从信息附加信号输出电路81将该信号作为影像输出帧而输出。具体而言，如图6所示，在将1帧的期间设为“f”时，该影像输出帧相对于所述影像输入帧的延迟例如成为“0.1f”以内。

与此相对，在将经过了第1路径(即，在信息解析电路53中对从影像分配电路51输出的第2图像信息信号实施规定的识别处理，并将该识别处理中的解析结果朝向信息附加电路52输出的信息解析处理路径)的解析结果与所述影像输出帧重叠的情况下，实际上反映出该解析结果的帧可能会产生几帧的延迟。

具体而言，例如如图6所示，还考虑针对帧N的识别处理的解析结果被重叠于影像输出帧中的帧N+3～N+4，并且针对帧N+2的识别处理的解析结果被重叠于影像输出帧中的帧N+5～N+6，在该情况下，产生几帧的反映延迟。

这样，从信息解析电路53(信息解析结果输出电路91)输出的“解析结果信号”中的实际上实施了识别处理的影像信号成为相对于输入到该信息解析电路53的时间点的解析用图像数据(第2图像信息信号)而延迟了几帧(图6的例子中约3帧)的状态。

但是，在本实施方式的图像处理装置5中，虽然经过了第1路径的解析结果信号(信息解析电路53中的实施了识别处理的解析结果信号)相对于影像输入帧确实产生几帧的延迟，但实际上从信息附加电路52输出的第4图像信息信号输出基于延迟被抑制到最小限度的来自第2路径的图像信息信号(第3图像信息信号)的影像输出帧，因此，在监视器所显示的图像信号中不会产生因延迟引起的不适感。

另一方面，针对该延迟被抑制到最小限度的影像输出帧，重叠有实施了延迟几帧的量的识别处理的解析结果，因此，能够对监视器所显示的图像信号附加充分必要的识别处理解析信息。

如以上说明的那样，根据本实施方式的图像处理装置5，能够设置如下两个路径：第2路径，在该第2路径中，输入从外部装置(在本实施方式中为视频处理器3)连续输出的第1图像信息信号(例如包含内窥镜图像的图像)，并输出相对于该输入的第1图像信息信号延迟被抑制到最小限度的图像信号(第3图像信息信号)；第1路径，在该第1路径中，生成并输出针对该第1图像信息信号实施了用于实施规定的解析(例如，识别处理等信息解析)的预处理而得到的第2图像信息信号，并且生成并输出针对该第2图像信息信号实施了识别处理等信息解析而得到的解析结果信号，所述图像处理装置5能够将所述延迟被抑制到最小限度的第3图像信息信号与准确地实施了识别处理等信息解析的解析结果信号合成而作为第4图像信息信号进行输出。

由此，根据本实施方式的图像处理装置，可提供即便实施了处理负荷多且容易产生相对大的延迟的识别处理也能够抑制所输出的影像信号的延迟效果的图像处理装置。

此外，本实施方式的图像处理装置针对第2路径中的延迟被抑制到最小限度的第3图像信息信号，能够容易地实施视觉上优选的色调的校正或强调校正，因此能够在延迟的影响较小并维持提供给用户的图像的品质的状态下，实施计算机支援诊断(CAD)等高度的识别处理。

＜第2实施方式＞

接着，对本发明的第2实施方式进行说明。

第2实施方式的图像处理装置的主要结构与第1实施方式相同，但特征在于，仅信息解析电路的结构不同。因此，这里仅说明与第1实施方式的差异，省略共同部分的说明。

＜第2实施方式中的信息解析电路253的结构＞

图9是示出本发明的第2实施方式的图像处理装置中的信息解析电路的结构的框图。

在第2实施方式中，信息解析电路253与第1实施方式同样地由GP-GPU构成，具有信息解析结果输出电路91，该信息解析结果输出电路91输入从影像分配电路51输出的第2图像信息信号(解析用图像数据)，对该第2图像信息信号(解析用图像数据)实施规定的解析(在本实施方式中为基于识别处理的解析)，输出该解析结果。

此外，如图9所示，信息解析电路253具备解析结果校正电路92，该解析结果校正电路92对来自所述信息解析结果输出电路91的解析结果实施规定的校正之后，朝向后级的信息附加电路52输出校正后的解析结果信号。

与第1实施方式同样，在第2实施方式中，信息解析结果输出电路91也对在影像分配电路51的信息解析用图像处理电路71中生成的解析用图像数据(第2图像信息信号)实施与所谓的计算机支援诊断(CAD)功能相关的识别处理以及进行该识别处理所需的图像处理，将该识别处理的解析结果向后级的解析结果校正电路92输出。

解析结果校正电路92基于从信息解析结果输出电路91按照时间序列连续输出的、所述识别处理的解析结果中的至少连续的2个解析结果，对解析结果进行校正，将该校正后的解析结果作为解析结果信号朝向信息附加电路52中的信息附加信号输出电路81输出。具体而言，解析结果校正电路92基于至少连续的2个解析结果，对连续图像中的关注区域的图像内的移动进行解析，输出使重叠的框的位置最佳化后的结果作为解析结果信号。

通过该解析结果校正电路92的作用，即便在解析结果的重叠中产生延迟，也能够利用运动量对解析结果进行校正，例如，当将N+2帧的解析结果与N+5重叠时，能够根据N帧的解析结果和N+2帧的解析结果，来估计在N+5帧中关注区域可能位于哪个位置。

此外，在第2实施方式中，信息附加电路52将从解析结果校正电路92输出的校正后的解析结果信号与第3图像信息信号(参照图6的影像输出帧)重叠。

其他结构、作用与第1实施方式相同。

在本第2实施方式的图像处理装置中，起到与第1实施方式同样的效果，并且，通过基于至少连续的2个解析结果对解析结果进行校正，能够使更加准确的识别处理解析信息与影像输出帧重叠。

＜第3实施方式＞

接着，对本发明的第3实施方式进行说明。

图10是示出本发明的第3实施方式的图像处理装置中的影像分配电路的结构的框图，图11是示出第3实施方式的图像处理装置中的信息解析电路的结构的框图，图12是示出第3实施方式的图像处理装置中的信息附加电路的结构的框图。

第3实施方式的图像处理装置的主要结构与第1实施方式相同，但特征在于，影像分配电路351、信息解析电路353及信息附加电路352的结构不同。这里，仅说明与第1实施方式的差异，省略共同部分的说明。

在本第3实施方式中，影像分配电路351及信息附加电路352也构成为如下电路，该电路形成在配设于图像处理装置5内的所谓FPGA(field-programmable gate array：现场可编程门阵列)55中。

此外，在本第3实施方式中，信息解析电路353是由作为基于GPU(GraphicsProcessing Units：图形处理单元)的通用计算处理技术的GP-GPU(General-purposecomputing on graphics processing units：图形处理单元中的通用计算)构成的电路。

＜第3实施方式中的影像分配电路351的结构＞

图10是示出第3实施方式中的影像分配电路351的结构的框图。

在第3实施方式中，影像分配电路351的特征也在于，输入从作为外部装置的视频处理器3连续输出的第1图像信息信号，至少向第1路径输出与所输入的该第1图像信息信号相应的第2图像信息信号，并且向第2路径输出第3图像信息信号，该第3图像信息信号是与所述第1图像信息信号相应的图像信息信号，并且是与所述第2图像信息信号不同的图像信息信号。

第3实施方式中的影像分配电路351与第1实施方式同样地具有信息解析用图像处理电路71，该信息解析用图像处理电路71基于所述第1图像信息信号，生成并输出所述第2图像信息信号(解析用图像数据)。信息解析用图像处理电路71的作用效果等与第1实施方式同样，因此，这里省略说明。

另一方面，影像分配电路351具有输出影像用图像处理电路72，该输出影像用图像处理电路72基于所述第1图像信息信号，生成并输出所述第3图像信息信号。该输出影像用图像处理电路72的作用效果等也与第1实施方式同样，因此，这里省略说明。

＜同步信号生成电路73＞

本第3实施方式的影像分配电路351具有同步信号生成电路73，该同步信号生成电路73生成并输出与所述第1图像信息信号同步的同步信号。在该同步信号生成电路73中生成的同步信号被输出到后述的信息附加电路352中的图像生成定时调整电路82。

另外，在本第3实施方式中，同步信号生成电路73设置在影像分配电路351内，但不限于此，也可以形成于FPGA55中的其他位置，此外，还可以构成为FPGA55以外的电路。

＜第3实施方式中的信息解析电路353的结构＞

接着，对第3实施方式中的信息解析电路353的结构详细进行说明。

图11是示出本第3实施方式中的信息解析电路353的结构的框图。

在第3实施方式中，如上所述，信息解析电路353与第1实施方式同样由GP-GPU构成，输入从影像分配电路351输出的第2图像信息信号(解析用图像数据)，对该第2图像信息信号(解析用图像数据)实施规定的解析(在本实施方式中为基于识别处理的解析)，将该解析结果朝向信息附加电路352输出。

此外，如图11所示，信息解析电路353具备：信息解析结果输出电路91，其输入所述第2图像信息信号(解析用图像数据)，实施规定的解析，并输出该解析结果；以及解析完成通知输出电路93，其在信息解析结果输出电路91中的解析每次完成时生成规定的完成通知信号，朝向信息附加电路52输出该完成通知信号。

另外，第3实施方式中的信息解析结果输出电路91的主要作用效果与第1实施方式同样，因此这里省略说明。

＜解析完成通知输出电路93＞

本第3实施方式中的解析完成通知输出电路93在每次从信息解析结果输出电路91输出针对第2图像信息信号的识别处理的解析结果即“解析结果信号”时，生成表示完成了该解析的“完成通知信号”，将该“完成通知信号”朝向信息附加电路352中的图像生成定时调整电路82输出。

＜第3实施方式中的信息附加电路352的结构＞

接着，对第3实施方式中的信息附加电路352的结构详细进行说明。

图12是示出本实施方式中的信息附加电路352的结构的框图。

信息附加电路352在本第3实施方式中也与第1实施方式同样，与所述影像分配电路351一起由FPGA(field-programmable gate array：现场可编程门阵列)形成。具体而言，在FPGA55上形成输入所述第3图像信息信号及所述解析结果信号的信息附加信号输出电路81和输入所述同步信号及所述完成通知信号的图像生成定时调整电路82。

另外，所述第3图像信息信号及所述同步信号一起在所述影像分配电路351中被生成，并朝向该信息附加电路352被输出。此外，所述解析结果信号及所述完成通知信号一起在所述信息解析电路353中被生成，并朝向该信息附加电路352被输出。

＜图像生成定时调整电路82＞

在第3实施方式中，图像生成定时调整电路82首先输入在影像分配电路351的同步信号生成电路73中生成的所述同步信号。如上所述，该同步信号是基于向影像分配电路351输入的第1图像信息信号而在同步信号生成电路73中生成的同步信号。

另一方面，图像生成定时调整电路82输入从信息解析电路353中的解析完成通知输出电路93输出的“完成通知信号”。如上所述，该“完成通知信号”是表示在每次输出针对第2图像信息信号的识别处理的解析结果即“解析结果信号”时完成了该解析的信号。

图像生成定时调整电路82基于所述同步信号而生成影像输出定时基准，并朝向信息附加信号输出电路81输出该影像输出定时基准，使得在信息负荷信号输出电路81刚刚接收到解析结果信号之后，能够将该解析结果重叠于影像输出帧的适当的帧。

另外，图像生成定时调整电路82生成相对于来自同步信号生成电路73的所述同步信号具有规定的相位差的信号作为所述影像输出定时基准。或者，图像生成定时调整电路82生成相对于来自同步信号生成电路73的所述同步信号具有规定的时间差分的信号作为所述影像输出定时基准。此外，图像生成定时调整电路82生成来自同步信号生成电路73的所述同步信号的倍频或分频后的信号作为所述影像输出定时基准。

＜第3实施方式中的信息附加信号输出电路81＞

另一方面，在第3实施方式中，首先与第1实施方式同样，信息附加信号输出电路81输入在影像分配电路351的输出影像用图像处理电路72中生成并输出的输出用图像数据(第3图像信息信号)。

另一方面信息附加信号输出电路81输入从信息解析电路353中的信息解析结果输出电路91输出的解析结果信号，此外，输入从图像生成定时调整电路82输出的所述影像输出定时基准信号。

而且，在第3实施方式中，信息附加信号输出电路81在刚刚根据该影像输出定时基准信号的定时接收到来自信息解析电路353的解析结果信号之后，将该解析结果重叠于影像输出帧的适当的帧。

图13是说明第3实施方式的图像处理装置中的影像分配电路、信息附加电路及信息解析电路中的作用的时序图。

具体而言，例如如图13所示，现在控制为，在信息解析电路353的识别处理中实施跨越帧的处理的情况下，当信息附加信号输出电路81接收的帧“N”的“完成通知信号”是在影像输出帧中稍微超过帧“N+3”的开头定时的定时时，按照从图像生成定时调整电路82输出的所述影像输出定时基准信号，使帧“N+3”的开头定时稍微错开，将帧“N”的解析结果信号与帧“N+3”重叠。

这样，根据本第3实施方式的图像处理装置，通过控制向影像输出帧重叠解析结果信号的定时，能够在刚刚接收到信息解析电路353中的解析结果信号之后，使该解析结果信号与影像输出帧的适当的帧重叠，能够使输出图像信号更加准确地反映识别处理结果。

本发明不限于上述实施方式，在不改变本发明的主旨的范围内能够进行各种变更、改变等。