辅助系统、辅助装置、被辅助装置

技术领域

本发明涉及用于指导者从远程位置对施术者进行指导的技术。

背景技术

已知如下辅助系统：施术者能够一边接受处于远程位置的指导者的指示一边对患者施行手术。该辅助系统例如用于经验少的执刀医生(施术者)一边接受经验丰富的指导医生(指导者)的指导一边进行手术时等。

根据专利文献1公开的发明，将插入患者的内窥镜的摄像图像(以下也记载为内窥镜图像)显示的监视器被设置于远程位置，处于远程位置的指导医生能够一边观察在该监视器显示的内窥镜图像一边输入指示。而且，在手术室侧的监视器显示将在远程位置输入的指示内容重叠于内窥镜图像而成的合成图像，执刀医生能够一边接受处于远程位置的指导医生的指示一边对患者进行手术。

根据上述的辅助系统，即使是经验少的施术者，也能够通过请指导者观察在监视器显示的摄像图像并接受指示来对患者可靠地进行手术，并且能够提高施术者自身的技能。

现有技术文献

专利文献

专利文献1：日本特开2000-271147号公报

发明内容

发明所要解决的问题

在上述的内窥镜手术等、要求施术对象(患者)的安全性那样的领域中采用这样的辅助系统的情况下，也考虑到仅显示指导者的指示内容，施术者难以理解指导者的指示内容的情况。

本发明是鉴于上述情形而做出的，目的在于提供处于远程位置的指导者能对施术者进行适当的辅助的辅助系统。

用于解决问题的方案

本发明涉及的信息处理装置是辅助系统，所述辅助系统具备被辅助装置、与所述被辅助装置分离地设置的辅助装置，所述辅助装置具备：三维位置检测部，其三维地检测指导者的手的位置；以及数据发送部，其发送表示由所述三维位置检测部检测出的手的位置的位置信息，所述被辅助装置具备：第一图像生成部，其基于所发送的三维的位置信息，生成模拟所述指导者的手而成的三维的手模型图像；以及第一图像合成部，其对于由所述被辅助装置拍摄到的摄像图像合成所述手模型图像来生成第一合成图像。

由此，在被辅助装置中，显示模拟处于远程位置的指导者的手而成的手模型图像，因此施术者能够掌握指导者的手的运动。因而，施术者能够更准确地理解指导者的指示内容。

发明的效果

根据本发明，处于远程位置的指导者能够对施术者进行适当的辅助。

附图说明

图1是说明辅助系统的图。

图2是示出内窥镜图像的图。

图3是示出将内窥镜图像与手模型图像重叠而成的合成图像的图。

图4是示出将内窥镜图像与手模型图像以及注释图像重叠而成的合成图像的图。

图5是示出将内窥镜图像与注释图像重叠而成的合成图像的图。

图6是示出施术侧装置的结构的一个例子的框图。

图7是示出指导侧装置的结构的一个例子的框图。

图8是说明第一实施方式中的辅助系统的功能结构以及数据流的图。

图9是说明在生成三维的手模型图像时的三维虚拟空间的图。

图10是说明三维的手模型图像的生成方法的图。

图11是说明在生成三维的手模型图像以及注释图像时的三维虚拟空间的图。

图12是说明三维的手模型图像以及注释图像的生成方法的图。

图13是说明在生成三维的注释图像时的三维虚拟空间的图。

图14是说明三维的注释图像的生成方法的图。

图15是示出将基于施术侧合成图像数据而成的合成图像与基于3D图像数据而成的手模型图像以及注释图像重叠而成的合成图像的图。

图16是说明视差调整时的三维的注释图像的生成方法的图。

图17是说明第二实施方式中的辅助系统的功能结构以及数据流的图。

具体实施方式

以下说明实施方式。而且，以下说明的各结构只不过是用于实现本发明的一个例子。因而，如果不脱离本发明的技术思想的范围，能够根据设计等进行各种变更。另外，对于已经说明过的结构，为了避免重复，之后有时会标注相同附图标记并省略再次的说明。

<1.第一实施方式>

[1-1.辅助系统的概要]

图1是说明辅助系统1的图。图2是示出内窥镜图像50的图。图3是示出将内窥镜图像50与手模型图像51重叠而成的合成图像53的图。图4是示出将内窥镜图像50与手模型图像51以及注释图像52重叠而成的合成图像54的图。图5是示出将内窥镜图像50与注释图像52重叠而成的合成图像55的图。

而且，手模型图像51以及注释图像52实际上是3D(三维)图像，但在图3至图5中以2D(二维)图像示出。另外，内窥镜图像50既可以是3D图像也可以是2D图像，但在图2至图5中以2D图像示出。

如图1所示，辅助系统1具备：处于手术室Rm1的施术者4使用的施术侧装置2；以及处于与手术室Rm1分离的指导室Rm2的指导者6使用的指导侧装置3。因而，施术侧装置2与指导侧装置3分离地设置。

例如假定施术者4是患者5的执刀医生，指导者6是指导施术者4的指导医生，用辅助系统1，施术者4能够一边确认指导者6的指示一边对患者5进行手术。

施术侧装置2具备内窥镜11以及3D监视器12。指导侧装置3具备3D监视器21以及三维位置检测部22。

3D监视器12以及3D监视器21是如下监视器：在LCD(Liquid Crystal Display，液晶显示器)等平板显示器，不同的偏光方向的偏光滤光片在奇数列的行(水平方向的像素列)与偶数列的行交替地重叠，能够以所谓的逐行(line by line)方式显示3D(三维)图像。

而且，3D监视器12以及3D监视器21中，例如在奇数列的行重叠有右旋圆偏光滤光片，在偶数列的行重叠有左旋圆偏光滤光片。

施术者4佩戴偏光眼镜7来观察确认3D监视器12。在偏光眼镜7的右眼侧和左眼侧安装有不同的偏光方向的偏光滤光片。而且，偏光眼镜7例如在右眼侧安装有右旋圆偏光滤光片，在左眼侧安装有左旋圆偏光滤光片。

因而，在佩戴着偏光眼镜7的施术者4观察确认3D监视器12时，右眼仅能看到奇数列的行的图像，左眼仅能看到偶数列的行的图像。

同样地，指导者6在佩戴偏光眼镜7观察确认3D监视器21时，右眼仅能看到奇数列的行的图像，左眼仅能看到偶数列的行的图像。

这样，3D监视器12以及3D监视器21使施术者4以及指导者6分别经由偏光眼镜7看到右眼以及左眼不同的图像(视差图像)，由此能够看到3D图像。

而且，3D监视器12以及3D监视器21在奇数列的行和偶数列的行显示同一图像，由此也能够使施术者4以及指导者6看到2D图像。

在辅助系统1中，施术侧装置2中，例如向患者5的体腔内插入内窥镜11，由此如图2所示那样的体腔内的内窥镜图像50显示于3D监视器12。施术者4能够在3D监视器12确认内窥镜图像50。而且，内窥镜图像50可以是3D图像，另外也可以是2D图像。

内窥镜图像50也显示于处于指导室Rm2的指导侧装置3的3D监视器21。指导者6能够在指导室Rm2用3D监视器21确认内窥镜图像50。

在后详述，指导侧装置3能够由三维位置检测部22三维地检测指导者6的手的位置(坐标)。在指导侧装置3中，基于由三维位置检测部22检测出的指导者6的手的位置，在内窥镜图像50上显示模拟指导者6的手而成的三维的手模型图像51。

即，在指导侧装置3中，在3D监视器21显示如图3所示那样的、将内窥镜图像50与手模型图像51重叠而成的合成图像53。

由此，指导者6能够一边通过手模型图像51三维地确认自身的手相对于内窥镜图像50的运动一边输入指示内容。

另外，在指导侧装置3中，能够根据由三维位置检测部22检测的指导者6的手的既定的运动(手势)来将指示内容进行操作输入。进行该输入，由此在指导侧装置3中在内窥镜图像50上显示注释图像52，该注释图像52表示指导者6的指示内容(操作输入)。

即，在指导侧装置3中，在3D监视器21显示如图4所示那样的、将内窥镜图像50与手模型图像51以及注释图像52重叠而成的合成图像54。

由此，指导者6能够通过注释图像52三维地确认自身对于内窥镜图像50的指示内容。

另一方面，在施术侧装置2中，基于指导者6的指示内容，在3D监视器12显示如图5所示那样的、将内窥镜图像50与注释图像52重叠而成的合成图像55。

由此，施术者4能够一边三维地确认在3D监视器12显示的指导者6的指示内容一边对患者5进行手术。

[1-2.施术侧装置2的结构]

图6是示出施术侧装置2的结构的一个例子的框图。如图6所示，施术侧装置2构成为，除了包括内窥镜11以及3D监视器12以外，还包括具备CPU(Central Processing Unit，中央处理器)13、ROM(Read Only Memory，只读存储器)14、RAM(Random Access Memory，随机存储器)15、GPU(Graphics Processing Unit，图形处理器)16在内的计算机。

CPU 13根据在ROM 14或者存储部19存储的程序来执行各种处理。在RAM 15也适当存储CPU 13执行各种处理所需的数据等。

GPU 16根据来自CPU 13的描绘指令，进行基于3D计算机制图的描绘处理(例如着色处理)，并将描绘处理后的图像保存在未图示的帧缓冲器。而且，GPU 16将保存在帧缓冲器中的图像输出至3D监视器12。

CPU 13、ROM 14、RAM 15以及GPU 16经由总线17相互连接。总线17也与内窥镜11、3D监视器12、通信部18、存储部19连接。

通信部18在与指导侧装置3之间通过有线或者无线进行通信。

存储部19例如由HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态驱动器)等存储介质构成。在存储部19例如能够存储各种信息。另外，存储部19也能够用于保存程序数据，该程序数据用于使CPU 13执行各种处理。

图7是示出指导侧装置3的结构的一个例子的框图。如图7所示，指导侧装置3构成为，除了包括3D监视器21以及三维位置检测部22以外，还包括具备CPU 23、ROM 24、RAM 25、GPU 26的计算机。

CPU 23根据在ROM 24或者存储部29存储的程序来执行各种处理。在RAM 25也适当存储CPU 23执行各种处理所需的数据等。

GPU 26根据来自CPU 23的描绘指令，进行基于3D计算机制图的描绘处理(例如着色处理)，并将描绘处理后的图像保存在未图示的帧缓冲器。而且，GPU 26将保存在帧缓冲器中的图像输出至3D监视器21。

CPU 23、ROM 24、RAM 25以及GPU 26经由总线27相互连接。总线27也与3D监视器21、三维位置检测部22、通信部28、存储部29连接。

通信部28在与施术侧装置2之间通过有线或者无线进行通信。

存储部29例如由HDD、SSD等存储介质构成。在存储部29例如能够存储各种信息。另外，存储部29也能够用于保存程序数据，该程序数据用于使CPU23执行各种处理。

图8是说明第一实施方式中的辅助系统1的功能结构以及数据流的图。如图8所示，施术侧装置2的GPU 16作为图像生成部31以及图像合成部32发挥功能。另外，施术侧装置2的通信部18作为数据发送部33发挥功能。

指导侧装置3的通信部28作为数据发送部41发挥功能。另外，指导侧装置3的GPU26作为图像生成部42以及图像合成部43发挥功能。

内窥镜11具有摄像部件，对由摄像部件获得的摄像图像信号进行既定的信号处理来生成内窥镜图像50，并将内窥镜图像50的图像数据(以下记载为内窥镜图像数据Id)输出至图像合成部32。而且，在内窥镜图像50为3D图像的情况下，内窥镜11具有两个摄像部件，基于由各个摄像部件获得的摄像图像信号来生成两个内窥镜图像50(视差图像)。

图像生成部31基于从指导侧装置3发送来的指示内容信息CI来生成注释图像52，并将注释图像52的图像数据(以下记载为3D图像数据Pd1)输出至图像合成部32。

这里，指示内容信息CI包括由操作输入指定的坐标、线的种类、色彩、线宽等信息。

图像合成部32基于所输入的各种图像数据来合成图像。在第一实施方式中，图像合成部32将基于内窥镜图像数据Id而成的内窥镜图像50与基于3D图像数据Pd1而成的注释图像52合成来生成合成图像55。

而且，图像合成部32将合成图像55的图像数据(以下记载为施术侧合成图像数据Cd1)输出至数据发送部33以及3D监视器12。

而且，图像合成部32在没有被输入3D图像数据Pd1的情况下，不会生成合成图像55，而将内窥镜图像数据Id输出至数据发送部33以及3D监视器12。

因而，在3D监视器12基于内窥镜图像数据Id或施术侧合成图像数据Cd1进行显示。即，在3D监视器12显示内窥镜图像50或合成图像55。

数据发送部33将各种数据发送至指导侧装置3。例如，数据发送部33发送从图像合成部32输入的内窥镜图像数据Id或施术侧合成图像数据Cd1。

三维位置检测部22包括三维地测定指导者6的手的位置(坐标)的传感器，例如是Ultraleap公司制造的Leap Motion Controller(手势控制器)。

三维位置检测部22具有红外线照射部以及立体红外线照相机等，用立体红外线照相机对从红外线照射部照射的红外线射到指导者6的手并进行反射时的反射光进行拍摄，由此获得立体红外线图像。

而且，三维位置检测部22对获得的立体红外线图像进行图像分析，由此三维地检测在三维空间内指导者6的手(手指、手掌等)的关节位置以及手指前端位置(以下仅将这些记载为指导者6的手的位置)。而且，这里的位置是用以既定的原点位置为基准的三维坐标表示的位置。

另外，三维位置检测部22基于位置信息PI(操作输入)三维地检测指导者6的指示内容。例如，三维位置检测部22基于检测出的位置信息PI，在检测出指导者6的拇指的前端与食指的前端接触的手势的情况下，对以拇指的前端与食指的前端接触的状态移动的轨迹进行检测来作为指示内容。

三维位置检测部22将表示检测出的指导者6的手的位置的位置信息PI输出至图像生成部42，并且将表示检测出的指导者6的指示内容的指示内容信息CI输出至图像生成部42以及数据发送部41。

数据发送部41将各种数据发送至施术侧装置2。在第一实施方式中，数据发送部41发送从三维位置检测部22输入的指示内容信息CI。

图像生成部42基于从三维位置检测部22输入的位置信息PI以及指示内容信息CI，生成手模型图像51或者手模型图像51以及注释图像52，并将这些图像数据(以下记载为3D图像数据Pd2)输出至图像合成部43。

图像合成部43基于所输入的各种图像数据来合成图像。例如，图像合成部43将基于内窥镜图像数据Id而成的内窥镜图像50与基于3D图像数据Pd2而成的手模型图像51或者手模型图像51以及注释图像52合成，由此生成合成图像53、54。而且，图像合成部43将生成的合成图像53、54的图像数据(以下记载为指导侧合成图像数据Cd2)输出至3D监视器21。

而且，图像合成部43在没有被输入3D图像数据Pd2的情况下，不会生成合成图像53、54，而将内窥镜图像数据Id输出至3D监视器21。

因而，在3D监视器21基于内窥镜图像数据Id或指导侧合成图像数据Cd2进行显示。即，在3D监视器21显示内窥镜图像50或合成图像53、54。

[1-3.辅助系统1的详细内容]

参照图8说明第一实施方式中的辅助系统1的详细内容。

首先，施术侧装置2中，由内窥镜11获得的内窥镜图像数据Id被输入至图像合成部32。

图像合成部32在没有从图像生成部31被输入3D图像数据Pd1的情况下，将内窥镜图像数据Id输出至3D监视器12以及数据发送部33。

3D监视器12基于内窥镜图像数据Id来显示内窥镜图像50(参照图2)。由此，施术者4能够一边在3D监视器12观察患者5的体腔内的状态一边进行手术。

数据发送部33将从图像合成部32输入的内窥镜图像数据Id发送至指导侧装置3。

在指导侧装置3中，图像合成部43从施术侧装置2(数据发送部33)接收内窥镜图像数据Id。

图像合成部43在没有从图像生成部42被输入3D图像数据Pd2的情况下，将内窥镜图像数据Id输出至3D监视器21。

3D监视器21基于内窥镜图像数据Id来显示内窥镜图像50(参照图2)。由此，指导者6能够在指导室Rm2来与在手术室Rm1的施术者4共享视点，并且能够观察患者5的体腔内的状态、施术者4的施术状况。

而且，指导者6一边在3D监视器21确认内窥镜图像50一边在三维位置检测部22的检测范围内移动手。此时，三维位置检测部22检测指导者6的手的位置，并将位置信息PI输出至图像生成部42。

当位置信息PI从三维位置检测部22被输入至图像生成部42时，图像生成部42基于所输入的位置信息PI来生成三维的手模型图像51(参照图3)。

图9是说明在生成三维的手模型图像51时的三维虚拟空间的图。图10是说明三维的手模型图像51的生成方法的图。

图像生成部42基于从三维位置检测部22输入的位置信息PI，如图9所示在三维虚拟空间60上配置模拟指导者6的手的手模型63(多边形)。另外，在三维虚拟空间60，在与右眼对应的位置配置右眼用虚拟照相机61，并且在与左眼对应的位置配置左眼用虚拟照相机62。

而且，由右眼用虚拟照相机61以及左眼用虚拟照相机62对三维虚拟空间60进行摄像，由此图像生成部42分别生成如图10的上段所示的右眼用虚拟图像71以及左眼用虚拟图像72。而且，在图10中，以能够容易地区别右眼用虚拟图像71以及左眼用虚拟图像72的方式整体地标注图样(阴影线、点等)，但是实际上在右眼用虚拟图像71以及左眼用虚拟图像72并没有这些图样。

右眼用虚拟图像71以及左眼用虚拟图像72中，水平方向的像素数与3D监视器21的像素数相同，并且垂直方向的像素数为3D监视器21的像素数的一半。

图像生成部42当生成右眼用虚拟图像71以及左眼用虚拟图像72时，如图10的下段所示生成手模型图像51，该手模型图像51是将右眼用虚拟图像71以及左眼用虚拟图像72以每一水平行交替地配置而成的。即，图像生成部42用逐行方式生成三维的手模型图像51。

而且，图像生成部42将手模型图像51的3D图像数据Pd2输出至图像合成部43。

如上所述，3D监视器21是能够用在奇数列的行与偶数列的行交替地重叠不同的偏光滤光片的、所谓的逐行方式显示3D图像的监视器。

因而，基于3D图像数据Pd2，手模型图像51显示于3D监视器21，由此戴着偏光眼镜7的指导者6用右眼仅能看到右眼用虚拟图像71，用左眼仅能看到左眼用虚拟图像72。而且，右眼用虚拟图像71以及左眼用虚拟图像72分别是由在三维虚拟空间60中沿水平方向分离地配置的右眼用虚拟照相机61以及左眼用虚拟照相机62进行虚拟摄像而成的图像，因此成为所谓的视差图像。

因此，指导者6用右眼观看右眼用虚拟图像71，用左眼观看左眼用虚拟图像72，由此能够三维地观看手模型图像51。

图像合成部43生成合成图像53，该合成图像53是将基于从施术侧装置2(数据发送部33)接收到的内窥镜图像数据Id而成的内窥镜图像50与基于从图像生成部42供给的3D图像数据Pd2而成的手模型图像51重叠而成的。而且，图像合成部43将生成的合成图像53的指导侧合成图像数据Cd2输出至3D监视器21。

因而，在3D监视器21，基于从图像合成部43输入的指导侧合成图像数据Cd2来显示合成图像53。由此，指导者6能够三维地确认自身的手相对于内窥镜图像50的位置(运动)。

之后，当指导者6一边确认合成图像53一边用手的既定的运动(手势)输入指示内容时，三维位置检测部22对该既定的运动进行检测来作为指示内容。而且，三维位置检测部22将表示检测出的指示内容的指示内容信息CI输出至数据发送部41以及图像生成部42。

当位置信息PI以及指示内容信息CI从三维位置检测部22输入至图像生成部42时，图像生成部42基于从三维位置检测部22输入的位置信息PI以及指示内容信息CI来生成三维的手模型图像51以及注释图像52(参照图4)。

图11是说明在生成三维的手模型图像51以及注释图像52时的三维虚拟空间的图。图12是说明三维的手模型图像51以及注释图像52的生成方法的图。而且，与图9以及图10重复的部分是同样的，因此省略其说明。

如图11所示，图像生成部42基于位置信息PI在三维虚拟空间60上配置手模型63，并且基于指示内容信息CI在三维虚拟空间60上配置表示指示内容的指示内容模型64(多边形)。

而且，由右眼用虚拟照相机61以及左眼用虚拟照相机62对三维虚拟空间60进行摄像，由此图像生成部42分别获得如图12的上段所示那样的右眼用虚拟图像73以及左眼用虚拟图像74。

图像生成部42当生成右眼用虚拟图像73以及左眼用虚拟图像74时，如图12的下段所示生成手模型图像51以及注释图像52，该手模型图像51以及注释图像52是将右眼用虚拟图像73以及左眼用虚拟图像74以每一水平行交替地配置而成的。即，图像生成部42通过逐行方式生成三维的手模型图像51以及注释图像52。

而且，图像生成部42将手模型图像51以及注释图像52的3D图像数据Pd2输出至图像合成部43。

图像合成部43生成合成图像54，该合成图像54是将基于从施术侧装置2(数据发送部33)接收到的内窥镜图像数据Id而成的内窥镜图像50与基于从图像生成部42输入的3D图像数据Pd2而成的手模型图像51以及注释图像52重叠而成的。而且，图像合成部43将生成的合成图像54的指导侧合成图像数据Cd2输出至3D监视器21。

因而，在3D监视器21，基于从图像合成部43输入的指导侧合成图像数据Cd2来显示合成图像54。由此，指导者6能够三维地确认用自身的手的既定的运动(手势)输入的指示内容。

这里，图像生成部42使用GPU 26的着色处理来生成手模型图像51以及注释图像52。因此，在指导侧装置3中，例如能够以60Hz将合成图像53、54显示于3D监视器21，至显示合成图像53、54为止的延迟时间极短。也就是说，在3D监视器21中将时间滞后少的合成图像53、54进行显示。

由此，指导者6不会感到时间滞后，并能够三维地确认自身的手的位置以及指示内容(操作输入)。

另外，数据发送部41将从三维位置检测部22输入的指示内容信息CI发送至施术侧装置2。当向施术侧装置2发送时，发送与由图像生成部42生成的3D图像数据Pd2相比通信容量少的指示内容信息CI，由此从指导侧装置3向施术侧装置2发送数据时的通信延迟会减轻。

在施术侧装置2中，图像生成部31从指导侧装置3(数据发送部41)接收指示内容信息CI。图像生成部31基于接收到的指示内容信息CI来生成三维的注释图像52(参照图5)。

图13是说明在生成三维的注释图像52时的三维虚拟空间的图。图14是说明三维的注释图像52的生成方法的图。而且，与图9至图12重复的部分是同样的，因此省略其说明。

图像生成部31基于从指导侧装置3接收到的指示内容信息CI，如图13所示在三维虚拟空间60上配置指示内容模型64。

而且，由右眼用虚拟照相机61以及左眼用虚拟照相机62对三维虚拟空间60进行摄像，由此图像生成部31分别获得如图14的上段所示那样的右眼用虚拟图像75以及左眼用虚拟图像76。

图像生成部31当生成右眼用虚拟图像75以及左眼用虚拟图像76时，如图14的下段所示生成注释图像52，该注释图像52是将右眼用虚拟图像75以及左眼用虚拟图像76以每一水平行交替地配置而成的。即，图像生成部31通过逐行方式生成三维的注释图像52。

而且，图像生成部31将注释图像52的3D图像数据Pd1输出至图像合成部32。

图像合成部32生成合成图像55，该合成图像55是将基于从内窥镜11输入的内窥镜图像数据Id而成的内窥镜图像50与基于从图像生成部31输入的3D图像数据Pd1而成的注释图像52重叠(合成)而成的。而且，图像合成部32将生成的合成图像55的施术侧合成图像数据Cd1输出至3D监视器12以及数据发送部33。

因而，在3D监视器12，基于从图像合成部32输入的施术侧合成图像数据Cd1来显示合成图像55。由此，施术者4能够三维地确认指导者6的指示内容。

这里，图像生成部31使用GPU 16的着色处理来生成注释图像52。因此，在施术侧装置2中，例如能够以60Hz将合成图像55显示于3D监视器12，至显示合成图像55为止的延迟时间极短。也就是说，在3D监视器12中将时间滞后少的合成图像55进行显示。

由此，处于手术室Rm1的施术者4不会感到时间滞后，能够一边在3D监视器12上确认处于指导室Rm2的指导者6的指示内容一边对患者5进行施术。

数据发送部33将从图像合成部32输入的施术侧合成图像数据Cd1发送至指导侧装置3。

图15是示出合成图像56的图，该合成图像56是将基于施术侧合成图像数据Cd1而成的合成图像55与基于3D图像数据Pd2而成的手模型图像51以及注释图像52重叠而成的。

图像合成部43当从施术侧装置2(数据发送部33)接收施术侧合成图像数据Cd1时，如图15所示生成合成图像56，该合成图像56是将基于施术侧合成图像数据Cd1而成的合成图像55(内窥镜图像50以及注释图像52)与基于从图像生成部42输入的3D图像数据Pd2而成的手模型图像51以及注释图像52重叠而成的。而且，图像合成部43将生成的合成图像56的指导侧合成图像数据Cd2输出至3D监视器21。在3D监视器21中，显示基于生成的指导侧合成图像数据Cd2而成的合成图像56。

由此，指导者6能够在3D监视器21上三维地确认分别基于施术侧合成图像数据Cd1和3D图像数据Pd2显示的注释图像52有无错开。

在产生了错开的情况下，指导者6例如能够在3D监视器21上确认如图15所示那样的注释图像52的错开。

在此，当考虑对显示内容的确认这一点时，图像生成部42可以以如下方式生成合成图像56：使基于3D图像数据Pd2而成的注释图像52成为与基于施术侧合成图像数据Cd1(3D图像数据Pd1)而成的注释图像52不同的显示方式。

例如，如图15所示，用虚线显示基于3D图像数据Pd2而成的注释图像52，由此能够与基于施术侧合成图像数据Cd1(3D图像数据Pd1)而成的注释图像52的显示(实线)相区别地显示于3D监视器21上。

如上所述，显示基于施术侧合成图像数据Cd1(3D图像数据Pd1)的注释图像52和基于3D图像数据Pd2的注释图像52这两方，使得能够进行确认，从而具有如下那样的意义。

可能会发生如下情形等：从指导侧装置3发送的指示内容信息CI例如因通信障碍等原因而在由施术侧装置2接收时其一部分缺损、或者因在各装置2、3之间的设定、3D监视器12、21的分辨率的差异等未调整而注释图像52等的显示坐标发生错开。

在该情况下，有时会因显示坐标的错开而在3D监视器21显示如图15那样的图像。

另外，在指示内容信息CI的一部分缺损的情况下，在施术侧装置2的图像生成部31中，本来应该基于接收到的指示内容信息CI来生成如图5所示那样的注释图像52，但有时会因指示内容信息CI的一部分缺损而生成仅显示一部分注释图像52的3D图像数据Pd1(以下记载为缺损3D图像数据Pd1)。

此时，在图像合成部32中，将基于缺损3D图像数据Pd1而成的注释图像52与基于内窥镜图像数据Id而成的内窥镜图像50合成，生成仅将注释图像52的一部分与内窥镜图像50重叠而成的合成图像55。

由此在3D监视器12显示缺少一部分注释图像52的合成图像55。在这样的状态下，指导者6的指示内容无法准确地反映在3D监视器12，施术者4会在无法掌握指导者6的全部指示内容的状态下进行施术。

另一方面，在指导侧装置3中，将基于从施术侧装置2接收到的施术侧合成图像数据Cd1而成的合成图像55与基于从图像生成部42输入的3D图像数据Pd2而成的注释图像52合成。此时，当基于施术侧合成图像数据Cd1(缺损3D图像数据Pd1)而成的注释图像52与基于3D图像数据Pd2而成的注释图像52完全重叠时，指导者6可能无法确认在施术侧装置2的3D监视器12的显示中注释图像52缺失。

为了使指导者6确认施术者4侧的3D监视器12的显示状况，期望以不同的方式显示基于3D图像数据Pd1、Pd2而成的图像。

因而，图像生成部42基于指示内容信息CI，生成用虚线显示的注释图像52。

由此，指导者6能够确认仅用虚线显示的注释图像52的部分没有在施术侧装置2的3D监视器12显示。

也就是说，指导者6能够容易地在3D监视器21上对自身的指示内容与施术者4观看着的3D监视器12的显示内容进行比较。

根据以上，指导者6通过看基于指导侧合成图像数据Cd2而成的合成图像56，能够看到基于3D图像数据Pd1、Pd2而成的两方的图像，从而能够确认自己的指示内容是否正确地传达给施术者4。如果能够认识到基于图像的指示没有正确地传达，指导者6能够采取必要的措施。

而且，作为用于将基于施术侧合成图像数据Cd1(3D图像数据Pd1)而成的注释图像52与基于3D图像数据Pd2而成的注释图像52进行区别的显示方式的例子，用虚线与实线来进行区别。但是，显示方式如果能够分别区别3D图像数据Pd1、Pd2则不限于此，能够通过使线宽等线的种类、色彩、亮度等不同来进行区别。另外，也能够通过高亮显示其中一者进行区别。

另外，也能考虑到要将基于施术侧合成图像数据Cd1(3D图像数据Pd1)而成的注释图像52与基于3D图像数据Pd2而成的注释图像52的不一致的部分区别地显示的情形。

另外，图像生成部31以及图像生成部42能够通过使右眼用虚拟照相机61或者左眼用虚拟照相机62在水平方向的位置错开并进行摄像，来调整三维的手模型图像51以及注释图像52的视差。

例如，当由施术者4对操作部(未图示)输入既定的操作时，图像生成部31使右眼用虚拟照相机61与左眼用虚拟照相机62以分离的方式移动，来对如图16的上段所示那样的右眼虚拟图像77以及左眼虚拟图像78进行摄像。而且，图像生成部31基于右眼虚拟图像77以及左眼虚拟图像78来生成如图16的下段所示那样的注释图像52。

由此，当将如图16的下段所示那样的注释图像52显示于3D监视器12时，注释图像52的焦点距离远，三维的注释图像52看起来远。

这样，图像生成部31以及图像生成部42能够通过使右眼虚拟图像以及左眼虚拟图像在水平方向的位置错开，来对在3D监视器12以及3D监视器21显示的手模型图像51以及注释图像52进行视差调整。

由此，能够将对于内窥镜图像50的手模型图像51以及注释图像52三维地配置在适当的位置。

<2.第二实施方式>

接着，对第二实施方式进行说明。在第二实施方式的辅助系统1中，在施术侧装置2的3D监视器12显示手模型图像51这一点与第一实施方式不同。

图17是说明第二实施方式中的辅助系统1的功能结构以及数据流的图。在第二实施方式中，当由三维位置检测部22检测位置信息PI时，位置信息PI被输出至图像生成部42以及数据发送部41。而且，数据发送部41将位置信息PI与指示内容信息CI一并发送至施术侧装置2。

施术侧装置2的图像生成部31当接收位置信息PI时，与第一实施方式中的图像生成部42同样地，在三维虚拟空间60上基于位置信息PI来配置手模型63(参照图9)。

而且，由右眼用虚拟照相机61以及左眼用虚拟照相机62对三维虚拟空间60进行摄像，由此图像生成部31分别获得如图10的上段所示那样的右眼用虚拟图像71以及左眼用虚拟图像72。

图像生成部31当生成右眼用虚拟图像71以及左眼用虚拟图像72时，如图10的下段所示生成三维的手模型图像51，该手模型图像51是将右眼用虚拟图像71与左眼用虚拟图像72以每一水平行交替地配置而成的。而且，图像生成部31将手模型图像51的3D图像数据Pd1输出至图像合成部32。

图像合成部32生成合成图像53(参照图3)，该合成图像53是将基于从内窥镜11输入的内窥镜图像数据Id而成的内窥镜图像50与基于从图像生成部31输入的3D图像数据Pd1而成的手模型图像51重叠而成的，将该合成图像53的施术侧合成图像数据Cd1输出至3D监视器12。因而，在3D监视器12显示基于施术侧合成图像数据Cd1而成的合成图像53。

由此，施术者4能够三维地确认指导者6的实际的手的位置(运动)。

另外，施术侧装置2的图像生成部31当接收位置信息PI以及指示内容信息CI时，与第一实施方式中的图像生成部42同样地，在三维虚拟空间60上基于位置信息PI来配置手模型63，并且基于指示内容信息CI来配置指示内容模型64(参照图11)。

而且，由右眼用虚拟照相机61以及左眼用虚拟照相机62对三维虚拟空间60进行摄像，由此图像生成部31分别获得如图12的上段所示那样的右眼用虚拟图像73以及左眼用虚拟图像74。

图像生成部31当生成右眼用虚拟图像73以及左眼用虚拟图像74时，如图12的下段所示生成三维的手模型图像51以及注释图像52，该手模型图像51以及注释图像52是将右眼用虚拟图像73与左眼用虚拟图像74以每一水平行交替地配置而成的。而且，图像生成部31将手模型图像51以及注释图像52的3D图像数据Pd1输出至图像合成部32。

图像合成部32生成合成图像54(参照图4)，该合成图像54是将基于从内窥镜11输入的内窥镜图像数据Id而成的内窥镜图像50与基于从图像生成部31输入的3D图像数据Pd1而成的手模型图像51以及注释图像52重叠而成的，将该合成图像54的施术侧合成图像数据Cd1输出至3D监视器12。因而，在3D监视器12显示基于施术侧合成图像数据Cd1而成的合成图像54。

由此，施术者4除了能够三维地确认指导者6的指示内容以外，还能够三维地确认指导者6的实际的手的运动。

<3.总结>

如上所述，辅助系统1具备：被辅助装置(施术侧装置2)；以及辅助装置(指导侧装置3)，其与被辅助装置(施术侧装置2)分离地设置。

辅助装置(指导侧装置3)具备：三维位置检测部22，其三维地检测指导者6的手的位置；以及数据发送部41，其发送表示由三维位置检测部22检测出的手的位置的位置信息PI。

被辅助装置(施术侧装置2)具备：第一图像生成部(图像生成部31)，其基于所发送的位置信息PI，生成模拟指导者6的手而成的三维的手模型图像51；以及第一图像合成部(图像合成部32)，其对于由被辅助装置(指导侧装置3)拍摄到的摄像图像(内窥镜图像50)合成手模型图像51来生成第一合成图像(合成图像53)。

由此，在施术侧装置2中，能够将模拟指导者6的手而成的三维的手模型图像51与内窥镜图像50重叠而成的合成图像53显示于3D监视器12。

因而，经由偏光眼镜7观察确认3D监视器12的施术者4能够通过观察确认三维的手模型图像51，来三维地从同一视点确认指导者6的实际的手的位置(运动)。即，在辅助系统1中，能够更准确地认识指导者6的指示内容。

另外，三维位置检测部22基于指导者6的手的位置，检测指导者6的指示内容，数据发送部41发送位置信息PI以及表示指示内容的指示内容信息CI。

第一图像生成部(图像生成部31)基于所发送的位置信息PI来生成手模型图像51，并且基于所发送的指示内容信息CI来生成三维的注释图像52。

第一图像合成部(图像合成部32)对于摄像图像(内窥镜图像50)合成手模型图像51以及注释图像52来生成第二合成图像(合成图像54)。

由此，经由偏光眼镜7观察确认3D监视器12的施术者4能够三维地确认指导者6的手相对于内窥镜图像50的位置以及指示内容。即，在辅助系统1中，能够更准确地认识指导者6的指示内容。

另外，辅助装置(指导侧装置3)具备：第二图像生成部(图像生成部42)，其基于由三维位置检测部22检测出的位置信息PI，生成手模型图像51；以及

第二图像合成部(图像合成部43)，其将手模型图像51合成于从被辅助装置(施术侧装置2)发送的摄像图像(内窥镜图像50)来生成第一合成图像(合成图像53)。

由此，经由偏光眼镜7观察确认3D监视器21的指导者6能够三维地确认自身的手相对于内窥镜图像50的位置。

第二图像生成部(图像生成部42)基于位置信息PI以及指示内容信息CI，生成三维的手模型图像51以及注释图像52，第二图像合成部(图像合成部43)将手模型图像51以及注释图像52合成于摄像图像(内窥镜图像50)来生成第二合成图像(合成图像54)。

由此，经由偏光眼镜7观察确认3D监视器21的指导者6能够三维地确认自身的手相对于内窥镜图像50的位置以及指示内容。

第一图像生成部(图像生成部31)使用GPU 16的着色处理，基于位置信息PI来生成右眼用手模型图像(右眼用虚拟图像71)以及左眼用手模型图像(左眼用虚拟图像72)，并通过逐行方式将右眼用手模型图像(右眼用虚拟图像71)以及左眼用手模型图像(左眼用虚拟图像72)合成，由此生成手模型图像51。

由此，在施术侧装置2中，能够使至将合成图像53显示于3D监视器12为止的延迟时间极短，能够进行时间滞后少的显示。

第一图像生成部(图像生成部31)通过使右眼用手模型图像(右眼用虚拟图像71)以及左眼用手模型图像(左眼用虚拟图像72)在水平方向的位置错开，来对三维的所述手模型图像51进行视差调整。

由此，在施术侧装置2中，在由施术者4看来手模型图像51相对于内窥镜图像50在进深方向错开的情况下，进行视差调整，由此能够调整手模型图像51相对于内窥镜图像50在进深方向的位置。因此，在施术侧装置2中，能够更准确地认识指导者6的手的运动。

<4.变形例>

而且，在本实施方式中，作为辅助系统1的一个例子，说明了施术者4能够一边接受处于远程位置的指导者6的指示一边对患者5进行施术的手术辅助系统，但辅助系统1能够广泛应用于处于远程位置的指导者6一边观察确认施术侧的摄像图像一边对施术者4进行指示的状况。

例如，能够将辅助系统1应用于运动指导中的选手和教练、教育或职业训练等学习辅助中的讲师和听讲者、远程会议中的发表者和旁听者等各种用途。

另外，在上述的实施方式中，说明了由如图1所示那样的内窥镜11进行摄像的例子，但摄像设备如果能够对施术者4侧的施术进行摄像即可，不限于内窥镜11。

另外，在上述的实施方式中，作为图1的三维位置检测部22的一个例子，由立体红外线照相机对指导者6的手的位置进行检测，但如果能够三维地检测指导者6的手的位置以及指示内容，则也可以由其它设备检测。

另外，在上述的实施方式中，GPU 16作为图像生成部31以及图像合成部32发挥功能，但也可以是CPU 13作为图像生成部31以及图像合成部32发挥功能，另外也可以是，CPU13以及GPU 16分担来作为图像生成部31以及图像合成部32发挥功能。

另外，在上述的实施方式中，GPU 26作为图像生成部42以及图像合成部43发挥功能，但也可以是CPU 23作为图像生成部42以及图像合成部43发挥功能，另外也可以是，CPU23以及GPU 26分担来作为图像生成部42以及图像合成部43发挥功能。

另外，在上述的实施方式中，在3D监视器12以及3D监视器21显示的3D图像是通过逐行方式生成的，但也可以通过其它方式生成。即，如果至少使手模型图像51以及注释图像52三维地显示于3D监视器12以及3D监视器21，则也可以是任意方法。

最后，上述的实施方式仅是例示，本发明并不限定于上述的实施方式。另外，实施方式中说明的结构的组合并非全部都是解决问题所必须的。还有，本发明中记载的效果仅为例示，并非仅限于此，可以发挥其它效果，也可以发挥本发明中记载的效果的一部分。

附图标记说明

1：辅助装置；2：施术侧装置；3：指导侧装置；11：内窥镜；12：3D监视器；16：GPU；21：3D监视器；22：三维位置检测部；26：GPU；31：图像生成部；32：图像合成部；33：数据发送部；41：数据发送部；42：图像生成部；43：图像合成部。