信息处理装置、辅助系统

技术领域

本发明涉及用于指导者从远程对施术者进行指导的技术。

背景技术

已知如下辅助系统：施术者能够一边接受处于远程的指导者的指示一边对患者施行手术。该辅助系统例如用于经验少的执刀医生(施术者)一边接受经验丰富的指导医生(指导者)的指导一边进行手术时等。

根据专利文献1公开的发明，对插入患者的内窥镜的摄像图像(以下也记载为内窥镜摄像图像)进行显示的监视器设置于远程，处于远程的指导医生能够一边观察在该监视器显示的内窥镜摄像图像一边输入指示。而且，在手术室侧的监视器显示将远程所输入的指示内容重叠于内窥镜摄像图像而成的合成图像，执刀医生能够一边接受处于远程的指导医生的指示一边对患者进行手术。

根据上述的辅助系统，即使是经验少的施术者，也能够通过请指导者观察在监视器显示的摄像图像并接受指示来对患者可靠地施行手术，并且能够提高施术者自身的技能。

现有技术文献

专利文献

专利文献1：日本特开2000-271147号公报

发明内容

发明所要解决的问题

在上述的内窥镜手术等要求对手术对象(患者)的安全性那样的领域中采用这样的辅助系统的情况下，由于要使手术中的施术者能够实时地确认患者的状态，重要的是使反映了指导者的指示内容而成的内窥镜摄像图像尽可能低延迟地显示于施术者侧的监视器。

另外，为了指导者侧也能无不适感地进行指示内容的输入，期望的是，使反映了输入而成的内窥镜摄像图像尽可能低延迟地显示于自身的监视器。

本发明是鉴于上述情形而做出的，目的在于提供处于远程的指导者能对施术者进行适当辅助的辅助系统。

用于解决问题的方案

本发明涉及如下信息处理装置，辅助系统具有第一系统和与所述第一系统分离的第二系统，所述辅助系统中的所述第二系统具有所述信息处理装置，在所述信息处理装置中，具备：数据发送部，其将生成注释图像数据所需的、基于操作输入而成的绘制信息发送至所述第一系统；图像生成部，其根据所述绘制信息来生成注释图像数据；以及图像合成部，其将由所述图像生成部生成的注释图像数据与从所述第一系统接收到的图像数据进行合成。

这里的注释图像数据是要重叠于内窥镜摄像图像的图像数据，并且是基于绘制信息而生成的图像数据。

另外，绘制信息是指通过操作输入来指定的坐标、线的种类、色彩、线宽等信息。

在上述的辅助系统中的所述第一系统中，根据所述绘制信息来生成注释图像数据，将所生成的注释图像数据与摄像图像数据进行合成由此生成合成图像数据，在所述第二系统具有的信息处理装置中，所述图像合成部将从所述第一系统接收到的所述合成图像数据与由所述图像生成部生成的注释图像数据进行合成。

由此，在第一系统和第二系统中分别生成注释图像数据。

另外，能考虑到，在所述第一系统中，根据所述绘制信息来生成注释图像数据，并将包含所生成的注释图像数据在内的多个图像数据进行合成由此生成合成图像数据，上述第二系统具有的信息处理装置的所述图像合成部将从所述第一系统接收到的所述合成图像数据与由所述图像生成部生成的注释图像数据进行合成。

由此，能够在第二系统侧确认从第一系统接收到的合成图像数据是否反映有发送至第一系统侧的绘制信息。

另外，能考虑到，上述第二系统具有的信息处理装置中的所述图像生成部生成能够与所述合成图像数据中包含的注释图像数据相区别的注释图像数据。

由此，能够将基于合成图像数据中包含的注释图像数据进行的显示与基于由图像生成部生成的注释图像数据进行的显示相区别，从而能够确认在第一系统侧是否生成了反映有基于在第二系统中的输入而成的绘制信息的注释图像数据。

本发明涉及如下信息处理装置，辅助系统具有第一系统和与所述第一系统分离的第二系统，所述辅助系统中的所述第一系统具有所述信息处理装置，在所述信息处理装置中，具备：图像生成部，其从所述第二系统接收基于操作输入而成的绘制信息，并根据接收到的所述绘制信息来生成注释图像数据；图像合成部，其将所输入的图像数据与由所述图像生成部生成的注释图像数据进行合成来生成合成图像数据；以及数据发送部，其将由所述图像合成部生成的所述合成图像数据发送至所述第二系统。

在此，每当在第一系统侧生成合成图像数据时，从第二系统接收与注释图像数据相比通信容量少的绘制信息，来代替接收该注释图像数据。

另外能考虑到，在上述的信息处理装置中，所述图像合成部的从输入多个图像数据起至输出所述合成图像数据为止的延迟时间设为小于30m秒。

由此，在第一系统侧的监视器上基于所输入的图像数据进行显示时，使目视确认该监视器的施术者不会感到延迟。

本发明涉及的辅助系统具备上述的第一系统具有的信息处理装置和第二系统具有的信息处理装置。所述的各信息处理装置相互进行通信由此实现辅助系统。

发明的效果

根据本发明，使基于处于远程的指导者的输入而成的指示内容极低延迟地显示于施术者侧和指导者侧的各监视器上，由此施术者和指导者能够实时地共享该指示内容。

附图说明

图1是示出本发明的实施方式中的辅助系统的概要的图。

图2是示出本实施方式中的内窥镜摄像图像的图。

图3是示出本实施方式中的将注释图像重叠于内窥镜摄像图像而成的合成图像的图。

图4是示意性地示出本实施方式中的辅助系统的结构的一个例子的图。

图5是示出本实施方式中的注释图像的图。

图6是示出本实施方式中的将注释图像重叠于内窥镜摄像图像而成的合成图像的图。

图7是示出本实施方式中的将注释图像重叠于内窥镜摄像图像而成的合成图像的图。

图8是示出本实施方式中的注释图像的图。

图9是示出本实施方式中的将注释图像重叠于内窥镜摄像图像而成的合成图像的图。

具体实施方式

以下，参照图1至图9来说明实施方式。

而且，在所参照的附图中记载的各结构只不过是示出了用于实现本发明的一个例子。因而，如果不脱离本发明的技术思想的范围，能够根据设计等进行各种变更。另外，对于说明过一次的结构，为了避免重复，之后有时会附加相同符号并省略再次的说明。

<1.辅助系统的概要>

图1示出辅助系统100。

在本实施方式中，作为辅助系统100的一个例子，说明在手术室Rm1的施术者1能够一边确认处于与手术室Rm1分离的指导室Rm2中的指导医生2给出的指示一边对患者3进行手术的手术辅助系统。在该手术辅助系统中，例如施术者1是患者3的执刀医生，指导者2是对该执刀医生进行指导的指导医生。

例如在患者3的体腔内插入内窥镜11，由此图2所示那样的体腔内的内窥镜摄像图像30被显示于监视器14。施术者1能够在监视器14上确认内窥镜摄像图像30。

内窥镜摄像图像30也显示在处于指导室Rm2的指导终端26的监视器25上。指导者2能够处于指导室Rm2中并用监视器25来确认内窥镜摄像图像30。

指导终端26例如是具有触摸面板27的平板终端，指导者2用手指、触屏笔等来操作触摸面板27由此能够在内窥镜摄像图像30上输入指示内容。

因该输入，图3所示那样的将表示指导者2的指示内容的注释图像41、42重叠于内窥镜摄像图像30而成的合成图像50被显示于监视器14。施术者1能够一边确认在监视器14上显示的指导者2的指示一边对患者3施行手术。

<2.辅助系统的结构>

然后，参照图4说明辅助系统100的结构。图4是示出辅助系统100的结构的一个例子的框图。

辅助系统100具有在手术室Rm1侧构成的施术侧系统10和在指导室Rm2侧构成的指导侧系统20。施术侧系统10与指导侧系统20相互分离，能够通过有线或无线的传送路来进行通信。

施术侧系统10具有内窥镜11、图像生成部12、图像合成部13、监视器14以及数据发送部15。

内窥镜11具有摄像元件，由该摄像元件获得的摄像图像信号分别被A/D变换，被变换成以像素为单位表示既定色调的亮度值的内窥镜摄像图像数据Id(是指用于显示图2所示那样的内窥镜摄像图像30的图像数据)。

图像生成部12例如由图像处理器等构成，基于从指导侧系统20发送来的绘制信息PI来生成注释图像数据Ad1。

这里绘制信息PI包括通过操作输入来指定的坐标、线的种类、色彩、线宽等信息。

另外，注释图像数据Ad1是用于与内窥镜摄像图像30重叠的、图5所示的注释图像41、42那样的图像数据，基于绘制信息PI来生成该注释图像数据Ad1。关于后述的注释图像数据Ad2也与之是同样的。

图像合成部13例如是通过由硬件构成的视频混合(video mixer)装置、由FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)等安装而成的专用电路来实现的，对所输入的各种图像数据进行合成。在本例中，在图像合成部13中内窥镜摄像图像数据Id与注释图像数据Ad1进行合成，生成施术侧合成图像数据Cd1。

监视器14例如由液晶显示器装置等构成，基于所提供的图像数据来在显示面板显示图像。在本例中，基于所提供的内窥镜摄像图像数据Id、施术侧合成图像数据Cd1来在监视器14上进行显示。

数据发送部15例如构成为能够与指导侧系统20进行通信，能够将各种数据发送到指导侧系统20。在本例中，特别是发送从图像合成部13获得的内窥镜摄像图像数据Id、施术侧合成图像数据Cd1。

然后说明指导侧系统20。

指导侧系统20具有注释接口21、数据发送部22、图像生成部23、图像合成部24以及监视器25。所述各结构例如作为指导终端26而构成为一体。

注释接口21例如由触摸面板、触摸板、鼠标、键盘等输入设备和根据对这些输入设备的操作输入来生成绘制信息PI的处理器等构成。在本实施方式中，例如指导者2用手指、触屏笔等对图1的触摸面板27进行操作由此向注释接口21进行输入。

数据发送部22例如构成为能够与施术侧系统10进行通信，能够将各种数据发送至施术侧系统10。在本例中特别是发送在注释接口21中获得的绘制信息PI。

图像生成部23例如由图像处理器等构成，根据绘制信息PI来生成注释图像数据Ad2。

图像合成部24例如是由作为硬件的视频混合装置、在信息处理装置中构成的软件混合器来实现的，将所提供的各种图像数据进行合成。在本例中，由图像合成部24来将注释图像数据Ad2与内窥镜摄像图像数据Id、施术侧合成图像数据Cd1进行合成，由此生成指导侧合成图像数据Cd2。

监视器25例如由液晶显示器装置等构成，基于所提供的图像数据来在显示面板显示图像。在本例中，例如基于指导侧合成图像数据Cd2来进行显示。

而且，作为上述的各系统10、20的一个例子，能考虑到图像生成部12、23、图像合成部13、24、数据发送部15、22由硬件构成，但各功能部的结构不限于上述。例如，各功能部的全部或一部分也可以由一个或多个硬件设备来实现。

另外，例如也可以是，各功能部中的任一者构成为具备CPU(Central Pr ocessingUnit，中央处理器)、ROM(Read Only Memory，只读存储器)、RA M(Random Access Memory，随机存储器)等的微型计算机。在该情况下，CPU基于作为存储于ROM等的软件的程序来执行处理，由此能够实现各功能。

<3.辅助系统的详细>

参照图4详细说明本实施方式中的辅助系统100。

首先在施术侧系统10中，由内窥镜11获得的内窥镜摄像图像数据Id被提供给图像合成部13。

在没有从图像生成部12提供注释图像数据Ad1的情况下，图像合成部13将内窥镜摄像图像数据Id提供给监视器14以及数据发送部15。

内窥镜摄像图像数据Id被提供给监视器14，由此在监视器14显示内窥镜摄像图像30(参照图2)。由此，施术者1能够一边用监视器14观察患者3的体腔内部的状态一边施行手术。

另外，数据发送部15将从图像合成部13提供的内窥镜摄像图像数据Id发送到指导侧系统20。

在指导侧系统20中，图像合成部24从施术侧系统10(数据发送部15)接收内窥镜摄像图像数据Id。

在没有从图像生成部23提供注释图像数据Ad2的情况下，图像合成部24将内窥镜摄像图像数据Id提供给监视器25。

通过提供内窥镜摄像图像数据Id，在监视器25显示内窥镜摄像图像30(参照图2)。由此，指导者2能够处于指导室Rm2并与处于手术室Rm1的施术者1共享视点，并且能够观察患者3的体腔内部的状态、施术者1施行手术的状况。

指导者2一边观察在监视器25显示的内窥镜摄像图像30一边对触摸面板27等输入设备进行操作，由此将表示对施术者1的指示内容的图形、文字、标记等输入至内窥镜摄像图像30上。

在注释接口21中，生成与对触摸面板27的操作输入相应的绘制信息PI。在注释接口21中获得的绘制信息PI被提供给图像生成部23和数据发送部22。

数据发送部22将从注释接口21获得的绘制信息PI发送到施术侧系统10。

每当向施术侧系统10发送时，发送与由图像生成部23生成的注释图像数据Ad2相比通信容量少的绘制信息PI，由此能减轻从指导侧系统20向施术侧系统10发送数据时的通信延迟。

在施术侧系统10中，图像生成部12从指导侧系统20(数据发送部22)接收绘制信息PI。图像生成部12根据接收到的该绘制信息PI来生成用于显示注释图像41、42(参照图5)的注释图像数据Ad1。

在图像生成部12中生成的注释图像数据Ad1被提供给图像合成部13。

图像合成部13将从内窥镜11提供的内窥镜摄像图像数据Id与从图像生成部12提供的注释图像数据Ad1进行合成来生成施术侧合成图像数据Cd1。施术侧合成图像数据Cd1是用于显示如下合成图像50(参照图3)的图像数据，该合成图像50是注释图像41、42(参照图5)重叠于内窥镜摄像图像30(参照图2)而成的。

这里，图像合成部13由硬件的视频混合装置构成，因此在从输入内窥镜摄像图像数据Id和注释图像数据Ad1起至输出施术侧合成图像数据Cd1为止的延迟时间是极短的。

而且，也能够代替硬件的视频混合装置，而由运算能力高的处理器来实现图像合成部13。该处理器执行由程序规定的合成处理，由此能够实现不逊色于硬件的视频混合装置的处理速度，例如从输入至输出为止的延迟时间小于30m秒那样的处理速度。如果是这样的情况，也可以将图像合成部13作为软件混合器来实现。

用上述的处理速度能迅速地进行合成处理，由此通过该合成处理来生成的施术侧合成图像数据Cd1被无迟滞地提供给监视器14，在监视器14中进行显示的时间滞后少。

由此，在手术室Rm1的施术者1不会感到时间滞后，能够一边在监视器14上确认处于指导室Rm2的指导者2的指示一边对患者3施行手术。

特别是，图像合成部13是硬件的视频混合装置、或者是使用处理速度极快的处理器的软件混合器装置，如上所述，如果延迟时间小于30m秒，则能够使施术者1对图像几乎不会感到时间滞后。

数据发送部15将从图像合成部13提供的施术侧合成图像数据Cd1发送到指导侧系统20。

另一方面，在指导侧系统20中，图像生成部23基于从注释接口21获得的绘制信息PI，生成用于使注释图像41、42(参照图5)显示的注释图像数据Ad2。在图像生成部23获得的注释图像数据Ad2被提供给图像合成部24。

图像合成部24将从施术侧系统10(数据发送部15)接收到的施术侧合成图像数据Cd1与从图像生成部23提供的注释图像数据Ad2进行合成来生成指导侧合成图像数据Cd2。所生成的指导侧合成图像数据Cd2被提供给监视器25。

另外，在从施术侧系统10接收到内窥镜摄像图像数据Id来代替施术侧合成图像数据Cd1的情况下，图像合成部24将内窥镜摄像图像数据Id与注释图像数据Ad2进行合成来生成指导侧合成图像数据Cd2。此时所生成的指导侧合成图像数据Cd2与上述同样被提供给监视器25。

在上述任一情况下，均会每当生成指导侧合成图像数据Cd2时将注释图像数据Ad2进行合成，因此在监视器25上显示注释图像41、42(参照图5)被重叠于内窥镜摄像图像30(参照图2)而成的合成图像50(参照图3)。

这样，与基于所发送的绘制信息PI来在施术侧系统10上生成指导侧合成图像数据Cd2的情况相比，在指导侧系统20中生成指导侧合成图像数据Cd2，能够无延迟地将指导侧合成图像数据Cd2提供给监视器25。

由此，能够在监视器25上进行图像显示而不会使对触摸面板27进行操作输入的指导者2感到精神负担。

另外，特别是在将注释图像数据Ad1进行合成而成的施术侧合成图像数据Cd1，进一步将注释图像数据Ad2进行合成来生成指导侧合成图像数据Cd2，由此指导者2能够在监视器25上确认基于施术侧合成图像数据Cd1来显示的注释图像41、42与基于注释图像数据Ad2来显示的注释图像41、42有无偏离。

在产生了偏离的情况下，指导者2例如能够在监视器25上确认图6所示那样的注释图像41、42的偏离。

在此，当考虑对显示内容的确认这点时，图像生成部23可以生成注释图像数据Ad2来作为与图像生成部12生成的注释图像数据Ad1不同的显示方式那样的图像数据。

例如，如图7所示，用虚线来显示基于注释图像数据Ad2而成的注释图像41、42，由此能够与基于施术侧合成图像数据Cd1中包含的注释图像数据Ad1而成的注释图像42的显示(实线)区别地显示在监视器25上。

而且，图7中虚线沿着实线的部分是为了方便说明而标记成那样，但实际上是相互重叠的部分。

如上所述，使基于注释图像数据Ad1的注释图像41、42和基于注释图像数据Ad2的注释图像41、42这两方进行显示，使得能够进行确认，存在如下那样的意义。

可能会发生如下情形：从指导侧系统20发送的绘制信息PI例如因通信障碍等原因而在由施术侧系统10接收时其一部分缺损、或者因在各系统10、20之间的设定、监视器14、25的分辨率的差异等未调整而注释图像41、42等的显示坐标发生偏离。

在该情况下，有时会因显示坐标的偏离而在监视器25显示图6那样的图像。

另外，在信息的一部分缺损的情况下，在施术侧系统10的图像生成部12中，本来应该基于所接收到的绘制信息PI来生成用于显示图5所示那样的注释图像41、42的注释图像数据Ad1，有时会因绘制信息PI的一部分的缺损而生成仅显示图8所示那样的注释图像42的注释图像数据Ad1(以下也标记为缺损注释图像数据Ad1)。

此时，在图像合成部13中，将由图像生成部12生成的缺损注释图像数据Ad1与内窥镜摄像图像数据Id进行合成，生成如下施术侧合成图像数据Cd1，该施术侧合成图像数据Cd1用于显示图9所示那样的仅将注释图像42重叠于内窥镜摄像图像30而成的合成图像51。

由此，基于所提供的施术侧合成图像数据Cd1，会在监视器14显示缺少注释图像41的合成图像51。在这样的状态下，指导者2的输入无法准确地反映于监视器14，施术者1会在无法掌握指导者2的全部指示的状态下施行手术。

另一方面，在指导侧系统20中，将从施术侧系统10接收到的施术侧合成图像数据Cd1与在图像生成部23中生成的用于显示注释图像41、42的注释图像数据Ad2进行合成，因此无论施术侧合成图像数据Cd1的注释图像数据Ad1是否缺损，均生成用于显示合成图像50(参照图5)的指导侧合成图像数据Cd2。

由此，在监视器25中显示基于指导侧合成图像数据Cd2而成的合成图像50，因此指导者2无法确认在施术者1侧的监视器14的显示中缺少注释图像41的情形。

为了指导者2能确认施术者1侧的监视器14的显示状况，期望的是，用不同的方式显示基于注释图像数据Ad1、Ad2而成的图像。

在此，图像生成部23基于绘制信息PI，来生成用于例如用虚线显示注释图像41、42的注释图像数据Ad2。

另外，图像合成部24将从图像生成部23提供的注释图像数据Ad2与从施术侧系统10接收的施术侧合成图像数据Cd1进行合成，来生成指导侧合成图像数据Cd2。

所生成的该指导侧合成图像数据Cd2被提供给监视器25，由此在监视器25上显示图7所示那样的合成图像52。

由此，指导者2能够确认仅用虚线显示的注释图像41的部分没有被显示于施术侧系统10的监视器14的情形。

也就是说，指导者2能够容易地在监视器25上对自身的指示内容与施术者1观看的监视器14的内容进行比较。

根据以上，指导者2通过看基于指导侧合成图像数据Cd2而成的图像，能够看到基于注释图像数据Ad1、Ad2而成的两方的图像，从而能够确认自己的指示是否正确地传达给施术者1。如果能够认识到基于图像的指示没有正确地传达的情形，指导者2能够采取必要的应对措施。

而且，在本实施方式中，作为用于将指导侧合成图像数据Cd2中的注释图像数据Ad1与注释图像数据Ad2进行区别的显示方式的例子，虽然是用虚线与实线来进行区别，但显示方式如果能够分别区别注释图像数据Ad1、Ad2则不限于此，能够通过使线宽等线的种类、色彩、亮度等不同来进行区别。另外，也能够通过高亮显示来对其中一者进行区别。

另外，也能考虑到要将由图像生成部23生成的注释图像数据Ad2中的、与注释图像数据Ad1不一致的部分进行区别地显示的情形。

<4.总结以及变形例>

根据上述的本实施方式，辅助系统100具有第一系统(施术侧系统10)、与施术侧系统10分离的第二系统(指导侧系统20)。

其中的指导侧系统20具有的信息处理装置具有数据发送部22、图像生成部23以及图像合成部24(参照图4)。

数据发送部22将生成注释图像数据Ad1所需的、基于操作输入而成的绘制信息PI发送到施术侧系统10。另外，图像生成部23根据绘制信息PI来生成注释图像数据Ad2。还有，图像合成部24将由图像生成部23生成的注释图像数据Ad2与从施术侧系统10接收到的施术侧合成图像数据Cd1(或者内窥镜摄像图像数据Id)进行合成。

在指导侧系统20中，生成注释图像数据Ad2，将所生成的注释图像数据Ad2与施术侧合成图像数据Cd1(或者内窥镜摄像图像数据Id)进行合成来生成指导侧合成图像数据Cd2，由此与接收在施术侧系统10中生成的数据相比，能够迅速地获取指导侧合成图像数据Cd2。

因而，指导者2不会受到通信延迟等影响，能够在监视器25上确认自身输入的图形等。由此，指导者2能够舒适并且准确地进行输入，因此能够对施术者1进行适当的指示。

另外，根据本实施方式，指导侧系统20的图像生成部23生成能够与施术侧合成图像数据Cd1中包含的注释图像数据Ad1相区别的注释图像数据Ad2。

由此，能够将基于注释图像数据Ad1进行的显示与基于注释图像数据Ad2进行的显示相区别，并能够确认在施术侧系统10中是否生成如下注释图像数据Ad1(参照图7)，该注释图像数据Ad1反映有基于在指导侧系统20中的输入而成的绘制信息PI。

因而，指导者2通过观看监视器25，能够容易地确认自身的指示内容是否适当地显示于施术者1观看着的监视器14上。

另外，根据本实施方式，施术侧系统10具有的信息处理装置具有图像生成部12、图像合成部13以及数据发送部15(参照图4)。

图像生成部12从指导侧系统20接收基于操作输入而成的绘制信息PI，并根据接收的绘制信息PI来生成注释图像数据Ad1。另外，图像合成部13将所输入的图像数据(内窥镜摄像图像数据Id)与由图像生成部12生成的注释图像数据Ad1进行合成来生成施术侧合成图像数据Cd1。还有，数据发送部15将由图像合成部13生成的施术侧合成图像数据Cd1(或者内窥镜摄像图像数据Id)发送到指导侧系统20。

在此，每当在施术侧系统10中在生成施术侧合成图像数据Cd1时，从指导侧系统20接收与注释图像数据Ad2相比通信容量少的绘制信息PI，来代替接收注释图像数据Ad2。

由此，能够减轻在从指导侧系统20向施术侧系统10发送数据时的通信延迟，从而能够在施术侧系统10中无延迟地生成基于绘制信息PI而成的注释图像数据Ad1。

因而，能够将指导者2的指示无延迟地显示于监视器14上，施术者1能够立即确认来自指导者2的指示。即，施术者1能够对患者3更安全地施行手术。

而且，在本实施方式中，说明了将被输入至图像合成部13的图像数据设为内窥镜摄像图像数据Id的例子，但所输入的该图像数据不限于从内窥镜11提供的内窥镜摄像图像数据Id那样的摄像图像数据，能考虑到被记录于存储器并通过从该存储器读出来获取的图像数据、从外部的计算机装置等接收的图像数据等多种多样。

另外，在本实施方式中，期望的是，图像生成部12的在从输入内窥镜摄像图像数据Id和注释图像数据Ad1起至输出施术侧合成图像数据Cd1为止的延迟时间小于30m秒。

由此，施术者1能够在监视器14上低延迟地目视确认合成图像50等，因此能够确认指导者2的指示并且能够准确且安全地对患者3施行手术。

而且，在本实施方式中，作为辅助系统100的一个例子，说明了施术者1能够一边接受处于远程的指导者2的指示一边对患者3施行手术的手术辅助系统，但辅助系统100能够广泛地应用于处于远程的指导者2一边目视确认施术侧的摄像图像一边对施术者1进行指示的状况。

例如，能够将辅助系统100应用于运动指导中的选手和教练、教育或职业训练等学习辅助中的讲师和听讲者、远程会议中的发表者和旁听者等各种用途。

另外，在本实施方式中，说明了由如图1所示那样的内窥镜11进行摄像的例子，但摄像设备如果能够对施术者1侧的施行手术进行摄像即可，不限于内窥镜11。

另外，在本实施方式中，作为图1的指导终端26的一个例子，说明了具有触摸面板的平板终端，但指导终端26能够由如下各种设备来实现，例如具有用于操作输入的鼠标、键盘等的PC(Personal Computer，个人电脑)、具有头带式显示器和用于操作输入的遥控器的VR(Virtual Reality，虚拟现实)、手术机器人用的主控制台等。

最后，本发明中记载的实施方式仅为示例，本发明并不限定于上述实施方式。并且，实施方式中说明的所有结构的组合并不一定是解决课题时必不可少的。还有，本发明中记载的效果仅为示例，并非仅限于此，其可以发挥其它效果，也可以发挥本发明中记载的效果的一部分。

附图标记说明

1：施术者；2：指导者；3：患者；10：施术侧系统；11：内窥镜；12：图像生成部；13：图像合成部；14：监视器；15：数据发送部；20：指导侧系统；21：注释接口；22：数据发送部；23：图像生成部；24：图像合成部；25：监视器；100：辅助系统；Ad1，Ad2：注释图像数据；PI：绘制信息；Id：内窥镜摄像图像数据；Cd1：施术侧合成图像数据；Cd2：指导侧合成图像数据；Rm1：手术室；Rm2：指导室。