医疗臂系统、控制装置、控制方法和程序

相关申请的交叉引用

本申请要求2019年1月23日提交的日本优先权专利申请JP 2019-009479的权益，其全部内容通过引用结合于此。

技术领域

本公开涉及医疗臂系统、控制装置、控制方法和程序。

背景技术

近年来，在医学领域中，已经提出了使用平衡型臂(以下称为“支撑臂”)在观察由成像装置捕获的操作部位的图像的同时执行诸如手术的各种操作的方法，成像装置保持在臂的远端。通过使用平衡型臂，可以从期望的方向稳定地观察患部，并且可以有效地执行操作。

此外，已经研究了用于在真实空间中设置称为虚拟屏障或虚拟墙的虚拟边界以及确定虚拟边界与保持在臂的远端的工具之间的接触的技术，从而抑制允许工具进入屏障之外的区域的操作。例如，PTL1公开了通过设置虚拟壁来使诸如保持在臂远端的医疗器械的目标部分不离开设置的可移动区域的技术的示例。

引文列表

专利文献

PTL 1WO 2018/159328

发明内容

技术问题

同时，如上所述，现有技术中的虚拟壁技术旨在抑制保持在臂远端的工具进入特定区域的情况的发生。可以设想将器械从体外插入体内的情况，例如将内窥镜插入通过安装套管针形成的插入端口的操作。因此，需要实现一种技术，这种技术能够改善如上所示例的假设插入工具的臂的可操作性，以及简单地抑制工具进入预定区域。

因此，本公开提出了一种技术，使能够以有利的方式实现抑制关于进入预定区域的操作并且改善关于移动到预定位置的臂的可操作性。

问题的解决方案

根据本公开，提供了一种控制装置，其包括适于控制被配置为保持医疗器械的铰接医疗臂的控制单元，其中医疗器械包含(例如，包括)其上的预定点；该控制单元适于响应于医疗器械的预定点与设置在真实空间中并且包括目标开口的虚拟边界之间的空间关系来控制铰接医疗臂。

一个具体的示例是一种控制装置，其包括：控制单元，其被配置为根据使用多连杆结构的至少一部分作为参考而设置的作用点与虚拟边界之间的相对位置关系来控制多连杆结构的操作，该虚拟边界设置在真实空间中并且部分具有移动目标，该多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持该医疗器械。

此外，根据本公开的实施例，提供了一种用于被配置为保持医疗器械的铰接医疗臂系统的控制方法，其中医疗器械包括其上的预定点，该方法包括：响应于医疗器械的预定点与设置在真实空间中并且包括目标开口的虚拟边界之间的空间关系来控制铰接医疗臂。一个具体的示例是一种控制方法，包括：通过计算机，根据使用多连杆结构的至少一部分作为参考而设置的作用点与虚拟边界之间的相对位置关系来控制多连杆结构的操作，该虚拟边界设置在真实空间中并且部分具有移动目标，该多连杆结构具有通过关节单元彼此连接的多个连杆。

此外，根据本公开的实施例，提供了一种用于使计算机执行上述控制方法的程序。一个特定的示例是执行一种方法，该方法包括：根据使用多连杆结构的至少一部分作为参考而设置的作用点与设置在真实空间中的虚拟边界之间的相对位置关系来控制多连杆结构的操作，并且该虚拟边界部分地具有移动目标，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械。

此外，根据本公开的实施例，提供了一种医疗臂系统，其包括被配置为保持医疗器械的铰接医疗臂；以及本文描述的控制装置。

一个特定的示例是一种医疗臂系统，包括：多连杆结构，其具有通过关节单元相互连接的多个连杆，并且被配置为能够保持医疗器械；以及控制单元，其被配置为根据使用多连杆结构的至少一部分作为参考而设置的作用点与虚拟边界之间的相对位置关系来控制多连杆结构的操作，该虚拟边界设置在真实空间中并且部分具有移动目标。另一个特定的示例是一种医疗臂系统，包括：多连杆结构，其具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械；以及控制单元，其被配置为设置用于辅助医疗器械的移动的虚拟边界并控制多连杆结构的操作。另一个特定的示例是一种医疗臂系统，其包括：多连杆结构，其具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械；以及控制单元，其被配置为控制多连杆结构的操作，其中控制单元具有用于辅助通过插入端口引入医疗器械的第一模式，以及用于抑制医疗器械进入设置在真实空间中的区域的第二模式。

附图说明

[图1]图1是用于描述根据本公开实施例的医疗臂装置的示意性配置的示例的说明图。

[图2]图2是示出根据该实施例的医疗臂装置的外观的示意图。

[图3]图3是用于描述根据实施例的理想关节控制的说明图。

[图4]图4是示出根据实施例的医疗臂系统的功能配置的示例的框图。

[图5]图5是用于描述关于根据实施例的医疗臂系统中基于虚拟边界的设置的臂控制的技术的概述的示意性透视图。

[图6]图6是用于描述根据实施例的安装虚拟边界的方法的示例的概述的说明图。

[图7]图7是用于描述根据比较示例的臂系统中的臂控制的示例的概述的说明图。

[图8]图8是示出根据比较示例的臂系统的一系列处理的流程的示例的流程图。

[图9]图9是用于描述根据第一控制示例的臂控制的概述的说明图。

[图10]图10是用于描述在根据第一控制示例的臂控制中设置约束点的方法的示例的说明图。

[图11]图11是示出根据第一控制示例的臂控制的一系列处理的流程的示例的流程图。

[图12]图12是用于描述根据第二控制示例的臂控制的概述的说明图。

[图13]图13是示出根据第二控制示例的臂控制的一系列处理的流程的示例的流程图。

[图14]图14是用于描述根据第一示例的臂控制的概述的说明图。

[图15]图15是用于描述根据第一示例的臂控制的示例的概述的说明图。

[图16]图16是用于描述根据第一示例的臂控制的示例的概述的说明图。

[图17]图17是用于描述根据第一变型例的关于虚拟边界的概述的说明图。

[图18]图18是用于描述根据第二变型例的关于虚拟边界的概述的说明图。

[图19]图19是用于描述根据第三变型例的关于虚拟边界的概述的说明图。

[图20]图20是用于描述根据第四变型例的关于虚拟边界的概述的说明图。

[图21]图21是示出根据实施例的信息处理设备的硬件配置的配置示例的功能框图。

[图22]图22是用于描述根据实施例的医疗臂系统的应用的说明图。

具体实施方式

将参照附图详细描述本公开的有利实施例。请注意，在本说明书和附图中，通过提供相同的符号，省略了对具有基本相同功能配置的配置元素的冗余描述。

请注意，将按以下顺序进行描述。

1.医疗臂装置概述

1.1.医疗臂装置的示意性配置

1.2.医疗臂装置的外观

1.3.广义逆动力学

1.4.理想关节控制

2.医疗臂装置的控制

2.1.概述

2.2.医疗臂系统的功能配置

2.3.医疗臂系统控制示例

2.3.1.臂控制的基本思想

2.3.2.比较示例：操作抑制控制

2.3.3.第一控制示例：通过约束点的位置更新进行操作辅助控制

2.3.4.第二控制示例：通过力控制的操作辅助控制

2.3.5.第一示例：使用虚拟边界的操作辅助控制示例

2.3.6.第二示例：使用虚拟边界的操作辅助控制示例

2.4变型例

2.4.1.第一变型例

2.4.2.第二变型例

2.4.3.第三变型例

2.4.4.第四变型例

2.4.5.补充

3.硬件配置

4.应用

5.结论

<<1.医疗臂装置概述>>

<1.1.医疗臂装置的示意性配置>

首先，为了使本公开更清楚，将医疗臂装置的示意性配置的示例描述为根据本公开的实施例的臂装置用于医疗用途的情况的应用。图1是用于描述根据本公开实施例的医疗臂装置的示意性配置的示例的说明图。

图1示意性地示出了使用根据本实施例的医疗臂装置的操作状态。具体来说，参照图1，示出了作为执业医师(用户)520的外科医生正在使用例如手术刀、镊子或钳子的手术器械521对手术台530上的手术目标(患者)540进行手术的状态。请注意，在以下描述中，术语“操作”是用于由作为用户520的外科医生对作为操作目标540的患者执行的各种类型的医疗处理(诸如手术和检查)的通用术语。此外，图1中的示例示出了作为操作示例的手术状态，但是使用医疗臂装置510的操作不限于手术，并且可以是各种操作，例如使用内窥镜的检查。

根据本实施例的医疗臂装置510设置在手术台530旁边。医疗臂装置510包括作为基座的基座单元511、从基座单元511延伸的臂单元512、以及作为远端单元连接到臂单元512的远端的成像单元515。臂单元512包括多个关节单元513a、513b和513c、由关节单元513a和513b连接的多个连杆514a和514b、以及设置在臂单元512的远端的成像单元515。在图1所示的示例中，为了简单起见，臂单元512包括三个关节单元513a至513c以及两个连杆514a和514b。然而，实际上，考虑到臂单元512和成像单元515的位置和姿态的自由度，可以适当地设置关节单元513a至513c和连杆514a和514b的数量和形状、关节单元513a至513c的驱动轴的方向等，以实现期望的自由度。

关节单元513a至513c具有将连杆514a和514b彼此可旋转地连接的功能，并且当驱动关节单元513a至513c的旋转时，控制臂单元512的驱动。这里，在以下描述中，医疗臂装置510的每个配置构件的位置意味着在为驱动控制定义的空间中的位置(坐标)，并且每个配置构件的姿态意味着相对于为驱动控制定义的空间中的任何轴的方向(角度)。此外，在以下描述中，臂单元512的驱动(或驱动控制)是指通过关节单元513a至513c的驱动(驱动控制)而改变(改变被控制)的臂单元512的每个构造构件的位置和姿态。

成像单元515作为远端单元连接到臂单元512的远端。成像单元515是获取成像目标的图像的单元，并且是例如能够捕获运动图像或静止图像等的照相机。如图1所示，臂单元512和成像单元515的位置和姿态由医疗臂装置510控制，使得设置在臂单元512的远端的成像单元515捕获操作目标540的操作部位的状态。请注意，作为远端单元连接到臂单元512的远端的成像单元515的配置没有特别限制，并且可以连接各种医疗器械。医疗器械的示例包括在操作中使用的各种单元，例如内窥镜和显微镜，具有成像功能的单元，例如上述成像单元515，以及各种手术工具和检查设备。此外，具有两个成像单元(相机单元)的立体相机可以设置在臂单元512的远端，并且可以捕获成像目标作为三维图像(3D图像)。请注意，配备有用于捕获操作部位的诸如成像单元515的照相机单元或立体照相机作为远端单元的医疗臂装置510也被称为视频显微镜(VM)臂装置。

此外，在面向用户520的位置，安装有诸如监视器或显示器的显示设备550。由成像单元515捕获的操作部位的图像作为电子图像显示在显示设备550的显示屏上。用户520在观看显示在显示设备550的显示屏上的操作部位的电子图像的同时执行各种类型的治疗。

此外，可以单独提供控制医疗臂装置510的操作(例如，臂单元512的驱动)的控制装置，并且可以配置包括医疗臂装置510和控制装置的系统。请注意，在本公开中，术语“医疗臂系统”可以包括医疗臂装置510被配置为可单独操作的情况和包括医疗臂装置510和医疗臂装置510的控制装置的系统的情况。

因此，本实施例在医疗领域提出在通过医疗臂装置510捕获操作部位的同时执行手术。

作为使用根据本实施例的医疗臂装置的情况的应用，已经参考图1描述了使用设置有臂的手术视频显微镜装置作为医疗臂装置的情况的示例。

<1.2.医疗臂装置的外观>

接下来，将参照图2描述根据本公开的实施例的医疗臂装置的示意性配置。图2是示出根据本公开实施例的医疗臂装置的外观的示意图。

参考图2，根据本实施例的医疗臂装置400包括基座单元410和臂单元420。基座单元410是医疗臂装置400的基座，并且臂单元420从基座单元410延伸。此外，尽管没有在图2中示出，但是整体控制医疗臂装置400的控制单元可以设置在基座单元410中，并且臂单元420的驱动可以由控制单元控制。控制单元例如由诸如中央处理单元(CPU)和数字信号处理器(DSP)的各种信号处理电路来配置。

臂单元420包括多个关节单元421a至421f、通过关节单元421a至421f相互连接的多个连杆422a至422c、以及设置在臂单元420的远端的成像单元423。

连杆422a至422c是杆状构件，并且连杆422a的一端经由关节单元421a连接到基座单元410，连杆422a的另一端经由关节单元421b连接到连杆422b的一端，此外，连杆422b的另一端经由关节单元421c和421d连接到连杆422c的一端。此外，成像单元423经由关节单元421e和421f连接到臂单元420的远端，换言之，连接到连杆422c的另一端。如上所述，多个连杆422a至422c的端部通过以基座单元410为支点的关节单元421a至421f彼此连接，从而构造从基座单元410延伸的臂状。

成像单元423是获取成像目标的图像的单元，并且是例如捕获运动图像或静止图像等的照相机。当控制臂单元420的驱动时，控制成像单元423的位置和姿态。在本实施例中，成像单元423捕获患者身体的部分区域，该部分区域例如是操作部位。请注意，设置在臂单元420的远端的远端单元不限于成像单元423，并且各种医疗器械可以作为远端单元连接到臂单元420的远端。

这里，在下文中，将描述定义如图2所示的坐标轴的医疗臂装置400。此外，将根据坐标轴定义上下方向、前后方向和左右方向。换言之，相对于安装在地板上的基座单元410的上下方向被定义为z轴方向和上下方向。此外，垂直于z轴并且臂单元420从基座单元410延伸的方向(换言之，成像单元423相对于基座单元410所处的方向)被定义为y轴方向和前后方向。此外，垂直于y轴和z轴的方向被定义为x轴方向和左右方向。

关节单元421a至421f将连杆422a至422c彼此可旋转地连接。关节单元421a至421f包括致动器，并且具有通过致动器的驱动而绕预定旋转轴旋转驱动的旋转机构。通过控制每个关节单元421a至421f的旋转驱动，可以控制臂单元420的驱动，例如臂单元420的伸展或收缩(折叠)。这里，关节单元421a至421f的驱动由以下“1.3.广义逆动力学”中描述的全身协调控制和“1.4.理想关节控制”中描述的理想关节控制来进行控制。此外，如上所述，由于关节单元421a至421f具有旋转机构，因此在以下描述中，关节单元421a至421f的驱动控制具体地意味着控制关节单元421a至421f的旋转角度和/或产生的扭矩(由关节单元421a至421f产生的扭矩)。

根据本实施例的医疗臂装置400包括六个关节单元421a至421f，并且实现关于臂单元420的驱动的六个自由度。具体地说，如图2所示，关节单元421a、421d和421f被设置为具有连接的连杆422a至422c的长轴方向和连接的成像单元423的成像方向作为旋转轴方向，并且关节单元421b、421c和421e被设置为具有x轴方向作为旋转轴方向，x轴方向是在y-z平面(由y轴和z轴限定的平面)中改变连杆422a至422c和成像单元423的连接角度的方向。如上所述，在本实施例中，关节单元421a、421d和421f具有执行所谓的偏航的功能，并且关节单元421b、421c和421e具有执行所谓的俯仰的功能。

利用臂单元420的这种配置，根据本实施例的医疗臂装置400实现了关于臂单元420的驱动的六个自由度，从而在臂单元420的可移动范围内自由移动成像单元423。图2示出了作为成像单元423的可移动范围的示例的半球。在半球的中心点是由成像单元423捕获的操作部位的捕获中心的情况下，在成像单元423的捕获中心固定到半球的中心点的状态下，通过在半球的球面上移动成像单元423，可以从各种角度捕获操作部位。

<1.3.广义逆动力学>

接下来，将描述在本实施例中用于医疗臂装置400的全身协调控制的广义逆动力学的概述。

广义逆动力学是多连杆结构的全身协调控制中的基本算术运算，该多连杆结构通过多个关节单元(例如，在本实施例中图2所示的臂单元420)连接多个连杆而配置，用于考虑到各种约束条件来将关于各种操作空间中的各种尺寸的运动目的转换成要在多个关节单元中引起的扭矩。

操作空间是机器人装置力控制中的一个重要概念。操作空间是用于描述作用在多连杆结构上的力和多连杆结构的加速度之间的关系的空间。当多连杆结构的驱动控制不是通过位置控制而是通过力控制来执行时，在使用多连杆结构和环境之间的接触作为约束条件的情况下，操作空间的概念是必要的。操作空间例如是关节空间、笛卡尔空间、动量空间等，其是多连杆结构所属的空间。

运动目的表示多连杆结构的驱动控制中的目标值，并且是例如要通过驱动控制实现的多连杆结构的位置、速度、加速度、力、阻抗等的目标值。

约束条件是关于多连杆结构的位置、速度、加速度、力等的约束条件，其根据多连杆结构的形状或结构、多连杆结构周围的环境、用户的设置等来确定。例如，约束条件包括关于产生的力、优先级、非驱动关节的存在/不存在、垂直反作用力、摩擦重量、支撑多边形等的信息。

在广义动力学中，为了建立数值计算的稳定性和实时处理效率，算术算法包括作为第一阶段的虚拟力确定过程(虚拟力计算处理)和作为第二阶段的真实力转换过程(真实力计算处理)。在作为第一阶段的虚拟力计算处理中，在考虑运动目的的优先级和虚拟力的最大值的同时，确定虚拟力，该虚拟力是实现每个运动目的所必需的并且作用在操作空间上的虚拟力。在作为第二阶段的真实力计算处理中，将上述获得的虚拟力转换成在多连杆结构的实际配置中可实现的真实力，例如关节力或外力，同时考虑关于非驱动关节、垂直反作用力、摩擦重量、支撑多边形等的约束。在下文中，将详细描述虚拟力计算处理和真实力计算处理。请注意，在下面对虚拟力计算处理和真实力计算处理的描述以及下面将描述的理想关节控制中，可以使用根据图2所示的本实施例的医疗臂装置400的臂单元420的配置作为具体示例来执行描述，以方便理解。

(1.3.1.虚拟力计算处理)

在多连杆结构的每个关节单元处由一定物理量配置的向量称为广义变量q(也称为关节值q或关节空间q)。使用广义变量q的时间导数值和雅可比J，由以下表达式(1)定义操作空间x。

[数学式1]

在本实施例中，例如，q是臂单元420的关节单元421a至421f的旋转角度。关于操作空间x的运动方程由以下表达式(2)描述。

[数学式2]

这里，f表示作用在操作空间x上的力。此外，Λ

[数学式3]

Λ

……(3)

请注意，H表示关节空间惯性矩阵，τ表示对应于关节值q的关节力(例如，在关节单元421a至421f处产生的扭矩)，b表示重力、科里奥利力和离心力。

在广义逆动力学中，已知关于操作空间x的位置和速度的运动目的可以表示为操作空间x的加速度。此时，作用在操作空间x上以实现作为运动目的给出的目标值的操作空间加速度的虚拟力f

[数学式4]

这里，L

请注意，当根据作为定义表达式的表达式(3)和(4)计算时，操作空间惯性逆矩阵Λ

这里，作为运动目的的设置示例，利用等于或小于绝对值F

[数学式5]

此外，如上所述，关于操作空间x的位置和速度的运动目的可以表示为操作空间加速度的目标值，并且具体由以下表达式(7)表示(操作空间x的位置和速度的目标值由x和将上标条加到x的一阶微分来表示)。

[数学式6]

另外，通过使用分解操作空间的概念，可以设置由其他操作空间的线性和表示的关于操作空间(动量、笛卡尔相对坐标、互锁关节等)的运动目的。请注意，有必要优先考虑竞争的运动目的。上述LCP可以从低优先级开始按升序对每个优先级求解，前一阶段LCP获得的虚拟力可以作为下一阶段LCP的已知外力。

(1.3.2.真实力计算处理)

在作为广义逆动力学的第二阶段的真实力计算处理中，执行用真实关节力和外力替代在上述(2-2-1.虚拟力确定过程)中获得的虚拟力f

[数学式7]

这里，后缀a表示一组驱动关节单元(驱动关节组)，后缀u表示一组非驱动关节单元(非驱动关节组)。换言之，上述表达式(8)的上部表示非驱动关节单元对空间(非驱动关节空间)的力的平衡，下部表示驱动关节单元对空间(驱动关节空间)的力的平衡。J

表达式(8)的上部未定义。例如，f

[数学式8]

这里，ε是表达式(8)的上部两侧之间的差，并且表示表达式(8)的方程误差。ξ是f

[数学式9]

|F

|F

F

|M

|M

|M

……(10)

这里，z表示接触面的法线方向，并且x和y表示垂直于z的正交双切线方向。(F

从上面的表达式(9)和(10)，得到最小范数或最小误差的解f

在基座固定且没有非驱动关节的系统的情况下，所有虚拟力可以仅用关节力代替，并且f

[数学式10]

已经描述了根据本实施例的使用广义逆动力学的全身协调控制。通过如上所述顺序地执行虚拟力计算处理和真实力计算处理，可以获得用于实现期望的运动目的的关节力τ

请注意，关于到目前为止描述的使用广义逆动力学的全身协调控制，特别是导出虚拟力f

<1.4.理想关节控制>

接下来，将描述根据本实施例的理想关节控制。每个关节单元421a至421f的运动由以下表达式(12)的二阶滞后系统的运动方程建模。

[数学式11]

这里，I

τ

然而，在实践中，由于各种类型的扰动的影响，在关节单元421a至421f的运动和如上述表达式(12)所示的理论模型之间可能出现误差(建模误差)。建模误差可以粗略地分类为由于多连杆结构的质量特性(如重量、重心、惯性张量)引起的误差，以及由于关节单元421a至421f内部的摩擦、惯性等引起的误差。其中，通过提高计算机辅助设计(CAD)数据的精度和应用识别方法，在构建理论模型时可以相对容易地减少由于前者质量特性而导致的建模误差。

同时，例如，由于后者的关节单元421a至421f内部的摩擦、惯性等造成的建模误差是由难以建模的现象引起的，例如难以建模关节单元421a至421f的减速齿轮426中的摩擦，并且在理论模型构建期间可能会保留未被忽略的建模误差。此外，在上述表达式(12)中的惯性I

在本实施例中，控制医疗臂装置400的关节单元421a至421f的驱动以执行上述表达式(12)中描述的理想响应，被称为理想关节控制。这里，在以下描述中，由于执行理想响应，被控制为由理想关节控制驱动的致动器也被称为虚拟化致动器(VA)。在下文中，将参照图3描述根据本实施例的理想关节控制。

图3是用于描述根据本公开实施例的理想关节控制的说明图。请注意，图3示意性地示出了概念算术单元，其以块为单位执行关于理想关节控制的各种算术运算。

致动器610示意性地示出了配置臂单元的每个关节单元的致动器的机构。如图3所示，致动器610包括马达(Motor)611、减速齿轮(Reduction Gear)612、编码器(Encoder)613和扭矩传感器(Torque Sensor)614。

这里，当给出表达式(12)的右侧时，根据由上述表达式(12)表示的理论模型的致动器610的响应不亚于左侧上的旋转角加速度的实现。此外，如以上表达式(12)所示，理论模型包括作用在致动器610上的外部扭矩项τ

块631表示根据上述表达式(12)中所示的关节单元421a至421f的理想关节模型执行算术运算的算术单元。块631可以使用所产生的扭矩τ

在本实施例中，将通过上面“1.3.广义逆动力学”中描述的方法计算的产生扭矩τ

块633表示基于致动器610的旋转角加速度计算致动器610中产生的扭矩的运算单元。在本实施例中，具体地，块633可以通过将旋转角加速度目标值乘以致动器610中的标称惯性J

将描述扰动观测器620的配置。如图3所示，扰动观测器620基于扭矩命令值τ和从编码器613测量的旋转角度q输出的旋转角速度来计算扰动估计值τ

扰动观测器620包括块634和块635。块634表示基于致动器610的旋转角速度计算致动器610中产生的扭矩的算术单元。在本实施例中，具体地，由块632根据由编码器613测量的旋转角度q计算的旋转角速度被输入到块634。块634通过执行由传递函数J

在扰动观测器620中，获得扭矩估计值和扭矩命令值τ之间的差，由此估计扰动估计值τ

此外，扰动观测器620配备有块635所示的低通滤波器(LPF)，以防止系统发散。块635通过执行由传递函数g/(s+g)表示的算术运算来稳定系统，从而仅向输入值输出低频分量。在本实施例中，由块634计算的扭矩估计值和扭矩命令值τ

在本实施例中，执行前馈控制以将由扰动观测器620计算的扰动估计值τ

如上所述，利用参考图3描述的配置，即使在根据本实施例的关节单元421a至421f的驱动控制中存在诸如摩擦的扰动分量的情况下，也可以使致动器610的响应遵循目标值。此外，关于关节单元421a至421f的驱动控制，可以根据由理论模型假定的惯性ia和粘性阻力系数ν

请注意，对于上述理想关节控制的细节，可以参考例如本申请人提交的在先专利申请JP 2009-269102A。

已经描述了在本实施例中使用的广义逆动力学，并且已经参考图3描述了根据本实施例的理想关节控制。如上所述，在本实施例中，使用广义逆动力学来执行全身协调控制，其中考虑到约束条件来计算用于实现臂单元420的运动目的的关节单元421a至421f的驱动参数(例如，关节单元421a至421f的所产生扭矩值)。此外，如参考图5所述，在本实施例中，考虑到扰动的影响，通过对在全身协调控制中使用广义逆动力学计算的产生的扭矩值进行校正，来执行理想关节控制，该理想关节控制基于关节单元421a至421f的驱动控制中的理论模型来实现理想的响应。因此，在本实施例中，关于臂单元420的驱动，实现运动目的的高精度驱动控制变得可能。

<<2.医疗臂装置的控制>>

接下来，将描述根据本公开的实施例的关于医疗臂系统中的医疗臂装置的控制的技术。

<<2.1.概述>>

首先，将描述根据本公开的实施例的关于医疗臂系统中的医疗臂装置的控制的技术的概述。在根据本实施例的医疗臂系统中，被称为虚拟屏障和虚拟墙的虚拟边界表面(以下也称为“虚拟边界”)被设置在真实空间中。在这种设置下，在根据本实施例的医疗臂系统中，根据虚拟边界和保持在臂单元的远端的远端单元之间的位置关系来控制臂单元的操作。具体而言，基于使用上述广义逆动力学的全身协调控制的臂单元的控制，模拟好像虚拟边界存在于真实空间中的情况。

<2.2.医疗臂系统的功能配置>

这里，将描述根据本公开实施例的医疗臂系统的功能配置的示例。在根据本实施例的医疗臂系统中，例如，基于使用上述广义逆动力学的全身协调控制来控制设置在医疗臂装置中的多个关节单元的驱动。例如，图4是示出根据本公开实施例的医疗臂系统的功能配置的框图。请注意，在图4所示的机器人臂控制系统中，将主要示出与机器人臂装置的臂单元的驱动控制相关的配置。

如图4所示，根据本公开实施例的医疗臂系统1包括臂装置10和控制装置20。在本实施例中，控制装置20执行在“1.3.广义逆动力学”中描述的全身协调控制和“1.4.理想关节控制”中描述的理想关节控制中的各种算术运算，并且基于算术运算结果来控制臂装置10的臂单元的驱动。此外，下面描述的远端单元140由臂装置10的臂单元保持。在下文中，将详细描述臂装置10和控制装置20的配置。

臂装置10包括臂单元，该臂单元是包括多个关节单元和多个连杆的多连杆结构，并且在可移动范围内驱动臂单元，以控制设置在臂单元远端的远端单元的位置和姿态。臂装置10对应于图2所示的医疗臂装置400。

如图4所示，臂装置10包括臂单元120和保持在臂单元120远端的远端单元140。

臂单元120是包括多个关节单元和多个连杆的多连杆结构。臂单元120对应于图2所示的臂单元420。臂单元120包括关节单元130。请注意，由于包括在臂单元120中的多个关节单元的功能和结构彼此相似。图4示出了作为多个关节单元的代表的一个关节单元130的配置。

关节单元130可旋转地将臂单元120中的连杆彼此连接，并且驱动臂单元120，因为关节单元130的旋转驱动由臂控制单元110的控制来控制。关节单元130对应于图2所示的关节单元421a至421f。此外，关节单元130包括致动器。

关节单元130包括关节驱动单元131、关节状态检测单元132和关节控制单元135。

关节控制单元135控制关节单元130的驱动，从而以集成方式控制臂装置10。具体地，关节控制单元135包括驱动控制单元111。关节单元130的驱动由驱动控制单元111的控制来控制，从而控制臂单元120的驱动。更具体地，驱动控制单元111控制提供给关节单元130的致动器中的马达的电流量，以控制马达的转数，从而控制关节单元130中的旋转角度和产生的扭矩。然而，如上所述，驱动控制单元111对臂单元120的驱动控制是基于控制装置20中的算术运算结果来执行的。因此，由驱动控制单元111控制的要提供给关节单元130的致动器中的马达的电流量是基于控制装置20中的算术运算结果确定的电流量。

关节驱动单元131是关节单元130的致动器中的驱动机构，并且当关节驱动单元131被驱动时，关节单元130被旋转驱动。关节驱动单元131的驱动由驱动控制单元111控制。例如，关节驱动单元131具有对应于例如马达和马达驱动器的配置。换言之，被驱动的关节驱动单元131对应于根据来自驱动控制单元111的命令用电流量驱动马达的马达驱动器。

关节状态检测单元132检测关节单元130的状态。这里，关节单元130的状态可以意味着关节单元130的运动状态。例如，关节单元130的状态包括关于关节单元130的旋转的信息，例如，旋转角度、旋转角速度、旋转角加速度、产生的扭矩等的信息。在本实施例中，关节状态检测单元132检测关节单元130的旋转角度以及关节单元130的产生的扭矩和外部扭矩，作为关节单元130的状态。请注意，关节单元130的旋转角度q的检测以及关节单元130的产生的扭矩和外部扭矩的检测可以通过用于检测致动器的状态的编码器和扭矩传感器来实现。关节状态检测单元132将检测到的关节单元130的状态发送到控制装置20。

远端单元140示意性地示出了保持在臂单元120远端的单元。请注意，在本实施例中，各种医疗器械可以作为远端单元140连接到臂单元120的远端。医疗器械的示例包括各种操作工具，例如手术刀和镊子，以及在操作中使用的各种单元，例如各种检测装置的单元，例如超声波检查装置的探针。此外，作为另一个示例，具有成像功能的单元例如内窥镜或显微镜也可以包括在医疗器械中。因此，根据本实施例的臂装置10可以说是配备有医疗器械的医疗臂装置。请注意，图4所示的臂装置10还可以包括具有成像功能的单元作为远端单元，并且可以提供具有两个成像单元(照相机单元)的立体照相机，并且该立体照相机捕获要作为3D图像显示的成像目标。

上面已经描述了臂装置10的功能配置。接下来，将描述控制装置20的功能配置。如图4所示，控制装置20包括存储单元220和控制单元230。此外，尽管没有在图4中示出，控制装置20可以包括用于输入各种类型信息的输入单元、用于输出各种类型信息的输出单元等。

控制单元230整体控制控制装置20，并执行各种算术运算以控制臂装置10中的臂单元120的驱动。具体地，控制单元230根据设置到真实空间的虚拟边界与由臂装置10的臂单元120保持的远端单元140之间的位置关系来设置臂单元120的操作的控制条件。然后，控制单元230在全身协调控制和理想关节控制中执行各种算术运算，以基于控制条件控制臂单元120的驱动。在下文中，将详细描述控制单元230的功能配置。由于已经描述了全身协调控制和理想关节控制，所以这里省略详细描述。

控制单元230包括臂状态获取单元240、控制条件设置单元250、算术条件设置单元260、全身协调控制单元270和理想关节控制单元280。此外，控制条件设置单元250包括虚拟边界更新单元251、区域进入确定单元253、约束条件更新单元255以及运动目的更新单元257。

臂状态获取单元240基于由关节状态检测单元132检测的关节单元130的状态来获取臂单元120的状态(臂状态)。这里，臂状态可以表示臂单元120的运动状态。例如，臂状态包括诸如臂单元120的位置、速度、加速度和力的信息。如上所述，关节状态检测单元132获取关于每个关节单元130的旋转的信息(例如，旋转角度、旋转角速度、旋转角加速度、产生的扭矩等的信息)作为关节单元130的状态。此外，尽管将在下面描述，但是存储单元220存储要由控制装置20处理的各种类型的信息。在本实施例中，存储单元220可以存储关于臂单元120的各种类型的信息(臂信息)，例如，定义臂单元120的结构的信息，换言之，构成臂单元120的关节单元130和连杆的数量、连杆和关节单元130之间的连接情况以及连杆的长度等。臂状态获取单元240可以从存储单元220获取臂信息。因此，臂状态获取单元240可以基于关节单元130的状态和臂信息，获取诸如多个关节单元130、多个连杆和远端单元140在空间中的位置(坐标)、以及作用在关节单元130、连杆和远端单元140上的力的信息作为臂状态。臂状态获取单元240将获取的臂信息输出到控制条件设置单元250。

虚拟边界更新单元251基于各种条件设置并更新虚拟边界。例如，下面描述的存储单元220可以存储关于虚拟边界的各种类型的信息，例如虚拟边界的形状和大小(换言之，关于虚拟边界的设置的信息)。虚拟边界更新单元251可以从存储单元220获取关于虚拟边界的信息。因此，虚拟边界更新单元251可以基于关于虚拟边界的信息来设置和更新虚拟边界。作为具体示例，虚拟边界更新单元251可以设置和更新虚拟边界的形状、虚拟边界的大小、虚拟边界在真实空间中的位置和姿势等。

例如，虚拟边界更新单元251可以将虚拟边界的形状和大小设置为初始设置。换言之，虚拟边界的形状和大小可以预先设置(换言之，可以在手术之前确定)。由于虚拟边界的形状、大小等如上所述被预设，所以用户可以每次都获得相同的操作感觉，因此可以预期诸如程序改进和安全性改进的功能和效果。

此外，虚拟边界更新单元251可以响应于用户对臂单元120的操作来更新虚拟边界(例如，更新虚拟边界的形状等)。作为具体示例，虚拟边界更新单元251可以基于所谓的位置存储器功能(将臂的位置和姿势存储在空间中并使臂能够再次返回到相同位置和姿势的功能)来更新虚拟边界的位置、形状等以及更新关于在用户操作臂单元120时由臂单元120保持的远端单元140的移动辅助的目标点。此外，作为另一示例，虚拟边界更新单元251可以响应于来自用户经由预定输入单元的指令来设置和更新虚拟边界(省略图示)。

此外，虚拟边界更新单元251可以基于诸如各种传感器的检测器对对象的检测结果、根据成像单元的成像结果对对象的识别结果等来设置和更新虚拟边界。换言之，虚拟边界更新单元251可以根据各种状态的检测结果来设置和更新虚拟边界。作为具体示例，虚拟边界更新单元251可以根据检测器等的检测结果来设置和更新虚拟边界的位置、姿势、形状、大小等。这种控制使得能够根据手术期间的情况以有利的方式设置虚拟边界。因此，虚拟边界的设置和更新也可以自适应地执行，以避免例如由臂单元保持的远端单元与真实空间中的对象之间的接触。

此外，虚拟边界更新单元251可以根据由臂单元120保持的远端单元来设置和更新虚拟边界。作为具体示例，虚拟边界更新单元251可以设置和更新虚拟边界的位置、姿势、形状、大小等，使得虚拟边界以有利的方式设置，以用于根据由臂单元120保持的远端单元(例如，医疗器械)使用该远端单元来辅助手术。此外，在由臂单元120保持的远端单元改变的情况下，虚拟边界更新单元251可以根据改变后的远端单元来设置和更新虚拟边界。

当然，以上描述仅仅是示例，并且设置和更新虚拟边界的方法没有特别限制。

区域进入确定单元253基于虚拟边界和臂信息的设置和更新的结果，确定使用臂单元120的至少一部分作为基点所设置的作用点进入被虚拟边界隔离的区域。作为具体示例，区域进入确定单元253可以基于关节单元130和构成臂单元120的连杆的位置、姿势、形状等信息，将作用点的位置识别为相对于臂单元120的一部分的相对位置。此外，此时，区域进入确定单元253可以通过考虑由臂单元120保持的远端单元140的位置、姿势、形状等，将作用点设置在对应于远端单元140的一部分(例如，远端等)的位置。然后，区域进入确定单元253确定虚拟边界与作用点之间的接触(换言之，确定作用点位于虚拟边界上)，并且基于虚拟边界与作用点(例如，远端单元140的远端)之间的相对位置关系，来确定作用点是否进入由虚拟边界隔离的第一区域或第二区域中的至少一个。

请注意，可以在考虑了能够由臂单元120保持的远端单元140的位置、姿势、形状等之后设置作用点，而不管远端单元140是否实际上由臂单元120保持。由此，例如，即使在远端单元140没有被臂单元120保持的状态下，也可以虚拟地模拟远端单元140被臂单元120保持的状态。作用点在此处也被称为“预定点”。

约束条件更新单元255设置并更新关于臂单元120的操作控制的约束条件。具体地，约束条件可以是限制(约束)臂单元120的运动的各种类型的信息。更具体地，约束条件可以是臂单元的每个配置构件不可移动的区域的坐标、不可移动的速度、加速度值、不可压缩力值等。此外，约束条件下的各种物理量的约束范围可以根据不能在结构上实现臂单元120来设置，或者可以由用户适当地设置。根据本实施例的约束条件更新单元255可以根据虚拟边界和作用点之间的关系(例如，相对位置和姿势的关系等)来设置和更新约束条件。作为具体示例，在约束条件更新单元255确定作用点进入被虚拟边界隔离的区域的情况下，约束条件更新单元255可以设置并更新用于抑制臂单元120的操作的至少一部分的约束条件以抑制进入。此外，在约束条件更新单元255确定作用点没有进入被虚拟边界隔离的区域的情况下，约束条件更新单元255可以设置和更新约束条件，使得臂单元120的操作不被抑制。请注意，设置和更新约束条件的处理以及根据约束条件对臂单元120的操作的控制将在下面结合更具体的示例单独详细描述。

运动目的更新单元257设置并更新关于臂单元120的操作控制的运动条件。具体地，运动目的可以是远端单元140的位置和姿势(坐标)、速度、加速度、力等的目标值，或者臂单元120的多个关节单元130和多个连杆的位置(坐标)、速度、加速度、力等的目标值。根据本实施例的运动目的更新单元257可以根据虚拟边界和作用点之间的关系来设置和更新运动条件。作为具体示例，在运动目的更新单元257确定作用点进入被虚拟边界隔离的区域的情况下，运动目的更新单元257可以设置并更新运动目的，以使反作用力起作用来抑制进入。请注意，设置和更新运动目的的处理以及根据运动目的控制臂单元120的操作将在下面结合更具体的示例单独详细描述。

算术条件设置单元260使用广义逆动力学在关于全身协调控制的算术运算中设置算术运算条件。这里，算术运算条件可以是上述运动目的和约束条件。运动目的可以是关于臂单元120的运动的各种类型的信息。此外，算术条件设置单元260包括用于臂单元120的结构的物理模型(其中，例如，对构成臂单元120的连杆的数量和长度、经由关节单元130的连杆的连接状态、关节单元130的可移动范围等进行建模)，并且可以通过生成控制模型来设置运动条件和约束条件，在控制模型中期望的运动条件和约束条件反映在物理模型中。

运动目的和约束条件的适当设置使得臂单元120能够执行期望的操作。例如，作为运动目的，不仅可以通过设置远端单元140的位置的目标值来将远端单元140移动到目标位置，而且可以通过由约束条件提供移动约束来驱动臂单元120，以防止臂单元120侵入空间中的预定区域。特别地，在本实施例中，如上所述，约束条件和运动目的可以由控制条件设置单元250根据虚拟边界的设置以及虚拟边界和作用点(例如，远端单元140的远端)之间的位置关系来设置或更新。

运动目的的具体示例可以是抑制远端单元140进入被虚拟边界隔离的区域的操作。

此外，作为另一个示例，运动目的可以是满足于控制每个关节单元130中产生的扭矩。具体地，运动目的可以是动力辅助操作，以控制关节单元130的状态来消除作用在臂单元120上的重力，并且进一步控制关节单元130的状态来支持臂单元120在从外部提供的力的方向上的运动。更具体地，在动力辅助操作中，控制每个关节单元130的驱动，以使每个关节单元130产生产生扭矩来抵消由于臂单元120的每个关节单元130中的重力引起的外部扭矩，由此臂单元120的位置和姿态保持在预定状态。在上述状态下从外部(例如，从用户)进一步增加外部扭矩的情况下，控制每个关节单元130的驱动，以使每个关节单元130产生与增加的外部扭矩相同方向的产生扭矩。通过执行这种助力操作，在用户手动移动臂单元120的情况下，用户可以用较小的力移动臂单元120。因此，可以向用户提供好像用户正在失重状态下移动臂单元120的感觉。此外，可以组合关于抑制远端单元140进入被虚拟边界隔离的区域的操作和动力辅助操作。

请注意，在本实施例中，运动目的可以意味着通过全身协调控制实现的臂单元120的操作(运动)，或者可以意味着操作中的瞬时运动目的(换言之，运动目的中的目标值)。例如，在上述动力辅助操作中，执行动力辅助操作以支持臂单元120在从外部施加的力的方向上的移动本身是运动目的。在执行动力辅助操作的动作中，在与施加到每个关节单元130的外部扭矩相同的方向上的产生扭矩的值被设置为瞬时运动目的(运动目的中的目标值)。本实施例中的运动目的是包括瞬时运动目的(例如，臂单元120的配置构件在特定时间的位置、速度、力等的目标值)和作为瞬时运动目的已经连续实现的结果而随着时间实现的臂单元120的配置构件的操作的概念。在全身协调控制单元270中的用于全身协调控制的算术运算中，在每个步骤中每次都设置瞬时运动目的，并且重复执行算术运算，从而最终实现期望的运动目的。

此外，当设置运动目的时，可以适当地设置每个关节单元130的旋转运动中的粘性阻力系数。根据本实施例的关节单元130被配置为能够在致动器的旋转运动中适当地调节粘性阻力系数。因此，通过在设置运动目的时设置每个关节单元130的旋转运动中的粘性阻力系数，例如对于从外部施加的力，可以实现容易旋转的状态或不太容易旋转的状态。作为具体示例，在上述动力辅助操作中，当关节单元130中的粘性阻力系数被设置为小时，用户用于移动臂单元120的力可以变小，并且可以促进提供给用户的失重感。如上所述，每个关节单元130的旋转运动中的粘性阻力系数可以根据运动目的的内容适当地设置。

全身协调控制单元270通过使用参照图3描述的广义逆动力学的算术运算来计算用于全身协调控制的控制命令值。

理想关节控制单元280计算用于控制臂单元120的操作的命令值，该命令值最终被传输到臂装置10。具体地，理想关节控制单元280基于扭矩命令值τ和从由关节状态检测单元132检测的关节单元130的旋转角度q计算的旋转角速度来计算扰动估计值τ

理想关节控制单元280将计算出的扭矩命令值τ传输到臂装置10的驱动控制单元111。驱动控制单元111执行控制以将对应于传递的扭矩命令值τ的电流量提供给关节单元130的致动器中的马达，从而控制马达的转数并控制关节单元130中的旋转角度和产生的扭矩。

在根据本实施例的医疗臂系统1中，在使用臂单元120的工作期间，连续执行臂装置10中的臂单元120的驱动控制，因此重复执行臂装置10和控制装置20中的上述处理。换言之，由臂装置10的关节状态检测单元132检测关节单元130的状态，并将其发送到控制装置20。控制装置20基于关节单元130的状态、运动目的和约束条件，执行关于用于控制臂单元120的驱动的全身协调控制和理想关节控制的各种算术运算，并且将扭矩命令值τ作为算术运算结果传送到臂装置10。臂装置10基于扭矩命令值τ控制臂单元120的驱动，并且在驱动期间或驱动之后的关节单元130的状态再次由关节状态检测单元132检测。

将继续描述控制装置20中包括的其他配置。

存储单元220存储由控制装置20处理的各种类型的信息。在本实施例中，存储单元220可以存储用于设置和更新虚拟边界的各种参数。作为具体示例，存储单元220可以存储诸如虚拟边界的形状和大小的参数。

此外，存储单元220可以存储在关于由控制单元230执行的全身协调控制和理想关节控制的算术运算中使用的各种参数。例如，存储单元220可以存储在关于由全身协调控制单元270进行的全身协调控制的算术运算中使用的运动目的和约束条件。如上所述，存储在存储单元220中的运动目的可以是可以预先设置的运动目的，例如，远端单元140静止在空间中的预定点。此外，约束条件可以由用户预先设置，并根据臂单元120的几何配置、臂装置10的应用等存储在存储单元220中。此外，存储单元220还可以存储当臂状态获取单元240获取臂状态时使用的关于臂单元120的各种类型的信息。此外，存储单元220可以存储由控制单元230进行的关于全身协调控制和理想关节控制的算术运算中的算术运算结果、在算术运算过程中计算的各种数值等。如上所述，存储单元220可以存储关于由控制单元230执行的各种类型的处理的任何参数，并且控制单元230可以在与存储单元220相互交换信息的同时执行各种类型的处理。

此外，存储单元220可以用作存储区域，以临时存储在由控制单元230执行的各种算术运算的过程中计算的信息。作为具体示例，存储单元220可以存储关于作为臂单元120的辅助操作目标的目标点的信息、关于辅助控制量(以下也称为“辅助量”)的调整的参数、用作控制臂单元120的操作的参考的点(以下也称为“约束点”)等。

上面已经描述了控制装置20的功能和配置。请注意，根据本实施例的控制装置20可以由例如诸如个人计算机(PC)和服务器的各种信息处理设备(算术处理设备)来配置。

上面已经参照图4描述了根据本实施例的臂装置10和控制装置20的功能和配置。上述组成元件中的每一个可以使用通用构件或电路来配置，或者可以由专用于每个构成元件的功能的硬件来配置。此外，配置元件的所有功能可以由CPU等来执行。因此，可以根据执行本实施例时的技术水平来适当地改变要使用的配置。

<2.3.医疗臂系统控制示例>

接下来，将更详细地描述根据本实施例的医疗臂系统的控制的示例。

<2.3.1.臂控制的基本概念>

首先，概述关于根据本实施例的医疗臂系统中基于虚拟边界的设置的臂控制的技术的基本思想。

在现有技术的臂系统中，例如，在真实空间中设置虚拟边界，以抑制由臂单元保持的远端单元进入真实空间中的预定区域(例如，体内)。在这种情况下，例如，在远端单元与虚拟边界接触的情况下，臂单元的每个关节单元的位置和姿态受到约束，并且抑制远端单元的远端进一步进入被虚拟边界隔离的区域。同时，在使用现有技术中的臂系统中的虚拟边界的设置的控制中，例如，不必假设执行将远端单元移动到特定位置(目标点)的操作的情况。

相反，在根据本实施例的医疗臂系统中，执行虚拟边界的设置和根据虚拟边界的设置对臂单元的控制，以使得能够辅助操作来将作用点(例如，远端单元的远端)朝向目标点移动。

例如，图5是用于描述根据本实施例的医疗臂系统中基于虚拟边界的设置的臂控制技术的概述的示意性透视图。图5示意性地示出了在根据本实施例的医疗臂系统中设置的虚拟边界P10的示例。根据本实施例的虚拟边界P10具有由平坦表面、弯曲表面或其组合形成的表面P11，并且开口P13设置在表面P11的一部分中。例如，在图5所示的示例中，虚拟边界P10具有被设置为朝向开口P13倾斜的表面P11。更具体地说，在图5所示的示例中，虚拟边界P10具有基本上等于顶点侧向下定位的圆锥的侧面的形状，并且开口P13设置在对应于顶点侧的位置。换言之，在虚拟边界P10在垂直于圆锥的轴的平面中被切割的情况下，切割部分的面积随着虚拟边界P10在更靠近开口P13(移动目标)的位置处被切割而变小。请注意，虚拟边界P10的每个部分的尺寸、细节的形状等可以根据预期使用场景适当地改变。例如，虚拟边界P10可以具有基本上等于上表面侧向下定位的圆台的侧表面的形状。在这种情况下，开口P13(移动目标)可以设置在对应于上表面的至少一部分的位置(例如，对应于上表面的位置或者对应于上表面中的点的位置)。此外，图5示意性地示出了由臂单元120保持的远端单元140的远端部分141。换言之，在图5所示的示例中，在远端部分141与虚拟边界P10的表面P11接触的情况下(换言之，在远端部分141位于虚拟边界P10的表面P11上的情况下)，控制臂单元120的操作以抑制远端部分141进入被表面P11隔离的背面侧的区域。此外，此时，控制臂单元120的操作以辅助(支持)与表面P11接触的远端部分141(换言之，位于表面P11上的远端部分141)沿着表面P11朝向开口P13的移动。换言之，可以说开口P13设置在表面P11的一部分中，作为关于辅助远端部分141沿着表面P11移动的移动目标。

请注意，在图5所示的示例中，定义了坐标轴。具体地，垂直于开口P13的中心的方向被定义为z轴方向，并且正交于z轴并且彼此正交的方向被定义为x轴方向和y轴方向。此外，为了方便起见，将根据坐标轴来定义上下方向、前后方向和左右方向。换言之，z轴方向、x轴方向和y轴方向分别被定义为上下方向、左右方向和前后方向。

这里，将参照图6描述根据本实施例的安装虚拟边界的方法的示例。图6是用于描述根据实施例的安装虚拟边界的方法的示例的概述的说明图。请注意，图6中的x轴、y轴和z轴分别对应于图5中的x轴、y轴和z轴。在图6中，具有至少一部分插入并用于患者体内的医疗器械，例如内窥镜，被假定为远端单元140。换言之，图6示意性地示出了患者身体的表面M11。此外，图6示意性地示出了用于将医疗器械插入患者体内的插入端口M13。

请注意，在本公开中，插入端口M13的形式不受特别限制，只要插入端口能够用于将医疗器械插入患者体内。作为具体示例，插入端口M13可以是通过安装所谓的套管针等形成的插入端口(人工孔或孔口)。此外，作为另一示例，插入端口M13可以是通过对身体的表面M11施加诸如切口的处理而形成的插入端口。此外，作为另一个示例，插入端口M13可以是作为身体的一部分提供的开口(自然孔或孔口)，例如耳道或鼻孔。

在图6所示的示例中，虚拟边界P10被设置在真实空间中，使得图5所示的虚拟边界P10的开口P13的位置对应于插入端口M13的位置。具体地，虚拟边界P10的位置和姿态基于插入端口M13的位置来设置，使得插入开口P13中的远端单元140(医疗器械)的远端部分141具有经由插入端口M13插入到患者体内的位置关系。此外，虚拟边界P10的表面P11被设置为落在以开口P13的位置为基点的预定范围内。作为具体示例，表面P11被设置为朝向开口P13倾斜，在对应于以xy平面中的开口P13的位置为中心的预定范围的区域中以开口P13为底部。换言之，在图6所示的示例中，虚拟边界P10被设置为具有所谓的砂浆形状，在底部设置有开口。换言之，在虚拟边界P10中，开口P13被设置成使得表面P11中对应于插入端口M13的位置变得可插入。

利用上述构造，例如，远端部分141与除了患者身体的表面M11的开口P13之外的部分的接近被虚拟边界P10的表面P11阻挡。因此，可以防止出现远端部分141与表面M11接触的情况。此外，辅助(支持)与表面P11接触的远端部分141(作用点)沿着表面P11朝向开口P13(移动目标)的移动。因此，可以辅助将远端部分141插入插入端口M13的操作。换言之，例如，基于根据本实施例的虚拟边界P10的设置，控制臂单元120的移动，使得随着作用点接近目标点(例如，插入端口M13)，进一步限制作用点(例如，远端单元141)的可移动范围。

已经参考图5和图6描述了关于根据本实施例的医疗臂系统中基于虚拟边界的设置的臂控制的技术的基本思想的概述。

<2.3.2.比较示例：操作抑制控制>

接下来，为了使根据本实施例的医疗臂系统的臂控制的特性更容易理解，将描述用于抑制远端单元进入真实空间中的预定区域的臂控制的示例作为比较示例。

首先，将参照图7描述根据比较示例的臂控制的概述。图7是用于描述根据比较示例的臂系统中的臂控制的示例的概述的说明图。在图7所示的示例中，假设使用内窥镜作为远端单元140，并且内窥镜被插入到使用套管针等形成的插入端口中的情况。此外，图7中的x轴、y轴和z轴分别对应于图5中的x轴、y轴和z轴。

图7示出了在真实空间中设置的虚拟边界的表面P11(以下也称为“边界表面”)。换言之，边界表面P11对应于图5和图6所示的虚拟边界P10的表面P11。此外，图7示意性地示出了在将远端单元140从边界表面P11上方朝向边界表面P11(换言之，向下)移动的操作过程中远端单元140的位置P111、P113和P115。具体地，位置P111表示远端单元140的远端部分141与边界表面P11接触之前远端单元140的位置。此外，作为上述操作的结果，位置P113表示在预测远端单元140的远端部分141已经进入由边界表面P11隔离的区域(换言之，边界表面P11下方的区域)的情况下远端单元140的位置。请注意，图7示意性地示出了此时远端部分141的位置P105。此外，位置P115表示在控制臂单元120的操作以抑制远端部分141进入由边界表面P11隔离的区域的情况下远端单元140的位置。

在图7所示的示例中，在远端单元140的远端部分141(作用点)位于边界表面P11上方的区域中的情况下，远端单元140的移动(换言之，臂单元120的操作)不受限制。相反，在预测到远端部分141进入边界表面P11以下的区域的情况下(或者在远端部分141已经进入该区域的情况下)，限制远端单元140的移动(换言之，臂单元120的操作)以抑制远端部分141进入该区域。具体地，在边界表面P11和远端部分141接触的边界表面P11上设置约束点P103，并且根据约束点P103的位置在xyz方向上平移三个自由度的约束条件被给予臂单元120的操作控制的条件。由此，抑制了远端单元140的移动(换言之，臂单元120的操作)，使得远端部分141位于边界表面P11上。此时，除了朝向边界表面P11上方远端单元140的运动不受限制的区域的运动之外，远端单元140的运动受到限制。

这里，将参照图8描述根据比较示例的臂系统的一系列处理的流程的示例，特别关注根据虚拟边界的设置来控制远端单元140的移动(换言之，控制臂单元120的移动)。图8是示出根据比较示例的臂系统的一系列处理的流程的示例的流程图。

如图8所示，臂装置10(关节状态检测单元132)检测构成臂单元120的关节单元130的状态(S101)，并将检测结果作为臂信息发送到控制装置20。控制装置20(臂状态获取单元240)从臂装置10获取根据臂状态的臂信息(S103)，并基于臂信息指定连杆和远端单元140在空间中的位置(坐标)以及作用在关节单元130、连杆和远端单元140等上的力(S105)。

接下来，控制装置20(虚拟边界更新单元251和约束条件更新单元255)获取关于虚拟边界的信息和关于与臂单元120的操作控制相关的约束条件的信息(例如，最新约束条件的信息)(S107)。控制装置20(虚拟边界更新单元251)基于各种条件设置并更新虚拟边界。例如，控制装置20可以根据远端单元140的远端部分141的位置(作用点的位置)和用户的指令(用户目的)来设置和更新目标点，并且根据目标点的设置来设置和更新虚拟边界(S109)。

控制装置20(区域进入确定单元253)基于虚拟边界的设置和更新结果以及臂信息，确定远端单元140的远端部分141(作用点)进入被虚拟边界隔离的区域(S111)。在确定远端部分141没有进入该区域的情况下(S111，否)，控制装置20(约束条件更新单元255)存储远端部分141的当前位置作为约束点的最新位置(S113)，并且在没有约束的情况下更新约束条件(S115)。换言之，在这种情况下，臂单元120的操作不被抑制。

同时，在确定远端部分141已经进入该区域的情况下(S111，是)，控制装置20(区域进入确定单元253)基于最新的约束点更新约束条件以抑制臂单元120的操作的至少一部分，从而抑制远端部分141进入该区域。作为具体示例，控制装置20可以更新约束条件，使得通过约束xyz方向上的平移三个自由度，远端部分141位于虚拟边界的表面上(S117)，如参考图7所述。此外，控制装置20(运动目的更新单元257)可以响应于约束条件的更新来更新关于臂单元120的操作控制的运动条件。

接下来，控制装置20(算术条件设置单元260)在关于使用广义逆动力学的全身协调控制的算术运算中设置最新的运动目的和最新的约束条件作为算术运算条件，以便实现使用外力作为操作力的手动操作(S119)。

控制装置20(全身协调控制单元270)基于臂的状态、运动目的和约束条件，通过使用广义逆动力学的算术运算来计算用于全身协调控制的控制命令值(S121)。值得请注意的是，虽然控制装置的全身协调控制单元270在此已经被描述为例如使用逆动力学来计算用于全身协调控制的控制命令值，但是这是非限制性示例。相反，可以考虑用于控制部分或全部多连杆结构(或任何其他形式的铰接医疗臂)的任何合适的技术。

控制装置20(理想关节控制单元280)基于扭矩命令值τ和从构成臂单元120的关节单元130的旋转角度q计算的旋转角速度来计算扰动估计值τ

如上所述，控制装置20将计算出的扭矩命令值τ传输到臂装置10。然后，臂装置10(驱动控制单元111)执行控制，以将与从控制装置20传输的扭矩命令值τ相对应的电流量提供给关节单元130的致动器中的马达，从而控制马达的转数并控制关节单元130中的旋转角度和产生的扭矩(S125)。

只要控制继续，就顺序执行如上所述的一系列处理(S127，是)。然后，当通过断电等在指令中给出控制终止时(S127，否)，上述一系列处理的执行终止。

已经参照图7和图8描述了主要用于抑制远端单元进入真实空间中的预定区域的臂控制的示例作为比较例。

同时，在执行根据上述比较示例的臂控制的情况下，例如，存在需要复杂操作(换言之，可操作性降低)来实现将远端部分141移动到特定位置的用户操作的情况。具体地，例如，在上述控制下，用户在以探索方式确认虚拟边界的形状的同时执行操作，或者在使用显示设备等确认虚拟边界的形状的同时执行操作。鉴于这种情况，在下面将要描述的控制示例中，执行虚拟边界的设置和根据虚拟边界的设置对臂单元120的控制，以使得能够辅助操作来将作用点(例如，远端单元的远端)朝向目标点移动，从而提高可操作性。因此，在下文中，根据本公开的实施例的臂控制的示例将被描述为第一控制示例和第二控制示例。

<2.3.3.第一控制示例：通过约束点位置更新的操作辅助控制>

首先，作为第一控制示例，将描述通过根据虚拟边界和作用点之间的位置关系更新约束点的位置来辅助(支持)用户操作的控制的示例。

首先，将参照图9描述根据第一控制示例的臂控制的概述。图9是用于描述根据第一控制示例的臂控制的概述的说明图，示出了根据本公开的实施例的医疗臂系统中的臂控制的示例。在图9所示的示例中，假设使用内窥镜作为远端单元140，并且内窥镜被插入到使用套管针等形成的插入端口中的情况。此外，图9中的x轴、y轴和z轴分别对应于图5中的x轴、y轴和z轴。

图9示出了在真实空间中设置的虚拟边界的表面P11(换言之，边界表面)，其对应于图5和图6中示出的虚拟边界P10的表面P11。此外，图9示意性地示出了在将远端单元140从边界表面P11上方朝向边界表面P11(换言之，向下)移动的操作过程中远端单元140的位置P141、P143和P145。具体地，位置P141表示远端单元140的远端部分141与边界表面P11接触之前远端单元140的位置。此外，作为上述操作的结果，位置P143表示在预测远端单元140的远端部分141已经进入由边界表面P11隔离的区域(换言之，边界表面P11的下侧的区域)的情况下远端单元140的位置。请注意，图9示意性地示出了此时远端部分141的位置P135。此外，位置P145表示在控制臂单元120的操作以抑制远端部分141进入由边界表面P11隔离的区域的情况下远端单元140的位置。

在图9所示的示例中，在远端单元140的远端部分141(作用点)位于边界表面P11上方的区域中的情况下，远端单元140的移动(换言之，臂单元120的操作)不受限制。请注意，在以下描述中，为了方便起见，该区域也被称为“非约束条件区域”。

相反，在预测远端部分141进入边界表面P11下方的区域的情况下(或者在远端部分141已经进入该区域的情况下)，抑制远端部分141进入该区域，并且辅助远端部分141沿着边界表面P11朝向被设置为移动目标的位置的移动。请注意，图9中的示例示意性地示出了移动目标P147的位置。此外，在以下描述中，为方便起见，类似于图9的示例中的边界表面P11下方的区域，远端单元140的移动被约束的区域也被称为“约束条件区域”。

具体地，基于边界表面P11和远端部分141之间的接触的检测结果(换言之，远端部分141位于边界表面P11上的检测结果)，计算边界表面P11上远端部分141进入约束条件区域(在下文中，也称为“进入点P133”)的位置和进入该区域的进入方向。接下来，基于边界表面P11和移动目标P147的形状，将与非约束条件区域中存在的进入点P133不同的位置设置为最新约束点P137。例如，在图9所示的示例中，约束点P137被设置在边界表面P11上的位置上，在该位置处边界表面P11与从远端部分141的位置P135朝向移动目标P147的矢量V139相交，在该情况下，远端部分141作为操作的结果已经进入约束条件区域。在设置最新约束点P137之后，根据约束点P137的位置在xyz方向上平移三个自由度的约束条件被给予臂单元120的操作控制的条件。结果，约束条件被更新以促使远端部分141朝向移动目标P147移动。换言之，控制远端单元140的移动(换言之，臂单元120的操作)，使得远端部分141位于边界表面P11上，并且辅助远端部分141沿着边界表面P11朝向移动目标P147的移动。如本文稍后参考概要实施例所讨论的，该辅助能力可用于为用户提供引导，例如通过选择性地施加反作用力和/或阻力来指示优选路线，所述反作用力和/或阻力防止和/或阻止在接近目标的优选路径之外的运动。因此，控制单元可以适于响应于引导规则在铰接医疗臂系统中施加产生的力。在引导规则的一些示例中，它可以是定义在医疗臂上施加什么力来将例如远端单元140的远端部分141(称为预定点/作用点)引导至移动目标P147的规则。例如，它可以包括用于产生推动力(推力和/或拉力)以辅助远端部分141朝向移动目标P147的运动的规则，以及用于对远端部分141朝向不朝向移动目标P147的方向的运动产生反作用力或阻力的规则。除了这些规则之外，其他的引导规则可以包括向推动力、反作用力和/或阻力增加偏移(它可以逐步增加)的规则和增加这些力(逐步增加)的规则，以实现远端部分141在靠近移动目标P147处的更小心的运动。

此外，图10是用于描述在根据第一控制示例的臂控制中设置约束点的方法的示例的说明图。换言之，图10示出了在边界表面P11上设置位置(以下也称为“进入抑制点”)的方法的示例，在该位置处，作用点进入由虚拟边界P10的边界表面P11隔离的非约束条件区域被抑制。在图10中，与图5相似的参考数字类似地表示在图5所示的示例中用附图标记表示的对象。此外，图10示出了设置在虚拟边界P10的边界表面P11上的进入抑制点(约束点)P155。此外，轴线P151垂直于开口P13的中心(换言之，插入端口M13的中心)。换言之，轴线P151对应于设置为插入开口P13和插入端口M13的轴线。此外，矢量V153与轴P151垂直相交。换言之，通过使用垂直于轴P151的向量V153和虚拟边界P10的边界表面P11的交点的计算结果，可以在边界表面P11上设置进入抑制点P155。

接下来，将参照图11描述根据第一控制示例的臂控制的一系列处理的流程的示例，特别关注根据虚拟边界的设置对远端单元140的移动的控制(换言之，对臂单元120的移动的控制)。图11是示出根据第一控制示例的臂控制的一系列处理的流程的示例的流程图。请注意，在附图标记S201至S209中表示的处理基本上类似于在图8所示的示例中由附图标记S101至S109表示的处理，因此省略详细描述。

控制装置20(区域进入确定单元253)基于虚拟边界和臂信息的设置和更新的结果，确定远端单元140的远端部分141(作用点)进入被虚拟边界隔离的区域(非约束条件区域)(S211)。在确定远端部分141没有进入约束条件区域的情况下(S211，否)，控制装置20(约束条件更新单元255)用无约束更新约束条件(S213)。换言之，在这种情况下，不抑制臂单元120的操作。

另一方面，在确定远端部分141已经进入约束条件区域的情况下(S211，是)，控制装置20(区域进入确定单元253)计算远端部分141进入约束条件区域的进入方向和进入位置(S215)。请注意，可以根据取决于臂单元120的状态的远端单元140的位置和虚拟边界P10的位置之间的相对关系来计算远端部分141(作用点)进入约束条件区域的进入方向和进入位置。

接下来，控制装置20(约束条件更新单元255)基于虚拟边界以及进入方向和进入位置的计算结果，更新约束点，使得与非约束条件区域中存在的进入位置不同的位置成为最新的约束点(S217)。然后，控制装置20(区域进入确定单元253)基于最新的约束点更新约束条件以抑制臂单元120的至少一部分操作。作为具体示例，控制装置20可以更新约束条件，以通过约束xyz方向上三个自由度的平移来抑制远端部分141(作用点)进入约束条件区域，并且辅助远端部分141沿着虚拟边界的边界表面朝向移动目标的移动(S219)，如参考图9所述。此外，控制装置20(运动目的更新单元257)可以响应于约束条件的更新来更新关于臂单元120的操作控制的运动条件。

请注意，后续操作(换言之，附图标记S221至S229)基本上类似于参考图8描述的示例，因此省略详细描述。

通过上述控制，除了抑制作用点(例如，远端部分141)进入被虚拟边界隔离的区域之外，根据用户的操作目标沿着虚拟边界的边界表面的移动操作的辅助变得可能。作为具体示例，在内窥镜被插入通过使用套管针等形成的插入端口的情况下，通过将内窥镜的远端推靠在虚拟边界的边界表面上，可以沿着边界表面引导远端。换言之，可以辅助和/或引导用户的操作以将内窥镜朝向插入端口移动，而不会使用户意识到朝向作为目标位置的插入端口的操作。如本文所述，控制装置可以抑制通过虚拟边界的不希望的移动，并且还可以可选地施加力以将作用点推到边界上和/或朝向操作目标。此外，可以根据各种条件适当地设置或更新虚拟边界的形状和开口的位置(换言之，操作目标的位置)。因此，例如，通过将上述控制与位置存储功能相结合来设置或更新操作目标和虚拟边界的形状，以在操作期间存储位置，还可以辅助用户操作以将由臂保持的远端单元朝向特定的存储位置移动。

如上所述，作为第一控制示例，已经参考图9至图11描述了通过根据虚拟边界和作用点之间的位置关系更新约束点的位置来辅助(支持)用户操作的控制的示例。

<2.3.4.第二控制示例：通过力控制的操作辅助控制>

接下来，作为第二控制示例，将描述通过估计从作用点施加到虚拟边界的外力并模拟对抗外力的反作用力来辅助(支持)用户操作的控制的示例。

首先，将参照图12描述根据第二控制示例的臂控制的概述。图12是用于描述根据第二控制示例的臂控制的概述的说明图，其示出了根据本公开的实施例的医疗臂系统中的臂控制的示例。在图12所示的示例中，假设使用内窥镜作为远端单元140，并且内窥镜被插入到使用套管针等形成的插入端口中的情况。此外，图12中的x轴、y轴和z轴分别对应于图5中的x轴、y轴和z轴。

图12示出了在真实空间中设置的虚拟边界的表面P11(换言之，边界表面)，其对应于图5和图6中示出的虚拟边界P10的表面P11。此外，图12示意性地示出了在将远端单元140压靠在边界表面P11上的操作过程中远端单元140的位置P177和P179。具体而言，位置P177表示在远端单元140的远端部分141与边界表面P11接触的状态下(换言之，远端部分141位于边界表面P11上的状态)已经执行将远端单元140压靠于边界表面P11的操作的时刻的远端单元140的位置。此外，位置P179表示响应于上述操作，在控制臂单元120的操作以抑制远端部分141进入由边界表面P11隔离的区域的情况下，远端单元140的位置(操作后远端单元140的位置)。

在图12所示的示例中，在远端单元140的远端部分141(作用点)位于边界表面P11上方的区域中的情况下，远端单元140的移动(换言之，臂单元120的操作)不受限制。这一点类似于参考图9描述的第一控制示例。

当执行进一步将与边界表面P11接触的远端部分141向由边界表面P11隔离的区域移动的操作时，模拟抑制远端部分141进入该区域的反作用力。具体地，在假设边界表面P11实际上作为对象存在的情况下，估计从与边界表面P11接触的远端部分141(换言之，位于边界表面P11上的远端部分141)作用在边界表面P11上的外力。例如，图12示意性地示出了位置P173，在该位置，位于位置P177的远端单元140的远端部分141与边界表面P11接触。此外，矢量V181表示估计从位于位置P177的远端单元140施加到边界表面P11的外力的矢量。此外，矢量V183表示外力矢量V181相对于边界表面P11的垂直分量的矢量。此外，矢量V187表示外力矢量V181相对于边界表面P11的水平分量的矢量。

此外，相对于边界表面P11的垂直分量的矢量V183是根据作为矢量V181示出的外力的估计结果来计算的，从而可以计算抵消垂直分量的影响的反作用力的矢量V185。换言之，在图12所示的示例中，控制臂单元120的操作，使得模拟作为矢量V185示出的垂直方向上的反作用力，从而可以抑制远端部分141进入边界表面P11下方的区域(约束条件区域)。此外，图示为矢量V187的水平分量保持不被抵消，从而控制远端单元140的移动(换言之，臂单元120的操作)，使得辅助远端部分141沿着边界表面P11的移动。请注意，作为矢量V185示出的垂直方向上的反作用力对应于“第一反作用力”的示例。

请注意，外力相对于边界表面P11的水平分量变得能够被计算，如矢量V187所示。因此，例如，可以计算限制(相应地，消除)水平分量的影响的反作用力的矢量V189。因此，例如，控制臂单元120的操作，使得模拟作为矢量V189示出的水平方向上的反作用力，从而可以调节关于远端部分141沿着边界表面P11的移动的辅助量。请注意，图示为矢量V189的水平方向上的反作用力对应于“第一反作用力”的示例。

接下来，将参照图13描述根据第二控制示例的臂控制的一系列处理的流程的示例，特别关注根据虚拟边界的设置对远端单元140的移动的控制(换言之，对臂单元120的移动的控制)。图13是示出根据第二控制示例的臂控制的一系列处理的流程的示例的流程图。请注意，附图标记S301至S309所表示的处理基本上类似于图8所示示例中附图标记S101至S109所表示的处理，因此省略详细描述。

控制装置20(区域进入确定单元253)基于虚拟边界和臂信息的设置和更新的结果，确定远端单元140的远端部分141(作用点)进入被虚拟边界隔离的区域(非约束条件区域)(S311)。在确定远端部分141没有进入约束条件区域的情况下(S311，否)，控制装置20(约束条件更新单元255)用无约束更新约束条件(S313)。换言之，在这种情况下，不抑制臂单元120的操作。

换言之，在确定远端部分141已经进入约束条件区域的情况下(S211，是)，控制装置20(区域进入确定单元253)计算(估计)从与虚拟边界P10的边界表面P11接触的远端部分141(作用点)作用在边界表面P11上的外力。请注意，可以根据取决于臂单元120的状态的远端单元140的位置和虚拟边界P10的位置以及虚拟边界P10的形状等之间的相对关系来计算从远端部分141(作用点)作用在边界表面P11上的外力的向量。

接下来，控制装置20(约束条件更新单元255和运动目的更新单元257)基于作用在虚拟边界P10的边界表面P11上的外力的计算结果，计算外力相对于边界表面P11的垂直分量的向量。然后，控制装置20基于垂直分量的向量的计算结果来计算抵消垂直分量的影响的反作用力的向量。换言之，控制装置20更新约束条件和运动目的，使得产生针对垂直分量的反作用力，其大小大致等于相对于边界表面P11的外力的垂直分量的(S317)。

此外，控制装置20(约束条件更新单元255和运动目的更新单元257)可以通过计算外力的水平分量相对于虚拟边界P10的边界表面P11的向量来调整关于远端部分141沿着边界表面P11的运动的辅助量。具体地，控制装置20基于外力的水平分量的向量的计算结果来计算限制水平分量的影响的反作用力的向量。此时，控制装置20可以根据关于远端部分141(作用点)的移动的辅助量的调节参数来控制水平分量的影响的限制量(换言之，针对水平分量的反作用力的大小)。如上所述，控制装置20更新约束条件和运动目的，使得针对水平分量的反作用力根据相对于边界表面P11的外力的水平分量的大小的(S319)。

请注意，后续操作(换言之，附图标记S321至S329)基本上类似于参考图8描述的示例，因此省略详细描述。

通过上述控制，除了抑制作用点(例如，远端部分141)进入被虚拟边界隔离的区域之外，根据由用户的操作施加到臂单元的力(换言之，移动作用点的外力)沿着虚拟边界的边界表面的移动操作的辅助变得可能。此外，此时，可以基于用户的操作从作用点产生根据相对于虚拟边界的边界表面的外力的估计结果的边界表面的水平分量的反作用力。例如，通过产生这样的反作用力，根据例如由用户的操作施加到臂单元的力，对于沿着虚拟边界的边界表面的移动操作，产生阻力的移动量的控制变得可能。换言之，通过根据边界表面的水平分量产生反作用力，可以模拟对用户朝向操作目标的操作的摩擦力。

作为第二控制示例，已经参考图12和图13描述了通过估计从作用点施加到虚拟边界的外力并模拟对抗外力的反作用力来辅助(支持)用户操作的控制的示例。

<2.3.5.第一示例：使用虚拟边界的操作辅助控制示例>

接下来，作为第一示例，作为关于由根据本公开的实施例的系统使用虚拟边界来辅助用户操作的控制的示例，将描述基于假设辅助将内窥镜的远端插入端口的情况的虚拟边界的设置的臂控制的示例。

首先，将参照图14描述根据第一示例的臂控制的概述。图14是用于描述根据第一示例的臂控制的概述的说明图。在图14所示的示例中，内窥镜被用作远端单元140，并且虚拟边界的边界表面P11被设置为辅助将内窥镜的远端部分141(换言之，镜筒的远端)引入到用于将医疗器械插入体内的插入端口P203中，该插入端口通过安装套管针等来提供。换言之，在图14所示的示例中，虚拟边界的开口位于对应于插入端口P203的位置，并且虚拟边界的边界表面P11被设置为朝向开口倾斜。请注意，开口的设置条件没有特别限制。作为具体示例，在使用套管针的情况下，虚拟边界的形状可以根据套管针的姿势和套管针的插入端口的方向来适当地设置或更新。

此外，在图14所示的示例中，“内部区域”、“外部区域”、“区域超出区域(OverRegion region)”和“套管针下方区域”根据虚拟边界的设置来设置。在由边界表面P11隔离的两个区域中，内部区域对应于与患者身体所处的区域相对的区域，并且对应于图14所示的示例中的边界表面P11上方的区域。相反，外部区域对应于由边界表面P11隔离的两个区域中与内部区域相对的区域，并且对应于图14所示的示例中的边界表面P11下方的区域。套管针下方区域对应于远端单元140的远端部分141(作用点)通过插入端口P203引入的区域，并且对应于例如对应于患者身体内部的区域。此外，区域超出区域示意性地表示没有应用关于臂控制的条件的区域。

内部区域和区域超出区域中的每一个对应于远端单元140的移动不受约束的区域(非约束条件区域)。相反，外部区域和套管针下侧区域中的每一个都对应于远端单元140的运动受到约束的区域(约束条件区域)。以这种方式，根据虚拟边界的设置来限制约束条件区域的范围，使得臂控制的目标范围可以被设置为所需的最小范围，并且可以在该范围之外实现没有约束的自由操作，而不依赖于远端单元140的位置或姿势。

这里，将参考图15和图16描述臂控制的具体示例。图15和图16的每个图是用于描述根据第一示例的臂控制的示例的概述的说明图。

首先，将参照图15描述根据第一示例的臂控制的示例。图15示意性地示出了远端单元140的位置和姿态140a至140c。此外，图15分别示出了远端单元140a至140c的远端部分141a至141c。

在外部区域中，根据边界表面P11的设置，抑制了远端单元140从内部区域的进入(过渡)。作为一个具体的示例，在图15所示的示例中，远端单元140a的远端部分141a在除了设置开口的边界表面P11的位置之外的另一个位置P211处(换言之，对应于插入端口P203的位置)从内部区域侧与边界表面P11接触。在这种情况下，通过臂控制来抑制远端部分141a从位置P211进入外部区域。同时，远端部分141a沿着边界表面P11的移动不受限制。因此，如图15所示，当操作臂以将远端部分141a压靠在边界表面P11上的位置P211时，远端部分141a沿着边界表面P11的倾斜朝向插入端口P203(换言之，虚拟边界的开口)的移动得到辅助。与边界表面P11接触的远端单元140b的远端部分141b类似地在边界表面P11上从内部区域侧的位置P213处被辅助。

在套管针下方区域中，允许从内部区域通过插入端口P203(换言之，虚拟边界的开口)进入(过渡)，并且禁止从其他部分进入(过渡)。例如，在图15所示的示例中，远端单元140c的远端部分141c插入到插入端口P203中，从而从内部区域进入套管针下方区域。如上所述，在远端部分141c已经通过插入端口P203进入套管针下方区域的状态下，远端单元140c的至少一部分运动可以受到约束。作为具体示例，远端单元140c可以被约束在XY方向上的平移两个自由度中。换言之，远端单元140c可以被允许仅在Z方向上移动。此外，在图15所示的示例中，存在区域超出区域与套针下方区域相接触的部分，如在位置P215和P217处。即使在这种情况下，从区域超出区域进入套管针下方区域也被抑制。

接下来，将参照图16描述根据第一示例的臂控制的另一示例。图16示意性地示出了远端单元140的位置和姿态140d至140e。此外，图16分别示出了远端单元140d至140e的远端部分141d至141e。

如上所述，抑制了作用点(例如，远端单元140)从由边界表面P11隔离的内部区域进入外部区域(转变)。同时，可以允许作用点从外部区域进入(转移)到内部区域。作为一个具体的示例，在图16所示的示例中，远端单元140d的远端部分141d位于外部区域。在这种情况下，在已经执行使远端部分141d从外部区域进入边界表面P11之外的内部区域的操作的情况下，可以执行允许该操作的臂控制。当然，在已经执行使转变到内部区域的远端部分141d从除插入端口P203之外的位置再次进入外部区域的操作的情况下，抑制了远端部分141d进入外部区域。这对于远端部分141e位于外部区域的远端单元140e类似地执行。以这种方式执行考虑进入每个区域的方向的臂控制，使得根据用户意图的操作来辅助操作变得可能。换言之，当远端单元140从外部区域移动到内部区域时，用户的操作不受虚拟边界的阻碍，并且当位于内部区域侧的远端单元140插入到插入端口P203中时，用户关于插入的操作由虚拟边界辅助。因此，可以预期进一步提高可操作性的效果。

此外，在图16所示的示例中，可以假设执行使远端部分141从外部区域与套管针下方区域接触的部分进入套管针下方区域的操作的情况，如在位置P221和P223。在这种情况下，抑制了远端部分141从外部区域进入套管针下方区域。

请注意，在图14至图16所示的示例中，内部区域对应于“第一区域”的示例，外部区域对应于“第二区域”的示例。

作为第一示例，作为关于由根据本公开的实施例的系统使用虚拟边界来辅助用户操作的控制的示例，已经参考图14到图16描述了基于假设辅助将内窥镜的远端插入端口的情况的虚拟边界的设置的臂控制的示例。

<2.3.6.第二示例：使用虚拟边界的操作辅助控制示例>

作为第二示例，将描述根据本公开实施例的系统使用虚拟边界来控制关于用户操作的辅助的另一示例。

根据本公开的实施例的关于根据虚拟边界的设置的用户操作的辅助的臂控制可以被设置为用于控制臂装置的操作的一种模式(换言之，臂控制的模式)，如图2所示。换言之，作为臂装置的操作模式，可以设置根据本公开的实施例的臂控制的模式和另一臂控制的模式(例如，基于现有技术的模式)。在这种情况下，根据本公开的实施例的臂控制的模式对应于“第一模式”的示例，而其他臂控制的模式对应于“第二模式”的示例。作为具体示例，作为臂装置的操作模式，可以设置与根据基于根据本公开的技术的虚拟边界的设置来辅助用户操作相关的第一模式，以及基于现有技术来抑制作用点进入预定区域的第二模式(例如，用于防止远端单元与预定结构接触的模式)。请注意，在这种情况下，作为第二模式，用于抑制作用点进入预定区域的臂控制的方法不受特别限制。作为具体示例，可以通过基于约束点的设置执行臂控制来抑制作用点进入预定区域。此外，作为另一个示例，可以执行臂控制以产生用于抑制作用点进入预定区域的反作用力。

请注意，在这种情况下，每个模式的应用条件可以根据可假设的用例来适当地设置。作为具体示例，可以根据臂装置的臂单元所保持的远端单元(例如，医疗器械)来确定要应用的模式。此外，在提供对应于臂单元的多个配置的情况下，可以确定要应用于每个臂单元的模式。

此外，可以适当地选择性地应用每种模式(例如，第一模式或第二模式)中的臂控制技术。例如，当抑制作用点(例如，远端单元)进入预定区域时，可以根据诸如患部的预定目标的检测结果来执行区域的设置和虚拟边界的设置。作为更具体的示例，图像分析被应用于由成像单元(例如，内窥镜装置)捕获的图像，以将捕获的受影响部分识别为对象，并且可以根据受影响部分的识别结果来执行抑制进入的区域的设置，并且可以根据区域的设置来执行虚拟边界的设置。在这种情况下，成像单元在真实空间中的位置可以根据臂单元的姿态来识别。

作为具体示例，可以基于成像单元的位置的识别结果和由成像单元捕获的图像的分析结果，将在作为对象的图像中捕获的受影响部分在真实空间中的绝对位置估计为相对于成像单元的相对位置。因此，例如，将受影响部分位于真实空间中的区域设置为抑制作用点进入的区域，并且可以根据该区域的设置来设置虚拟边界的位置、姿势和形状、虚拟边界的边界表面中的开口的位置等。此外，作为另一示例，根据本公开实施例的虚拟边界根据用于将医疗器械插入体内的插入端口的设置来设置，由此可以辅助通过插入端口引入医疗器械。作为具体示例，识别套管针等以识别插入端口的位置和姿势，并且可以根据插入端口的位置和姿势的识别结果来设置虚拟边界。在这种情况下，例如，根据插入端口的位置和姿势的识别结果，可以在虚拟边界的边界表面的对应于插入端口的位置设置开口。更具体地，可以确定虚拟边界的边界表面的形状和边界表面中的开口的位置，使得通过虚拟边界中设置的开口插入的作用点(例如，远端单元)被引入到识别的插入端口中。此外，例如，可以实时执行基于如上所述的预定目标的检测结果和预定状态的检测结果的控制。换言之，虚拟边界的边界表面的形状、边界表面中开口的位置等可以根据预定条件顺序更新。此外，作为另一个示例，虚拟边界的边界表面的形状、边界表面中的开口的位置等可以基于各种触发来设置或更新，诸如预定目标的检测和预定状态的检测，如上所述。

此外，当辅助关于作用点朝向目标位置(例如插入端口)移动的操作时，可以适当地改变关于辅助的控制。作为具体示例，可以根据作用点(例如，医疗器械)和目标位置(例如，插入端口)之间的位置关系(例如，距离等)来控制关于作用点朝向目标位置的移动的辅助量。作为更具体的示例，可以控制臂单元的操作，使得随着作用点接近目标位置，抵抗朝向目标位置的运动的反作用力变大。此外，作为另一个示例，可以控制臂单元的操作，使得随着作用点接近目标位置，关于臂单元的每个关节的驱动(例如，旋转运动)的粘性阻力系数变得更高。通过这样的控制，可以执行控制，使得随着作用点(例如，医疗器械等的远端单元)接近目标位置，关于作用点的移动的阻力(换言之，关于作用点的移动的操作的阻力)变大。通过该控制，当作用点接近目标位置时，臂单元的操作可以变得更重，或者关于臂单元的运动的速度(换言之，作用点的运动)可以被限制。因此，用户可以执行更精确的操作。此外，通过上述臂控制，用户可以根据臂单元的速度或臂单元的操作重量容易地识别出作用点位于目标位置附近。请注意，通过提供阈值，可以基于预定阈值来切换根据作用点和目标位置之间的位置关系的臂控制。作为具体示例，在作用点和目标位置之间的距离变得等于或小于阈值的情况下，可以限制关于臂单元的移动的速度，或者可以执行控制使得臂单元的操作变得更重。此外，根据作用点朝向边界表面的移动的辅助量可以基于与上述类似的思想，根据作用点和虚拟边界的边界表面之间的位置关系(例如，距离)来控制。

此外，可以控制臂单元的操作，使得根据由远端单元(例如，医疗器械)和虚拟边界的边界表面形成的角度产生关于远端单元的姿态控制的反作用力。通过这种控制，可以辅助使用者的操作，使得例如像内窥镜的镜筒那样的长远端单元更垂直地插入到插入端口中。

请注意，以上描述仅仅是示例，并不一定限制根据本公开实施例的医疗臂系统的操作。换言之，在不脱离与臂控制相关的思想的情况下，可以适当地改变部分配置和控制，换言之，根据本公开的实施例，与关于使用虚拟边界辅助用户操作的控制相关的思想。

作为第二示例，已经描述了根据本公开的实施例的系统使用虚拟边界来控制关于用户操作的辅助的另一示例。

<2.4变型例>

接下来，将描述根据本公开实施例的医疗臂系统的变型例。在本变型例中，将参考图17到图20描述根据本公开的实施例的虚拟边界的其他示例。请注意，在下面的描述中，如图17至图20所示的示例，为了方便起见，也被称为第一至第四变型。此外，图17至图20中的每一个中的x轴、y轴和z轴分别对应于图5中的x轴、y轴和z轴。

<2.4.1.第一变型例>

首先，将参照图17描述根据第一变型例的虚拟边界。图17是用于描述根据第一变型例的关于虚拟边界的概述的说明图。请注意，为了将根据图17所示的第一变型例的虚拟边界与根据上述实施例的虚拟边界区分开来，为了方便起见，根据第一变型例的虚拟边界也被称为“虚拟边界P20”。

如图17所示，虚拟边界P20具有由平面、曲面或其组合形成的边界表面P21，并且在边界表面P21的一部分中设置开口P23(移动目标)。边界表面P21被设置为朝向开口P23倾斜。此外，虚拟边界P20被设置在真实空间中，使得开口P23的位置对应于插入端口M13的位置。这些配置类似于参考图4和图5描述的虚拟边界P10。

相反，虚拟边界P20具有形成为使得边界表面P21从开口P23设置的部分进一步延伸(换言之，在图17中向下)到开口P23之外的部分(以下也称为“边界表面P25”)。具体地，边界表面P25具有管状(例如，圆柱形)形状，并且形成为从对应于开口P23的位置通过插入端口M13延伸到体内。此外，边界表面P25在与开口P23相对的一端开口，如参考数字P27所示。

利用上述构造，当沿着边界表面P21辅助朝向开口P23的运动时，远端单元的远端部分插入开口P23，然后沿着边界表面P25辅助体内的运动。换言之，通过插入端口M13插入体内的远端单元的远端部分的可移动范围受到边界表面P25的限制。由此，可以防止通过插入端口M13插入体内的医疗器械(远端单元)与体内的每个部分(例如，器官等)接触的情况。请注意，根据使用情况适当地确定对与边界表面P25接触的远端单元应用什么类型的控制(例如，约束条件、运动目的等)就足够了。

此外，边界表面P25的形状、长度等可以根据体内的状态适当地改变。作为具体示例，假设医疗器械通过鼻孔插入，开口P23可以设置在对应于鼻孔的位置，并且边界表面P25可以沿着鼻腔的内侧形成。利用这种构造，可以辅助医疗器械沿着鼻腔的移动(插入)，同时防止通过鼻孔插入鼻腔的医疗器械与鼻腔的内侧表面接触的情况发生。此外，使用各种传感器等来检测鼻孔和鼻腔的形状的变化，并且可以根据检测的结果来更新虚拟边界P20的位置和形状(具体地，边界表面P25的位置和形状)。

已经参照图17描述了根据第一变型例的虚拟边界。

<2.4.2.第二变型例>

接下来，将参照图18描述根据第二变型例的虚拟边界。图18是用于描述根据第二变型例的关于虚拟边界的概述的说明图。请注意，为了将根据图2所示的第二变型例的虚拟边界与根据上述实施例和其他变型例的虚拟边界区分开来，为了方便起见，根据第二变型例的虚拟边界也被称为“虚拟边界P20’”。

在图18所示的示例中，参考标记P21、P23和P25分别基本上类似于图17所示的示例中的边界表面P21、开口P23和边界表面P25。因此，虚拟边界P20’的配置将集中在不同于图17所示的虚拟边界P20的部分进行描述，并且省略了与虚拟边界P20的配置基本相似的配置(换言之，边界表面P21、开口P23和边界表面P25)的详细描述。

通过将图18与图17进行比较可以看出，虚拟边界P20’与图17中的虚拟边界P20的不同之处在于，边界表面P25的端部的开口P23相对的一端设置有端面P29(换言之，没有开口)。换言之，在图18所示的示例中，在被插入到开口P23中之后，远端单元的远端部分在主体中的移动沿着边界表面P25被辅助，并且当远端部分与端面P29接触时，进一步的插入被端面P29抑制。利用这种构造，可以在插入体内的医疗器械的远端与器官等接触之前抑制医疗器械(远端单元)的插入。

已经参照图18描述了根据第二变型例的虚拟边界。

<2.4.3.第三变型例>

接下来，将参照图19描述根据第三变型例的虚拟边界。图19是用于描述根据第三变型例的关于虚拟边界的概述的说明图。请注意，为了将根据图19所示的第三变型例的虚拟边界与根据上述实施例和其他变型例的虚拟边界区分开来，为了方便起见，根据第三变型例的虚拟边界也被称为“虚拟边界P30”。

如图19所示，虚拟边界P30具有由平面、曲面或其组合形成的边界表面P31，并且开口P33(移动目标)设置在边界表面P31的一部分中。此外，虚拟边界P30设置在真实空间中，使得开口P33的位置对应于插入端口M13的位置。同时，虚拟边界P30与根据上述实施例和其他变型例的虚拟边界的不同之处在于，边界表面P31不朝向开口P33倾斜。

在这种构造下，例如，在远端单元的远端部分与边界表面P31接触的情况下(换言之，远端部分位于边界表面P31上)，可以控制臂单元的操作，使得辅助远端单元沿着边界表面P31朝向开口P33(移动目标)的移动(例如，执行力控制)。

此外，与图17和图18所示的示例类似，可以向虚拟边界P30提供对应于边界表面P25的配置。

已经参照图19描述了根据第三变型例的虚拟边界。

<2.4.4.第四变型例>

接下来，将参照图20描述根据第四变型例的虚拟边界。图20是用于描述根据第四变型例的关于虚拟边界的概述的说明图。请注意，为了将根据图20所示的第四变型例的虚拟边界与根据上述实施例和其他变型例的虚拟边界区分开来，为了方便起见，根据第四变型例的虚拟边界也被称为“虚拟边界P40”。

如图20所示，虚拟边界P40具有这样的形状，其中图5所示的虚拟边界P10沿着平行于z轴的平面被切割，并且切割部分的一部分被去除。换言之，虚拟边界P40具有弯曲的边界表面P41，并且与弯曲方向正交的方向上的一端P43(在-z方向上的一端)被设置为移动目标。请注意，虚拟边界P40中的末端P43的位置对应于开口P13被设置在图5所示的虚拟边界P10中的位置。换言之，边界表面P41被设置为朝向末端P43倾斜。

换言之，在顶点侧位于下方的锥体被平行于该锥体的轴线的平面切割并被部分移除的情况下，虚拟边界P40具有基本上等于该锥体的侧表面的移除后的剩余部分的形状。也就是说，当虚拟边界P40在更靠近末端P43(移动目标)的位置处被切割时，在虚拟边界P40在垂直于圆锥轴线的平面中被切割的情况下形成的切割部分的面积变小。

在这种构造下，例如，在远端单元的远端部分与边界表面P41接触的情况下(换言之，远端部分位于边界表面P41上)，可以控制臂单元的操作，使得辅助远端单元沿着边界表面P41朝向端部P43(移动目标)的移动。请注意，关于远端单元的移动辅助的臂单元的操作的控制类似于上述实施例和其他变型例的控制。

此外，与图17和图18所示的示例类似，可以向虚拟边界P40提供对应于边界表面P25的配置。

已经参照图20描述了根据第四变型例的虚拟边界。

<2.4.5.补充>

上述配置仅仅是示例，并不一定限制根据本公开实施例的虚拟边界的配置。换言之，根据本实施例的虚拟边界的配置(例如，形状等)不受特别限制，只要虚拟边界具有由平坦表面、曲面或其组合形成的边界表面，并且移动目标(例如，开口)被设置在边界表面的一部分中。此外，在根据本实施例的虚拟边界中，将移动目标(例如，开口)设置在对应于用于将医疗器械插入患者体内的插入端口的位置就足够了。穿透边界表面的孔不一定如图18所示的示例中那样提供,只要医疗器械(远端单元)能够插入到插入端口中。此外，虚拟边界不一定具有基于完美圆锥(或圆形截头圆锥)的形状，并且可以是例如基于椭圆圆锥的形状。此外，例如，在虚拟边界被设置为辅助体内移动的情况下，当手术工具被移动到目标位置时，可以辅助向器官表面上设置的目标位置的移动。在这种情况下，例如，虚拟边界的边界表面的形状可以根据器官的形状(换言之，沿着器官的表面形成的形状)来设置。此外，在这种情况下，将移动目标设置在虚拟边界的一部分中就足够了，并且诸如开口的可插入部分可以不必设置在边界表面中。换言之，根据本公开的实施例在虚拟边界中设置的移动目标的方面不一定限于开口。

<<3.硬件配置>>

接下来，将描述信息处理设备900的硬件配置的示例，该信息处理设备900配置根据本实施例的医疗臂系统，类似于图3所示的根据本公开的实施例的臂装置10和控制装置20。图21是示出根据本公开实施例的信息处理设备的硬件配置的配置示例的功能框图。

根据本实施例的信息处理设备900主要包括CPU 901、ROM 902和RAM 903。此外，信息处理设备900包括主机总线907、桥接器909、外部总线911、接口913、存储装置919、驱动器921、连接端口923和通信装置925。此外，信息处理设备900还可以包括输入装置915或输出装置917中的至少一个。

CPU 901用作算术处理单元和控制装置，并且根据记录在ROM 902、RAM 903、存储装置919或可移动记录介质927中的各种程序来控制信息处理设备900的整体操作或其一部分。ROM 902存储由CPU 901使用的程序、算术运算参数等。RAM 903主要存储由CPU 901使用的程序、在程序执行中适当改变的参数等。CPU 901、ROM 902和RAM 903通过由诸如CPU总线的内部总线配置的主机总线907相互连接。请注意，在图4所示的示例中，臂装置10中的关节控制单元135和控制装置20中的控制单元230可以由CPU 901实现。

主机总线907经由桥909连接到外部总线911，例如外围组件互连/接口(PCI)总线。此外，输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925经由接口913连接到外部总线911。

输入装置915是由用户操作的操作单元，例如鼠标、键盘、触摸板、按钮、开关、杠杆和踏板。此外，输入装置915可以是例如使用红外线或其他无线电波的遥控单元(所谓的遥控器)或外部连接的设备929，例如对应于信息处理设备900的操作的移动电话或PDA。此外，输入装置915由例如输入控制电路配置，用于基于用户使用上述操作单元输入的信息生成输入信号，并将输入信号输出到CPU 901等。信息处理设备900的用户可以通过操作输入装置915来输入各种数据并向信息处理设备900给出关于处理操作的指令。

输出装置917由能够视觉或听觉地向用户通知所获取的信息的装置来配置。这种装置包括显示装置，例如阴极射线管显示装置、液晶显示装置、等离子显示装置、电致发光显示装置、灯等；声音输出装置，例如扬声器和耳机；以及打印机装置。输出装置917输出例如通过信息处理设备900执行的各种类型的处理获得的结果。具体地，显示设备将信息处理设备900执行的各种类型的处理的结果显示为文本或图像。同时，声音输出装置将包括再现的声音数据、语音数据等的音频信号转换成模拟信号，并输出该模拟信号。

存储装置919是被配置为信息处理设备900的存储单元的示例的用于数据存储的装置。存储装置919例如由诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置、磁光存储装置等磁存储装置配置。存储装置919存储由CPU 901执行的程序、各种数据等。请注意，在图4所示的示例中，存储单元220可以通过例如ROM 902、RAM 903或存储装置919中的至少一个或其两个或多个的组合来实现。

驱动器921是用于记录介质的读取器/写入器，并且内置于信息处理设备900中或者从外部附接到信息处理设备900。驱动器921读出记录在诸如安装磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927上的信息，并将该信息输出到RAM 903。此外，驱动器921还可以在诸如安装的磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927上写入记录。可移除记录介质927例如是数字视盘介质、高清数字视盘介质、蓝光(注册商标)介质等。此外，可移除记录介质927可以是紧凑型闪存(CF(注册商标))、闪存、安全数字存储卡等。此外，可移除记录介质927可以是例如其上安装有非接触式集成电路芯片的集成电路卡、电子设备等。

连接端口923是用于直接连接到信息处理设备900的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。连接端口923的其他示例包括RS-232C端口、光学音频终端、高清多媒体接口(HDMI)(注册商标)端口等。通过将外部连接装置929连接到连接端口923，信息处理设备900直接从外部连接装置929获取各种数据，并将各种数据提供给外部连接装置929。

通信装置925例如是由通信装置配置的用于连接到通信网络(网络)931等的通信接口。通信装置925例如是用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种通信的调制解调器等。通信装置925可以根据预定的协议(例如，诸如TCP/IP)向互联网和其他通信装置发送和从互联网和其他通信装置接收信号等。此外，连接到通信装置925的通信网络931由通过有线或无线连接的网络等配置，并且可以是例如互联网、家庭局域网、红外通信、无线电波通信、卫星通信等。

在上面，已经描述了能够实现根据本公开的本实施例的信息处理设备900的功能的硬件配置的示例。上述组成元件中的每一个可以使用通用成员来配置，或者可以由专用于每个组成元件的功能的硬件来配置。因此，根据执行本实施例时的技术水平，可以适当地改变要使用的硬件配置。此外，尽管没有在图21中示出，信息处理设备900可以具有用于根据可执行功能实现该功能的各种配置。

请注意，可以在个人计算机等上准备和实现用于实现根据上述本实施例的信息处理设备900的功能的计算机程序。此外，可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以经由例如网络传送，而不使用记录介质。此外，执行计算机程序的计算机的数量没有特别限制。例如，多个计算机(例如，多个服务器等)可以彼此协作地执行计算机程序。

<<4.应用>>

接下来，将描述根据本公开实施例的技术的应用。

如上所述，根据本公开实施例的技术设置虚拟边界，其中开口部分地设置在真实空间中，并且根据虚拟边界和作用点之间的相对位置关系来控制臂单元的操作，从而辅助用户操作臂单元。因此，根据本公开的技术可以应用于具有与用户直接或间接操作的臂单元相对应的配置的设备和系统。

例如，在参考图2描述的医疗臂装置400的臂单元420的操作的情况下，远端单元可以不必相对于臂单元420被保持。作为具体示例，可以假设这样的情况，其中通过应用虚拟现实技术和增强现实技术经由显示器等虚拟地向用户呈现远端单元和患部，并且响应于用户对臂单元的操作来控制远端单元的呈现，由此模拟各种过程。在这种情况下，诸如医疗器械的远端单元可以不必相对于由用户操作的臂单元保持。

此外，作为另一示例，根据本公开的实施例，可以使用医疗臂系统来配置所谓的双侧系统。双向系统是被配置为进行控制以使得由用户操作的设备(主设备)和执行工作的设备(从设备)之间的姿势和力状态基本匹配的系统。作为具体示例，双向系统基于用户在主设备上的操作来执行从设备的姿势控制，并且将从设备检测到的力反馈给主设备。更一般地，虽然主从设备可以以这种双向模式操作，但是它也可以以单向模式或任何合适的模式操作；例如具有控制从属设备的不同方面(和/或不同分支)的几个主设备的协作模式。

例如，图22是用于描述根据本公开的实施例的医疗臂系统的应用的说明图，并且示出了使用医疗臂系统配置双侧系统的示例。换言之，在图22所示的示例中，作为主设备操作的臂装置510a和作为从设备操作的臂装置510b经由网络N1连接。连接臂装置510a和臂装置510b的网络N1的类型没有特别限制。在这种配置下，由成像单元560成像的逻辑上(如果不一定是物理上)位于远程位置的患者540的图像通过监视器550呈现给医师520。远程位置可以例如在不同的医院、相同的医院、相邻的房间(例如在医疗器械发射辐射的情况下)或者相同的手术室中。

此外，在图22所示的示例中，执行控制使得臂装置510a的臂单元的姿态和臂装置510b的臂部分的姿态基本上彼此一致。具体地，当臂装置510a的臂单元的姿势响应于医师520的操作而改变时，计算臂单元的姿势。然后，基于臂装置510a的臂单元的姿态的计算结果来控制臂装置510b的臂单元的操作。

在这种配置下，例如，根据本公开的实施例的虚拟边界可以根据通过在臂装置510b侧的患者540上安装套管针等而形成的插入端口的位置和姿势来设置。在这种情况下，根据由臂单元510b的臂单元保持的远端单元和虚拟边界之间的位置关系来控制臂单元的操作，并且该控制可以被反馈到臂装置510a的臂单元的操作。此外，可以根据臂装置510a周围的情况在臂装置510a的一侧设置虚拟边界。请注意，例如，在为两个臂装置510a和510b设置虚拟边界的情况下，可以优先执行一侧的臂单元的控制(例如，臂装置510b侧的控制)，或者可以基于两侧的状态来控制(例如，抑制)臂单元的操作。

此外，如图22所示，在假设远程控制的系统中，例如所谓的双向系统，远端单元不必保持在由用户操作的臂装置(即，臂装置510a)的臂单元上。

此外，在上面的描述中，根据本实施例的臂控制已经主要针对医疗臂装置的臂单元的控制进行了描述。然而，本实施例不限制根据本实施例的臂控制的应用目的地(换言之，应用领域)。作为具体示例，根据本公开实施例的臂控制可以应用于工业臂装置。作为更具体的示例，通过工业上使用如图22所示的双向系统，设置有臂单元的工作机器人被带到人难以进入的区域，并且工作机器人可以被远程控制。在这种情况下，根据本公开的实施例的臂控制(换言之，根据虚拟边界的设置的控制)可以应用于工作机器人的臂单元的远程控制。

此外，使用基于根据本公开实施例的技术的虚拟边界的设置的控制的应用目标不一定限于仅设置有臂单元的臂装置。换言之，基于根据本公开实施例的技术的控制可以应用于辅助用户操作并且响应于用户的操作根据操作向用户反馈力感等的设备。作为具体示例，根据本公开的实施例的控制可以应用于辅助用户的每个部分的移动的设备的控制，例如所谓的机器人服装。作为更具体的示例，假设穿着机器人服装的用户执行操作以将部件、工具等插入到形成在期望对象中的插入端口中。此时，根据插入端口的位置和姿态设置虚拟边界，并且根据边界表面的设置控制机器人服装的驱动，由此可以辅助用户将零件、工具等插入插入端口的操作。

如本文所述，公开了一种控制装置和医疗臂系统。应当理解，可以以任何合适的方式组合与控制装置和/或医疗臂系统以及任何更广泛的操作环境(例如，与医疗器械、图像捕获、插入端口等相关)相关的实施例和选项。

因此，现在描述总结实施例，结合本文别处的描述，其中控制装置(20)包括控制单元(230)，该控制单元(230)适于(例如通过合适的软件指令)控制被配置为保持医疗器械的铰接医疗臂(1)，其中医疗器械包括其上的预定点；该控制单元适于响应于医疗器械的预定点与设置在真实空间中并且包括目标开口的虚拟边界之间的空间关系来控制铰接医疗臂。

铰接医疗臂可以包括多连杆结构，该多连杆结构具有通过关节单元彼此连接的多个连杆，例如如本文至少参考图1、图2和图3所述，或者替代地或附加地，可以包括允许预定点在至少预定空间体积中的三轴放置的任何合适的结构，例如旋转或枢转点、伸缩部件或柔性部件，或者这些的任何合适的组合。

预定点(这里也称为作用点)指的是预定点，通常在医疗器械上或在医疗器械的相关延伸部、突出部或可消耗部件(例如针、手术刀、光纤、内窥镜等)上，例如如这里参考图6、图7和图8以及其他地方所述。预定点可以作为一些或所有医疗器械的位置的代表性代理，并且通常是首先进入插入端口或以其他方式与患者交互的医疗器械(或如上所述的相关部分)的点。如前所述，这是通过虚拟边界中的目标开口(或“部分移动目标”)来完成的。

虚拟边界是由控制单元设置的虚拟表面，例如如本文至少参照图4、图5和图6所述，具有参照本文别处所述的现实世界位置设置的坐标。在概要实施例的一些示例中，虚拟表面表示由控制单元执行的动作的条件或触发。在概要实施例的其他示例中，虚拟表面定义虚拟体积，该虚拟体积再次表示由控制单元执行的动作的条件或触发。因此，控制单元可以根据真实空间中的作用点和参照真实空间中的点设置的虚拟边界之间的相对位置关系来控制铰接医疗臂单元的操作。

虚拟边界本身可以使用任何合适的表示来定义，例如一组多边形或体素，或者表面的数学描述，例如像圆锥、凸圆锥(例如，指数喇叭)或凹锥体(例如，碗)或其一部分。因此，更一般地，虚拟边界可以包括向目标开口倾斜的斜坡，该斜坡具有预定的程度。该预定范围可以例如等同于5厘米、10厘米、15厘米、20厘米、30厘米或50厘米长的完整或部分锥形壁，或者取决于铰接医疗臂系统的尺寸、医疗器械的尺寸和相互作用点的尺寸的任何合适的尺寸。还应当理解，目标开口可以不是圆形，而是不同的孔形状，例如狭缝，相应的虚拟边界例如是具有锥形壁的菱形。类似地，目标开口可以是一个区域(即，不仅仅是紧凑的圆形区域，例如插入端口的区域)，虚拟边界形成具有倾斜壁的无底碗(例如，从顶点为零维的圆锥体到描述一维直线或二维区域的圆锥体的挤压)。

虚拟边界包括目标开口(例如参考图9，在本文的其他地方部分描述为移动目标)；换言之，边界的空部分，或者边界的未实现部分，或者由边界包围但不是其一部分的空间区域，充当边界中的孔和医疗器械的目标。如本文别处所述，目标开口通常与患者身上的相互作用点重合，例如插入端口。

因此，虚拟边界可以提供安全和/或引导功能，该功能通常以患者的交互作用点为中心(尽管虚拟边界不需要对称或以目标开口为中心)。

因此，在概要实施例的示例中，控制单元适于控制铰接医疗臂以防止(例如，抑制)预定点朝向目标开口的垂直运动，这将导致预定点穿过虚拟边界。

再次参考图7、图9和图12以及本文的附图，可以理解，在这种情况下，预定点的垂直运动意味着在垂直于或正交于目标开口的z轴上的运动。因此，朝向目标开口的垂直运动意味着在z轴上减小到目标开口的距离的运动。同时，朝向目标开口的垂直运动将导致预定点穿过虚拟边界P11，这意味着预定点相对于z轴的下降梯度大于虚拟边界的梯度，因此预定点将穿过该边界。应当理解，如果预定点平行于边界移动，朝向目标开口的垂直运动不会导致预定点穿过边界，因为结合水平运动分量，整个运动矢量平行于边界。

类似地，在概要实施例的示例中，控制单元适于控制铰接医疗臂，以防止预定点远离目标开口的水平运动，这将导致预定点穿过虚拟边界。

再次参考图7、图9和图12以及本文的附图，可以理解，在这种情况下，预定点的水平运动意味着在平行于目标开口并且垂直于上述z轴的x轴上的运动。因此，远离目标开口的水平运动意味着在x轴上增加到目标开口的距离。同时，远离目标开口的水平运动将导致预定点穿过虚拟边界P11，这意味着预定点的上升梯度(如果有的话)小于虚拟边界的梯度，因此预定点将穿过该边界。应当理解，如果预定点平行于边界移动，远离目标开口的水平运动不会导致预定点穿过边界，因为结合向上的垂直运动分量，整个运动矢量平行于边界。

应当理解，当预定点移动时，包括预定点的医疗工具可以可选地具有任何方向；然而，可选地，其一部分的医疗器械可以类似地被排除垂直或水平通过虚拟屏障(例如，由于工具围绕预定点旋转)。

在概要实施例的示例中，控制单元适于通过在铰接医疗臂中产生反作用力来控制铰接医疗臂以防止预定运动，该反作用力至少等于和相反于施加到医疗器械的外力的估计分量，该估计分量导致医疗器械呈现预定运动。外力可以例如通过使用者移动医疗器械来施加。

因此，可以估计有助于朝向目标开口的垂直运动的垂直力，该垂直运动将导致预定点穿过虚拟边界(例如，使用如本文别处所述的臂中的力传感器)，然后可以产生对该估计力的反作用力，以抵消该估计力并防止不想要的垂直运动或垂直运动分量。基于预定点相对于虚拟边界的位置的反馈回路可用于细化力估计值。

对于纯粹的垂直运动，如图7所示，这通常意味着所有的垂直力都被反作用。同时，对于既有水平运动分量又有垂直运动分量的倾斜运动，如图12所示，这通常意味着施加的垂直力的一部分被反作用，使得净垂直力与施加的水平力一起产生平行于虚拟边界的施加力矢量。这又导致预定点的运动沿着虚拟边界向下朝向目标开口。

类似地，可以估计有助于远离目标开口的水平运动的水平力，该水平运动将导致预定点穿过虚拟边界(例如，使用如本文别处所讨论的臂中的力传感器)，然后可以产生对该估计力的反作用力，以抵消该估计力并防止不希望的水平运动或水平运动分量。基于预定点相对于虚拟边界的位置的反馈回路可用于细化力估计。

对于纯粹的水平运动，这通常意味着所有的水平力都被反作用。同时，对于既有水平运动分量又有垂直运动分量的倾斜运动，如图12所示(但对于与所示相反的运动)，这通常意味着施加的水平力的一部分被反作用，使得净水平力与施加的垂直力一起产生平行于虚拟边界的施加力矢量。这又导致预定点的运动沿着虚拟边界向上并远离目标开口。

同样，原则上不考虑医疗器械的方向；相反，正是施加到医疗器械上的力的垂直和水平分量导致医疗器械的预定点移动。然而，如果医疗器械的方位影响这些力，或者需要估计这些力(例如，如果医疗器械是柔性的，这可能是一个问题)，那么方位可以被认为是力估计过程的一部分。

在概要实施例的示例中，当预定点的位置与虚拟边界重合时，控制单元适于控制铰接医疗臂系统以防止预定运动。

应当理解，上述防止通过虚拟边界的垂直和/或水平运动的讨论意味着将预定点基本上停止在边界处；然而，在医疗臂装置中可能存在反应延迟，这意味着应该在预定点到达虚拟边界之前施加反作用力，以便在虚拟边界处停止。类似地，医疗臂可以响应于施加到其所保持的医疗器械上的力而表现出一定的灵活性，因此可以计算该额外的力相关位移(以及由所产生的反作用力引起的潜在的额外弯曲)，以确定相对于虚拟边界的基于弯曲的位置偏移，在该虚拟边界处应用不交叉条件。

因此，控制单元可以在预定点到达虚拟边界之前行动，以防止通过虚拟边界的不希望的移动。可选地，当控制单元响应于预定点与虚拟边界重合而动作时，该边界可以被认为具有等于由反作用力产生或臂弯曲的延迟所导致的过度运动的厚度或公差。

同时，通常远离边界的水平和垂直运动(例如进入由虚拟边界限定的空间体积，或者在虚拟边界的范围之外)不会被反作用力阻止。

因此，控制单元可以通过施加足以阻止虚拟边界处的运动的反作用力，或者将运动限制到边界的梯度，来防止从边界一侧的交互区域到边界另一侧的排除区域通过虚拟边界的不想要的运动，从而提供安全功能。

同时，如果发现预定点在排除区域中(例如，在z轴上相对于虚拟边界之下的目标开口的垂直位置)，则可选地，朝向虚拟边界的运动不被阻止，而进一步的运动被阻止。例如，减小到边界上最接近预定点的点的净距离的运动不会被阻止。

替代地或除了这里讨论的安全功能之外，控制单元可以使用虚拟边界来为医疗器械的用户提供辅助和/或引导功能。

因此，在发明内容的示例中，控制单元适于在铰接医疗臂系统中产生阻力，该阻力抵抗但不阻止预定点的运动。

这可以例如以类似于在此之前描述的技术的方式来实现，在该技术中，估计施加到医疗器械上的外力的分量(或者导致医疗器械移动，例如由用户施加)，并且产生反作用力。然而，在这种情况下，所产生的力小于，而不是等于所施加的力。

结果，当施加这种阻力时，需要更大的努力来移动或等效地改变医疗器械的预定点的位置。阻力也是在控制单元的控制下由中间臂系统产生的垂直和/或水平分力或力矢量。有利的是，通过需要更大的力来移动预定点，可以使移动更精确，同时减少由于用户手动控制医疗器械所引起的任何不希望的小力而导致的抖动或摆动。

原则上，随着预定点越来越靠近目标开口并因此越来越靠近与患者相互作用的点，这种运动的准确性可能变得更加重要。因此，在本发明的这种情况下，可选地，控制单元适于根据预定点与目标的接近度来增加铰接医疗臂中产生的阻力。换言之，当预定点接近目标开口时，控制单元可适于增加铰接医疗臂中产生的阻力。

同样，这种阻力不会阻止运动，但会使运动变得越来越困难(例如，对于给定的移动量需要更大的力量)。这再次用于减少由不希望的力引起的不希望的运动，例如用户臂或手的颤抖，或者由于呼吸或移动重量等引起的通过用户身体的力的小平移。在这种情况下，随着预定点越来越靠近目标开口，阻力增加。这种增加可以是到目标开口的距离的线性或非线性函数，基于垂直距离、水平距离或两者的乘积(矢量)。

这种阻力也有效地向用户提供触觉反馈，指示他们越来越接近目标开口。通过对阻力或反作用力的产生施加额外的规则，可以以类似的方式提供其他引导。

因此，对于发明内容的这种情况，可选地，控制单元适于响应于预定方向范围之外的运动而增加铰接医疗臂中产生的阻力。在这种情况下，阻力可能增加得更快或呈阶跃变化，并且可选地可能增加到成为阻止进一步运动的反作用力的程度。因此，例如，如果用户正沿着虚拟边界的梯度向下朝向目标开口，则可以额外地阻止不想要的横向移动，或者超过阈值量或者在阈值时间段内超过阈值量的横向移动。这起到引导和引导预定点朝向目标开口的作用。类似地，运动回到远离目标开口的虚拟边界(例如，反向运动)，或者超过阈值量的反向运动，或者在阈值时间段内超过阈值量的反向运动，可以被额外地抵制。同时，诸如将预定点移向由虚拟边界包围的中心体积的动作可以表示用户不再打算到达目标开口，因此这种阻力被停止。

应当理解，可以使用这种阻力和反作用力和/或推/拉力来实现其他引导规则。例如，当医疗器械到达目标开口时，可能希望医疗器械与目标开口垂直对齐(垂直)。在这种情况下，可以检测由铰接医疗臂保持的医疗器械的方向，并且可以施加力(例如作为到目标开口的距离的函数)来辅助根据需要对准医疗器械。这种力可以包括抵抗移出对准、抵抗移出对准、推向对准和/或拉向对准。还应当理解，引导规则不限于阻力，还可以以类似于本文中关于虚拟边界的其他地方描述的方式来防止移动。因此，例如在器械的横向运动受到阻碍的情况下，也可以提供补充的虚拟边界来防止横向运动超出优选路径的特定偏差，使得即使用户忽略阻力的引导，他们也不能通过屏障。类似地，虚拟边界本身的形状和/或轮廓可以作为预定点(或更一般的医疗器械)的位置和/或运动的函数而改变，以提供引导。

还应当理解，一旦预定点已经到达目标开口，并且已经发生了干预，那么安全和/或引导移除医疗器械也是所期望的，并且因此与控制朝向目标开口的运动相关的上述技术可以被适当地颠倒以控制远离目标开口的运动(例如，在引导方面)；同时，加强虚拟边界的反作用力，以及作为接近目标开口的函数的可选回复力，仍然可以像以前一样应用。

因此，更一般地，在概要实施例的示例中，控制单元适于响应于引导规则在铰接医疗臂中施加产生的力。在这种情况下，如前所述，引导规则可以例如实现从列表中选择的一项或多项，该列表包括朝向目标开口的预定点的路径；远离目标开口的预定点的路径；以及包括预定点的医疗器械的方位，例如作为到目标开口的距离的函数。

上述引导技术可以应用在虚拟边界上或距离虚拟边界预定距离内，和/或由边界部分包围的空间体积内(例如，在圆锥内)。因此，当技术被应用在虚拟边界上或距离虚拟边界预定距离内时，可以认为控制单元适于控制铰接医疗臂，以在预定点的位置与虚拟边界重合时变型例预定点的运动。如本文所述，根据预定点相对于边界和/或目标开口的相对位置以及实施的任何引导规则，这种变型例可以在给定方向上阻止、抵抗、推动或拉动预定点。

引导技术也可以涉及用户与边界本身的交互。因此，例如在概要实施例的示例中，当预定点的位置与虚拟边界重合时，控制单元适于控制铰接医疗臂来修改预定点的运动，以保持预定点和虚拟边界之间的重合。换言之，控制单元可以施加力以使虚拟边界感觉到对预定点的粘性或磁性吸引。这加强了对用户的物理反馈，即处于通向目标开口的预定义轨道(对应于虚拟边界的横截面)上。

一旦预定点到达目标开口，用户可能希望以不同于定位预定点时所使用的方式来使用相关联的医疗器械。因此，在概要实施例的示例中，一旦预定点已经到达目标开口，控制单元适于控制铰接医疗臂执行从包括以下的列表中选择的一项：允许预定点的自由移动；以及限制预定点的进一步移动。这些选项中的哪一个(或不同的选项)将取决于需要(例如医疗器械的性质及其用途)。在允许自由运动的情况下，这还可以可选地包括在预定时间段内阻力的逐渐减小，以允许用户调整他们自己对器械的控制。然而，可选地，通过使用反作用力，以类似于前述的方式，这种自由运动可以被限制在目标开口的周界内。

可选地，一旦预定点到达目标开口，控制单元可以完全停止对预定点的控制，或者将预定点的控制传递给不同的控制单元，从而将其控制限制为在到达目标开口之前参考虚拟边界的预定点的运动。

如前所述，虚拟边界设置在真实空间中。在概要实施例的示例中，虚拟边界是参考位于患者身上的目标点在真实空间中设置的。典型地，虚拟边界被设置在真实空间中，使得虚拟边界的目标开口与患者身上的目标点重合。如前所述，目标点和目标开口可以是紧凑的(例如，大约0.5厘米到5厘米的小开口)，或者沿着路径延伸(例如，沿着计划的手术切口)，或者占据一个区域(例如，用于皮肤移植)。

可选地，虚拟边界可以固定在空间中，例如以目标点为中心。可选地，虚拟边界可以例如通过用户界面使用控制来设置或重新设置，以根据需要改变虚拟边界的位置和/或方向。可选地，控制单元使虚拟边界跟踪患者身上的目标点，例如考虑到由于呼吸引起的运动，或者因为医务人员重新定位患者，以保持虚拟边界(例如目标开口)和目标点之间的相对位置关系。

为了实现这种跟踪，在概要实施例的示例中，控制单元适于响应于目标点的基于图像的跟踪来设置真实空间中的虚拟边界，例如如本文别处所述。因此，例如通过确定目标点的位置和方向(例如通过识别患者身上的套管针或类似的插入端口)，虚拟边界的位置和方向可以被设置为实时匹配。

在概要实施例的示例中，包括控制单元的上述控制装置是医疗臂系统(例如图1和图2中所示的设备510、400)的一部分，该医疗臂系统包括至少一个被配置为保持医疗器械的铰接医疗臂，如本文别处所述，以及控制装置本身。医疗臂系统本身可以是向诸如外科医生的用户提供辅助和/或远程可操作性的机器人设备的协调套件的一部分。

在控制装置执行跟踪功能以相对于患者身上的目标点设置虚拟边界的情况下，医疗臂系统(或等效地，单独的协调单元，例如头顶摄像机单元或向多个设备提供图像或图像分析的其他摄像机系统)包括摄像机和适于跟踪预定对象的基于图像的跟踪单元，其中例如，预定对象被附着到患者(例如在插入端口或套管针的情况下)。

应当理解，如本文所述的控制装置和医疗臂系统的操作构成了用于铰接医疗臂的控制方法的示例，该铰接医疗臂被配置为保持医疗器械，其中医疗器械进而包括预定点，该方法包括响应于医疗器械的预定点与设置在真实空间中并且包括目标开口的虚拟边界之间的空间关系来控制铰接医疗臂。

类似地，将会认识到，这里描述的概要实施例的示例以及这里别处描述的相应特征类似地实施控制方法的相应示例。

相反，应当理解，上述方法可以在通过软件指令或通过包含或替换专用硬件而适当适配的硬件上执行。因此，对等效设备的现有部分的所需适配可以以计算机程序产品的形式来实现，该计算机程序产品包括存储在诸如软盘、光盘、硬盘、固态盘、可编程ROM、RAM、闪存或这些或其他存储介质的任意组合的非暂时性机器可读介质上的处理器可实现指令，或者以硬件实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)或其他适合用于适配传统等效设备的可配置电路。单独地，这样的计算机程序可以通过网络上的数据信号来传输，所述网络例如是以太网、无线网络、互联网或者这些或其他网络的任意组合。

<<5.结论>>

如上所述，根据本公开实施例的医疗臂系统包括具有通过关节单元彼此连接的多个连杆的多连杆结构，以及控制多连杆结构的移动的控制单元。多连杆结构被配置成能够保持医疗器械。控制单元根据使用多连杆结构的至少一部分作为参考而设置的作用点与设置在真实空间中并具有部分开口的虚拟边界之间的相对位置关系来控制多连杆结构的操作。作为具体示例，控制单元控制多连杆结构的操作，使得与虚拟边界接触的作用点沿着虚拟边界的表面朝向开口的移动被辅助。此外，在从另一个角度关注根据本公开实施例的医疗臂系统的情况下，控制单元可以设置虚拟边界并控制多连杆结构的操作，该虚拟边界辅助通过插入端口对医疗器械的引入。此外，在从另一个观点关注根据本公开的实施例的医疗臂系统的情况下，控制单元可以具有用于辅助医疗器械通过插入端口引入的第一模式和用于抑制医疗器械进入设置在真实空间中的区域的第二模式。

利用上述配置，根据本公开的实施例的医疗臂系统，可以以有利的方式实现对关于进入预定区域的操作的抑制和关于移动到期望位置的臂的可操作性的改善。

尽管已经参照附图详细描述了本公开的有利实施例，但是本公开的技术范围不限于这些示例。显然，在本公开的技术领域中具有普通知识的人可以在权利要求中描述的技术思想的范围内设想各种改变和变更，并且自然理解这些改变和变更属于本公开的技术范围。

此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。也就是说，根据本公开的技术可以与上述效果一起或代替上述效果，从本说明书的描述中表现出对本领域技术人员显而易见的其他效果。

请注意，以下配置也属于本公开的技术范围。

(1)

一种医疗臂系统，包括：

多连杆结构，其具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械；和

控制单元，其被配置为根据使用多连杆结构的至少一部分作为参考而设置的作用点与虚拟边界之间的相对位置关系来控制多连杆结构的操作，该虚拟边界设置在真实空间中并且部分具有移动目标。

(2)

根据(1)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得与虚拟边界接触的作用点沿着虚拟边界的表面朝向移动目标的移动得到辅助。

(3)

根据(1)或(2)所述的医疗臂系统，其中虚拟边界被设置为使得表面朝向移动目标倾斜。

(4)

根据(3)所述的医疗臂系统，其中，虚拟边界在形状上近似等于圆锥的侧表面或圆台的侧表面，并且移动目标被设置为对应于圆锥的顶点的位置或对应于圆台的上表面的至少一部分的位置。

(5)

根据(1)至(4)中任一项所述的医疗臂系统，其中，虚拟边界的形状被预设。

(6)

根据(1)至(4)中任一项所述的医疗臂系统，其中，根据真实空间中的对象的检测结果来设置虚拟边界的形状。

(7)

根据(1)至(6)中任一项所述的医疗臂系统，其中，虚拟边界的形状被配置为可更新。

(8)

根据(7)所述的医疗臂系统，其中根据预定条件顺序地更新虚拟边界的形状。

(9)

根据(7)所述的医疗臂系统，其中虚拟边界的形状基于预定的触发来更新。

(10)

根据(1)至(9)中任一项所述的医疗臂系统，其中，根据用于将医疗器械插入患者体内的插入端口的位置来设置移动目标。

(11)

根据(10)所述的医疗臂系统，其中

开口被设置为移动目标，并且

开口被设置成使得插入开口中的医疗器械通过插入端口插入体内。

(12)

根据(1)至(11)中任一项所述的医疗臂系统，其中，虚拟边界具有设置在以移动目标为基点的范围内的表面。

(13)

根据(12)所述的医疗臂系统，其中，虚拟边界具有基于以移动目标为中心的范围设置在区域内的表面。

(14)

根据(1)至(13)中任一项所述的医疗臂系统，其中作用点被设置为与医疗器械的远端基本重合。

(15)

根据(1)至(14)中任一项所述的医疗臂系统，其中，控制单元基于位于虚拟边界上的作用点的检测结果来控制多连杆结构的操作。

(16)

根据(1)至(15)中任一项所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得抑制作用点从虚拟边界的除了移动目标之外的部分进入被虚拟边界隔离的区域。

(17)

根据(16)所述的医疗臂系统，其中，控制单元根据约束点和作用点之间的位置关系，基于关于限制作用点的移动的约束条件来控制多连杆结构的操作，约束点用作控制多连杆结构的操作的基准，约束点根据虚拟边界的设置而设置在真实空间中。

(18)

根据(17)所述的医疗臂系统，其中约束点被设置在虚拟边界的表面上。

(19)

根据(17)或(18)所述的医疗臂系统，其中，根据多连杆结构的操作的控制结果来更新约束点的位置。

(20)

根据(16)所述的医疗臂系统，其中，控制单元基于通过虚拟边界和作用点之间的接触而作用在虚拟边界上的外力的估计结果来控制多连杆结构的操作。

(21)

根据(20)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得针对外力的在垂直方向上作用在虚拟边界的表面上的分量产生第一反作用力。

(22)

根据(20)或(21)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得针对外力的在水平方向上作用在虚拟边界的表面上的分量产生第二反作用力。

(23)

根据(22)所述的医疗臂系统，其中，控制单元根据与虚拟边界的表面接触的作用点和移动目标之间的位置关系来控制第二反作用力。

(24)

根据(23)所述的医疗臂系统，其中，随着作用点和移动目标之间的距离变短，控制单元控制第二反作用力变大。

(25)

根据(16)至(24)中任一项所述的医疗臂系统，其中，

控制单元

抑制作用点从除移动目标以外的部分从被虚拟边界隔离的第一区域朝向第二区域的进入，以及

允许作用点从移动目标以外的部分从第二区域向第一区域进入。

(26)

一种控制装置，包括：

控制单元，被配置为根据使用多连杆结构的至少一部分作为参考而设置的作用点与设置在真实空间中的虚拟边界之间的相对位置关系来控制多连杆结构的操作，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械。

(27)

一种控制方法，包括：

通过计算机，

根据使用多连杆结构的至少一部分作为参考而设置的作用点与虚拟边界之间的相对位置关系来控制多连杆结构的操作，虚拟边界设置在真实空间中并且部分具有移动目标，多连杆结构具有通过关节单元彼此连接的多个连杆。

(28)

一种程序，其使计算机执行：

根据使用多连杆结构的至少一部分作为参考而设置的作用点与虚拟边界之间的相对位置关系来控制多连杆结构的操作，虚拟边界设置在真实空间中并且部分具有移动目标，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械。

(29)

一种医疗臂系统，包括：

多连杆结构，其具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械；和

控制单元，其被配置为设置用于辅助医疗器械的移动的虚拟边界，并控制多连杆结构的操作。

(30)

根据(29)所述的医疗臂系统，其中，虚拟边界是用于辅助通过插入端口引入医疗器械的边界。

(31)

根据(30)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得位于虚拟边界上的医疗器械沿着虚拟边界的表面朝向插入端口移动。

(32)

一种控制装置，包括：

控制单元，其被配置为设置用于辅助医疗器械通过插入端口插入的虚拟边界并且被配置为控制多连杆结构的操作，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械。

(33)

一种控制方法，包括：

通过计算机，

设置用于辅助医疗器械通过插入端口插入的虚拟边界，以及控制多连杆结构的操作，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械。

(34)

一种程序，其使计算机执行：

设置用于辅助医疗器械通过插入端口插入的虚拟边界，以及控制多连杆结构的操作，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械。

(35)

一种医疗臂系统，包括：

多连杆结构，其具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械；和

控制单元，其被配置为控制多连杆结构的操作，其中

控制单元具有：

用于辅助医疗器械通过插入端口引入的第一模式，以及

用于抑制医疗器械进入真实空间中设置的区域的第二模式。

(36)

根据(35)所述的医疗臂系统，包括：

多个多连杆结构，其中，

控制单元为每个多连杆结构确定要应用于控制多连杆结构的操作的模式。

(37)

根据(35)所述的医疗臂系统，其中，控制单元根据由多连杆结构保持的医疗器械来确定要应用于多连杆结构的操作控制的模式。

(38)

根据(35)至(37)中任一项所述的医疗臂系统，其中，控制单元在真实空间中设置虚拟边界，使得在第二模式下，抑制医疗器械进入基于对患部的位置的检测结果而设置的区域。

(39)

根据(38)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得在第二模式下产生抑制医疗器械进入该区域的反作用力。

(40)

根据(35)至(39)中任一项所述的医疗臂系统，其中，控制单元通过根据第一模式下的插入端口的设置来设置虚拟边界，来辅助通过插入端口引入医疗器械。

(41)

根据(40)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得根据医疗器械和插入端口之间的距离来限制医疗器械的可移动范围。

(42)

根据(41)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得根据距离产生阻止医疗器械朝向插入端口移动的反作用力。

(43)

根据(1)或(42)所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得根据由虚拟边界和医疗器械形成的角度产生关于医疗器械的姿势控制的反作用力。

(44)

根据(41)至(43)中任一项所述的医疗臂系统，其中，控制单元控制多连杆结构的操作，使得根据医疗器械和插入端口之间的距离产生关于医疗器械的移动的阻力。

(45)

根据(41)至(44)中任一项所述的医疗臂系统，其中，控制单元基于基于图像分析而得的插入端口的识别结果来设置虚拟边界。

(46)

一种控制装置，包括：

控制单元，其被配置为控制多连杆结构的操作，多连杆结构具有通过关节单元彼此连接的多个连杆并且被配置为能够保持医疗器械，其中，

控制单元具有：

用于辅助医疗器械通过插入端口引入的第一模式，以及

用于抑制医疗器械进入真实空间中设置的区域的第二模式。

(47)

一种控制方法，包括：

通过计算机，

控制多连杆结构的操作，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械，以及

该控制方法具有：

用于辅助医疗器械通过插入端口引入的第一模式，以及

用于抑制医疗器械进入真实空间中设置的区域的第二模式。

(48)

一种程序，其使计算机执行：

控制多连杆结构的操作，多连杆结构具有通过关节单元彼此连接的多个连杆，并且被配置为能够保持医疗器械，以及

该程序具有：

用于辅助医疗器械通过插入端口引入的第一模式，以及

用于抑制医疗器械进入真实空间中设置的区域的第二模式。

(49)

一种控制装置，包括：

控制单元，其适于控制被配置为保持医疗器械的铰接医疗臂，其中医疗器械包括其上的预定点；

控制单元适于响应于医疗器械的预定点与设置在真实空间中并且包括目标开口的虚拟边界之间的空间关系来控制铰接医疗臂。

(50)

根据(49)所述的控制装置，其中，

控制单元适于控制铰接医疗臂，以防止将导致预定点穿过虚拟边界的预定点朝向目标开口的垂直运动。

(51)

根据(49)或(50)所述的控制装置，其中，

控制单元适于控制铰接医疗臂，以防止将导致预定点穿过虚拟边界的预定点远离目标开口的水平运动。

(52)

根据(49)至(51)中任一项所述的控制装置，其中，

控制单元适于通过以下方式控制铰接医疗臂以防止预定运动：

在铰接医疗臂中产生反作用力，该反作用力至少等于和相反于施加到医疗器械上的力的估计值的分量，该分量导致医疗器械呈现预定运动。

(53)

根据(49)至(52)中任一项所述的控制装置，其中，

当预定点的位置与虚拟边界重合时，控制单元适于控制铰接医疗臂以防止该预定运动。

(54)

根据(49)至(53)中任一项所述的控制装置，其中，

控制单元适于响应于引导规则在铰接医疗臂中施加产生的力。

(55)

根据(54)所述的控制装置，其中，

控制单元适于响应于引导规则产生力来辅助铰接医疗臂中的预定点的运动。

(56)

根据(49)至(55)中任一项所述的控制装置，其中，

控制单元适于在铰接医疗臂中产生阻力，该阻力抵抗但不阻止预定点的运动。

(57)

根据(56)所述的控制装置，其中，

控制单元适于根据预定点与目标开口的接近度来增加铰接医疗臂中产生的阻力。

(58)

根据(54)所述的控制装置，其中引导规则实现从由以下各项组成的列表中选择的一项或多项：

i.预定点朝向目标开口的路径；

ii.预定点远离目标开口的路径；和

iii.包括预定点的医疗器械的方位。

(59)

根据(54)至(58)中任一项所述的控制装置，其中

控制单元适于在预定点的位置与虚拟边界重合时，控制铰接医疗臂来修改预定点的运动。

(60)

根据(49)至(59)中任一项所述的控制装置，其中，一旦预定点已经到达目标开口，控制单元适于控制铰接医疗臂，以执行从包括以下各项的列表中选择的一项：

i.允许预定点的自由移动；和

ii.限制预定点的进一步移动。

(61)

根据(49)至(60)中任一项所述的控制装置，其中，

虚拟边界包括朝向目标开口倾斜的斜坡，斜坡具有预定的程度。

(62)

根据(49)至(61)中任一项所述的控制装置，其中，虚拟边界参照位于患者身上的目标点设置在真实空间中。

(63)

根据(49)至(62)中任一项所述的控制装置，其中，

控制单元适于响应于对目标点基于图像的跟踪来在真实空间中设置虚拟边界。

(64)

根据(49)至(63)中任一项所述的控制装置，其中，

当基于图像的预定点的位置与基于图像的虚拟边界重合时，

基于图像的控制单元适于控制基于图像的铰接医疗臂来修改基于图像的预定点的运动，以保持基于图像的预定点和基于图像的虚拟边界之间的重合。

(65)

一种医疗臂系统，包括：

被配置为保持医疗器械的铰接医疗臂；和

根据(49)至(63)中任一项所述的控制装置。

(66)

根据(65)基于图像的的医疗臂系统，包括：

摄像机；和

适于跟踪预定对象的基于图像的跟踪单元，

其中，预定对象附着至患者。

(67)

一种用于被配置为保持医疗器械的铰接医疗臂的控制方法，其中基于图像的医疗器械包括预定点，基于图像的方法包括：

响应于医疗器械的预定点与设置在真实空间中并且包括目标开口的虚拟边界之间的空间关系来控制铰接医疗臂。

(68)

一种计算机程序，包括适于使计算机系统执行(67)的方法的计算机可执行指令。

(69)

一种包括(68)的计算机程序的计算机可读介质。

本领域技术人员应该理解，根据设计要求和其它因素，可以进行各种变型例、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

参考符号列表

1 医疗臂系统

10 臂装置

111 驱动控制单元

120 臂单元

130 关节单元

131 关节驱动单元

132 关节状态检测单元

135 关节控制单元

140 远端单元

20 控制装置

220 存储单元

230 控制单元

240 臂状态获取单元

250 控制条件设置单元

251 虚拟边界更新单元

253 区域入口确定单元

255 约束条件更新单元

257 运动目的更新单元

260 算术条件设置单元

270 全身协调控制单元

280 理想关节控制单元。