图像处理方法、装置及计算机设备

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种图像处理方法、装置及计算机设备。

背景技术

内窥镜是一种应用广泛的医疗器械，在医生进行手术时，将内窥镜导入预检查的器官，可直接观察有关部位的情况。内窥镜的使用使得医生在病情诊断、手术治疗等环节取得了极大的效率提升。在手术过程中对内窥镜所拍摄的图像进行实时图像处理，提高图像质量，能够为手术提供重要参考信息。

在相关技术中，在内窥镜的使用过程中，设置一套参数对拍摄的图像进行处理，在手术过程中，医护人员也可以手动调节参数，来提高图像质量。

然而相关技术中设置的一套参数不一定适用于整个手术过程，图像质量仍会较低，若医护人员手动调节参数的话，会影响手术，降低手术效率。

发明内容

本申请实施例提供了一种图像处理方法、装置及计算机设备，能够提高手术中获取的图像的质量，且不影响手术，提高手术效率。所述技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

根据手术过程中获取的第一图像，确定所述第一图像对应的第一手术阶段；

根据所述第一手术阶段，确定所述第一手术阶段对应的图像处理模式，存在至少两个手术阶段对应不同的图像处理模式；

基于所述第一手术阶段对应的图像处理模式，对所述第一图像进行处理，和/或，调节内窥镜的成像参数。

可选地，所述根据手术过程中获取的第一图像，确定所述第一图像对应的第一手术阶段，包括：

将所述第一图像输入识别模型，输出所述第一图像对应的第一手术阶段。

可选地，所述识别模型包括空间信息提取子模型、时序信息提取子模型和分类子模型；

所述将所述第一图像输入识别模型，输出所述第一图像对应的第一手术阶段，包括：

将所述第一图像输入所述空间信息提取子模型，输出所述第一图像对应的空间信息；

将所述第一图像对应的空间信息输入所述时序信息提取子模型，通过所述时序信息提取子模型对所述第一图像对应的空间信息和历史图像对应的空间信息进行处理，输出所述第一图像对应的时序信息，所述历史图像为所述手术过程中在所述第一图像之前拍摄的图像，所述历史图像对应的空间信息基于所述空间信息提取子模型得到；

将所述第一图像对应的时序信息输入所述分类子模型，输出所述第一图像对应的第一手术阶段。

可选地，所述根据第一手术阶段，确定所述第一手术阶段对应的图像处理模式，包括：

获取手术阶段与图像处理模式之间的对应关系；

从所述对应关系中，获取与所述第一手术阶段对应的图像处理模式。

可选地，在所述第一手术阶段为观察搜寻阶段的情况下，对应的图像处理模式用于增强所述第一图像中的暗区，或者，用于根据所述第一图像的亮度调整期望亮度，所述期望亮度用于控制图像采集时的曝光；或者，

在所述第一手术阶段为术野暴露分离阶段的情况下，对应的图像处理模式用于增强所述第一图像的亮度和对比度，标记所述第一图像中纱条所在区域，抑制所述第一图像中过亮区域的亮度；或者，

在所述第一手术阶段为切除阶段的情况下，对应的图像处理模式用于放大所述第一图像中的器械操作区域，对所述第一图像进行去雾处理，检测所述第一图像中的过饱和红色区域，如果所述第一图像中的过饱和红色区域的面积超过面积阈值，则根据所述第一图像的亮度调整所述期望亮度，抑制所述第一图像中过饱和红色区域的红色；或者，

在所述第一手术阶段为结扎阶段的情况下，对应的图像处理模式用于对所述第一图像中的血管夹所在区域进行高亮处理，标记所述第一图像中的纱条所在区域，抑制所述第一图像中过亮区域的亮度；或者，

在所述第一手术阶段为吻合与钉合阶段的情况下，对应的图像处理模式用于放大所述第一图像中的修补器具所在区域，对所述第一图像中的血管与神经区域进行色彩增强；或者，

在所述第一手术阶段为缝合阶段的情况下，对应的图像处理模式用于放大所述第一图像中的缝合操作区域；或者，

在所述第一手术阶段为标本取出阶段的情况下，对应的图像处理模式用于标记所述第一图像中标本的尺寸；或者，

在所述第一手术阶段为冲洗与引流阶段的情况下，对应的图像处理模式用于对所述第一图像中的出血点区域进行高亮处理，标出所述第一图像中的出血点；或者，

在所述第一手术阶段为关闭套管口阶段的情况下，对应的图像处理模式用于增强所述第一图像中的暗区。

可选地，在所述第一手术阶段为观察搜索阶段的情况下，如果手术场景为纵深型场景，则对应的图像处理模式用于增强所述第一图像中的暗区，如果手术场景为宽阔型场景，则对应的图像处理模式用于根据所述第一图像的亮度调整所述期望亮度。

可选地，在所述第一手术阶段为切除阶段的情况下，所述器械操作区域包括器械头部区域。

可选地，所述纱条包括医用纱条、医用纱布拭子、医用纱布块、医用腹巾中的一种或多种；

所述器械包括手术抓钳、分离钳、剪刀、双极抓钳、电凝器械、打结钳、切开刀、缝合钳中的一种或多种；

所述修补器具包括疝钉；

所述血管夹包括金属钛夹、塑料夹、可吸收夹中的一种或多种。

可选地，在所述第一手术阶段为切除阶段、吻合与钉合阶段、或者缝合阶段的情况下，所述基于所述第一手术阶段对应的图像处理模式，对所述第一图像进行处理之后，还包括：

在显示界面的主画面区域中显示处理后的第一图像；

在所述显示界面的辅画面区域中显示处理后的第一图像中的感兴趣区域，所述辅画面区域和所述主画面区域叠加在一起。

另一方面，提供了一种图像处理装置，所述装置包括：

第一确定模块，用于根据手术过程中获取的第一图像，确定所述第一图像对应的第一手术阶段；

第二确定模块，用于根据所述第一手术阶段，确定所述第一手术阶段对应的图像处理模式，存在至少两个手术阶段对应不同的图像处理模式；

处理模块，用于基于所述第一手术阶段对应的图像处理模式，对所述第一图像进行处理，和/或，调节内窥镜的成像参数。

可选地，所述第一确定模块包括：

识别单元，用于将所述第一图像输入识别模型，输出所述第一图像对应的第一手术阶段。

可选地，所述识别模型包括空间信息提取子模型、时序信息提取子模型和分类子模型；

所述识别单元包括：

第一提取子单元，用于将所述第一图像输入所述空间信息提取子模型，输出所述第一图像对应的空间信息；

第二提取子单元，用于将所述第一图像对应的空间信息输入所述时序信息提取子模型，通过所述时序信息提取子模型对所述第一图像对应的空间信息和历史图像对应的空间信息进行处理，输出所述第一图像对应的时序信息，所述历史图像为所述手术过程中在所述第一图像之前拍摄的图像，所述历史图像对应的空间信息基于所述空间信息提取子模型得到；

分类子单元，用于将所述第一图像对应的时序信息输入所述分类子模型，输出所述第一图像对应的第一手术阶段。

可选地，所述第二确定模块包括：

第一获取单元，用于获取手术阶段与图像处理模式之间的对应关系；

第二获取单元，用于从所述对应关系中，获取与所述第一手术阶段对应的图像处理模式。

可选地，在所述第一手术阶段为观察搜寻阶段的情况下，对应的图像处理模式用于增强所述第一图像中的暗区，或者，用于根据所述第一图像的亮度调整期望亮度，所述期望亮度用于控制图像采集时的曝光；或者，

在所述第一手术阶段为术野暴露分离阶段的情况下，对应的图像处理模式用于增强所述第一图像的亮度和对比度，标记所述第一图像中纱条所在区域，抑制所述第一图像中过亮区域的亮度；或者，

在所述第一手术阶段为切除阶段的情况下，对应的图像处理模式用于放大所述第一图像中的器械操作区域，对所述第一图像进行去雾处理，检测所述第一图像中的过饱和红色区域，如果所述第一图像中的过饱和红色区域的面积超过面积阈值，则根据所述第一图像的亮度调整所述期望亮度，抑制所述第一图像中过饱和红色区域的红色；或者，

在所述第一手术阶段为结扎阶段的情况下，对应的图像处理模式用于对所述第一图像中的血管夹所在区域进行高亮处理，标记所述第一图像中的纱条所在区域，抑制所述第一图像中过亮区域的亮度；或者，

在所述第一手术阶段为吻合与钉合阶段的情况下，对应的图像处理模式用于放大所述第一图像中的修补器具所在区域，对所述第一图像中的血管与神经区域进行色彩增强；或者，

在所述第一手术阶段为缝合阶段的情况下，对应的图像处理模式用于放大所述第一图像中的缝合操作区域；或者，

在所述第一手术阶段为标本取出阶段的情况下，对应的图像处理模式用于标记所述第一图像中标本的尺寸；或者，

在所述第一手术阶段为冲洗与引流阶段的情况下，对应的图像处理模式用于对所述第一图像中的出血点区域进行高亮处理，标出所述第一图像中的出血点；或者，

在所述第一手术阶段为关闭套管口阶段的情况下，对应的图像处理模式用于增强所述第一图像中的暗区。

可选地，在所述第一手术阶段为观察搜索阶段的情况下，如果手术场景为纵深型场景，则对应的图像处理模式用于增强所述第一图像中的暗区，如果手术场景为宽阔型场景，则对应的图像处理模式用于根据所述第一图像的亮度调整所述期望亮度。

可选地，在所述第一手术阶段为切除阶段的情况下，所述器械操作区域包括器械头部区域；

可选地，所述纱条包括医用纱条、医用纱布拭子、医用纱布块、医用腹巾中的一种或多种；

所述器械包括手术抓钳、分离钳、剪刀、双极抓钳、电凝器械、打结钳、切开刀、缝合钳中的一种或多种；

所述修补器具包括疝钉；

所述血管夹包括金属钛夹、塑料夹、可吸收夹中的一种或多种。

可选地，在所述第一手术阶段为切除阶段、吻合与钉合阶段、或者缝合阶段的情况下，所述装置还包括：

第一显示模块，用于在显示界面的主画面区域中显示处理后的第一图像；

第二显示模块，用于在所述显示界面的辅画面区域中显示处理后的第一图像中的感兴趣区域，所述辅画面区域和所述主画面区域叠加在一起。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述图像处理方法的步骤。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述图像处理方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的图像处理方法的步骤。

本申请实施例提供的技术方案至少可以带来以下有益效果：

在本申请实施例中，基于手术中的图像自动识别手术阶段，根据识别出的手术阶段对应的图像处理模式自动进行图像处理，其中存在至少两个手术阶段对应不同的图像处理模式，可见本方案并非采用一套既定参数对整个手术过程采集的图像进行处理，而是有针对性的进行图像处理，这样可获得更高的图像质量，为手术提供更可靠的信息。且本方案自动识别手术阶段、自动匹配对应的图像处理模式进行图像处理，减少了手动调整对手术的影响，不会切断手术的延续性，不会由于手动操作导致视野丢失，极大地提高了手术效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种内窥镜系统的结构示意图；

图2是本申请实施例提供的一种图像处理方法的流程图；

图3是本申请实施例提供的一种手术阶段识别方法的流程图；

图4是本申请实施例提供的一种识别模型的结构示意图；

图5是本申请实施例提供的一种手术阶段的分类示意图；

图6是本申请实施例提供的一种识别手术阶段的示意图；

图7是本申请实施例提供的一种手术阶段对应的图像处理策略的示意图；

图8是本申请实施例提供的另一种手术阶段对应的图像处理策略的示意图；

图9是本申请实施例提供的又一种手术阶段对应的图像处理策略的示意图；

图10是本申请实施例提供的一种图像处理策略的汇总示意图；

图11是本申请实施例提供的一种图像处理装置的结构示意图；

图12是本申请实施例提供的一种终端的结构示意图；

图13是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请实施例中涉及的部分术语进行介绍。

内窥镜：经人体的天然孔道，或者是经手术做的小切口进入人体内。内窥镜是一种常用的医疗器械。由可弯曲部分、光源及一组镜头组成。使用时将内窥镜导入预检查的器官，可直接窥视有关部位的变化。图像质量的好坏直接影响着内窥镜的使用效果，也标志着内窥镜技术的发展水平。

手术阶段：以腹腔手术为例，内窥镜为腹腔镜，腹腔镜手术的基本模式，是通过气腹制造腹腔内操作空间，外科医生通过监视器观察手术视野，使用各种长柄器械经腹壁通道伸入腹腔，进行分离、结扎、缝合等各种手术操作。腹腔镜手术中术者不能直接触摸腹内脏器，缺乏直接探查的手感，只能通过图像效果和器械间接感觉来判断。手术的不同阶段有各自不同的特点，术者的关注点也各不相同，因此针对不同手术阶段采取相对应的图像调节手段，以使术者更好的进行手术是十分必要的。

ISP:(Image Signal Processor，图像信号处理)，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有降噪锐化、坏点去除、插值、白平衡、自动曝光控制等，依赖ISP能够在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。广泛意义的ISP包括成像前处理和成像后处理，成像前处理包括调节内窥镜的成像参数，成像参数包括图像采集参数和/或ISP参数，其中，图像采集参数如曝光参数、焦距等，IPS参数包括降噪、坏点去除、插值、白平衡等相关参数，成像后处理包括调节图像的亮度、色相、透明度等。更广泛的ISP还包括图像识别、图像缩放等。在本申请实施例中所提到的图像处理模式可以理解为更广泛意义的ISP，也即ISP为本申请实施例中对图像处理的泛称，并不是对本申请实施例的局限。

本申请实施例提供的图像处理方法应用于基于内窥镜系统采集的图像进行观测的场景中。为了后续便于说明，下面首先对本申请实施例涉及的内窥镜系统进行整体介绍，如图1所示，图1是本申请实施例提供的一种内窥镜系统的结构示意图。在图1中，内窥镜系统包括内窥镜、光源、摄像系统主机、显示装置以及存储装置。

在本申请实施例中，内窥镜用于将长管插入患者体内，拍摄患者体内需要被观察的部位，采集该部位的图像，并将采集的图像发送给摄像系统主机。光源用于从内窥镜的长管前端射出的照明光，以便于内窥镜拍摄出清晰的图像。摄像系统主机用于接收内窥镜发送的图像，对该图像进行处理，然后将处理后的图像发送给显示装置和存储装置。摄像系统主机还用于统一控制整个内窥镜系统，比如控制内窥镜将采集的图像发送给摄像系统主机等。显示装置用于接收摄像系统主机发送的处理后的图像，然后将处理的图像显示在显示装置上。存储装置用于接收摄像系统主机发送的处理后的图像，并将该处理后的图像进行存储。

通过图1所示的内窥镜系统，医生通过观察由显示装置显示的处理后的图像，来观测图像中的对象。通过图1所示的内窥镜系统可以提供手术过程中的实时影像，以便术者更好地进行手术。此外，医生还可以获取存储装置中的图像，形成影像资料(如视频)，进行术后回顾和手术培训。

图2是本申请实施例提供的一种图像处理方法的流程图。以该方法应用于终端为例，可选地，终端包括图1所示的摄像系统主机、显示装置以及存储装置。请参考图2，该方法包括如下步骤。

步骤201：根据手术过程中获取的第一图像，确定第一图像对应的第一手术阶段。

在使用内窥镜的手术过程中，终端实时获取内窥镜采集的图像，由于不同手术阶段的特点不同，需要关注的区域也存在不同，因此，需要根据实时获取的图像识别当前进行到了哪个手术阶段。以内窥镜当前采集到了第一图像为例，也即第一图像为当前帧，终端获取第一图像，需要确定第一图像对应的第一手术阶段。

在本申请实施例中，终端基于识别模型来识别手术阶段。以第一图像为例，终端将第一图像输入识别模型，输出第一图像对应的第一手术阶段。

其中，识别模型为预先训练的用于识别图像对应的手术阶段的模型，可选地，识别模型为深度学习模型。可选地，对于不同类型的手术，训练得到不同的识别模型，在手术开始之前，通过终端选择本次手术对应的识别模型。例如，胃镜手术、肠腔手术、腹腔手术等不同类型的手术，用每种手术对应的训练数据训练得到对应的识别模型。可选地，虽然不同类型的手术过程有所不同，但若这些手术的基本流程类似，那么也可以采用同一个识别模型用于不同类型手术的手术阶段的识别。

需要说明的是，本申请实施例不限定识别模型所采用的框架、结构、算法等，接下来介绍本申请实施例提供的几种用于识别手术阶段的识别模型。

在本申请实施例中，手术阶段的识别可以认为是一个图像的多分类任务，对于采集的每一帧图像判别该图像所属的手术阶段。在一些实现方式中，识别模型包括空间信息提取子模型和分类子模型，空间信息提取子模型用于提取所输入图像的空间信息(也称为空间特征、空间语义信息或空间语义特征)，将提取的空间信息输入分类子模型，分类子模型用于对所输入的空间信息进行分类，输出图像对应的手术阶段。

需要说明的是，本申请实施例中的第一图像对应的空间信息是指从第一图像本身提取出的图像特征，例如纹理、颜色、形状等图像特征，第一图像对应的空间信息用于表征第一图像的语义特征。

在另一些实现方式中，考虑到手术过程中连续图像帧之间的时序信息能够有效帮助到手术阶段的识别，也即连续图像帧之间具有上下文信息，仅利用单帧图像的空间信息进行图像多分类能够达到的性能有限，例如分类准确度有限，所以结合图像的空间信息和时序信息来进行手术阶段的智能识别。基于此，设计识别模型包括空间信息提取子模型、时序信息提取子模型和分类子模型。其中，空间信息提取子模型用于提取图像的空间信息，时序信息提取子模型用于提取图像之间的时序信息(也称为时序特征)，分类子模型用于对输入的信息进行分类识别出手术阶段。

需要说明的是，本申请实施例中第一图像对应的时序信息是指从第一图像以及历史图像中提取出的时序特征，时序特征表征多个连续图像帧的空间信息变化情况，也即空间信息在时间上的变化情况，能够准确地反映出一个手术阶段的图像特征，第一图像对应的时序信息用于表征历史图像到第一图像的空间信息变化情况。

在本申请实施例中，空间信息提取子模型、时序信息提取子模型和分类子模型为串行的三个子模块。以当前采集到了第一图像为例，将第一图像输入空间信息提取子模型，输出第一图像对应的空间信息。将第一图像对应的空间信息输入时序信息提取子模型，通过时序信息提取子模型对第一图像对应的空间信息和历史图像对应的空间信息进行处理，输出第一图像对应的时序信息。将第一图像对应的时序信息输入分类子模型，输出第一图像对应的第一手术阶段。其中，历史图像为手术过程中在第一图像之前拍摄的图像，历史图像对应的空间信息基于空间信息提取子模型得到。可选地，历史图像包括一帧或多帧图像。

需要说明的是，历史图像对应的空间信息在基于空间信息提取子模型处理历史图像的时候，存储在时序信息提取子模型中，在采集到第一图像后，需要对第一图像进行处理的时候，再将实时提取的第一图像对应的空间信息输入时序信息提取子模型即可，时序信息提取子模型就能够融合第一图像以及历史图像分别对应的空间信息，得到第一图像对应的时序信息，该时序信息实际上也就融合了第一图像和历史图像的空间特征和时间特征。或者，历史图像对应的空间信息在基于空间信息提取子模型处理历史图像的时候，存在在其他模块中，在采集到第一图像后，需要对第一图像进行处理的时候，将第一图像对应的空间信息以及历史图像对应的空间信息同时输入时序信息提取子模型中，得到第一图像对应的时序信息。

图3是本申请实施例提供的一种手术阶段识别方法的流程图。参见图3，识别模型包括顺次连接的空间信息提取子模型(空间信息提取模块)、时序信息提取子模型(时序信息提取模块)和分类子模型(分类模块)。将实时采集的内镜手术视频(连续的图像帧)不断输入空间信息提取模块，依次对最新接收到的一帧图像进行处理，提取该帧图像对应的空间信息，将提取的空间信息依次输入时序信息提取模块。时序信息提取模块接收到最新一帧图像对应的空间信息之后，结合历史接收到的多帧图像对应的空间信息，提取得到最新一帧图像对应的时序信息，将最新提取得到的时序信息输入分类模块。分类模块对输入的时序信息进行分类，输出最新一帧图像对应的手术阶段，也即输出阶段分类结果。

在其他一些实施例中，空间信息提取子模型和时序信息提取子模型为并行的两个子模块，这两个子模块再与分类子模型串联。以当前采集到了第一图像为例，将第一图像输入空间信息提取子模型和时序信息提取子模型，其中，空间信息提取子模型对第一图像进行空间特征提取，输出第一图像对应的空间信息，时序信息提取子模型对第一图像和历史图像进行处理，输出第一图像对应的时序信息。将第一图像对应的空间信息和时序信息输入分类子模型，输出第一图像对应的第一手术阶段。其中，历史图像为手术过程中在第一图像之前拍摄的图像。

在本申请实施例中，空间信息提取子模型基于人工设计特征的方法原理来设计，例如基于HOG(Histogram of Oriented Gradient，方向梯度直方图)、LBP(Local BinaryPattern，局部二值模式)等方法设计。或者，空间信息提取子模型基于深度学习方法来设计，例如基于CNN(Convolutional Neural Networks，卷积神经网络)设计，也即基于CNN提取图像特征。

在本申请实施例中，空间信息提取子模型与时序信息提取子模型为串行设计，其中，时序信息提取子模型可基于HMM(Hidden Markov Model，隐马尔可夫模型)的方法原理设计。或者，时序信息提取子模型基于深度学习方法设计，例如基于RNN(Recurrent NeuralNetwork，循环神经网络)设计。其中，RNN选择基于LSTM(Long Short-Term Memory，长短期记忆)网络和GRU(Gated Recurrent Unit，门控循环单元)设计，LSTM网络和GRU能够对历史信息进行有选择的存储，具备长时间依赖捕获的能力。

需要说明的是，假设时序信息提取子模型基于LSTM网络设计，若LSTM网络要求输入数据为向量，则输入时序信息提取子模型的空间信息由向量表示。若LSTM网络并不要求输入数据为向量，例如LSTM的变体Conv-LSTM网络(即把LSTM内部的FC层改为卷积层)可以处理二维输入，则输入时序信息提取子模型的空间信息可由二维图像特征表示。

在其他一些实施例中，如果空间信息提取子模型与时序信息提取子模型为并行设计，时序信息提取子模型的输入为手术过程中采集的相邻图像帧，计算多对相邻图像帧得到多个光流图并进行堆叠，得到堆叠光流图，其中，光流图表征了相邻图像帧之间的空间信息变化情况。将堆叠光流图输入该空间信息提取子模型得到时序信息，需要说明的是，这里的时序信息提取子模型可以理解为也包括一个空间信息提取子模型(如CNN网络)，这里所用的空间信息提取子模型可以与前述提取第一图像对应的空间信息的空间信息提取子模型相同，也可以不同。在得到第一图像对应的时序信息之后，将第一图像的空间信息和时序信息拼接合并后输入分类子模型中，识别出第一手术阶段。

需要说明的是，上述介绍的串行方式和并行方式的识别模型，表示模型结构上的多样性和灵活性，不同的识别模型在中间处理中提取的空间信息、时序信息等可能存在不同。

在本申请实施例中，分类子模型对输入的信息进行分类，假设手术阶段共分为九个阶段，那么分类子模型的输出包括九个类别。分类子模型基于机器学习或深度学习设计，例如基于SVM(Support Vector Machines，支持向量机)设计，基于FC(Fully Connected，全连接层)结合softmax函数设计，通过全连接层结合softmax层输出各个类别的概率，概率最大的作为最终识别出的类别。

图4是本申请实施例提供的一种识别模型的结构示意图。参见图4，识别模型包括串行的三个子模型，识别模型的输入为手术视频段中的连续图像帧，输出为每帧图像的手术阶段识别结果。其中，空间信息提取子模型基于AlexNet网络框架设计，包括多个卷积(Convolutional，CONV)层(图示为五层)和多个全连接层(图示为两层)，其中，卷积层带ReLU(Rectified Linear Unit，线性修正单元，也称为线性整流单元)函数和池化层(如MaxPooling，最大池化)。时序信息提取子模型采用单层的LSTM网络，分类子模型采用全连接层加softmax层。

由前述可知，虽然不同类型的手术过程有一定的差异，不过基本流程大同小异，基于此，在本申请实施例中，将手术阶段按照如图5所示进行分类。在手术过程中，内窥镜进入体内，也即进入体内阶段，手术全过程均为体内阶段。体内阶段包括观察搜索阶段、手术操作阶段(器械介入阶段)和收尾阶段。其中，手术操作阶段包括术野暴露分离阶段、切除阶段、结扎阶段、吻合与钉合阶段、缝合阶段和标本取出阶段。收尾阶段包括冲洗与引流阶段、关闭套管口阶段。也即是，基于图5的方式将手术划分为九个阶段，需要说明的是，图5仅为手术阶段的一种分类示例，并不用于限定本申请实施例，在实际中根据手术实际过程进行分类均可。

基于图5的手术阶段分类，在本申请实施例中，识别出的手术阶段为九个阶段中的一个，如图6所示，基于内镜手术视频包括的图像帧，通过手术阶段的识别模型(识别模块)，识别出当前手术进行到了这九个阶段中的哪个阶段。

步骤202：根据第一手术阶段，确定第一手术阶段对应的图像处理模式。

在本申请实施例中，一个手术阶段对应一种图像处理模式，不同的手术阶段中存在至少两个手术阶段对应不同的图像处理模式。终端识别出时第一图像对应的第一手术阶段之后，确定第一手术阶段对应的图像处理模式。

可选地，终端存储有手术阶段与图像处理模式之间的对应关系，终端获取手术阶段与图像处理模式之间的对应关系，从该对应关系中，获取与第一手术阶段对应的图像处理模式。示例性地，一个手术阶段对应一个阶段标识，一种图像处理模式对应一个策略标识，终端存储有阶段标识与策略标识之间的映射关系，终端从该映射关系中获取与第一手术阶段的阶段标识对应的策略标识，根据获取的策略标识，确定第一手术阶段对应的图像处理模式。

作为一种示例，在图6所示手术阶段分类的基础上，本申请实施例对这九个手术阶段分别对应的图像处理模式进行介绍。

在第一手术阶段为观察搜寻阶段的情况下，对应的图像处理模式用于增强第一图像中的暗区，或者，用于根据第一图像的亮度调整期望亮度，期望亮度用于控制图像采集时的曝光。可选地，在第一手术阶段为观察搜索阶段的情况下，如果手术场景为纵深型场景(如肠腔等)，则对应的图像处理模式用于增强第一图像中的暗区，如果手术场景为宽阔型场景(如胃部等)，则对应的图像处理模式用于根据第一图像的亮度调整期望亮度。或者，

在第一手术阶段为术野暴露分离阶段的情况下，对应的图像处理模式用于增强第一图像的亮度和对比度，标记第一图像中纱条所在区域，抑制第一图像中过亮区域的亮度。可选地，纱条包括医用纱条、医用纱布拭子、医用纱布块、医用腹巾中的一种或多种，需要说明的是，本申请实施例能够识别的纱条包括但不限于这些类型。或者，

在第一手术阶段为切除阶段的情况下，对应的图像处理模式用于放大第一图像中的器械操作区域，对第一图像进行去雾处理，检测第一图像中的过饱和红色区域，如果第一图像中的过饱和红色区域的面积超过面积阈值，则根据第一图像的亮度调整期望亮度，抑制第一图像中过饱和红色区域的红色。可选地，器械操作区域包括器械头部区域。可选地，本申请实施例中的器械包括手术抓钳、分离钳、剪刀、双极抓钳、电凝器械、打结钳、切开刀、缝合钳中的一种或多种，需要说明的是，本申请实施例中能够识别的器械包括但不限于这些。或者，

在第一手术阶段为结扎阶段的情况下，对应的图像处理模式用于对第一图像中的血管夹所在区域进行高亮处理，标记第一图像中的纱条所在区域，抑制第一图像中过亮区域的亮度。或者，

在第一手术阶段为吻合与钉合阶段的情况下，对应的图像处理模式用于放大第一图像中的修补器具所在区域，对第一图像中的血管与神经区域进行色彩增强。可选地，本申请实施例中的修补器具包括但不限于疝钉。或者，

在第一手术阶段为缝合阶段的情况下，对应的图像处理模式用于放大第一图像中的缝合操作区域。可选地，本申请实施例中缝合操作指使用缝针等缝合工具的缝合行为。或者，

在第一手术阶段为标本取出阶段的情况下，对应的图像处理模式用于标记第一图像中标本的尺寸。需要说明的是，标本指手术需要从体内取出的组织器官等，如肿瘤等。或者，

在第一手术阶段为冲洗与引流阶段的情况下，对应的图像处理模式用于对第一图像中的出血点区域进行高亮处理，标出第一图像中的出血点。或者，

在第一手术阶段为关闭套管口阶段的情况下，对应的图像处理模式用于增强第一图像中的暗区。

以上仅为本申请实施例提供的各个手术阶段对应的图像处理模式的一些示例，并不用于限定本申请。接下来将在步骤203中对各个手术阶段对应的图像处理模式以及具体的处理过程进行详细介绍。

步骤203：基于第一手术阶段对应的图像处理模式，对第一图像进行处理，和/或，调节内窥镜的成像参数。

也即是，在本申请实施例中，图像处理模式所对应的图像处理可以是对已成像的第一图像进行处理，也可以是调节内窥镜的成像参数，以拍摄得到更高质量的图像。可选地，图像处理也可以包括图像识别、图像缩放等。需要说明的是，本申请实施例中各种图像处理可以根据需求单独使用或结合使用。接下来对本申请实施例提供的一个示例进行详细介绍。

在第一手术阶段为观察搜寻阶段的情况下，对应的图像处理模式用于增强第一图像中的暗区，或者，用于根据第一图像的亮度调整期望亮度，期望亮度用于控制图像采集时的曝光。在一种实现方式中，观察搜寻阶段对应的图像处理模式包括局部暗区改善模式或全局期望亮度监控模式。可选地，在第一手术阶段为观察搜寻阶段的情况下，如果手术场景为纵深型场景，则对应的图像处理模式包括局部暗区改善模式。如果手术场景为宽阔型场景，则对应的图像处理模式包括全局期望亮度监控模式。其中，局部暗区改善模式用于增强第一图像中的暗区，全局期望亮度监控模式用于根据第一图像的亮度调整期望亮度。

如图7所示，观察搜索阶段的特征和关注点主要为：内窥镜进入体内后，首先要到达患处并找到目标，在此过程中需要保证视野明亮，颜色分明，细节突出。基于此，该阶段对应的ISP对应策略，也即对应的图像处理模式如图7所示，对于纵深型场景(如肠腔)，采用局部暗区改善模式，也即开启“局部暗区改善”模块，提升图像中局部暗区的亮度，使得本来观察不到的细节显露出来，让术者更好地观察目标。对于宽阔型场景(如胃部)，采用全局期望亮度监控模式，也即开启“全局期望亮度监控”模块，保证全局视野通透明亮。

这里解释一下本申请实施例中的期望亮度，拍摄图像的AE(Automatic Exposure，自动曝光)通常会围绕一个基准亮度进行调节，当全局图像亮度高于基准亮度时，图像过亮，需要把亮度降下来，当全局亮度低于基准亮度时，需提升图像的亮度。这个基准亮度就是期望亮度，当遇到某些宽阔型场景时，AE默认的期望亮度的程度有可能不够，不足以保证全局的视野都可以通透明亮地观察搜寻目标，此时通过全局期望亮度监控模式，动态地调节基准亮度，例如提高基准亮度，使得AE对图像曝光处理提高图像的亮度，以满足术者该阶段的视觉需求。可选地，期望亮度为一个亮度值，或者为一个亮度区间。

示例性地，局部暗区改善模式检测第一图像中亮度小于第一亮度阈值的区域，也即检测第一图像中的相对暗区，对第一图像中各个像素点对应的不同亮暗程度分配不同的亮度提升权重，最终使得第一图像中的暗区得到增亮，且全图亮度分布均匀。可选地，第一亮度阈值为设置的定值，或者，第一亮度阈值为第一图像的平均亮度，或者，第一亮度阈值为根据具体场景以及图像亮暗分布情况自适应变化的阈值。全局期望亮度监控模式获取第一图像的平均亮度(也称为全局亮度)，如果全局亮度高于期望亮度，则需要降低期望亮度，如果全局亮度低于期望亮度，则需要提升期望亮度。可选地，降低或提升期望亮度的调整步长为一个定值，或者，为预设范围内的一个随机值，或者，为全局亮度的一个比例值，例如全局亮度越高，调整步长越大，全局亮度越低，调整步长越小。

在第一手术阶段为术野暴露分离阶段的情况下，对应的图像处理模式用于增强第一图像的亮度和对比度，标记第一图像中纱条所在区域，抑制第一图像中过亮区域的亮度。在一种实现方式中，术野暴露分离阶段对应的图像处理模式包括全局亮度对比度增强模式、纱条识别模式和局部过亮抑制模式，全局亮度对比度增强模式用于增强第一图像的亮度和对比度，纱条识别模式用于识别第一图像中纱条所在区域，局部过亮抑制模式用于抑制第一图像中的过亮区域的亮度。

如图8所示，术野暴露分离阶段的特征和关注点主要为：在牵开或推开阻碍视线的脏器来暴露术野时，需能清晰的区分出背景与目标，准确地将其分离。同时手术专用纱条也能起到推移效果，但纱条过多的出现在视野可能有过曝影响。基于此，术野暴露分离阶段的ISP对应策略(也即对应的图像处理模式)包括：采用GBCE(Global Brightness andContrast Enhancement，全局亮度对比度增强)模式，也即开启GBCE模块，增强图像的亮度和对比度，辅助术者进行分离操作。采用纱条识别模式联动局部过亮抑制模式，也即开启“纱条识别”模块，联动开启“局部过亮抑制”模块，防止大面积纱条对亮度的影响。

需要说明的是，GBCE模式是图像ISP处理流程中的重要组成部分，GBCE模式主要功能包括：根据图像亮度、对比度以及直方图等统计信息，推测实际场景的照度和动态范围等特征，根据这些特征对处理后不论在何种场景下都能达到较为合理的对比度，并能根据特定需求起到一定的图像增强效果。在术野暴露分离阶段，默认的对比度强度对背景与目标区分度有可能不够，不满足分离需求，造成术者对目标分困难，采用GBCE模式，对图像进行增强，有助于术者进行更好地目标分离操作。

纱条识别模式用于识别纱条，目的是防止术后将纱条遗留在体内。在本申请实施例中，纱布识别模式用于识别的纱布包括但不限于医用纱条、医用纱布拭子、医用纱布块、医用腹巾中的一种或多种。可选地，纱条识别基于深度学习技术，或者基于人为特征设计，如纹理特征等。

局部过亮抑制模式针对局部过亮的部分进行抑制，防止局部出现的如器械反光、白色纱布反光等原因造成的过曝会影响到术者的观察操作的情况出现。示例性地，局部过亮抑制模式检测第一图像中亮度超过第二亮度阈值的区域，降低第一图像中亮度超过第二亮度阈值的区域的亮度。可选地，第二亮度阈值与第一亮度阈值相同或不同。

在第一手术阶段为切除阶段的情况下，对应的图像处理模式用于放大第一图像中的器械操作区域，对第一图像进行去雾处理，检测第一图像中的过饱和红色区域，如果采集的第一图像中存在过饱和红色区域，则根据第一图像的亮度调整期望亮度，抑制所述第一图像中过饱和红色区域的红色，这样，处理后的第一图像中不会出现过饱和红色区域，用户视野中也就不会观察到过饱和的红色。在一种实现方式中，对应的图像处理模式包括器械定位跟踪模式、局部放大模式、智能去雾模式、大出血场景预警模式、全局期望亮度监控模式和防红溢出模式。其中，器械跟踪定位模式用于识别第一图像中的器械操作区域，器械操作区域作为切除阶段的感兴趣区域，局部放大模式用于放大感兴趣区域，智能去雾模式用于对第一图像进行去雾处理，大出血场景预警模式用于检测第一图像中的过饱和红色区域，在检测到过饱和红色区域增多时触发预警，防红溢出模式用于抑制第一图像中的过饱和红色区域的红色。

如图8所示，切除阶段的特征和关注点主要为：当电刀对目标患处进行切割时会产生大量烟雾阻碍术者视野，影响手术进程。当遇到大出血情况时，图像亮度会受到大量血液影响，同时红色过量溢出也会覆盖细节。基于此，切除阶段的ISP对应策略包括：在切除目标时，采用器械定位跟踪模式，并联动局部放大模式，对识别出的器械操作区域进行放大。可选地，器械操作区域包括器械头部区域，器械头部区域作为感兴趣区域，感兴趣区域即手术重点观察区域。可选地，局部放大模式联动画中画模式，对放大的器械操作区域进行画中画显示，也即是，开启“器械定位跟踪”模块，并联动开启“局部放大”模块和“画中画”功能显示。采用智能去雾模式，也即开启“智能去雾”模块，检测图像中的烟雾浓度，并进行实时去雾。采用大出血场景预警模式，也即开启“大出血场景预警”模块，在检测到大出血触发预警时，采用全局期望亮度监控模式以及防红溢出模式，也即开启“全局期望亮度监控”模块和“防红溢出”模块。

可选地，器械跟踪定位模式能够智能识别手术器械的操作头部，并进行持续跟踪，对器械操作区域进行标出，并将区域坐标发送给局部放大模块放大，联动画中画功能进行显示。切除阶段开启器械跟踪定位模式，有助于术者更细致地观察目标患处，更精细地进行手术操作，提高手术成功率。可选地，器械定位跟踪模式用于识别的器械包括：手术抓钳、手术钳、分离钳、剪刀、双极抓钳、电凝器械、打结钳、切开刀、缝合钳中的一种或多种。可选地，器械识别基于深度学习技术等图像识别技术。

本申请实施例中局部放大模式的一种放大方式为：针对器械所在位置的邻域进行放大，并联动画中画功能将放大的图像投影在屏幕边角，图像主体画面仍然可保持不变，这样，能够避免丢失全局视野，所见的图像视角也不会缩小。在另一些实施例中，局部放大模式的放大方式为：以器械所在位置为基准，基于全图进行放大。可选地，局部放大模式联合画中画显示模式对感兴趣区域进行显示。

本申请实施例中的智能去雾模式能够智能检测场景是否有烟雾，并给出烟雾浓度，进而通过去雾算法对图像进行去雾，保证不同烟雾浓度下，图像的观感基本保持一致。这样，通过智能去雾模式去除烟雾对术者视野的遮蔽，有助于提升手术效率与操作精确度。

切除阶段通过大出血场景预警模式对大出血场景进行预警，当手术中出现大出血情况时，过于饱和的红色区域增多，由于突然增加的过量血液经常会使图像比正常的观感要暗许多，需要联动全局期望亮度监控模式对亮度进行调整，同时由于过于红色的画面也会使整个图像失去细节，需要联动防红溢出模块对过于饱和的红色进行抑制，以突出细节。

切除阶段通过防红溢出模式对过于饱和的红色进行抑制，这样能够在一定程度上相对提升被红色覆盖的细节，并保持画面中其他颜色不变。需要说明的是，通过防红溢出模式对切除阶段的图像进行持续的处理，这样，用户视野中也就不会观察到过饱和的红色，不会由于出血而影响观察。

在第一手术阶段为结扎阶段的情况下，对应的图像处理模式用于对所述第一图像中的血管夹所在区域进行高亮处理，标记所述第一图像中的纱条所在区域，抑制所述第一图像中过亮区域的亮度。在一种实现方式中，结扎阶段对应的图像处理模式包括统计血管夹模式、纱条识别模式和局部过亮抑制模式，统计血管夹模式用于识别第一图像中的血管夹所在区域，对血管夹所在区域进行高亮处理。可选地，本申请实施例中的血管夹包括但不限于金属钛夹、塑料夹、可吸收夹中的一种或多种。

如图8所示，结扎阶段的特征和关注点包括：结扎技术主要是对血管或其他管道的处理，包括夹闭法和打结法。此过程中应注意避免血管夹的脱落或误夹。该阶段也会出现纱条。基于此，在结扎阶段，采用统计血管夹模式，也即开启“统计血管夹”模块，识别图像中的血管夹所在区域，对血管夹区域进行高亮处理，例如高亮为红色、黄色等。另外，还采用纱条识别模式，联动局部过亮抑制模式，也即开启“纱条识别”模块，联动开启“局部过亮抑制”模块，防止大面积纱条对亮度的影响。

在第一手术阶段为吻合与钉合阶段的情况下，对应的图像处理模式用于放大第一图像中的修补器具所在区域，对第一图像中的血管与神经区域进行色彩增强。在一种实现方式中，吻合与钉合阶段图像处理模式包括局部放大模式、细节滤镜模式，局部放大模式所放大的感兴趣区域为第一图像中的修补器具(如疝钉)所在区域，细节滤镜模式用于对第一图像中的血管与神经区域进行色彩增强。

如图8所示，吻合与钉合阶段的特征和关注点包括：此过程中，在放置疝钉时应注意避开重要的血管和神经，以避免难以控制的出血或疝钉修补后的神经痛。基于此，在放置疝钉时，采用局部放大模式，也即开启“局部放大”模块，可选地联动画中画显示。同时，采用细节滤镜模式，也即开启“细节滤镜”模块，以辅助辨别重要的血管与神经。

需要说明的是，在吻合与钉合阶段，识别图像中修补器具(如疝钉)所在区域，并对该区域进行局部放大。识别图像中血管与神经所在区域，通过细节滤镜专门对血管与神经细节进行增强，例如滤除或减轻血管与神经之外无关细节区域的颜色，或者对图像背景(如血管与神经之外的区域)进行色彩转换，或者加强血管与神经区域的色彩，达到突出血管与神经的效果，这样有助于术者对血管脉络复杂的手术场景进行更好的判断与操作。

在第一手术阶段为缝合阶段的情况下，对应的图像处理模式用于放大第一图像中的缝合操作区域。在一种实现方式中，缝合阶段对应的图像处理模式包括局部放大模式和缝合针线跟踪模式，缝合针线跟踪模式用于识别第一图像中的缝合操作区域，作为感兴趣区域，局部放大模式用于放大感兴趣区域。

如图8所示，缝合阶段的特征和关注点主要为：缝针至缝合部位的过程中，需避免刮伤其他组织；同时应始终出现在视野内，避免误伤及丢失。基于此，在缝合目标时，采用缝合针线跟踪模式，也即开启“缝合针线跟踪”模块，识别出图像中的缝合操作所在区域，采用局部放大模式，也即开启“局部放大”模块，可选地，联动“画中画”功能显示。同时，缝合针线跟踪模式防止针线在视野中丢失。

需要说明的是，缝合针线跟踪模式与前述器械跟踪定位模式类似，缝合针线跟踪模式智能识别缝合行为，也即识别出图像中缝合操作所在区域，标出该区域，并将该区域在图像中的坐标发送给局部放大模块以对该区域进行放大，同时联动画中画功能进行显示。这样，有助于术者更精确快速地进行缝合操作，同时降低针线误伤或在视野丢失的风险。

在第一手术阶段为标本取出阶段的情况下，对应的图像处理模式由于标出第一图像中标本的尺寸。在一种实现方式中，标本取出阶段对应的图像处理模式包括标本尺寸估计模式，标本尺寸估计模式用于识别第一图像中的标本，确定并标出标本的尺寸。

如图8所示，标本取出阶段的特征和关注点主要为：当取出较大标本时，需估算标本尺寸以使其可以顺利从切口通过，也可以避免切口开的过大，影响术后恢复。基于此，在标本取出阶段采用标本尺寸估计模式，也即开启“标本尺寸估计”模块，估计标本的尺寸，并在显示区域(屏幕)显示出标本的尺寸。示例性地，根据图像中器械与标本的相对大小，以及器械的实际尺寸，确定标本的尺寸。或者，根据标本在多幅图像中的尺寸，对标本进行三维建模，估计标本的三维尺寸。

可选地，终端根据估计确定的标本的尺寸，估计该标本对应的期望切口口径，在屏幕上给出期望切口口径，以为术者提供参考。如果估计出的期望切口口径小于手术中已开的切口口径，说明能够取出标本，无需加大切口，也无需对标本切块。如果估计出的期望切口口径大于手术中已切开的切口口径，说明通过目前的切口口径取不出标本，需要加大切口，或者需要对标本进行切块。

在第一手术阶段为冲洗与引流阶段的情况下，对应的图像处理模式用于对第一图像中的出血点区域进行高亮处理，标出第一图像中的出血点。在一种实现方式中，冲洗与引流阶段对应的图像处理模式包括细节滤镜模式和出血点排查模式，出血点排查模式用于对第一图像中的出血点进行高亮处理，标出出血点，细节滤镜模式用于对第一图像中的血管和神经所在区域进行色彩增强。

如图9所示，冲洗与引流阶段的特征与关注点包括：冲洗与引流中采用腹腔吸引器可用于排除烟雾、吸除积血积液。在出血点不明的情况下，需要保证操作的精确性，当用超声刀或电凝止血后，应避免吸引器直接抽吸止血点处。基于此，采用细节滤镜模式，联动采用出血点排查模式，也即开启“细节滤镜”模块，联动开启“出血点排查”模块，检测图像中的红色饱和区域，以识别出出血点，对出血点进行高亮标出。在冲洗与引流阶段识别出血点有助于术者用超声刀或电凝刀快速止血，出血点止血后变为止血点，位置不变，这样在冲洗时有助于术者将止血点绕开，只对止血点周边进行清理。

在第一手术阶段为关闭套管口阶段的情况下，对应的图像处理模式用于增强所述第一图像中的暗区。在一种实现方式中，图像处理模式包括局部暗区改善模块。

如图9所示，冲洗与引流阶段的特征与关注点包括：手术结束时，应在内窥镜(如腹腔镜)直视下逐一拔出套管，并观察套管孔有无出血。此过程以及内窥镜退出的过程，景深都比较大，需保持视野清晰。基于此，在冲洗与引流阶段采用局部暗区改善模式，也即开启“局部暗区改善”模块，增强观察视野。

以上基于图7、图8和图9介绍了本申请实施例中九个手术阶段分别对应的图像处理模式。接下来通过图10对上述内容进行总结。在图10中给出内窥镜手术(内镜手术)普遍适用场景中使用到的ISP基本图像系统，ISP基本图像系统包括手术各阶段定制化系统和手术各阶段定制化模块。其中，手术各阶段定制化系统包括亮度与颜色系统、智能系统和高级功能系统。亮度与颜色系统包括的手术各阶段定制化模块包括全局期望亮度监控模块、局部过亮抑制模块、局部暗区改善模块、护眼模式、防红溢出模块、全局对比度增强模块(全局亮度对比度增强模块)。智能系统包括应用镜种检测模块(手术场景检测)、纱条识别模块、血管夹统计模块(统计血管夹模块)、大出血场景预警模块、缝合针线跟踪模块、标本尺寸估计模块(标本取出模块)、出血点排查模块、器械跟踪定位模块和智能去雾模块。高级功能系统包括智能去雾模块、细节滤镜模块、局部电子放大模块(局部放大模块)和画中画功能模块。

由上述可知，在本申请实施例种，将智能识别与图像策略有机的结合起来，利用智能识别检测模块辅助医生判断手术过程中遇到的各种情况，更进一步地与ISP图像策略相结合，在手术的各个阶段都能保证图像的基本效果，更能帮助术者对复杂场景进行更有效的观察与操作，极大的提升了术者使用效果，大幅提高了手术成功率与效率。

在本申请实施例种，如果采用对应的图像处理模式对第一图像进行处理，则在对第一图像进行处理后，在显示区域显示处理后的第一图像。

由前述可知，在第一手术阶段为切除阶段、吻合与钉合阶段、或者缝合阶段的情况下，均能够识别出对应的感兴趣区域，并对感兴趣区域进行放大显示，可选地，一种放大显示的方式为画中画显示。本申请实施例中画中画功能的一种显示方式为：在显示界面的主画面区域中显示处理后的第一图像，在显示界面的辅画面区域中显示处理后的第一图像中的感兴趣区域，辅画面区域和主画面区域叠加在一起。

示例性地，一种画中画显示方式为：主屏幕图像画面保持不变，将目标区域(感兴趣区域，如局部放大的图像)以一定的比例投影在屏幕的边角，即在屏幕中显示一大一小两个画面。其中，小画面嵌在大画面的边角位置，如左上角或右下角等。可选地，小画面占比可调节，如主画面的分辨率为4K，那画中画的小画面占比为480P或720P或1080P皆可。

综上所述，在本申请实施例中，基于手术中的图像自动识别手术阶段，根据识别出的手术阶段对应的图像处理模式自动进行图像处理，其中存在至少两个手术阶段对应不同的图像处理模式，可见本方案并非采用一套既定参数对整个手术过程采集的图像进行处理，而是有针对性的进行图像处理，这样可获得更高的图像质量，为手术提供更可靠的信息。且本方案自动识别手术阶段、自动匹配对应的图像处理模式进行图像处理，减少了手动调整对手术的影响，不会切断手术的延续性，不会由于手动操作导致视野丢失，极大地提高了手术效率。

上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。

图11是本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置1100可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部，该计算机设备可以为上述实施例中的终端。请参考图11，该装置1100包括：第一确定模块1101、第二确定模块1102和处理模块1103。

第一确定模块1101，用于根据手术过程中获取的第一图像，确定第一图像对应的第一手术阶段；

第二确定模块1102，用于根据第一手术阶段，确定第一手术阶段对应的图像处理模式，存在至少两个手术阶段对应不同的图像处理模式；

处理模块1103，用于基于第一手术阶段对应的图像处理模式，对第一图像进行处理，和/或，调节内窥镜的成像参数。

可选地，第一确定模块1101包括：

识别单元，用于将第一图像输入识别模型，输出第一图像对应的第一手术阶段。

可选地，识别模型包括空间信息提取子模型、时序信息提取子模型和分类子模型；

识别单元包括：

第一提取子单元，用于将第一图像输入空间信息提取子模型，输出第一图像对应的空间信息；

第二提取子单元，用于将第一图像对应的空间信息输入时序信息提取子模型，通过时序信息提取子模型对第一图像对应的空间信息和历史图像对应的空间信息进行处理，输出第一图像对应的时序信息，历史图像为手术过程中在第一图像之前拍摄的图像，历史图像对应的空间信息基于空间信息提取子模型得到；

分类子单元，用于将第一图像对应的时序信息输入分类子模型，输出第一图像对应的第一手术阶段。

可选地，第二确定模块1102包括：

第一获取单元，用于获取手术阶段与图像处理模式之间的对应关系；

第二获取单元，用于从对应关系中，获取与第一手术阶段对应的图像处理模式。

可选地，在第一手术阶段为观察搜寻阶段的情况下，对应的图像处理模式用于增强第一图像中的暗区，或者，用于根据第一图像的亮度调整期望亮度，期望亮度用于控制图像采集时的曝光；或者，

在第一手术阶段为术野暴露分离阶段的情况下，对应的图像处理模式用于增强第一图像的亮度和对比度，标记第一图像中纱条所在区域，抑制第一图像中过亮区域的亮度；或者，

在第一手术阶段为切除阶段的情况下，对应的图像处理模式用于放大第一图像中的器械操作区域，对第一图像进行去雾处理，检测第一图像中的过饱和红色区域，如果第一图像中的过饱和红色区域的面积超过面积阈值，则根据第一图像的亮度调整期望亮度，抑制第一图像中过饱和红色区域的红色；或者，

在第一手术阶段为结扎阶段的情况下，对应的图像处理模式用于对第一图像中的血管夹所在区域进行高亮处理，标记第一图像中的纱条所在区域，抑制第一图像中过亮区域的亮度；或者，

在第一手术阶段为吻合与钉合阶段的情况下，对应的图像处理模式用于放大第一图像中的修补器具所在区域，对第一图像中的血管与神经区域进行色彩增强；或者，

在第一手术阶段为缝合阶段的情况下，对应的图像处理模式用于放大第一图像中的缝合操作区域；或者，

在第一手术阶段为标本取出阶段的情况下，对应的图像处理模式用于标记第一图像中标本的尺寸；或者，

在第一手术阶段为冲洗与引流阶段的情况下，对应的图像处理模式用于对第一图像中的出血点区域进行高亮处理，标出第一图像中的出血点；或者，

在第一手术阶段为关闭套管口阶段的情况下，对应的图像处理模式用于增强第一图像中的暗区。

可选地，在第一手术阶段为观察搜索阶段的情况下，如果手术场景为纵深型场景，则对应的图像处理模式用于增强第一图像中的暗区，如果手术场景为宽阔型场景，则对应的图像处理模式用于根据第一图像的亮度调整期望亮度。

可选地，在第一手术阶段为切除阶段的情况下，器械操作区域包括器械头部区域；

可选地，纱条包括医用纱条、医用纱布拭子、医用纱布块、医用腹巾中的一种或多种；

器械包括手术抓钳、分离钳、剪刀、双极抓钳、电凝器械、打结钳、切开刀、缝合钳中的一种或多种；

修补器具包括疝钉；

血管夹包括金属钛夹、塑料夹、可吸收夹中的一种或多种。

可选地，在第一手术阶段为切除阶段、吻合与钉合阶段、或者缝合阶段的情况下，该装置1100还包括：

第一显示模块，用于在显示界面的主画面区域中显示处理后的第一图像；

第二显示模块，用于在显示界面的辅画面区域中显示处理后的第一图像中的感兴趣区域，辅画面区域和主画面区域叠加在一起。

在本申请实施例中，基于手术中的图像自动识别手术阶段，根据识别出的手术阶段对应的图像处理模式自动进行图像处理，其中存在至少两个手术阶段对应不同的图像处理模式，可见本方案并非采用一套既定参数对整个手术过程采集的图像进行处理，而是有针对性的进行图像处理，这样可获得更高的图像质量，为手术提供更可靠的信息。且本方案自动识别手术阶段、自动匹配对应的图像处理模式进行图像处理，减少了手动调整对手术的影响，不会切断手术的延续性，不会由于手动操作导致视野丢失，极大地提高了手术效率。

需要说明的是：上述实施例提供的图像处理装置在处理图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图12示出了本申请一个示例性实施例提供的终端1200的结构框图。该终端1200可以是：智能手机、平板电脑、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端、计算机设备等其他名称。

通常，终端1200包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的图像处理方法。

在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置在终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在另一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。

摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。

定位组件1208用于定位终端1200的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1212可以检测终端1200的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1213可以设置在终端1200的侧边框和/或显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在显示屏1205的下层时，由处理器1201根据用户对显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置在终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。

光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制显示屏1205的显示亮度。具体地，当环境光强度较高时，调高显示屏1205的显示亮度；当环境光强度较低时，调低显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1215采集的环境光强度，动态调整摄像头组件1206的拍摄参数。

接近传感器1216，也称距离传感器，通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图13是本申请实施例提供的一种服务器的结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲：

服务器1300包括中央处理单元(CPU)1301、包括RAM(Random Access Memory，随机存取存储器)1302和只读存储器(ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。服务器1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。

基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。大容量存储设备1307及其相关联的计算机可读介质为服务器1300提供非易失性存储。也就是说，大容量存储设备1307可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。

根据本申请的各种实施例，服务器1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1300可以通过连接在系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的图像处理方法的指令。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中图像处理方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的图像处理方法的步骤。

应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。