内窥镜自动白平衡方法及内窥镜摄像系统

技术领域

本申请涉及医疗器械技术领域，尤其涉及一种内窥镜自动白平衡方法及内窥镜摄像系统。

背景技术

微创手术是一种利用腹腔镜、胸腔镜等医疗器械及相关设备进行的手术，具有创伤小、疼痛轻、恢复快的优点。医生可以通过手术机器人执行微创手术操作，以腹腔手术为例，医生可以通过手术机器人可以在患者的体内安插内窥镜，通过内窥镜上传的图像观察腹腔的患处。

内窥镜在使用时对镜头的白平衡参数有着极高的要求，错误的白平衡参数会影响内窥镜获取图像的色彩效果，从而影响医生在手术中对患处的判断。白平衡的调整包括手动调整模式。手动调整模式在患者的体外进行，医生通过将内窥镜对准白色物体，例如白平衡卡或纱布等，还原内窥镜的白平衡参数，但是，每次使用内窥镜时均需要进行一次手动调整白平衡参数，操作十分繁琐。

相比于手动调整模式，中国发明专利申请CN110740307A中公开了一种自动白平衡的内窥镜及白平衡参数调节方法，通过在内窥镜中设置一个颜色传感器，计算腹腔内的亮度和色温来实现自动白平衡调整。但是，在微创手术中，内窥镜的结构应尽量小巧便捷，因此，增加颜色传感器的工艺难度较大，导致内窥镜的设计成本较高。

发明内容

为了在手术过程中提高内窥镜白平衡的调整效率，第一方面，本申请的部分实施例提供一种内窥镜自动白平衡方法，所述方法用于用于对插入患者体内的内窥镜执行自动白平衡校准，提供一标定件，所述标定件上设置有标定区域，所述方法包括：

获取内窥镜上传的患者体内的手术图像；

判断所述手术图像中是否包含所述标定区域；

若所述手术图像中包含所述标定区域，则根据所述标定区域在所述手术图像中的图像信息计算自动白平衡参数；

根据自动白平衡参数对所述内窥镜的白平衡参数执行自动校准。

在一些实施例中，据所述标定区域在所述手术图像中的图像信息计算自动白平衡参数，包括：

获取所述标定区域在位于所述手术图像中的图像信息；

根据所述图像信息提取所述标定区域的R、G、B三通道值；

根据所述R、G、B三通道值计算所述自动白平衡参数。

在一些实施例中，所述标定区域为中性色区域，且所述中性色区域中R、G、B三通道值之间的误差小于或者等于颜色误差阈值，所述中性色区域的灰度级处于预定灰度级区间。

在一些实施例中，在8bit色深条件下，所述颜色误差阈值为±10；在sRGB色彩空间下，所述预定灰度级区间为[128,250]。

在一些实施例中，根据所述标定区域在所述手术图像中的图像信息计算自动白平衡参数，包括：

获取所述标定区域在位于所述手术图像中的图像信息；

在所述内窥镜摄像系统的配置参数中调取所述标定区域的预置白平衡参数；

根据所述图像信息计算标定区域的增益白平衡参数；

根据所述增益白平衡参数与标定区域的预置白平衡参数计算所述自动白平衡参数。

在一些实施例中，若所述手术图像中不包括所述标定区域，所述方法还包括：

调取所述内窥镜的预置白平衡参数；

根据所述内窥镜的预置白平衡参数对所述内窥镜的白平衡参数执行自动校准。

在一些实施例中，根据所述标定区域在所述手术图像中的图像信息计算所述自动白平衡参数，还包括：

计算连续两帧所述手术图像中的标定区域之间的R、G、B三通值的变化量；

对所述R、G、B三通值的变化量大于变化量阈值的手术图像执行标记，得到标记图像；

降低所述标记图像的权重值，以使未被标记的手术图像的权重值为所述标记图像的降低后权重值的预设倍数；

根据未被标记的手术图像的权重值和所述标记图像的权重值计算所述自动白平衡参数。

在一些实施例中，所述方法还包括：

对所述手术图像的标定区域执行异物检测；

若所述手术图像的标定区域中存在异物轮廓，则将所述异物轮廓覆盖的区域标记为异物目标；

若所述异物目标的覆盖面积大于预设面积阈值，则基于所述异物目标生成警示信息；

若所述异物目标的覆盖面积小于或等于预设面积阈值，将所述异物目标删除，以更新所述标定区域。

在一些实施例中，当所述手术图像中存在多个标定区域时，所述方法还包括：

对多个所述标定区域执行异物目标检测；

剔除存在异物目标的标定区域；

在剩余的所述标定区域中确定洁净标定区域；

根据洁净标定区域的图像信息计算所述自动白平衡参数。

在一些实施例中，根据所述自动白平衡参数对所述内窥镜的白平衡参数执行自动校准，包括：

当所述标定区域包括两个及两个以上的洁净标定区域时，存储根据洁净标定区域的图像信息计算得到的自动白平衡参数；

计算多个所述自动白平衡参数的加权平均值；

根据加权平均值对所述内窥镜的白平衡参数执行自动校准。

在一些实施例中，根据所述标定区域在所述手术图像中的图像信息计算自动白平衡参数，包括：

识别所述标定区域内的过曝区域；

根据所述过曝区域之外的标定区域对所述过曝区域执行补偿；

根据补偿后的所述标定区域计算自动白平衡参数。

在一些实施例中，所述内窥镜包括摄像头，以及，获取所述内窥镜上传的患者体内的手术图像的步骤前，还包括：

对所述内窥镜执行初始化操作，以使所述内窥镜的摄像头处于待工作状态；

根据所述内窥镜的配置信息对初始白平衡参数执行至少一次检测，所述初始白平衡参数为所述摄像头处于待工作状态时的白平衡参数；

若所述初始白平衡参数未检测出异常参数，则通过所述摄像头获取手术图像。

在一些实施例中，判断所述手术图像中是否包含所述标定区域的步骤，包括：

以所述内窥镜的末端为原点，构建内窥镜坐标系，所述内窥镜的中心轴线方向为所述内窥镜坐标系Y轴方向，以垂直于所述Y轴方向的任一方向为所述内窥镜坐标系X轴方向，以同时垂直于所述X轴方向和所述Y轴方向的方向为所述内窥镜坐标系Z轴方向；

实时获取所述标定件或标定区域在内窥镜坐标系的三维位置坐标；

基于所述内窥镜的视场角，根据所述三维位置坐标判断所述手术图像是否包括所述标定区域。

第二方面，本申请的部分实施例提供一种内窥镜摄像系统，所述系统用于对插入患者体内的内窥镜执行自动白平衡校准，包括内窥镜、至少一个手术器械和控制器，所述内窥镜用于获取手术图像，所述系统包括内窥镜、标定件和控制器，所述内窥镜用于获取患者体内的手术图像，所述控制器被配置为：

获取所述内窥镜上传的患者体内的手术图像；

基于所述标定件或所述标定区域在所述手术图像中的空间位置，判断所述手术图像中是否包含所述标定区域；

若所述手术图像中包括所述标定区域，则根据所述标定区域在所述手术图像中的图像信息计算自动白平衡参数，

根据所述自动白平衡参数对所述内窥镜的白平衡参数执行自动校准。

由以上技术方案可知，提供了一种内窥镜自动白平衡方法及内窥镜摄像系统，所述方法通过获取内窥镜上传的患者体内的手术图像，并判断手术图像中是否包含标定区域，若手术图像中包括含标定区域，则根据标定区域在手术图像中的图像信息计算自动白平衡参数，从而根据自动白平衡参数对内窥镜的白平衡参数执行自动校准。本申请通过实时获取手术图像，并检测手术图像中的标定区域，以自动根据标定物或标定区域的图像信息计算得到自动白平衡参数，用来自动校准内窥镜的白平衡参数，从而提高了内窥镜白平衡的调整效率和调整准确性，既方便了医护人员的安装使用，又避免了因手术图像的偏色导致的医生对某些组织的误认或忽视。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中微创手术执行场景的示意图；

图2为本申请实施例提供的内窥镜自动白平衡方法的流程图；

图3为本申请实施例中手术机械上的标定区域位置的示意图；

图4为本申请实施例根据内窥镜坐标系判定标定区域的流程图；

图5为本申请实施例根据预置白平衡参数计算白平衡参数的第一实施例流程图；

图6为本申请实施例根据预置白平衡参数计算白平衡参数的第二实施例流程图；

图7为本申请实施例根据图像信息计算白平衡参数的流程图；

图8为本申请实施例处理手术图像中异常帧图像的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

在本说明书中，有些地方说明了许多具体的技术细节。然而，应当理解的是，本申请的实施例可以在没有这些特定技术细节的情况下实施。此类详细说明不应被视为限制意义，且本申请的保护范围仅由权利要求书限定。在其他地方，则未详细示出公知的结构、电路和其他细节，以免公众对本申请的要点产生误解。

在本说明书中，附图示出了本申请的若干个实施例的示意图。然而，附图只是示意性的，应当理解的是，也可利用其他实施例或结合，且可以在不脱离本申请的精神和范围的情况下，进行机械结构、物理组成、电气和步骤的变化。

以下在此使用的术语仅用于描述具体实施例而不旨在限制本申请。空间相对术语，诸如“下方”、“下部”、“上方”、“上部”等等可为了方便说明而用于描述图中所图示的一个元件或特征与另一个元件或特征的关系。应理解，空间相对术语旨在涵盖使用或操作中的装置的除图中描绘的定向外的不同定向。例如，如果图中的装置被翻过来，那么被描述为在其它元件或特征“下方”的元件将变为在其它元件或特征的“上方”。因此，示例性术语“下方”可涵盖上方和下方的定向。而装置可以以其它方式定向(例如，旋转90°或以其它定向)，且相应地解释在此使用的空间相对描述词。

如在此使用的，“若干个”、单数形式的“一个”和“该”旨在也包括复数形式，除非上下文另有指示。应进一步理解，术语“包括”和/或“包含”指定所述特征、步骤、操作、元件和/或部件的存在，而不排除一个或更多其它特征、步骤、操作、元件、部件和/或其组的存在。

术语“手术器械”在此用于描述被配置成插入到患者体内并且用于执行外科手术或诊断程序的医疗装置，包括末端执行器。末端执行器可以是与一个或多个外科手术任务相关的外科手术工具，诸如钳子、持针器、剪刀、双极烧灼器、组织稳定器或牵开器、施夹器、吻合装置、成像装置(例如，内窥镜或超声波探头)等等。本申请的实施例使用的一些器械进一步提供了用于外科手术工具的铰接支撑件(有时称为“腕”)，使得可以相对于器械轴以一个或多个机械自由度操纵末端执行器的位置和定向。进一步地，许多末端执行器包括功能性机械自由度，诸如打开或闭合的钳口或沿着路径平移的刀子。器械也可包含永久或可由外科手术系统更新的存储(例如，在器械内的PCBA板上)信息。相应地，该系统可提供器械与一个或多个系统部件之间的单向或双向信息通信。

术语“一个实施例”、“一些实施例”、“示例”、“优选的”、“具体示例”、“本实施例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后，在此使用的术语“或”和“和/或”应当被解释为包容性的或者意味着任何一个或任何组合。因此，“A、B或C”或“A、B和/或C”意味着以下各项的任何一项：A；B；C；A和B；A和C；B和C；A、B和C。这种定义的例外将仅出现在元件、功能、步骤或动作的组合是以某种方式内在地相互排斥时。

随着医疗器械、计算机技术及控制技术的不断发展，微创手术以其手术创伤小、康复时间短、患者痛苦少等优点得到了越来越广泛的应用。而微创手术机器人以其高灵巧性、高控制精度、直观的手术图像等特点能够避免操作局限性，如过滤操作时手部的震颤等，广泛适用于腹腔、盆腔、胸腔等手术区域。当然，微创手术机器人还适用于其他手术区域，本申请实施例中对微创手术机器人的适用区域仅作为一些具体示例举例说明，并非对手术机器人的适用范围进行限定。

手术机器人是可以远程操纵完成手术的机器人，微创手术机器人包括主控制台和从操纵臂，外科医生可以在控制台侧控制手术侧器械驱动器上的手术器械，主控制台采集到医生的操作信号经控制系统处理后生成从操纵臂的控制信号，由从操纵臂执行微创手术操作。

在手术的过程中，为了确保手术的精确性，外科医生需要观察患者体内的患处，以根据患处的病情执行对应的手术操作，因此，在执行手术的过程中，手术机器人还需要向患者的体内插入内窥镜，以便于外科医生观察。图1为微创手术的执行场景示意图。如图1所示，以腹腔手术为例，医生可以通过手术机器人可以在患者的体内安插内窥镜，通过内窥镜上传的图像观察腹腔的患处。

内窥镜包括内窥镜摄像系统，内窥镜摄像系统一般包括摄像头、主机、冷光源等，在使用内窥镜时，摄像头连接到冷光源和主机上，冷光源为摄像头的提供LED灯光，摄像头可以通过内置的传感器(如CMOS传感器或CCD传感器)将接收到的图像信息经过光电转换后传递给主机，并经过设置在主机中的图像处理器处理成需要的数据。内窥镜摄像系统也可以配合腔镜手术机器人使用，将摄像头固定到机器人的机械臂上，由机械臂驱动摄像头运动；主机和冷光源则配置到机器人的图像平台中。

内窥镜在使用时对镜头的镜头参数有着极高的要求，例如图像清晰度、色彩还原能力等，这些镜头参数与使用的光源色温以及白平衡参数密切相关，错误的白平衡参数会影响内窥镜获取图像的色彩效果，从而影响医生在手术中对患处的判断。

在内窥镜的使用中，对于白平衡的调整通常使用手动调整模式，其中，手动调整模式在患者的体外进行，在将内窥镜插入患者体内前，需要将内窥镜对准白平衡校准装置，如白平衡卡，以计算正确的内窥镜白平衡参数。但是，每次使用内窥镜时均需要进行一次手动白平衡，操作十分繁琐，并且，在没有白平衡校准装置时，便无法进行较为准确的白平衡调整。

相比于手动调整模式，自动调整模式更加方便快捷，自动调整模式是在内窥镜中设置一个颜色传感器，通过计算腹腔内的亮度和色温来自动调整。但是，在微创手术中，内窥镜的结构应尽量小巧便捷，在内窥镜的结构中再添加颜色传感器的工艺难度较大，导致内窥镜的设计成本较高。并且，添加颜色传感器的内窥镜的体积也会变大，导致需要在患者的皮层处开创更大的创口，使患者更加疼痛，不利于恢复。

鉴于上述问题，为了在手术过程中提高内窥镜白平衡的调整效率，本申请的部分实施例提供一种内窥镜自动白平衡方法，所述方法用于对插入患者体内的内窥镜执行自动白平衡校准，本方法提供一标定件，所述标定件上设置有标定区域。

在本实施中，标定件可以是用于标定白平衡参数的专用器械，例如，白色的橡胶棒、白平衡卡等，或者是带有标定区域的手术器械。需要说明的是，本实施例可以应用在手术机器人的微创手术或者常规的内窥镜手术中，对于手术机器人的微创手术，为了确保标定件能够进入内窥镜的视场角内，标定件需要安装在手术机器人的动力驱动上。对于常规的内窥镜手术，仅需要在手术图像中对标定件的标定区域执行图像识别即可。

在后续的实施例中，以标定件为带有标定区域的手术器械为示例进行详细说明，手术器械的标定区域可以设置在距离手术器械末端预设距离的位置处。在进行手术之前，医生可以调整内窥镜的角度，使内窥镜的视场角对准患处，当手术器械接近患处时，医生可以通过内窥镜采集的手术图像调整手术器械与患处之间的距离，实现更精确的手术操作。

需要说明的是，本实施例中，手术器械靠近患处的一端为手术器械的末端，以手术刀为例，手术刀的刀刃的一端即为手术刀的末端，手术刀的刀柄的一端为手术刀的首端。如图3所示，标定区域可以从距离所述手术器械末端预设距离的位置为起点开始设置，并向手术器械的首端延长，本申请对标定区域的长度及宽度不做过多限制，但是，为了确保内窥镜能够准确识别标定区域，标定区域的面积应大于内窥镜最小识别区域的面积。

还需要说明的是，内窥镜的视场角即为内窥镜的采集范围所形成的角度，内窥镜可以获取视场角内的手术图像。当手术器械进入到内窥镜的视场角时，手术图像中同时包括手术器械和患处，因此，可以通过识别手术器械的标定区域来对内窥镜的白平衡执行自动调整，以提高内窥镜白平衡的调整效率。

图2为本申请提供的一种内窥镜自动白平衡方法流程图，如图2所示，所述方法包括：

S100：获取所述内窥镜上传患者体内的的手术图像。

在执行微创手术的过程中，内窥镜可以实时获取手术图像，手术图像即为在患者体内拍摄的患处的图像。医生可以通过手术图像观察患处，从而控制手术器械的操作，避免过量操作加重患处。

在一些实施例中，内窥镜还间隔预设时长上传手术图像，例如，内窥镜的每秒传输帧数可以为30fps或60fps，以减轻内窥镜摄像系统的负载，提高内窥镜摄像系统对手术图像的处理效率。

内窥镜包括图像处理器，图像处理器可以用于获取手术图像并对手术图像执行预处理。内窥镜在每次投入使用之前，还需要对内窥镜进行自检，为此，可以对内窥镜执行初始化操作，以使内窥镜的图像处理器处于待工作状态。

在本实施例中，可以根据内窥镜的配置信息执行内窥镜的自检流程，配置信息中包括内窥镜的自检配套信息，因此，可以根据自检配套信息对内窥镜的初始白平衡参数执行多次检测，自检配套信息中可以包括多种自检方式，检测的次数可以与自检方式的数量相同。其中，初始白平衡参数为所述图像处理器处于待工作状态时的白平衡参数。如果初始白平衡参数未检测出异常参数，则可以通过图像处理器获取手术图像。如果初始白平衡参数检测出异常参数，可以进一步对内窥镜的白平衡程序执行自检，或者更换内窥镜并重新对更换后的内窥镜执行上述自检流程。

S200：判断所述手术图像中是否包含所述标定区域。

由于手术器械的运动幅度和运动距离不同，手术图像中可能仅显示部分手术器械，例如，仅显示手术器械的末端，而标定区域距离手术器械的末端具有一定的距离，当标定区域没有进入内窥镜的视场角时，手术图像中便无法识别到标定区域。如图1所示，在根据手术图像识别到手术器械时，便可以开始对标定区域执行检测，直至手术器械继续运动至标定区域进入内窥镜的视场角后，完成对标定区域的识别。

在移动手术器械的过程中，如果手术器械位于内窥镜与患处之间，则患处会被手术器械所遮挡，导致医生无法观察到患处。为此，在手术图像中识别到手术器械时，可以在手术器械中检测患处是否显示完整。如果患处显示不完整，说明手术器械遮挡到患处，此时可以发送提示信息，以提示医生及时调整手术器械的位置，使患处显示完整，以便于医生观察。

如图4所示，在手术图像中识别标定区域的过程中，当医生操控从操作臂移动手术器械，使手术器械在机器人坐标系中移动，此时可以根据机器人坐标系和内窥镜坐标系之间的相对位置关系，获取手术器械在内窥镜坐标系的三维位置坐标。

其中，内窥镜的末端为内窥镜坐标系的坐标原点，内窥镜的中心轴线方向为内窥镜坐标系的Y轴方向，垂直于Y轴方向的任一方向为内窥镜的X轴方向，以同时垂直于X轴方向和Y轴方向的任一方向为内窥镜坐标系的Z轴方向。

在完成构建内窥镜坐标系后，当手术器械移动至内窥镜坐标系内，可以根据机器人坐标系和内窥镜坐标系之间的相对位置关系，获取手术器械在内窥镜坐标系的三维位置坐标，以得到手术器械的空间位置。关于获取手术器械的空间位置的详细技术方案可参考中国发明专利申请CN115998447A中的内容，本申请实施例不做赘述。

在本实施例中，三维位置坐标可以为手术器械的末端的坐标。但是，由于标定区域距离手术器械的末端具有一定的预设距离，因此，本实施例中需要根据三维位置坐标以及标定区域与手术器械末端的预设距离判断手术图像中是否包括标定区域。

沿用上述实施例，还可以判断手术器械的当前摆放位置与内窥镜坐标系中的坐标轴的平行情况，如果手术器械与其中一个方向的坐标轴平行时，可以根据三维位置坐标在所平行的坐标轴的数值与标定区域和手术器械末端的预设距离执行差值运算，得到标定区域的三维位置坐标。如果标定区域的三维位置坐标位于内窥镜坐标系内，则说明可以在手术图像中识别到标定区域，如果标定区域的三维位置坐标位于内窥镜坐标系外，则说明标定区域不在内窥镜的视野范围内，无法从手术图像中识别到标定区域。

在一些实施例中，如果手术器械与内窥镜坐标系的任意坐标轴均不平行，则可以根据手术器械的三维位置坐标执行预设的三角函数计算，并基于三角函数对应的计算比例，映射至内窥镜坐标系的坐标轴上，从而计算标定区域的三维位置坐标，进而判断手术图像中是否包括标定区域。

在一些实施例中，还可以在手术器械中标记特征点，从而在手术图像中对这个特征点执行图像识别，当识别到特征点时，可以根据特征点在内窥镜坐标系中的位置和标定区域在手术器械中的预设位置，获取特征点和标定区域的相对位置关系，从而确定手术图像中是否包含标定区域。

此外，还可以通过其他图像识别方式判断手术图像是否包含标定区域，例如，在手术图像中对手术器械执行轮廓识别，并根据手术器械的轮廓识别结果获取手术器械的首端及尾端的位置坐标，从而根据标定区域在手术器械中的预设位置确定手术图像中是否包含标定区域。

或者，还可以对手术器械所覆盖的区域执行颜色识别，由于标定区域为中性色区域，因此，标定区域与手术器械存在一定的颜色差异，因此，可以在手术图像中识别手术器械所覆盖区域的边界点坐标，并根据在覆盖区域中识别颜色差值大于颜色差值阈值的区域，从而根据边界点坐标判断该区域是否位于手术图像中，从而确定手术图像中是否包含标定区域。本申请实施例对判断标定区域所执行的图像识别的具体方式不做限定。

在手术的过程中，医生还需要根据不同的角度观察患处，因而需要调整内窥镜的角度，在调整内窥镜的角度时，内窥镜坐标系会随着调整角度同步移动，此时手术器械与内窥镜的视场角的相对位置发生变化，手术器械的三维位置坐标的相对位置也同步发生变化，因此需要根据调整角度后的内窥镜坐标系重新获取手术图像，并判断手术图像是否包含标定区域。

在上述情况中，还可以获取内窥镜坐标系的调整角度，并根据调整角度校准标定区域的三维位置坐标，重新判断调整后的标定区域的三维位置坐标是否位于内窥镜坐标系中，从而确定手术图像中是否包含标定区域。

S300：若所述手术图像中包括所述标定区域，则根据所述标定区域在所述手术图像中的图像信息计算所述自动白平衡参数。

在一些实施例中，标定区域为中性色区域，中性色区域中R、G、B三通道值之间的误差小于或者等于颜色误差阈值，其中，R即为红色通道值，G即为绿色通道值，B即为蓝色通道值，中性色的R、G、B三通道值近似相等。中性色的R、G、B三通道之间的误差小于或者等于颜色误差阈值，所述中性色区域的灰度级处于预定灰度级区间。

在一些实施例中，在8bit色深条件下，颜色误差阈值可以设定为±10。并且在sRGB色彩空间下，预定灰度级区间可以设置为[128,250]。

为了便于实现内窥镜的白平衡参数的自动校准，可以预先在距离手术器械的末端的预设距离的位置进行标定区域的处理。可以通过镀膜、更换手术器械表面材料等方式添加标定区域。但是，在执行手术的过程中，内窥镜可以通过外置的LED光源对体内环境进行照明，照明光线在照射到手术器械时，标定区域可能出现反光效果，导致内窥镜获取的手术图像不清晰，影响医生对手术的判断。

为此，在添加标定区域之后，可以对标定区域执行哑光、磨砂等处理，缓解标定区域反光效果，提高内窥镜获取的手术图像的清晰度。

沿用上述实施例，当识别到手术图像中包括标定区域后，可以获取标定区域在手术图像中的图像信息，所述图像信息可以包括标定区域在手术图像中的R、G、B三通道值。手术图像中的标定区域处于患者体内，所以可以将位于体外的标定区域作为参照值，并以参照值和图像信息计算所述自动白平衡参数。在计算得到自动白平衡参数之后，可以根据自动白平衡参数自动校准内窥镜的白平衡参数。

在一些实施例中，还可以设置自动校准内窥镜的白平衡参数的频率，例如，可以仅根据手术图像自动校准一次内窥镜的白平衡参数，即在标定区域初次进入手术图像中时，对内窥镜执行一次自动白平衡校准。或者也可以设置校准频率来校准内窥镜的白平衡，具体的，经过预设时长后，通过实时获取的手术图像中的标定区域的图像信息校准内窥镜的白平衡参数，当然，如果在当前手术图像中不包含标定区域，则可以通过调取前几帧的手术图像来替换，或者跳过本次的白平衡校准。再或者，还可以实时或间隔预设时间，根据手术图像中的标定区域的图像信息计算内窥镜的自动白平衡参数，但并不马上执行自动校准，而是计算前后两次或几次的自动白平衡参数的差值，当该差值达到预设的差值阈值时，说明内窥镜需要进行白平衡参数校准，此时，可以生成校准指令，并完成对内窥镜的白平衡参数的自动校准。本申请实施例不对内窥镜白平衡自动校准的频率或次数进行限定。

在手术图像中识别标定区域之后，可以获取标定区域在手术图像中的图像信息，以便于后续计算自动白平衡参数。参见图5-图7，根据图像信息计算自动白平衡参数的过程可以包括以下两种实施例。

在第一实施例中，可以通过结合内窥镜的预置白平衡参数计算自动白平衡参数。首先获取标定区域在手术图像中的图像信息，然后在内窥镜摄像系统的配置参数中提取所述标定区域的预置白平衡参数，

需要说明的是，内窥镜摄像系统中可以包括内置的控制芯片，内窥镜摄像系统的配置参数可以存储在控制芯片中，在需要提取内窥镜摄像系统的配置参数时，可以生成提取指令以激活控制芯片，并从配置参数中提取标定区域的预置白平衡参数。

沿用上述实施例，可以根据图像信息计算标定区域的增益白平衡参数，增益白平衡参数是在手术图像中的标定区域的RGB值变化至内窥镜出厂设置的RGB值的增益变化量。最后根据增益白平衡参数和标定区域的预置白平衡参数相结合，计算自动白平衡参数。

如图5所示，在根据增益白平衡参数和预置白平衡参数相结合计算自动白平衡参数的过程中，可以将预置白平衡参数作为影响因子，并对影响因子赋予一个预设的权重值。在结合计算的过程中，可以根据预设的权重值结合增益白平衡参数进行计算，从而得到自动白平衡参数。

此外，如图6所示，还可以将预置白平衡参数作为限制增益白平衡参数的标准值，最终计算得到的白平衡参数需要在标准值的上下预设范围内浮动。例如，取标准值为6500K，预设范围为±500K，则白平衡参数需要在6000K-7000K的范围内。如果增益白平衡参数超过上述范围，则取上述范围的最大值或最小值作为白平衡参数。以上述相同示例进行说明，当增益白平衡参数为7300K时，则取上述范围的最大白平衡参数，即7000K作为自动白平衡参数。

在第二实施例中，还可以直接获取标定区域在手术图像中的图像信息，图像信息可以包括标定区域的图像色彩，因此可以根据图像信息提取标定区域在手术图像中的RGB值。手术图像中的RGB值为R、G、B三通道值。

由于患者体内的光线强度以及光源冷暖色与标定区域处于均匀光线强度及标准冷暖色均不相同，在手术图像中的标定区域的R、G、B三通道值与标况条件下的标定区域的R、G、B三通道值具有一定的差异，因此，如图7所示，可以根据在手术图像中的标定区域的RGB值与标况条件下的标定区域的RGB值来计算自动白平衡参数。白平衡参数用于指示在手术图像中的标定区域的RGB值变化至标况条件下的标定区域的RGB值的参数。

S400：根据所述自动白平衡参数对所述内窥镜的白平衡参数执行自动校准。

在一些实施例中，当手术图像中不包括标定区域时，内窥镜无法根据标定区域计算白平衡参数，因此，可以通过内窥镜的预置白平衡参数对内窥镜的白平衡参数执行自动校准，预置白平衡参数是内窥镜在出厂前基于已经标定好的参数，还可以是根据机器学习在多帧手术图像的预设区域内进行参数计算得到的参数。在本实施例中，可以直接在内窥镜的控制芯片中调取内窥镜的预置白平衡参数，并根据内窥镜的预置白平衡参数对内窥镜的白平衡参数执行自动校准。

在计算自动白平衡参数时，还需要对手术图像执行异常帧的检测。在图像处理器获取手术图像的过程中，会由于图像处理器自身的出厂误差导致获取少量的异常帧图像，异常帧图像会夹杂在手术图像中，从而影响对自动白平衡参数的计算。

图8为本申请实施例处理手术图像中异常帧图像的流程图。如图8所示，为了降低异常帧对自动白平衡参数的影响，可以计算内窥镜获取的连续两帧手术图像之间的标定区域的参数变化量，参数变化量包括连续两帧之间的标定区域的像素点变化量和色温变化量。当连续两帧的参数变化量较大时，说明这两帧手术图像之间存在异常帧图像。为判断手术图像是否为异常帧图像，本实施例还可以设置变化量阈值，当参数变化量大于变化量阈值时，说明手术图像为异常帧图像，则对手术图像执行标记，得到标记图像。

由于计算自动白平衡参数需要保持手术图像的图像效果稳定，为此，可以对每帧手术图像赋予权重值，并降低标记图像的权重值，以使未被标记的手术图像的权重值为标记图像的降低后权重值的预设倍数，例如，将标记图像的权重值降低为以使未被标记的手术图像权重值的五分之一倍，以降低在计算自动白平衡参数时，标记图像带来的图像影响。最后根据未被标记的手术图像的权重值和标记图像的权重值计算所述自动白平衡参数。

沿用上述实施例，还可以通过将标记图像的权重值降为0，或者直接删除标记图像，从而将手术图像中的异常帧剔除，并使用剩余的手术图像计算自动白平衡参数。

标定区域的脏污也会影响计算自动白平衡参数，因此，在计算自动白平衡参数之前，可以对手术图像中的标定区域执行异物识别，从而判断标定区域是否包含异物或者脏污。如果手术图像的标定区域中存在异物轮廓，说明存在异物遮挡标定区域，此时可以将异物轮廓覆盖的区域标记为异物目标。

由于标定区域被异物目标遮挡，会导致计算自动白平衡参数时，产生较大的参数误差。为此，可以在标定区域内，将异物目标删除，以更新标定区域，使标定区域完整显示在手术图像中，提高计算自动白平衡参数的准确精度。

在一些实施例中，当异物目标的覆盖面积较大时，需要提醒医护人员及时清洗标定件，因此，还可以对异物目标的覆盖面积执行判断，当异物目标的覆盖面积大于预设面积阈值时，则可以基于异物目标生成警示信息，提示医护人员清洗或更换标定件。如果异物目标的覆盖面积小于或等于预设面积阈值，则说明异物目标较小，可以不用清洗标定件，仅在手术图像中将异物目标剔除，更新标定区域即可。

需要说明的是，执行异物识别的过程中，还可以对比标定区域的颜色差值，或者对比标定区域的纹理差异等，判断标定区域是否存在异物。也就是说，本申请不对异物检测的方法作出限定。

需要说明的是，由于外科手术的难易程度不同，对于难度较高的手术，可以使用一种或多种的手术器械。对于一次性使用的手术器械，如一次性止血钳、一次性手术刀等，在一次手术中需要反复更换，因此，对于每种的手术器械可以使用多个，本实施例对于手术器械的数量不做具体限定。

当执行微创手术使用到多把手术器械时，由于每把手术器械中均包括标定区域，因此手术图像中会包括多个标定区域，此时可以根据医生发出的选中指令，选择任意一个完整显示的标定区域作为校准内窥镜的洁净标定区域，并计算自动白平衡参数。

在多个标定区域中选择洁净标定区域之前，需要对多个标定区域执行异物目标检测，避免所选择的标定区域被异物目标遮挡，影响内窥镜白平衡自动校准的精度。如果标定区域中存在异物目标，则直接将该标定区域剔除，并在剩余的标定区域中，确定洁净标定区域，最后根据洁净标定区域的图像信息计算自动白平衡参数，从而根据自动白平衡参数自动校准内窥镜的白平衡参数。

沿用上述实施例，所述标定区域包括两个及两个以上的洁净标定区域时，存储根据洁净标定区域的图像信息计算得到的自动白平衡参数，并根据多个自动白平衡参数计算加权平均值，加权平均值能够反映多个标定区域的权重的白平衡均值，最后根据加权平均值对所述内窥镜的白平衡参数执行自动校准，以实现根据不同标定区域所代表的权重，使内窥镜的白平衡参数的自动校准更加精确。

在一些实施例中，如果在手术的过程中，出现新增的手术器械时，可以对新增的手术器械执行异物目标检测，如果新增的手术器械的标定区域没有异物目标遮挡，则可以计算新增自动白平衡参数，并根据新增自动白平衡参数对加权平均值进行调整，从而更新内窥镜的白平衡参数。

沿用上述实施例，当减少手术器械时，如果当前手术器械为一个，则直接以剩余的手术器械的标定区域计算自动白平衡参数。如果当前手术器械仍为多个，则可以在加权平均值中去掉减少的手术器械的白平衡参数，以对加权平均值进行调整，从而更新内窥镜的白平衡参数。

在一些实施例中，在完成对内窥镜的白平衡参数的自动校准之前，为了确保计算的自动白平衡参数准确有效，还可以识别标定区域内的过曝区域，过曝区域是由于拍摄过程中光线过强，使图像中的亮部细节丢失所形成的区域。过曝区域同样会影响自动白平衡参数计算，为此，可以根据过曝区域之外的标定区域对过曝区域执行补偿，以使过曝区域恢复正常的曝光度。然后根据补偿后的标定区域计算自动白平衡参数，从而根据自动白平衡参数自动校准内窥镜的白平衡参数，减少曝光区域对计算自动白平衡参数的影响。

本申请的部分实施例还提供一种内窥镜摄像系统，所述系统用于对插入患者体内的内窥镜执行自动白平衡校准，包括内窥镜、标定件和控制器，所述内窥镜用于获取患者体内的手术图像，所述控制器被配置为：

S100：获取所述内窥镜上传的患者体内的手术图像；

S200：基于所述标定件或所述标定区域在所述手术图像中的空间位置，判断所述手术图像中是否包含所述标定区域；

S300：若所述手术图像中包括所述标定区域，则根据所述标定区域在所述手术图像中的图像信息计算自动白平衡参数，

S400：根据所述自动白平衡参数对所述内窥镜的白平衡参数执行自动校准。

由以上技术方案可知，提供了一种内窥镜自动白平衡方法及内窥镜摄像系统，所述方法通过获取内窥镜上传的患者体内的手术图像，并判断手术图像中是否包含标定区域，若手术图像中包括含标定区域，则根据标定区域在手术图像中的图像信息计算自动白平衡参数，从而根据自动白平衡参数对内窥镜的白平衡参数执行自动校准。本申请通过实时获取手术图像，并检测手术图像中的标定区域，以自动根据标定物或标定区域的图像信息计算得到自动白平衡参数，用来自动校准内窥镜的白平衡参数，从而提高了内窥镜白平衡的调整效率和调整准确性，既方便了医护人员的安装使用，又避免了因手术图像的偏色导致的医生对某些组织的误认或忽视。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。