掌桥专利:专业的专利平台
掌桥专利
首页

手术器械识别方法、识别平台及医疗机器人系统

文献发布时间:2023-06-19 10:46:31


手术器械识别方法、识别平台及医疗机器人系统

技术领域

本发明涉及机器人辅助手术技术领域,特别涉及一种手术器械识别方法、识别平台及医疗机器人系统。

背景技术

微创伤手术是指通过腹腔镜、胸腔镜等内窥镜在人体内实行手术的一种新技术,其具有创伤小、疼痛轻、出血少等优越性,从而能够有效减少病人的恢复时间长、不适应,避免传统手术的一些有害副作用。

微创伤手术机器人系统能够使操作者在主操控台处通过二维或三维的显示设备观察病人体内的组织特征,并以遥控方式操控从操作机器人上的机械臂及手术工具器械来完成手术的操作。在机器人手术中,经常需要把一些手术器械或者辅助物品送入人体,比如缝合针、止血夹等。在目前的手术中,使用的手术器械等均通过床旁护士进行管理,术后进行术中使用耗材的核对工作。这种工作方式取决于床旁护士的记录,且一般在术后进行。床旁护士依靠人工盘点术中使用耗材的种类与数量,很有可能出现疏漏。而一旦发生手术器械遗漏,很有可能造成重大医疗事故。

发明内容

本发明的目的在于提供一种手术器械识别方法、识别平台及医疗机器人系统,以解决现有人工统计术中使用耗材易出现疏漏的问题。

为解决上述技术问题,根据本发明的第一个方面,提供了一种手术器械识别方法,其包括:

获取放置于支撑台面上的手术器械的图像信息;

通过神经网络,提取所述图像信息中手术器械的特征信息;

根据所述特征信息,获得所述手术器械的识别信息;所述手术器械的识别信息包括术前获得的第一识别信息与术后获得的第二识别信息;以及

判断所述第一识别信息与所述第二识别信息是否相符,并输出判断结果。

可选的,在所述手术器械识别方法中,所述特征信息包括:所述图像信息中对应的手术器械的形状、纹理和颜色中的至少一者。

可选的,在所述手术器械识别方法中,所述通过神经网络,提取所述图像信息中手术器械的特征信息的方法包括:

对所述图像信息进行预处理,以降低所述图片信息的噪声;以及

提取经预处理后的图片信息中所述手术器械的特征信息。

可选的,在所述手术器械识别方法中,在提取所述图像信息中手术器械的特征信息之前,所述手术器械识别方法包括:

提取所述图像信息中涵盖目标手术器械的目标区域;

对所述目标区域范围内的彩色图像信息进行灰度化处理;

扫描灰度化后的图像信息,提取像素值,判断目标区域是否光照均匀:若光照不均匀,则对目标区域进行光照校正,以使目标区域光照均匀;若光照均匀则不进行校正;以及

输出经过预处理的图像信息。

可选的,所述手术器械识别方法还包括:

在获取第一识别信息后,显示所述第一识别信息;在获取第二识别信息,并判断所述第一识别信息与所述第二识别信息是否相符后,显示所述第二识别信息以及判断结果,或者,

在获取第一识别信息及第二识别信息,并判断所述第一识别信息与所述第二识别信息是否相符后,显示第一识别信息、第二识别信息和判断结果,或者显示判断结果。

可选的,所述手术器械识别方法还包括:

在获取第二识别信息,并判断所述第一识别信息与所述第二识别信息是否相符后,如果判断结果为第一识别信息与所述第二识别信息不相符,输出第一报警信号。

可选的,所述手术器械识别方法还包括:

获取放置于支撑台面上的手术器械的图像信息之前,通过输入信息获取手术器械的第三识别信息;

在获取所述手术器械的第一识别信息后判断第一识别信息与第三识别信息是否相等,如果不相等,输出第二报警信号。

为解决上述技术问题,根据本发明的第二个方面,还提供了一种识别平台,其包括:支撑台面、图像采集模块、识别处理器;

所述支撑台面用于供手术器械放置;

所述图像采集模块设置于所述支撑台面的上方,并与所述图像识别模块通信连接;所述图像采集模块用于采集放置于所述支撑台面上的手术器械的图像信息,并将所述图像信息传输至所述图像识别模块;

所述识别处理器包括图像识别模块和图像处理模块;

所述图像识别模块与所述图像处理模块通信连接,所述图像识别模块用于通过神经网络,提取所述图像信息中所述手术器械的特征信息,并将所述特征信息传输至所述图像处理模块;

所述图像处理模块根据所述特征信息,获得所述手术器械的识别信息;所述手术器械的识别信息包括术前获得的第一识别信息与术后获得的第二识别信息;

所述图像处理模块用于判断所述第一识别信息与所述第二识别信息是否相符,并输出判断结果。

可选的,在所述识别平台中,所述图像识别模块包括:预处理单元及提取单元;

所述预处理单元用于对所述图像信息进行预处理,以降低所述图像信息的噪声;

所述提取单元与所述预处理单元通信连接,用于通过训练好的神经网络,提取经所述预处理单元预处理后的图像信息中所述手术器械的特征信息。

可选的,在所述识别平台中,所述预处理单元包括:特征选择子单元、灰度化子单元与光照校正子单元;

所述选择子单元用于确定所述手术器械需要提取的特征信息所在的图像区域;所述灰度化子单元用于当目标区域为彩色图像时,将目标区域的图像进行灰度化处理;所述光照校正子单元用于当目标区域光照不均匀时将经过灰度化处理的目标区域图像进行校正。

可选的,在所述识别平台中,所述图像处理模块包括测试单元,所述测试单元与所述图像识别模块通信连接,用于将所述特征信息通过经过训练的分类器获取所述识别信息。

可选的,在所述识别平台中,所述图像处理模块还包括训练单元,所述训练单元用于训练所述分类器。

可选的,所述识别平台还包括:显示模块;所述显示模块与所述图像处理模块通信连接,用于显示所述第一识别信息,第二识别信息和判断结果中至少一者。

可选的,所述识别平台还包括报警装置,所述报警装置与所述识别处理器通信连接,所述报警装置用于当判断结果为第一识别信息与第二识别信息不相符时,被控制输出第一报警信号。

可选的,所述识别平台还包括输入组件,所述输入组件与所述识别处理器通信连接,所述输入组件用于输入手术器械的输入信息,所述图像处理模块通过所述输入组件获得所述手术器械的第三识别信息,并将所述第三识别信息与所述第一识别信息做比较,如果两者不相等,则所述识别处理器控制所述报警装置输出第二报警信号。

为解决上述技术问题,根据本发明的第三个方面,还提供了一种医疗机器人系统,其包括:如上所述的识别平台。

综上所述,在本发明提供的手术器械识别方法、识别平台及医疗机器人系统中,所述手术器械识别方法包括:获取放置于支撑台面上的手术器械的图像信息;通过神经网络,提取述图像信息中手术器械的特征信息;根据所述特征信息,获得所述手术器械的识别信息,所述手术器械的识别信息包括术前获得的第一识别信息与术后获得的第二识别信息;以及判断所述第一识别信息与所述第二识别信息是否相符,并输出判断结果。通过对手术器械的图像信息进行提取和识别,可以获得手术器械的识别信息,从而为自动清点手术器械提供了保证。利用识别平台获取手术器械的识别信息,可代替现有人工统计易产生遗漏的问题,从而使操作者可以方便准确地判断手术过程是否存在手术器械遗漏的现象,方便耗材核查及术后评估等。

附图说明

本领域的普通技术人员将会理解,提供的附图用于更好地理解本发明,而不对本发明的范围构成任何限定。其中:

图1是本发明一实施例的医疗机器人系统的示意图;

图2是本发明一实施例的医疗机器人系统的医生端控制装置的示意图;

图3是本发明一实施例的医疗机器人系统的患者端控制装置;

图4是本发明一实施例的医疗机器人系统的图像台车的示意图;

图5是本发明一实施例的识别平台的示意图;

图6是本发明一实施例的图像采集模块所采集的手术器械的图像信息的示意图;

图7是本发明一实施例的识别平台所得到的手术器械的第一识别信息的符号化图示;

图8是本发明一实施例的识别平台所得到的手术器械的第二识别信息的符号化图示;

图9是本发明一实施例的识别平台的组成模块示意图;

图10是本发明一实施例的手术器械识别方法的流程图;

图11是本发明一实施例通过神经网络,提取图像信息中手术器械的特征信息的流程图;

图12是本发明一实施例对图像信息进行预处理的流程图;

图13是本发明一实施例的第一识别信息和第二识别信息相符时的显示示意图;

图14是本发明一实施例的第一识别信息和第二识别信息不相符时的显示示意图。

附图中:

100-医生端控制装置;101-主操作手;102-成像设备;103-脚踏手术控制设备;

200-患者端控制装置;201-手术调整臂;202-手术工作臂;203-手术器械;204-立柱;

300-图像台车;301-内窥镜;302-内窥镜处理器;303-显示设备;

400-识别平台;401-图像采集模块;402-支撑台面;403-显示模块;404-识别处理器;4041-图像识别模块;40411-预处理单元;40412-提取单元;40421-测试单元;40422-训练单元;4042-图像处理模块;405-存储模块;

500-主控制器;501-圆形符号。

具体实施方式

为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是,附图均采用非常简化的形式且未按比例绘制,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。

如在本发明中所使用的,单数形式“一”、“一个”以及“该”包括复数对象,术语“或”通常是以包括“和/或”的含义而进行使用的,术语“若干”通常是以包括“至少一者”的含义而进行使用的,术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的,此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征,术语“近端”通常是靠近操作者的一端,术语“远端”通常是靠近患者(即靠近病灶)的一端,“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分,其不仅包括端点,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非内容另外明确指出外。

本发明的核心思想在于提供一种手术器械识别方法、识别平台及医疗机器人系统,以解决现有人工统计术中使用耗材易出现疏漏的问题。

以下参考附图进行描述。

请参考图1至图14,其中,图1是本发明一实施例的医疗机器人系统的示意图;图2是本发明一实施例的医疗机器人系统的医生端控制装置的示意图;图3是本发明一实施例的医疗机器人系统的患者端控制装置;图4是本发明一实施例的医疗机器人系统的图像台车的示意图;图5是本发明一实施例的识别平台的示意图;图6是本发明一实施例的图像采集模块所采集的手术器械的图像信息的示意图;图7是本发明一实施例的识别平台所得到的手术器械的第一识别信息的符号化图示;图8是本发明一实施例的识别平台所得到的手术器械的第二识别信息的符号化图示;图9是本发明一实施例的识别平台的组成模块示意图;图10是本发明一实施例的手术器械识别方法的流程图;图11是本发明一实施例通过神经网络,提取图像信息中手术器械的特征信息的流程图;图12是本发明一实施例对图像信息进行预处理的流程图;图13是本发明一实施例的第一识别信息和第二识别信息相符时的显示示意图;图14是本发明一实施例的第一识别信息和第二识别信息不相符时的显示示意图。

如图1所示,本发明一实施例提供一种医疗机器人系统,所述医疗机器人系统包括主从式遥操作手术机器人,即所述医疗机器人系统包括医生端控制装置100和患者端控制装置200及主控制器500。

请参考图2,所述医生端控制装置100为遥操作手术机器人的操作端,并包含安装其上的主操作手101。所述主操作手101用于接收操作者的手部运动信息,以作为整个系统的运动控制信号输入。可选的,所述主控制器500亦设置在所述医生端控制装置100上。优选的,医生端控制装置100还包括成像设备102,所述成像设备102可为操作者提供立体图像,为操作者进行手术操作提供手术操作信息。所述手术操作信息包括手术器械类型、数量、在腹中的位姿,病患器官组织以及周围器官组织血管的形态、布置等。可选的,医生端控制装置100还包括脚踏手术控制设备103,操作者还可通过脚踏手术控制设备103,完成电切、电凝等相关操作指令的输入。

患者端控制装置200为遥操作手术机器人的具体执行平台,并包括立柱204及安装于其上的手术执行组件。所述手术执行组件包括机械臂和手术器械203。在一个实施例中,所述机械臂包括手术调整臂201和手术工作臂202。所述手术工具臂202为机械不动点机构,用于驱动手术器械围绕机械不动点运动,所述手术调整臂201用于调整所述不动点在工作空间的位置。在另外一个实施例中,所述机械臂为一个至少具有六个自由度的空间构型的机构,用于在程序控制下驱动手术器械围绕一主动不动点运动。所述手术器械203用于执行具体的手术操作,如夹、切、剪等操作。

主控制器500分别与医生端控制装置100、患者端控制装置200通信连接,用于根据主操作手101的运动控制手术执行组件的运动。具体而言,所述主控制器包括主从映射模块,所述主从映射模块用于获取所述主操作手101的末端位姿,以及预定的主从映射关系,获得手术执行组件的期望末端位姿,进而控制机械臂驱动手术器械运动到期望的末端位姿。进一步,所述主从映射模块还用于接收器械功能操作指令(如电切、电凝等相关操作指令),控制器械的能量驱动器,以释放能量实现电切、电凝等手术操作。

进一步,所述医疗机器人系统还包括图像台车300。如图4所示,所述图像台车300包括:内窥镜301及与所述内窥镜301通信连接内窥镜处理器302。所述内窥镜301用于获取腔内(指患者的体腔内)的手术操作信息。所述内窥镜处理器302用于对所述内窥镜301所获取的手术操作信息,图像化处理,并传输至所述成像设备102,以便于操作者观察到手术操作信息。可选的,所述图像台车300还包括显示设备303。所述显示设备303与所述内窥镜处理器302通信连接,用于为辅助操作者(例如护士)实时提供显示手术操作信息。

手术中,操作者坐在位于无菌区之外的医生端控制装置100前,通过成像设备102观察传回的手术操作信息,并通过操作主操作手101来控制手术执行组件和腹腔镜运动,以完成各种手术操作。

进一步,所述医疗机器人还包括识别平台400。如图5和图9所示,所述识别平台400包括:图像采集模块401、支撑台面402及识别处理器404。其中,所述支撑台面402用于供手术器械放置;所述图像采集模块401用于获取放置于所述支撑台面402上的手术器械的图像信息;所述识别处理器404与所述图像采集模块401通信连接,用于根据所述手术器械的图像信息,得到所述手术器械的识别信息,判断术前获得的第一识别信息与术后获得的第二识别信息是否相符,并输出判断结果。

在本实施例中,所述识别处理器404与所述主控制器500分别独立设置。在其他实施例中,所述识别处理器404与所述主控制器500一体化设计,例如所述识别处理器404的相应功能作为功能模块与主控制器500中的其他模块(例如主从映射模块)共同整合在主控制器500中。

需要说明的,这里所述的手术器械,不仅包括狭义上的器械(如手术刀、剪、针等工具),还包括手术中应用的耗材(如棉球、纱布、止血夹等)。优选的,所述识别信息包括手术器械的识别特征分类,以及每个所述识别特征分类下的手术器械的数量。相应的,手术器械的第一识别信息包括术前手术器械的识别特征分类,以及每个识别特征分类下的手术器械的数量;第二识别信息包括术后手术器械的识别特征分类,以及每个识别特征分类下的手术器械的数量。进一步,识别特征分类包括手术器械的类别和规格等,例如不同型号的剪刀等。此外,在本实施例中,第二识别信息与第一识别信息相符,既可以理解为术前、术后手术器械的种类、数量完全相同,即术中没有手术器械被使用消耗在腔内,所有的手术器械均被回收,亦即可确定没有遗漏。倘若第二识别信息与第一识别信息存在差异信息,则说明有手术器械被留在腔内。第二识别信息与第一识别信息相符还可以理解为术前术后手术器械的种类、数量符合一定的预设规则。例如,部分手术器械将存留于人体中,以帮助创口恢复或者固定目标组织。因此,术前该类型的手术器械的数量将大于或等于术后该手术器械的数量。进一步的,若手术器械的第一识别信息与第二识别信息不相符,则触发报警装置输出第一报警信号,以提醒操作者进行核查。本发明对第一报警信号不作特别的限制,本领域技术人员可根据现有技术对第一报警信号进行设置,如通过声音、灯光或者通过用户交互界面进行用户错误提示等。

下面结合图5、图6-图10对识别平台400进行具体的说明。

所述支撑平台402包括多个预设区域,每个预设区域用于容纳一个手术器械。如图6所示,同一类的手术器械放置在同一列,不同的手术器械放置在不同的列。如此,手术器械的摆放按类别分类排列,同类别的整齐排行,便于对手术器械进行识别。

所述图像采集模块401通过一支臂设置于所述支撑台面402的上方,并与所述识别处理器404通信连接。所述图像采集模块401用于采集放置于所述支撑台面上的手术器械的图像信息,并将所述图像信息传输至所述识别处理器404。图6示出了图像采集模块401所采集的手术器械的图像信息的一个示意图。其中,示意图显示了四种不同的类型或型号的手术器械,每种不同类型或型号的手术器械按列排布,同种类型和型号的手术器械优选按行布置。

优选的,所述识别处理器404包括图像识别模块4041和图像处理模块4042。所述图像识别模块4041分别与图像采集模块401、所述图像处理模块4042通信连接,所述图像识别模块4041用于根据所述图像采集模块401获取的图像信息,通过神经网络,提取所述图像信息中手术器械的特征信息,并将所述特征信息传输至所述图像处理模块4042。所述图像处理模块4042根据所述特征信息,获得所述手术器械的识别信息;所述手术器械的识别信息包括术前获得的第一识别信息与术后获得的第二识别信息;所述图像处理模块4042还用于判断所述第一识别信息与所述第二识别信息是否相符,并输出判断结果。可选的,所述特征信息包括:所述图像信息中对应的手术器械的形状、纹理和颜色中的至少一者。

可选的,所述图像识别模块4041包括预处理单元40411和提取单元40412。其中,所述预处理单元40411,用于对所述图像信息进行预处理,以降低所述图像信息的噪声,对图像信息进行预处理的具体方法,请参考下文的详细描述;所述提取单元40412与所述预处理单元40411通信连接,用于通过训练好的神经网络,提取经所述预处理单元40411预处理后的图像信息中手术器械的特征信息。

可选的,所述图像处理模块4042包括测试单元40421。所述测试单元40421与所述图像识别模块4041通信连接,用于将所述特征信息通过经过训练的分类器获取所述识别信息。在本实施例对所述分类器的具体类型没有特别的限制,例如为支持向量机(SVM),贝叶斯分类器,KNN算法,Adaboosting方法,Rocchio算法等。进一步,所述图像处理模块4042还包括训练单元40422,用于训练所述分类器。例如,所述分类器为支持向量机,将非线性的训练集通过合适的核函数,例如高斯径向基函数,转化为高维空间中的线性训练集,然后再引入支持向量机,并进行数据评估优化,以获得经过训练的支持向量机。

可选的,所述预处理单元40412包括特征选择子单元、灰度化子单元与光照校正子单元。其中,所述选择子单元用于确定手术器械需要提取的特征信息所在的图像区域;所述灰度化子单元用于当目标区域为彩色图像时,将目标区域的图像进行灰度化处理;所述光照校正子单元用于当目标区域光照不均匀时将经过灰度化处理的目标区域图像进行校正。本实施例对实现图像灰度化的具体方法没有特别的限制。例如,对于RGB格式的图像,可以取对人眼比较敏感的G值作为灰度值,也可以对R值,G值以及B值做加权获得灰度;对于YUV编码或YC

优选的,所述识别平台400还包括显示模块403。所述显示模块403与所述图像处理模块4042通信连接,用于显示所述第一识别信息,第二识别信息和判断结果中至少一者。

请参考图7和图8,为简化辨认的过程,手术器械的识别信息可以采用符号化图示来表示。图7示出了第一识别信息的符号化图示,其代表术前手术器械的识别信息;图8示出了第二识别信息的符号化图示,其代表术后手术器械的识别信息。更具体的,在符号化图示中,每个识别特征分类可用特定符号表示。如图7和图8所示,不同列的符号不一致,代表不同的识别特征分类,同一列的符号数量代表该识别特征分类下的手术器械的数量。特定符号的选取可根据手术器械的形状设定简化标识。该符号化表示图可以在显示模块上显示,以提示操作者,用以辅助现场的操作者进行判断和采取相关的措施。当然,本领域技术人员还可以采用其它的表达方式来对识别信息进行表达,例如采用文字和数字的方式来表达等,本发明对此不作限制。图7示出的第一识别信息的符号化图示中,具有3个圆形符号501,其代表术前某一类别的手术器械的数量是3个。图8示出的第二识别信息的符号化图示中,具有2个圆形符号501,其代表术后该类别的手术器械的数量是2个。

在一个示范性的实施例中,当获取第一识别信息的时候,显示模块显示第一识别信息的符号化图示。而当获取第二识别信息,并判断第一识别信息与第二识别信息是否相符时,显示模块显示第一识别信息的符号化图示,第二识别信息的符号化图示以及比较结果的符号化图示。操作者可以直观地看到术前术后手术器械的识别信息是否具有差异。需要说明的,这里圆形符号501在第一识别信息和第二识别信息中的数量不同,并不代表第一识别信息和第二识别信息不相符,如根据预设规则(如预期的手术步骤),该圆形符号501所代表的手术器械于术中预期被使用消耗,则应理解为第二识别信息与第一识别信息相符。

如图13所示,当判断结果为手术器械于术前的第一识别信息和术后的第二识别信息相符的时候,系统提示通过,显示模块上除了显示第一识别信息的符号化图示,第二识别信息的符号化图示,还用绿色滤镜附加在第二识别信息的符号化图示和/或打勾“√”来标识判断结果。经过操作者再次确认无误后,可确认手术结束。

进一步,所述识别平台还包括报警装置。所述报警装置与所述识别处理器404通信连接,所述报警装置用于当判断结果为第一识别信息与第二识别信息不相符时,被识别处理器404控制输出第一报警信号。所述报警装置可以是警示灯、蜂鸣器。所述警示灯、蜂鸣器可以为一个或多个,可以置于支撑台面402、医生端控制装置100和/或患者端控制装置200。第一报警信号可以是警示灯亮起、闪烁、蜂鸣器鸣叫等。

如图14所示,当判断结果为手术器械于术前的第一识别信息和术后的第二识别信息不相符的时候,系统提示不通过,识别处理器404控制报警装置输出第一报警信号,显示模块上除了显示第一识别信息的符号化图示,第二识别信息的符号化图示,还用红色滤镜附加在第二识别信息的符号化图示和/或打叉“×”来标识判断结果。此时操作者应查找原因,如果确认该手术器械已被消耗或使用于手术中或人体内,可进行人工干预,并做好记录和处置方案。

所述识别平台400还包括输入组件,所述输入组件与识别处理器404通信连接,所述输入组件用于输入手术器械的输入信息。所述输入信息与所述手术器械的第三识别信息相关联,可以是手术器械的至少一部分的识别信息,或者是手术器械附加的信息,例如二维码、条形码。在一个可替代的实施例中,输入组件包括与识别处理器404通信连接的麦克风、鼠标、键盘、扫描枪或nfc读卡器等。在另一个实施例中,输入组件包括设置在显示模块403上的触摸件,两者形成触摸屏,操作者可直接在触摸屏上进行输入。所述图像处理模块4042通过输入组件的输入信息获得手术器械的第三识别信息,并将第三识别信息与第一识别信息做比较,如果两者不相等,则说明录入错误或者图片识别错误。进一步,所述识别处理器404可以控制报警装置发出第二报警信号。第二报警信号的具体实现形式可参考第一报警信号,但应与第一报警信号形成区别。

在一个可替代的实施例中,所述识别平台400还包括存储模块405,所述存储模块405分别与图像采集模块401和识别处理器404通信连接,图像采集模块401所采集的图像信息、预处理后的预处理图像、识别信息等信息以及预设的与输入信息相关联的第三识别信息等可存储于存储模块,以供识别处理器404调用。

请参考图10,基于上述的识别平台400,本发明还提供一种手术器械识别方法,其包括:

步骤SC1:获取放置于支撑台面402上的手术器械的图像信息;

步骤SC2:通过神经网络,提取所述图像信息中手术器械的特征信息;

步骤SC3:根据所述特征信息,获得所述手术器械的识别信息;所述手术器械的识别信息包括术前获得的第一识别信息与术后获得的第二识别信息;以及,

步骤SC4:判断所述第一识别信息与所述第二识别信息是否相符,并输出判断结果。

优选的,如图11所示,步骤SC2包括:

步骤SC21:对所述图像信息进行预处理,以降低所述图像信息的噪声;

步骤SC22:提取经预处理后的图像信息中所述手术器械的特征信息。

通过神经网络,提取和识别所述图像信息的特征信息的步骤中,预处理单元首先针对图像采集模块401所采集的手术器械的图像信息进行预处理,以降低图像的噪声;进而提取图像中手术器械的特征信息,优选提取显著的特征信息(如颜色、形状、纹理)。

优选的,如图12所示,步骤SC2提取所述图像信息中手术器械的特征信息之前,所述手术器械识别方法包括:

步骤SC211:提取所述图像信息中涵盖目标手术器械的图像区域,即提取所述图像信息中的目标区域;目标区域如可为采集到的手术器械的图像中某个/某些手术器械的整体或部分所在的图像区域。一方面,支撑台面402上搁置的物品不仅仅包括手术器械,有可能还包括其他物品,所以要设定目标区域;另一方面,手术器械可能包括多个特征,不是所有特征对于获取识别信息有帮助,所以需要剔除一部分特征,以减少后续识别的计算量。本实施例对提取所述图像信息中涵盖目标手术器械的图像区域的具体方法没有特别的限制,例如目标区域也可以是通过人为设定的规则来确定,也可以通过手动的方式来确定。

步骤SC212:对所述目标区域范围内的彩色图像信息进行灰度化处理。

步骤SC213:扫描灰度化后的图像信息,提取像素值,判断目标区域是否光照均匀:若光照不均匀,则对目标区域进行光照校正,以使目标区域光照均匀;若光照均匀则无需校正,即不进行校正。进一步,对经过光照校正的图像信息,再次判断目标区域是否光照均匀,若光照不均匀,则对目标区域再进行光照校正,直至目标区域光照均匀。

步骤SC214:输出经过预处理的图像信息。

优选的,所述步骤SC3中,将所述特征信息通过经过训练的分类器获取所述识别信息。进一步,所述分类器为支持向量机,将非线性的训练集通过核函数,例如高斯径向基函数,转化为高维空间中的线性训练集,然后再引入支持向量机,并进行数据评估优化,获得经过训练的支持向量机。

优选的,所述手术器械识别方法还包括:显示所述手术器械的第一识别信息,第二识别信息以及识别结果中的至少一者。例如可通过显示设备303进行显示。在一个实施例中,在获取第一识别信息后,显示所述第一识别信息;在获取第二识别信息后,并判断所述第一识别信息与所述第二识别信息是否相符后,显示所述第二识别信息以及判断结果。在另外一个实施例中,在获取第一识别信息及第二识别信息,并判断所述第一识别信息与所述第二识别信息是否相符后,显示第一识别信息、第二识别信息和判断结果,或者显示判断结果。

可选的,在获取第二识别信息,并判断所述第一识别信息与所述第二识别信息是否相符后,如果判断结果为第一识别信息与所述第二识别信息不相符,输出第一报警信号。

可选的,在步骤S1之前,通过输入信息获取手术器械的第三识别信息;在获取所述手术器械的第一识别信息后判断第一识别信息与第三识别信息是否相符,如果不相符,输出第二报警信号。

在一个替代性实施例中,所述医疗机器人系统还可以为骨科机器人。相应的,骨科机器人只有患者端控制装置200而不设置医生端控制装置100,所述手术器械可以是骨锯、骨钻等。其他的设备,例如识别平台等与上述实施例的相似,因此不再重复。

综上所述,在本发明提供的手术器械识别方法、识别平台及医疗机器人系统中,所述手术器械识别方法包括:获取放置于支撑台面上的手术器械的图像信息;通过神经网络,提取所述图像信息中手术器械的特征信息;根据所述特征信息,获得所述手术器械的识别信息;所述手术器械的识别信息包括术前获得的第一识别信息与术后获得的第二识别信息;以及判断所述第一识别信息与所述第二识别信息是否相符,并输出判断结果。通过对手术器械的图像信息进行提取和识别,可以获得手术器械的识别信息,从而为自动清点手术器械提供了保证。利用识别平台获取手术器械的识别信息,可代替现有人工统计易产生遗漏的问题,从而使操作者可以方便准确地判断手术过程是否存在手术器械遗漏的现象,方便耗材核查及术后评估等。

上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

相关技术
  • 手术器械识别方法、识别平台及医疗机器人系统
  • 一种针对P2P-TV平台的包大小分布特征提取方法及基于其的P2P-TV平台识别方法和识别系统
技术分类

06120112669476