一种手术器械装配环节的增强现实智能识别系统

技术领域

本发明属于信息识别领域，具体涉及一种手术器械装配环节的增强现实智能识别系统。

背景技术

在医院重复处理的手术器械过程中，医务人员需要对器械进行分类、清洗、消毒、检查、包装等步骤。然而，由于操作人员的经验不同，第一可能导致手术器械包装配过程的不一致性和错误。第二传统的配包通过人脑记忆识别器械方法容易出错，影响配包的正确性和效率。因此，如何提高器械包的正确率和效率是本领域技术人员一直在思考的难题。

发明内容

本发明的目的在于提供一种手术器械装配环节的增强现实智能识别系统，解决上述现有技术中包括过程不一致以及配包器械易出错的技术问题。

本发明解决其技术问题所采用的技术方案是：

一种手术器械装配环节的增强现实智能识别系统，应用于辅助和优化医院手术器械检查装配环节，通过实时捕捉手术器械上的特征，匹配手术器械包数据库中的信息，生成实时的增强现实图像和提示，帮助医务人员更好地识别手术器械包中的器械，提高配包正确性和效率，包括以下步骤：

S1制作专用手术器械包照片，并对专用手术器械包照片进行标注；

S2、将专用手术器械包标注数据集进行图像识别并录入数据库，系统自动小样本主动学习专用手术器械包，基于强化学习进行识别模型迭代；

S3、对训练后的数据集进行质量检验，如果质量达标进行下一步，如果不达标再进行继续训练，直至形成识别模型；

S4、对待识别手术器械包进行图象采集并通过识别模型进行识别；

S5、如果对待识别手术器械的识别结果为正确则显示正确结果及手术器械包相关信息，如果识别结果为错误则显示错误提示并返回步骤S2进行数据更新，并进行人工比对确认和信息反馈；

S6、操作人员根据识别正确的手术器械的种类及数量，在显示的手术器械包相关信息的指引下进行包装操作。

本发明的一种手术器械装配环节的增强现实智能识别系统，所述步骤S5中如果人工核对发现识别有误则进行反馈，系统将基于用户反馈，形成奖励机制，对识别模型自主进化。

本发明的一种手术器械装配环节的增强现实智能识别系统，所述步骤S2中手术器械包标注数据包括：名称、型号、序列号、厂家、使用说明和外形特征

本发明的一种手术器械装配环节的增强现实智能识别系统，所述步骤S5中识别结果为正确时显示的信息为：手术器械名称列表、对应图片、辩识要点，配包顺序，配包视频和配包操作要点。

本发明的一种手术器械装配环节的增强现实智能识别系统，所述步骤S5中的识别结果信息为实时的增强现实图像和信息，并通过智能眼镜、智能手机或平板电脑进行显示。

本发明的一种手术器械装配环节的增强现实智能识别系统，所述步骤S3数据集进行质量检验合格后形成小样本自主训练专用手术器械识别模型，并进行评估。

本发明的一种手术器械装配环节的增强现实智能识别系统，所述评估结果为合格则进行部署更新性能达标的手术器械包识别模型。

本发明的一种手术器械装配环节的增强现实智能识别系统，所述评估结果为不合格，进行基于强化学习的识别模型迭代，然后进行更换数据集或识别模型，然后再次形成小样本自主训练专用手术器械识别模型。

本发明产生的有益效果是：提出一种手术器械装配环节的增强现实智能识别系统，过实时捕捉手术器械上的特征，匹配手术器械包数据库中的信息，生成实时的增强现实图像和提示，可以帮助医务人员更好地识别手术器械包中的器械，从而提高配包正确性和效率，将现实世界与数字信息相融合，通过增强现实技术，将手术器配包的图像信息转化为可视化的信息，方便医护人员对手术器配包进行快速、准确的识别和管理，为医护人员配包提供了实时、直观的指导；提供了一种智能化的方法来辅助和优化医院手术器械检查装配环节，提高了配包过程的正确性和效率。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种手术器械装配环节的增强现实智能识别系统，应用于辅助和优化医院手术器械检查装配环节，通过实时捕捉手术器械上的特征，匹配手术器械包数据库中的信息，生成实时的增强现实图像和提示，帮助医务人员更好地识别手术器械包中的器械，提高配包正确性和效率，包括以下步骤：

S1制作专用手术器械包照片，并对专用手术器械包照片进行标注；

S2、将专用手术器械包标注数据集进行图像识别并录入数据库，系统自动小样本主动学习专用手术器械包，基于强化学习进行识别模型迭代；

S3、对训练后的数据集进行质量检验，如果质量达标进行下一步，如果不达标再进行继续训练，直至形成识别模型；

S4、对待识别手术器械包进行图象采集并通过识别模型进行识别；

S5、如果对待识别手术器械的识别结果为正确则显示正确结果及手术器械包相关信息；如果识别结果为错误则显示错误提示，返回步骤S2进行数据更新，并进行人工比对确认和信息反馈；

S6、操作人员根据识别正确的手术器械的种类及数量，在显示的手术器械包相关信息的指引下进行包装操作。

为了进一步理解本发明，所述步骤S5中如果人工核对发现识别有误则进行反馈，系统将基于用户反馈，形成奖励机制，对识别模型自主进化。

为了进一步理解本发明，所述步骤S2中手术器械包标注数据包括：名称、型号、序列号、厂家、使用说明和外形特征

为了进一步理解本发明，所述步骤S5中识别结果为正确时显示的信息为：手术器械名称列表、对应图片、辩识要点，配包顺序，配包视频和配包操作要点。

为了进一步理解本发明，所述步骤S5中的识别结果信息为实时的增强现实图像和信息，并通过智能眼镜、智能手机或平板电脑进行显示。

为了进一步理解本发明，所述步骤S3数据集进行质量检验合格后形成小样本自主训练专用手术器械识别模型，并进行评估。

为了进一步理解本发明，所述评估结果为合格则进行部署更新性能达标的手术器械包识别模型。

为了进一步理解本发明，所述评估结果为不合格，进行基于强化学习的识别模型迭代，然后进行更换数据集或识别模型，然后再次形成小样本自主训练专用手术器械识别模型。

通过实时识别和提示手术器械的信息，可以避免错误操作，提高配包效率，通过自动化和智能化的方式配包过程(如配包视频)，可以减少人为误差，辅助医护配包人员提高识别手术器械准确性。

其中图像采集装置为摄像机，用于扫描或拍摄手术器械包中的器械；并利用人工智能算法进行分析和处理扫描或识别到的信息，生成实时的增强现实图像、器械名称提示、配包正确性提示等；支撑智能计算的为后端服务器，用于服务器驻留数据库和人工智能算法和智能识别服务、应用服务程序等

其工作原理为：获取手术器械配包的图像信息，对图像信息进行分析处理，得到待识别的手术器械包；将待识别的手术器械包进行智能识别，得到识别结果；根据识别结果，显示手术器械包相关信息，完成手术器械包的配包，例如当医护人员需要对手术器械进行配包时，他们可以将增强现实设备对准手术器械包的器械托盘，系统将自动识别并显示该器械包的详细信息和相应的配包步骤。医护人员可以根据显示的信息进行操作，以确保手术器械配包正确性，并在必要时提醒医护人员进行调整或重新配包。

该系统通过医护人员佩戴增强现实设备(AR眼镜)或手持智能手机，以实时拍摄手术器械包、配包过程中摆放在托盘上的手术器械集合。该系统通过通过网络将拍摄到的视频数据传输给后端智能分析中心，后端智能分析中心与数据库中的手术器械包信息进行智能匹配，生成实时的增强现实图像和器械名称提示、配包正确性提示。该系统将增强现实图像和手术器械包列表信息和当前视野中的器械名称、配包正确性信息进行叠加，将识别结果与现实进行融合，将融合后的显示手术器械包相关信息展示给用户，协助完成手术器械包的配包。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。