基于深度学习的骨关节智能诊断方法、装置、设备及介质

技术领域

本申请属于深度学习智能诊断技术领域，尤其涉及一种基于深度学习的骨关节智能诊断方法、装置、设备及计算机可读存储介质。

背景技术

目前，由于不同水平的医生对脊柱、膝、髋等骨关节疾病诊断标准缺乏统一，造成对疾病的诊断发生分歧。也即，目前相关技术中，无法准确地对疾病进行诊断。

因此，如何更加准确地对骨关节疾病进行诊断是本领域技术人员亟需解决的技术问题。

发明内容

本申请实施例提供一种基于深度学习的骨关节智能诊断方法、装置、设备及计算机可读存储介质，能够更加准确地对骨关节疾病进行诊断。

第一方面，本申请实施例提供一种基于深度学习的骨关节智能诊断方法，包括：

获取骨关节图像；

提取骨关节图像中的关键信息；

将关键信息输入预设的语言模型中，输出诊断报告和诊疗建议。

可选的，提取骨关节图像中的关键信息，包括：

对骨关节图像进行目标检测，确定目标区域；

提取目标区域，得到目标图像；

对目标图像进行多标签分类，得到分类结果。

可选的，提取骨关节图像中的关键信息，包括：

对骨关节图像进行分割，得到分割结果。

可选的，还包括：

获取骨关节图像的初始诊断报告；

对初始诊断报告进行文本识别，得到病变描述结果。

可选的，还包括：

将分类结果、分割结果和病变描述结果进行融合，得到融合信息。

可选的，对骨关节图像进行目标检测，确定目标区域，包括：

将骨关节图像输入预设的目标检测模型中，确定目标区域；

其中，目标检测模型是R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN、YOLO系列和SSD系列中的任意一种。

可选的，对目标图像进行多标签分类，得到分类结果，包括：

将目标图像输入预设的分类模型中，得到分类结果；

其中，分类模型是朴素贝叶斯、逻辑回归、决策树、SVM、KNN、ANN、VGG系列、ResNet系列、Inception系列中的任意一种。

第二方面，本申请实施例提供了一种基于深度学习的骨关节智能诊断装置，装置包括：

图像获取模块，用于获取骨关节图像；

信息提取模块，用于提取骨关节图像中的关键信息；

诊疗模块，用于将关键信息输入预设的语言模型中，输出诊断报告和诊疗建议。

第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如第一方面所示的基于深度学习的骨关节智能诊断方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所示的基于深度学习的骨关节智能诊断方法。

本申请实施例的基于深度学习的骨关节智能诊断方法、装置、设备及计算机可读存储介质，能够更加准确地对骨关节疾病进行诊断。

该基于深度学习的骨关节智能诊断方法，包括：获取骨关节图像；提取骨关节图像中的关键信息；将关键信息输入预设的语言模型中，输出诊断报告和诊疗建议。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的基于深度学习的骨关节智能诊断方法的流程示意图；

图2是本申请一个实施例提供的基于深度学习的骨关节智能诊断方法的流程示意图；

图3是本申请一个实施例提供的图像分类流程示意图；

图4是本申请一个实施例提供的基于深度学习的骨关节智能诊断装置的结构示意图；

图5是本申请一个实施例提供的xx设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

目前，由于不同水平的医生对脊柱、膝、髋等骨关节疾病诊断标准缺乏统一，造成对疾病的诊断发生分歧。也即，目前相关技术中，无法准确地对疾病进行诊断。

为了解决现有技术问题，本申请实施例提供了一种基于深度学习的骨关节智能诊断方法、装置、设备及计算机可读存储介质。下面首先对本申请实施例所提供的基于深度学习的骨关节智能诊断方法进行介绍。

图1示出了本申请一个实施例提供的基于深度学习的骨关节智能诊断方法的流程示意图。如图1所示，该基于深度学习的骨关节智能诊断方法，包括：

S101、获取骨关节图像；

其中，骨关节图像可以是X光图像、MRI图像或CT图像。

S102、提取骨关节图像中的关键信息；

S103、将关键信息输入预设的语言模型中，输出诊断报告和诊疗建议。

具体的，如图2所示，该方法的网络结构主要包括目标检测、分类、分割、文本识别、大型语言模型等。与以往诊断系统不同的是，本方法不仅仅只是用病变或病种的分类模型，而是使用多种算法对疾病进行综合判断，在通过大型语言模型得到准确的报告与相对应的诊疗建议。

在一个实施例中，提取骨关节图像中的关键信息，包括：

对骨关节图像进行目标检测，确定目标区域；

提取目标区域，得到目标图像；

对目标图像进行多标签分类，得到分类结果。

在一个实施例中，对骨关节图像进行目标检测，确定目标区域，包括：

将骨关节图像输入预设的目标检测模型中，确定目标区域；

其中，目标检测模型是R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN、YOLO系列和SSD系列中的任意一种。

在一个实施例中，对目标图像进行多标签分类，得到分类结果，包括：

将目标图像输入预设的分类模型中，得到分类结果；

其中，分类模型是朴素贝叶斯、逻辑回归、决策树、SVM、KNN、ANN、VGG系列、ResNet系列、Inception系列中的任意一种。

具体的，本部分通过目标检测与多标签分类的方式对病种或是病变进行诊断。其中，目标检测部分可以使用R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN、YOLO系列和SSD系列等机器学习和深度学习算法，分类模型使用朴素贝叶斯、逻辑回归、决策树、SVM、KNN、ANN、VGG系列、ResNet系列、Inception系列等算法。

目标检测算法的作用是提取骨关节区域，以避免其他部分对分类结果的影响。

在一个实施例中，提取骨关节图像中的关键信息，包括：

对骨关节图像进行分割，得到分割结果。

具体的，分割模型主要是对骨关节部分进行分割，从而判断病变的大小或是病变粘连等情况。分割模型主要使用UNet系列、transformer系列、FCN系列、PSP-Net系列、deeplab系列等。

在一个实施例中，还包括：

获取骨关节图像的初始诊断报告；

对初始诊断报告进行文本识别，得到病变描述结果。

具体的，文本识别模型算法可以使用CRNN、Rosetta、STAR-Net、RARE和SRN等。文本识别模块主要是提取医学影像医生的病变描述信息。

在一个实施例中，还包括：

将分类结果、分割结果和病变描述结果进行融合，得到融合信息。

具体的，关键信息提取模块主要是提取分类、分割和文本中的信息。分类模型主要提取各个疾病与病种的概率，医学影像中骨关节的各种病种包含多个病变，如强直性脊柱炎髋关节痛包括虫噬样改变、骨赘、股骨头脱位等。分割模型可以准确得到骨赘的大小、股骨头塌陷程度等，可以通过病变的占比来描述病变的严重程度。文本提取可以准确提取到影像医生对病情的初步判断，此部分主要提取是否含有病变等关键信息。

在此模块中将以上所有信息进行融合，相互补充，最终得到准确、简洁、完整的诊断报告。

具体的，语言模型模块主要是根据诊断报告搜索病情发展的影响因素、病情严重程度、注意事项以及合理的诊疗方案。语言模型主要包括chatGPT、DialoGPT等。同时，也可以根据自身的研究领域独立训练有专业性的大型语言模型。

综上，本方法采用目标检测、图像分类、图像分割与文本识别等对得到的信息进行融合，并进行综合性的诊断；本方法引入大型语言模型对诊断结果进行综合评定，得到更为简洁、准确的诊断报告、病情发展评估、诊疗建议等。

图4是本申请一个实施例提供的基于深度学习的骨关节智能诊断装置的结构示意图，该基于深度学习的骨关节智能诊断装置，装置包括：

图像获取模块401，用于获取骨关节图像；

信息提取模块402，用于提取骨关节图像中的关键信息；

诊疗模块403，用于将关键信息输入预设的语言模型中，输出诊断报告和诊疗建议。

图5示出了本申请实施例提供的电子设备的结构示意图。

电子设备可以包括处理器501以及存储有计算机程序指令的存储器502。

具体地，上述处理器501可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器502可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器502可在电子设备的内部或外部。在特定实施例中，存储器502可以是非易失性固态存储器。

在一个实施例中，存储器502可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器501通过读取并执行存储器502中存储的计算机程序指令，以实现上述实施例中的任意一种基于深度学习的骨关节智能诊断方法。

在一个示例中，电子设备还可包括通信接口503和总线510。其中，如图5所示，处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。

通信接口503，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线510包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的基于深度学习的骨关节智能诊断方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于深度学习的骨关节智能诊断方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。