图像分类方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种图像分类方法、装置、电子设备及存储介质。

背景技术

目前，图像识别技术的应用较为广泛，可以较好的解决识别图像类别的问题。但是，医学图像与普通的图像具有较大差别，无论是医学图像中的医学影像图像，还是医疗器械图像，甚至是医疗场景图像在图像识别中的难度都比较大。

因此，仅依靠单一的图像识别会遗漏医学图像中的部分内容，也就是会忽略掉图像中许多包含医疗元素的内容，导致医学图像类别的识别不准确的问题。

发明内容

本发明实施例提供了一种图像分类方法、装置、电子设备及存储介质，以实现提高医学图像分类准确率的技术效果。

第一方面，本发明实施例提供了一种图像分类方法，该方法包括：

获取待分类的初始图像；

对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；

基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；

基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。

第二方面，本发明实施例还提供了一种图像分类装置，该装置包括：

初始图像获取模块，用于获取待分类的初始图像；

图像分类概率确定模块，用于对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；

文字分类概率确定模块，用于基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；

目标图像类别确定模块，用于基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的图像分类方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例任一所述的图像分类方法。

本发明实施例的技术方案，通过获取待分类的初始图像，对初始图像进行分类，确定初始图像与各图像类别相对应的图像分类概率，以根据初始图像的图像特征进行分类，进而，基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率，以根据初始图像的文字特征进行分类，并且，基于图像分类概率和文字分类概率确定初始图像的目标图像类别，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1为本发明实施例一所提供的一种图像分类方法的流程示意图；

图2为本发明实施例二所提供的一种图像分类方法的流程示意图；

图3为本发明实施例三所提供的一种图像分类方法的流程示意图；

图4为本发明实施例四所提供的一种图像分类方法的流程示意图；

图5为本发明实施例五所提供的一种图像分类方法的流程示意图；

图6为本发明实施例六所提供的一种图像分类装置的结构示意图；

图7为本发明实施例七所提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一所提供的一种图像分类方法的流程示意图，本实施例可适用于对医学图像进行分类识别的情况，该方法可以由图像分类装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，可选的，电子设备可以是移动终端，PC端等。

如图1所述，本实施例的方法具体包括如下步骤：

S110、获取待分类的初始图像。

其中，初始图像可以是任意的图像，可以是医学图像，也可以是非医学图像，也可以是视频中的图像帧。

具体的，获取待分类的初始图像，以对初始图像进行后续的分类处理。例如：将图像库中存储的图像作为初始图像，将视频中的图像帧截取出来作为初始图像等。

S120、对初始图像进行分类，确定初始图像与各图像类别相对应的图像分类概率。

其中，图像类别可以是与医学相关的类别，例如：医疗器械，医学影像和医学场景等。图像类别还可以是更细致的图像类别，例如：具体的医疗器械种类，医学影像所对应的人体部位，具体的医学场景类别等。医疗器械图像可以是手术刀，止血钳，核磁共振仪器等医疗器械的图像。医学影像可以是通过医学影像仪器拍摄的人体部位的医学影像，例如：脑部影像，肺部影像等。医学场景可以是手术室场景，诊疗室场景或病房场景等。图像分类概率可以是对初始图像进行分类得到的与各图像类别对应的概率，举例说明，图像分类概率：类别A：10％，类别B：0，类别C：30％，类别D：60％等。需要说明的是，上述图像分类概率的示例只是用于解释说明，并非限定。

具体的，可以通过图像分类识别的技术对初始图像进行分类，根据分类结果确定初始图像与各图像类别相对应的图像分类概率。

需要说明的是，图像分类识别的技术可以是基于色彩特征的图像分类技术，基于纹理的图像分类技术，基于形状的图像分类技术，基于空间关系的图像分类技术等。图像分类识别的技术还可以是基于机器学习模型，深度学习模型进行图像分类的技术，例如：卷积神经网络(Convolutional Neural Networks,CNN)、K最近邻(K-Nearest Neighbor，KNN)、支持向量机(Support Vector Machine，SVM)、BP(Back Propagation，反向传播)神经网络等。

S130、基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率。

其中，文本信息可以是初始图像中的文字组成的信息。文字分类概率可以是基于文本信息进行处理确定的与各图像类别相对应的概率。

具体的，基于文字提取技术可以提取初始图像中的文字信息，如：OCR(OpticalCharacter Recognition,光学字符识别)技术。可以将文字信息组成的信息作为文本信息。将文本信息输入自然语言处理模型中，可以对文本信息进行分词，标注和分类等处理，以得到文本信息对应的与各图像类别相对应的概率。

S140、基于图像分类概率和文字分类概率确定初始图像的目标图像类别。

其中，目标图像类别可以是综合图像分类概率和文字分类概率确定的图像类别。

具体的，可以对图像分类概率和文本分类概率进行处理，例如加权求和处理，通过数学函数处理，或通过神经网络模型处理等。进而，可以将处理后得到的分类概率中最大的概率值所对应的图像类别作为目标图像类别。

本发明实施例的技术方案，通过获取待分类的初始图像，对初始图像进行分类，确定初始图像与各图像类别相对应的图像分类概率，以根据初始图像的图像特征进行分类，进而，基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率，以根据初始图像的文字特征进行分类，并且，基于图像分类概率和文字分类概率确定初始图像的目标图像类别，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

实施例二

图2为本发明实施例二所提供的一种图像分类方法的流程示意图，本实施例在上述各实施例的基础上，针对图像分类概率的确定方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图2所述，本实施例的方法具体包括如下步骤：

S210、获取待分类的初始图像。

S220、基于深度学习模型对初始图像进行粗分类，确定初始图像的第一类别。

其中，深度学习模型可以是基于深度学习算法训练得到的用于图像分类的模型。第一类别可以是初步分类得到的图像类别，第一类别包括医学图像或非医学图像。

具体的，可以基于预先训练完成的深度学习模型对初始图像进行粗分类，确定初始图像是医学图像还是非医学图像，以为后续图像分类做准备。若初始图像的第一类别为医学图像，则可以进行下一步图像分类识别；若初始图像的第一类别为非医学图像，则可以确定无需对初始图像进行下一步处理。

可选的，可以基于下述步骤来确定初始图像的第一类别：

步骤一、获取基于深度学习模型生成的粗分类模型。

其中，粗分类模型是基于医学图像和非医学图像训练得到的。

具体的，深度学习模型可以是CNN模型，RNN(Recurrent Neural Network，循环神经网络)模型，LSTM(Long Short-Term Memory，长短期记忆人工神经网络)模型等。获取基于深度学习模型生成的粗分类模型，以用于对初始图像进行粗分类。

需要说明的是，可以预先对粗分类模型进行训练，以使粗分类模型能更准确的区分医学图像和非医学图像。

步骤二、将初始图像输入至粗分类模型中，确定初始图像对应的医学图像概率和非医学图像概率。

具体的，将初始图像输入至粗分类模型中，可以得到初始图像是医学图像的概率和初始图像是非医学图像的概率。例如：初始图像有80％的概率属于医学图像，有20％的概率属于非医学图像。

步骤三、当医学图像概率大于或等于非医学图像概率，则确定初始图像的第一类别是医学图像，否则，确定初始图像的第一类别是非医学图像。

具体的，将医学图像概率和非医学图像概率进行比较，以确定初始图像的第一类别。若医学图像概率大于或等于非医学图像概率，则确定初始图像的第一类别是医学图像；若医学图像概率小于非医学图像概率，则确定初始图像的第一类别是非医学图像。

S230、若第一类别为医学图像，则基于深度学习模型对初始图像进行细分类，确定初始图像与各图像类别相对应的第一图像分类概率。

其中，第一图像分类概率可以是通过细分类确定的初始图像与各图像类别相对应的概率，也就是初始图像属于各医学图像类别的概率。

具体的，若初始图像的第一类别为医学图像，则对初始图像进行进一步的分类，以确定具体的医学图像类别。可以基于预先训练完成的深度学习模型对初始图像进行细分类，确定初始图像与各图像类别相对应的第一图像分类概率，即确定初始图像所对应的各医学图像类别的概率。

可选的，可以基于下述步骤确定初始图像与各图像类别相对应的第一图像分类概率：

步骤一、获取基于深度学习模型生成的细分类模型。

其中，细分类模型是基于样本医学图像以及与各样本医学图像相对应的图像类别训练得到的。

具体的，获取基于深度学习模型生成的细分类模型，以用于对初始图像进行细分类。

需要说明的是，可以预先对细分类模型进行训练，以细粗分类模型能更准确的区分医学图像的图像类型。

步骤二、将初始图像输入至细分类模型中，确定初始图像与各图像类别相对应的第一图像分类概率。

具体的，将初始图像输入至细分类模型中，可以得到初始图像是各医学图像类别的概率。例如：初始图像有10％的概率属于医学图像类别A，有20％的概率属于医学图像类别B，有30％的概率属于医学图像类别C，有5％的概率属于医学图像类别D，有35％的概率属于医学图像类别E。

需要说明的是，先使用粗分类模型后使用细分类模型对初始图像进行处理的好处在于：可以对初始图像进行二次校验，避免非医学图像的影响和干扰，提升医学图像分类的准确率。

S240、基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率。

S250、基于第一图像分类概率和文字分类概率确定初始图像的目标图像类别。

具体的，可以对第一图像分类概率和文本分类概率进行处理，例如加权求和处理，通过数学函数处理，或通过神经网络模型处理等。进而，可以将处理后得到的分类概率中最大的概率值所对应的图像类别作为目标图像类别。

本发明实施例的技术方案，通过获取待分类的初始图像，基于深度学习模型对初始图像进行粗分类，确定初始图像的第一类别，若第一类别为医学图像，则基于深度学习模型对初始图像进行细分类，确定初始图像与各图像类别相对应的第一图像分类概率，以确定初始图像的图像特征进行分类，进而，基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率，以根据初始图像的文字特征进行分类，并且，基于第一图像分类概率和文字分类概率确定初始图像的目标图像类别，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

实施例三

图3为本发明实施例三所提供的一种图像分类方法的流程示意图，本实施例在上述各实施例的基础上，针对图像分类概率的确定方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图3所述，本实施例的方法具体包括如下步骤：

S310、获取待分类的初始图像。

S320、基于初始图像进行特征提取，确定初始特征，并基于初始特征和预先构建的图像特征库确定初始图像与各图像类别相对应的第二图像分类概率。

其中，特征提取可以是颜色特征，纹理特征，形状特征等，还可以是统计学特征，如均值，方差等。初始特征可以是对初始图像进行特征提取后所得到的特征，用于描述初始图像。图像特征库可以包括各类别图像的特征集合库，例如：图像类别A的特征集合库，图像类别B的特征集合库等。第二图像分类概率可以是初始图像的初始特征与各图像类别的特征集合库进行特种匹配得到的与各图像类别对应的概率。

具体的，对初始图像进行特征提取可以得到用于描述初始图像的初始特征，将初始特征与图像特征库中各图像类别对应的特征集合进行特征匹配，确定初始特征与各图像类别的特征集合的匹配程度，进而，可以确定初始图像与各图像类别相对应的第二图像分类概率。

需要说明的是，为了保证特征匹配的准确度，由初始图像确定初始特征的特征提取方式与图像特征库中的各特征的特征提取方式是相同的。

可选的，可以基于下述步骤确定初始图像与各图像类别相对应的第二图像分类概率：

步骤一、基于初始特征和预先构建的与各图像类别相对应的图像特征库，确定初始特征与各图像特征库的特征之间的特征距离。

其中，特征距离可以是初始特征与各图像特征库的特征之间的距离，可以理解为初始特征与图像特征库中的每一个特征之间的距离。

具体的，根据两点间的距离计算方式，计算初始特征与图像特征库中各特征之间的距离，以确定与初始特征相匹配的特征。

步骤二、基于各图像类别以及与各图像类别相对应的特征距离，确定初始图像与各图像类别相对应的第二图像分类概率。

具体的，针对各特征距离进行排序，选择出特征距离最小的预设数量的特征，即与初始特征匹配度最高的预设数量的特征。进而，对选择出的预设数量的特征所对应的图像类别进行统计，确定初始图像与各图像类别相对应的第二图像分类概率。

示例性的，预设数量为10，特征距离最小的10个特征中，属于图像类别A的有3个，属于图像类别B的有5个，没有属于图像类别C和D的，属于图像类别E的有2个。可以确定第二图像分类概率为：图像类别A：30％，图像类别B：50％，图像类别C：0，图像类别D：0，图像类别E：20％。

S330、基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率。

S340、基于第二图像分类概率和文字分类概率确定初始图像的目标图像类别。

具体的，可以对第二图像分类概率和文本分类概率进行处理，例如加权求和处理，通过数学函数处理，或通过神经网络模型处理等。进而，可以将处理后得到的分类概率中最大的概率值所对应的图像类别作为目标图像类别。

本发明实施例的技术方案，通过获取待分类的初始图像，基于初始图像进行特征提取，确定初始特征，并基于初始特征和预先构建的图像特征库确定初始图像与各图像类别相对应的第二图像分类概率，以确定初始图像的图像特征进行分类，进而，基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率，以根据初始图像的文字特征进行分类，并且，基于第二图像分类概率和文字分类概率确定初始图像的目标图像类别，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

实施例四

图4为本发明实施例四所提供的一种图像分类方法的流程示意图，本实施例在上述各实施例的基础上，针对文字分类概率的确定方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图4所述，本实施例的方法具体包括如下步骤：

S410、获取待分类的初始图像。

S420、基于深度学习模型对初始图像进行粗分类，确定初始图像的第一类别。

S430、若第一类别为医学图像，则基于深度学习模型对初始图像进行细分类，确定初始图像与各图像类别相对应的第一图像分类概率。

S440、基于初始图像进行特征提取，确定初始特征，并基于初始特征和预先构建的图像特征库确定初始图像与各图像类别相对应的第二图像分类概率。

S450、基于文字提取技术提取初始图像中的文本信息。

S460、获取预先构建的医学知识图谱。

其中，医学知识图谱是根据自然语言处理方法和预先构建的医学词语库构建的。医学词语库可以包括基于先验的医疗知识构建的词语库。

具体的，获取根据自然语言处理方法和预先构建的医学词语库构建的医学知识图谱，以用于对初始图像中的文本信息进行文本分类。

S470、提取文本信息中的至少一个实体信息。

其中，实体信息可以是医学知识图谱中的节点信息。

具体的，通过自然语言处理模型可以对文本信息进行处理，确定文本信息中的至少一个实体信息。其中，自然语言处理模型可以是预先训练得到的用于识别实体信息的模型。还可以还是对文本信息进行分词处理得到至少一个待匹配分词，将各待匹配分词与预先构建的实体词表中的各个实体词进行匹配，确定文本信息中的至少一个实体信息。也可以是其他实体信息的确定方式，在本实施例中不作具体限定。

S480、根据医学知识图谱和各实体信息确定文本信息与各图像类别相对应的文字分类概率。

具体的，将提取出的各实体信息输入至医学知识图谱中，可以根据医学知识图谱中的各实体，以及实体和实体之间的关系，确定各实体信息所对应的类别，并统计确定文本信息与各图像类别相对应的文字分类概率。

S490、基于第一图像分类概率，第二图像分类概率和文字分类概率确定初始图像的目标图像类别。

具体的，可以对第一图像分类概率，第二图像分类概率和文本分类概率进行处理，例如加权求和处理，通过数学函数处理，或通过神经网络模型处理等。进而，可以将处理后得到的分类概率中最大的概率值所对应的图像类别作为目标图像类别。

示例性的，对第一图像分类概率，第二图像分类概率和文字分类概率分别设置2：1：1的权重，根据权重对第一图像分类概率，第二图像分类概率和文字分类概率进行加权求和处理，可以确定最大概率值所对应的图像类别。例如：图像类别A所对应的第一图像分类概率，第二图像分类概率和文字分类概率分别为25％，30％，40％，图像类别B所对应的第一图像分类概率，第二图像分类概率和文字分类概率分别为20％，0，20％，图像类别C所对应的第一图像分类概率，第二图像分类概率和文字分类概率分别为40％，30％，20％，图像类别D所对应的第一图像分类概率，第二图像分类概率和文字分类概率分别为10％，30％，10％，图像类别E第一图像分类概率，第二图像分类概率和文字分类概率分别为5％，10％，10％，按照权重比例2：1：1可以确定图像类别A，B，C，D，E的加权概率值分别为120％，60％，130％，60％，30％，进一步，可以确定最大概率至130％所对应的图像类别C为目标图像类别。

需要说明的是，S420-S430，S440和S450三个部分的执行顺序可以调节，在本实施例中并不限定上述三个部分执行的先后顺序。

本发明实施例的技术方案，通过获取待分类的初始图像，基于深度学习模型对初始图像进行粗分类，确定初始图像的第一类别，若第一类别为医学图像，则基于深度学习模型对初始图像进行细分类，确定初始图像与各图像类别相对应的第一图像分类概率，并且，基于初始图像进行特征提取，确定初始特征，并基于初始特征和预先构建的图像特征库确定初始图像与各图像类别相对应的第二图像分类概率，以确定初始图像的图像特征进行分类，进而，基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率，以根据初始图像的文字特征进行分类，并且，基于第一图像分类概率，第二图像分类概率和文字分类概率确定初始图像的目标图像类别，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

实施例五

作为上述各实施例的可选实施方案，图5为本发明实施例五所提供的一种图像分类方法的流程示意图。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图5所示，本实施例的方法具体包括如下步骤：

1、获取图片或视频帧(初始图像)。

2、以医学图像的细分类目为类别，利用已训练好的特征提取模型，按各个细分类目，为不同类别的医学图像建立相应的特征库；对待检测的图片或视频帧进行特征提取，得到初始特征，将初始特征同特征库中的特征进行比对，采用最近邻的方式，若最近距离小于预设阈值，则匹配成功，此时的特征所对应的图像类别以及相似度是输出结果(第二图像分类概率)。根据图片或视频帧以及对应的正确图像类别，对正确图像类别对应的特征库进行扩充。

3、基于深度学习模型对图片或视频帧进行一级分类，可以粗略得出该图像的类别(第一类别)；若图像被判别为医学图像，则进行二级分类，判别该图像的医学图像类别(第一图像分类概率)。

4、针对图像中出现的文字，采用OCR检测与识别技术，得到文字信息(文本信息)；对文字信息进行处理，利用NLP(Natural Language Processing，自然语言处理)技术，检测文字信息中与医学相关的字样以及相关联的词语，并对检测出的语句进行匹配打分，得到输出结果(文字分类概率)。

5、针对上述三种输出结果，进行识别决策，为三种输出结果分配权重(如：1:2:1)，将权重系数乘以各图像类别的输出结果，得到最终识别结果(目标图像类别)。

需要说明的是，可以根据具体的业务场景(比如高精度，输出结果的阈值可以设置高一些，例如0.9；若追求高召回，输出结果的阈值可以设置低一些，例如0.5)对输出结果进行限定，以得到符合需求的识别效果。

本发明实施例的技术方案，通过获取图片或视频帧，对图片或视频帧进行深度特征抽取，并对特征库进行扩展，以得到第二图像分类概率，对图片或视频帧进行一级分类和二级分类，以得到第一图像分类概率，使用OCR技术和NLP技术针对图片或视频帧的文字信息进行检测，得到文字分类概率，进而，通过识别决策确定最终识别结果，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

实施例六

图6为本发明实施例六所提供的一种图像分类装置的结构示意图，该装置包括：初始图像获取模块610，图像分类概率确定模块620，文字分类概率确定模块630和目标图像类别确定模块640。

其中，初始图像获取模块610，用于获取待分类的初始图像；图像分类概率确定模块620，用于对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；文字分类概率确定模块630，用于基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；目标图像类别确定模块640，用于基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。

可选的，图像分类概率确定模块620，还用于基于深度学习模型对所述初始图像进行粗分类，确定所述初始图像的第一类别；其中，所述第一类别包括医学图像或非医学图像；若所述第一类别为医学图像，则基于深度学习模型对所述初始图像进行细分类，确定所述初始图像与各图像类别相对应的第一图像分类概率；相应的，目标图像类别确定模块640，还用于基于所述第一图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。

可选的，所述装置还包括：第二图像分类概率确定模块，用于基于所述初始图像进行特征提取，确定初始特征，并基于所述初始特征和预先构建的图像特征库确定所述初始图像与各图像类别相对应的第二图像分类概率；相应的，目标图像类别确定模块640，还用于基于所述第二图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别；或者，基于所述第一图像分类概率，所述第二图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。

可选的，第二图像分类概率确定模块，还用于基于所述初始特征和预先构建的与所述各图像类别相对应的图像特征库，确定所述初始特征与各所述图像特征库的特征之间的特征距离；基于所述各图像类别以及与所述各图像类别相对应的特征距离，确定所述初始图像与所述各图像类别相对应的第二图像分类概率。

可选的，图像分类概率确定模块620，还用于获取基于深度学习模型生成的粗分类模型；其中，所述粗分类模型是基于医学图像和非医学图像训练得到的；将所述初始图像输入至所述粗分类模型中，确定所述初始图像对应的医学图像概率和非医学图像概率；当所述医学图像概率大于或等于所述非医学图像概率，则确定所述初始图像的第一类别是医学图像，否则，确定所述初始图像的第一类别是非医学图像。

可选的，图像分类概率确定模块620，还用于获取基于深度学习模型生成的细分类模型；其中，所述细分类模型是基于样本医学图像以及与各样本医学图像相对应的图像类别训练得到的；将所述初始图像输入至所述细分类模型中，确定所述初始图像与各图像类别相对应的第一图像分类概率。

可选的，文字分类概率确定模块630，还用于获取预先构建的医学知识图谱；其中，所述医学知识图谱是根据自然语言处理方法和预先构建的医学词语库构建的；提取所述文本信息中的至少一个实体信息；根据所述医学知识图谱各所述实体信息确定所述文本信息与所述各图像类别相对应的文字分类概率。

本发明实施例的技术方案，通过获取待分类的初始图像，对初始图像进行分类，确定初始图像与各图像类别相对应的图像分类概率，以根据初始图像的图像特征进行分类，进而，基于文字提取技术提取初始图像中的文本信息，并基于预先建立的自然语言处理模型对文本信息进行处理，确定文本信息与各图像类别相对应的文字分类概率，以根据初始图像的文字特征进行分类，并且，基于图像分类概率和文字分类概率确定初始图像的目标图像类别，解决了依靠单一的图像识别遗漏医学图像中的部分内容和医疗元素的问题，实现了综合考量图像信息和文字信息，提高医学图像分类准确率的技术效果。

本发明实施例所提供的图像分类装置可执行本发明任意实施例所提供的图像分类方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

实施例七

图7为本发明实施例七所提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施例实施方式的示例性电子设备70的框图。图7显示的电子设备70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备70以通用计算设备的形式表现。电子设备70的组件可以包括但不限于：一个或者多个处理器或者处理单元701，系统存储器702，连接不同系统组件(包括系统存储器702和处理单元701)的总线703。

总线703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备70典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备70访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器702可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)704和/或高速缓存存储器705。电子设备70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统706可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线703相连。系统存储器702可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块707的程序/实用工具708，可以存储在例如系统存储器702中，这样的程序模块707包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块707通常执行本发明所描述的实施例中的功能和/或方法。

电子设备70也可以与一个或多个外部设备709(例如键盘、指向设备、显示器710等)通信，还可与一个或者多个使得用户能与该电子设备70交互的设备通信，和/或与使得该电子设备70能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口711进行。并且，电子设备70还可以通过网络适配器712与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器712通过总线703与电子设备70的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备70使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元701通过运行存储在系统存储器702中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的图像分类方法。

实施例八

本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像分类方法，该方法包括：

获取待分类的初始图像；

对所述初始图像进行分类，确定所述初始图像与各图像类别相对应的图像分类概率；

基于文字提取技术提取所述初始图像中的文本信息，并基于预先建立的自然语言处理模型对所述文本信息进行处理，确定所述文本信息与所述各图像类别相对应的文字分类概率；

基于所述图像分类概率和所述文字分类概率确定所述初始图像的目标图像类别。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。