基于计算机视觉和人工智能的药品分类方法

技术领域

本发明涉及计算机视觉和人工智能领域，尤其涉及一种基于计算机视觉和人工智能的药品分类方法。

背景技术

随着医疗技术的发展和城市人口数量的增加，医院药房每日所发的药物种类和数量十分巨大，为了保证患者的用药安全性和准确性，医院已发药品的检查和校正工作变得至关重要，因而需要对每份已发药品拍照留底。采用机器辅助人工的识别方法，可以提高医护人员在核准药品类型方面的工作效率，降低工作复杂性。

随着图像识别处理技术的发展进步，基于图像识别的药品检验分类方法已然成为一种较为先进便捷的药品检测技术。因此，如何利用图像识别处理技术来实现药品基于流水线的自动化检验分类，是目前亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于计算机视觉和人工智能的药品分类方法，其包括以下步骤：

从数据库获取模型训练数据；所述模型训练数据包括第一训练数据和第二训练数据；

分别提取第一训练数据的特征和第二训练数据的特征以得到第一训练特征和第二训练特征，并将第一训练特征和第二训练特征输入药品分类模型以对药品分类模型进行训练从而得到训练好的药品分类模型；

接收目标药品的药品外观图像并将其作为目标外观图像；获取目标外观图像的所有像素点，并将目标外观图像的所有像素点映射到高维空间以得到目标外观图像的所有高维像素点；所述目标药品为正在进行分类的药品；

根据目标外观图像的所有高维像素点在高维空间中的分布生成目标外观图像的高维像素有向图，并根据目标外观图像的高维像素有向图识别每个高维像素点的邻接点，然后将具有邻接点的高维像素点作为高维特征点；

统计每个高维特征点的邻接点的数量，并根据每个高维特征点的邻接点的数量和每个高维特征点与其邻接点的像素邻接向量得到目标外观图像的图像特征向量；

将目标外观图像的图像特征向量输入预先训练好的药品分类模型以输出目标药品的分类特征向量，并将所述分类特征向量所在的特征空间划分为若干个特征子空间，然后基于特征子空间将分类特征向量划分为若干个特征子向量，每个特征子向量对应一个特征子空间；

获取每个特征子向量在相应特征子空间中的投影以得到每个特征子向量对应的分类数据，并根据所有特征子向量对应的分类数据进行数据融合以得到目标药品的药品分类结果。

根据一个优选实施方式，所述药品分类模型包括：循环神经网络和卷积神经网络。所述第一训练数据为药品外观图像，第二训练数据为药品分类数据；所述药品外观图像用于描述药品的外观特征；所述药品分类数据用于表征药品所属的类型。

根据一个优选实施方式，根据目标外观图像的高维像素点在高维空间中的分布生成目标外观图像的高维像素有向图包括：

遍历所有的高维像素点，并将当前正在遍历的高维像素点作为目标高维像素点；

以目标高维像素为起点将目标高维像素点与除了目标高维像素点外的其他所有高维像素点连接以生成目标高维像素点的若干个像素连接向量，并计算目标高维像素点的每个像素连接向量的向量长度；

将目标高维像素点的所有像素连接向量的向量长度进行相互比较，并将目标高维像素点的所有像素连接向量按照像素连接向量的向量长度从小到大进行排列以生成目标高维像素点的像素连接向量序列；

遍历目标高维像素点的像素连接向量序列中的所有像素连接向量，并将正在遍历的像素连接向量作为像素邻接向量，统计像素邻接向量的数量；

在像素邻接向量的数量小于预设数量阈值时，将像素连接向量序列中的下一个像素连接向量作为像素邻接向量，直到像素邻接向量的数量大于或等于预设数量阈值以得到目标高维像素点的所有像素邻接向量；

重复以上步骤，直到遍历完所有的高维像素点以得到每个高维像素点的所有像素邻接向量，并根据所有高维像素点的所有像素邻接向量生成目标外观图像的高维像素有向图。

根据一个优选实施方式，根据目标外观图像的高维像素有向图识别每个高维像素点的邻接点包括：

步骤1、遍历高维像素有向图中的所有高维像素点，并将正在遍历的高维像素点作为目标高维像素点；获取以目标高维像素点为起点的像素邻接向量的终点对应的高维像素点，并将其作为目标高维像素点的候选邻接点；

步骤2、遍历目标高维像素点的所有候选邻接点，并将正在遍历的候选邻接点作为目标候选邻接点；获取以目标候选邻接点为起点的像素邻接向量的终点对应的高维像素点，并将其作为目标候选邻接点的候选邻接点；

步骤3、在目标候选邻接点的候选邻接点中存在目标高维像素点时，将目标候选邻接点作为目标高维像素点的邻接点；

步骤4、步骤2到步骤3，直到遍历完目标高维像素点的所有候选邻接点以得到目标高维像素点的所有邻接点；

步骤5、重复步骤1到步骤4，直到遍历完所有的高维像素点以获取每个高维像素点的所有邻接点。

根据一个优选实施方式，根据高维特征点的邻接点的数量和高维特征点与其邻接点的像素邻接向量得到目标外观图像的图像特征向量包括：

根据每个高维特征点与其邻接点间的像素邻接向量建立每个高维特征点的第一局部邻接矩阵，然后根据所有高位特征点的第一局部邻接矩阵生成第一全局邻接矩阵；

统计每个高维特征点的邻接点的数量，并根据每个高维特征点的邻接点的数量和每个高维特征点与其邻接点间的像素邻接向量构建每个高维特征点的第一局部邻接图，然后通过第一全局邻接矩阵对每个高维特征点的第一局部邻接图的每个像素邻接向量进行赋权以得到每个高维特征点的第二局部邻接图；

根据每个高维特征点的第二局部邻接图构建每个高维特征点的第二局部邻接矩阵，并根据所有高维特征点的第二局部邻接矩阵构建第二全局邻接矩阵；

根据第二局部邻接矩阵和第二全局邻接矩阵建立特征约束函数，并根据特征约束函数、第二局部邻接矩阵和第二全局邻接矩阵建立特征映射矩阵，然后根据特征映射矩阵对第二全局邻接矩阵进行特征变换以得到目标外观图像的图像特征向量。

根据一个优选实施方式，根据特征约束函数、第二局部邻接矩阵和第二全局邻接矩阵建立特征映射矩阵包括：

遍历所有的第二局部邻接矩阵，并将正在遍历的第二局部邻接矩阵作为目标第二局部邻接矩阵；

通过对目标第二局部邻接矩阵进行最小化处理和第二全局邻接矩阵进行最大化处理以得到目标第二局部邻接矩阵的特征向量；

重复以上步骤，直到遍历完所有的第二局部邻接矩阵以得到每个第二局部邻接矩阵的特征映射向量；

根据每个第二局部邻接矩阵的特征映射向量建立特征映射矩阵。

根据一个优选实施方式，将第一训练特征和第二训练特征输入药品分类模型以对药品分类模型进行训练从而得到训练好的药品分类模型包括：

将第一训练特征输入循环神经网络，循环神经网络对所述第一训练特征进行编码以得到特征编码，并根据所述特征编码计算第一状态向量和第二状态向量，然后根据所述第一状态向量和第二状态向量获取预测特征序列；

卷积神经网络对循环神经网络输出的预测特征序列进行填充处理，并对预测特征序列建立预测特征矩阵，然后使用不同的卷积核对预测特征序列进行卷积以得到若干个特征子向量；

获取每个特征子向量的最大值，并对每个特征子向量的最大值进行拼接处理以得到预测特征向量；

根据第二训练特征生成第二训练特征向量，并根据预测特征向量和第二训练特征向量对卷积神经网络进行训练以得到卷积神经网络的参数，然后根据训练好的卷积神经网络和循环神经网络得到训练好的药品分类模型。

本发明具有以下有益效果：本发明通过训练数据训练药品分类模型，并将药品外观图像的图像特征向量输入药品分类模型以对药品进行自动分类，减少人力物力支出。此外，本发明采用人工智能识别方法，可以提高医护人员在核准药品类型方面的工作效率，降低工作复杂性。

附图说明

图1为一示例性实施例提供的基于计算机视觉和人工智能的药品分类方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参见图1，在一个实施例中，基于计算机视觉和人工智能的药品分类方法可以包括：

S1、从数据库获取模型训练数据，模型训练数据包括第一训练数据和第二训练数据；分别提取第一训练数据的特征和第二训练数据的特征以得到第一训练特征和第二训练特征，并将第一训练特征和第二训练特征输入药品分类模型以对药品分类模型进行训练从而得到训练好的药品分类模型。

药品分类模型包括：循环神经网络和卷积神经网络。

第一训练数据为药品外观图像，第二训练数据为药品分类数据；药品外观图像用于描述药品的外观特征；药品分类数据用于表征药品所属的类型。

在一个实施例中，将第一训练特征和第二训练特征输入药品分类模型以对药品分类模型进行训练从而得到训练好的药品分类模型包括：

将第一训练特征输入循环神经网络，循环神经网络对所述第一训练特征进行编码以得到特征编码，并根据所述特征编码计算第一状态向量和第二状态向量，然后根据所述第一状态向量和第二状态向量获取预测特征序列；

卷积神经网络对循环神经网络输出的预测特征序列进行填充处理，并对预测特征序列建立预测特征矩阵，然后使用不同的卷积核对预测特征序列进行卷积以得到若干个特征子向量；

获取每个特征子向量的最大值，并对每个特征子向量的最大值进行拼接处理以得到预测特征向量；

根据第二训练特征生成第二训练特征向量，并根据预测特征向量和第二训练特征向量对卷积神经网络进行训练以得到卷积神经网络的参数，然后根据训练好的卷积神经网络和循环神经网络得到训练好的药品分类模型。

S2、接收目标药品的药品外观图像并将其作为目标外观图像；获取目标外观图像的所有像素点，并将目标外观图像的所有像素点映射到高维空间以得到目标外观图像的所有高维像素点。目标药品为正在进行分类的药品。

在一个实施例中，对药品进行流水线式分类，将正在进行分类的药品作为目标药品，图像采集设备采集目标药品的外观图像并将其发送到药品分类平台，药品分类平台提取目标药品的图像特征向量，然后将图像特征向量输入训练好的药品分类模型，根据药品分类模型输出的分类特征向量获取目标药品的分类结果，并根据目标药品的分类结果对目标药品进行存储。

S3、根据目标外观图像的所有高维像素点在高维空间中的分布生成目标外观图像的高维像素有向图，并根据目标外观图像的高维像素有向图识别每个高维像素点的邻接点，然后将具有邻接点的高维像素点作为高维特征点。

高维特征点为识别目标外观图像的关键点。

在一个实施例中，根据目标外观图像的高维像素点在高维空间中的分布生成目标外观图像的高维像素有向图包括：

遍历所有的高维像素点，并将当前正在遍历的高维像素点作为目标高维像素点；

以目标高维像素为起点将目标高维像素点与除了目标高维像素点外的其他所有高维像素点连接以生成目标高维像素点的若干个像素连接向量，并计算目标高维像素点的每个像素连接向量的向量长度；

将目标高维像素点的所有像素连接向量的向量长度进行相互比较，并将目标高维像素点的所有像素连接向量按照像素连接向量的向量长度从小到大进行排列以生成目标高维像素点的像素连接向量序列；

遍历目标高维像素点的像素连接向量序列中的所有像素连接向量，并将正在遍历的像素连接向量作为像素邻接向量，统计像素邻接向量的数量；

在像素邻接向量的数量小于预设数量阈值时，将像素连接向量序列中的下一个像素连接向量作为像素邻接向量，直到像素邻接向量的数量大于或等于预设数量阈值以得到目标高维像素点的所有像素邻接向量；

重复以上步骤，直到遍历完所有的高维像素点以得到每个高维像素点的所有像素邻接向量，并根据所有高维像素点的所有像素邻接向量生成目标外观图像的高维像素有向图。

预设数量阈值为根据实际情况预先进行设置。

在一个实施例中，根据目标外观图像的高维像素有向图识别每个高维像素点的邻接点包括：

步骤1、遍历高维像素有向图中的所有高维像素点，并将正在遍历的高维像素点作为目标高维像素点；获取以目标高维像素点为起点的像素邻接向量的终点对应的高维像素点，并将其作为目标高维像素点的候选邻接点；

步骤2、遍历目标高维像素点的所有候选邻接点，并将正在遍历的候选邻接点作为目标候选邻接点；获取以目标候选邻接点为起点的像素邻接向量的终点对应的高维像素点，并将其作为目标候选邻接点的候选邻接点；

步骤3、在目标候选邻接点的候选邻接点中存在目标高维像素点时，将目标候选邻接点作为目标高维像素点的邻接点；

步骤4、重复步骤2到步骤3，直到遍历完目标高维像素点的所有候选邻接点以得到目标高维像素点的所有邻接点；

步骤5、重复步骤1到步骤4，直到遍历完所有的高维像素点以获取每个高维像素点的所有邻接点。

目标高维像素点的邻接点为与目标高维像素点具有双向像素邻接向量的高维像素点。

S4、统计每个高维特征点的邻接点的数量，并根据每个高维特征点的邻接点的数量和每个高维特征点与其邻接点的像素邻接向量得到目标外观图像的图像特征向量。

在一个实施例中，根据高维特征点的邻接点的数量和高维特征点与其邻接点的像素邻接向量得到目标外观图像的图像特征向量包括：

根据每个高维特征点与其邻接点间的像素邻接向量建立每个高维特征点的第一局部邻接矩阵，然后根据所有高位特征点的第一局部邻接矩阵生成第一全局邻接矩阵；

统计每个高维特征点的邻接点的数量，并根据每个高维特征点的邻接点的数量和每个高维特征点与其邻接点间的像素邻接向量构建每个高维特征点的第一局部邻接图，然后通过第一全局邻接矩阵对每个高维特征点的第一局部邻接图的每个像素邻接向量进行赋权以得到每个高维特征点的第二局部邻接图；

根据每个高维特征点的第二局部邻接图构建每个高维特征点的第二局部邻接矩阵，并根据所有高维特征点的第二局部邻接矩阵构建第二全局邻接矩阵；

根据第二局部邻接矩阵和第二全局邻接矩阵建立特征约束函数，并根据特征约束函数、第二局部邻接矩阵和第二全局邻接矩阵建立特征映射矩阵，然后根据特征映射矩阵对第二全局邻接矩阵进行特征变换以得到目标外观图像的图像特征向量。

在一个实施例中，根据特征约束函数、第二局部邻接矩阵和第二全局邻接矩阵建立特征映射矩阵包括：

遍历所有的第二局部邻接矩阵，并将正在遍历的第二局部邻接矩阵作为目标第二局部邻接矩阵；

通过对目标第二局部邻接矩阵进行最小化处理和第二全局邻接矩阵进行最大化处理以得到目标第二局部邻接矩阵的特征向量；

重复以上步骤，直到遍历完所有的第二局部邻接矩阵以得到每个第二局部邻接矩阵的特征映射向量；

根据每个第二局部邻接矩阵的特征映射向量建立特征映射矩阵。

S5、将目标外观图像的图像特征向量输入预先训练好的药品分类模型以输出目标药品的分类特征向量，并将所述分类特征向量所在的特征空间划分为若干个特征子空间，然后基于特征子空间将分类特征向量划分为若干个特征子向量，每个特征子向量对应一个特征子空间。

S6、获取每个特征子向量在相应特征子空间中的投影以得到每个特征子向量对应的分类数据，并根据所有特征子向量对应的分类数据进行数据融合以得到目标药品的药品分类结果。

本发明通过训练数据训练药品分类模型，并将药品外观图像的图像特征向量输入药品分类模型以对药品进行自动分类，减少人力物力支出。此外，本发明采用人工智能识别方法，可以提高医护人员在核准药品类型方面的工作效率，降低工作复杂性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。