基于多模态心血管疾病信息的医疗推荐方法、系统及介质

技术领域

本发明属于计算机技术与医疗信息化领域，具体涉及一种基于多模态心血管疾病信息的推荐方法、系统、计算机设备和存储介质。

背景技术

随着现代互联网的高速发展，医疗信息化建设的不断推进以及医疗设备的更新迭代，智能医疗领域信息化的快速发展，海量且类型多样的医学数据应运而生。我国在心血管疾病领域形势严峻，针对心血管疾病医疗信息数据处理的研究备受学者关注，其中医疗的个性化和智能化是重要研究方向。

目前医学数据所展示的具体信息和形式多样，每类方式的数据均视为一种数据模态，不同模态的医学数据都从特定的角度提供了患者的诊疗信息，信息间既有重叠又有互补，结合多种类的医学信息则进一步提高了诊断治疗的准确性。目前可分为如下三大类数据模态：1)临床文本数据。主要包括血红蛋白、血常规等结构化的检验数据，以及患者主诉、病理文本等非结构化的文本数据；2)影像波形数据。主要包括超声图像、CT图像、心电图、脑电图等影像波形数据；3)生物组学数据。按照不同的分子层面又可以分为基因组、转录组、蛋白组等数据。

对于影像波形数据中的心电图数据，是医学影像学的重要部分，对于心血管疾病的诊断判别起到重要的作用。通过机器学习等方法实现心电图的识别和判断能够有效提升医生的诊疗效果。中国发明专利：一种基于确定学习理论的心肌缺血辅助检测方法(公开号为CN103549949A)，该方法提出使用一种动态确定学习理论，通过对心电图(ECG)进行数据处理，能够将心电图转化为心电动力学图(CDG)，从而用三维坐标图的方式将难以发现的心血管疾病特征进行表示，该方法近依靠图形进行主观判断，缺乏量化指标作为参考标准。

目前多数医疗推荐系统仅仅使用了单一模态信息，对数据的利用程度不足；而基于传统的推荐算法构建的医疗推荐系统，其推荐的精确度和个性化程度较为有限，不能满足日益增长的个性化医疗需求。

发明内容

为了解决上述现有技术的不足，本发明提供了一种基于多模态心血管疾病信息的医疗推荐方法和系统。将多模态数据，引入心血管疾病信息的医疗推荐系统，能够针对用户，构建更为精准的用户身体状况和需求模型，提升系统的推荐性能和个性化推荐效果；将基于深度学习领域的推荐算法和传统的推荐算法结合，利用深度算法模型在特征选取和模型构建的优势，提升了医疗推荐系统的推荐能力，提供精准的个性化需求的医疗信息，用户能够更精准就医，从而有助于医疗资源的配置优化。

本发明的第一个目的在于提供一种基于多模态心血管疾病信息的医疗推荐方法。

本发明的第二个目的在于提供一种基于多模态心血管疾病信息的医疗推荐系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于多模态心血管疾病信息的医疗推荐方法，所述方法包括：

获取心血管疾病的临床文本模态数据，作为第一模态数据，以及获取心电图信号数据，作为第二模态数据，并对第一模态数据和第二模态数据进行预处理；

根据预处理后的数据，基于多种推荐算法结合构造个性化推荐模型；

基于个性化推荐模型获取推荐结果集合，并将推荐结果推荐给目标用户。

进一步的，所述对第一模态数据和第二模态数据进行预处理，具体包括：

对获取的心血管疾病的临床文本模态数据进行识别提取，剔除无关信息，并进行结构化处理；

对获取的心电图信号数据进行确定学习动态建模处理，得到心电动力学特征数据，对心电动力学特征数据进行归一化处理，再通过特征运算，得到量化指标数据，并对量化指标数据进行结构化处理。

进一步的，所述根据预处理后的数据，基于多种推荐算法结合构造个性化推荐模型，具体包括：

对预处理后的数据进行特征工程处理，得到结构化数据集；

从结构化数据集中随机抽取数据，并划分为训练集和验证集；

根据到结构化数据集、训练集和验证集，利用多种推荐算法进行混合，构成个性化推荐模型。

进一步的，所述对预处理后的数据进行特征工程处理，得到结构化数据集，具体包括：

在预处理后的数据中选择数据特征，对数据特征中的重复值、异常值和缺失值特征进行处理；

对处理后的数据中的部分数值特征进行分桶或截断；

对分桶或截断后的数据进行标准化处理，使其中的数据按等比例缩放，转化为无量纲数值，处理后得到结构化数据集。

进一步的，所述缺失值特征的处理为随机填充、将缺失值特征作为一种信息以及将缺失值特征直接忽略中的一种，其中随机填充是指采用数据特征的均值、众数或中位数填充；所述重复值和异常值的处理为直接删除。

进一步的，所述推荐算法包括协同过滤算法、基于内容的过滤算法和深度因子分解机算法；

所述结构化数据集、训练集和验证集，利用多种推荐算法进行混合，构成个性化推荐模型，具体包括：

采用协同过滤算法，根据结构化数据集，计算用户之间的兴趣相似度，度量用户对推荐项目的感兴趣程度，得到用户相似度矩阵模型；

采用基于内容的过滤算法，通过对用户的过往偏好信息进行内容分析，在结构化数据集中搜寻类似的信息并对比，使用相似度量计算，将相似度量数值大于预设阈值的项目生成推荐排序列表返回给用户；根据用户的实时反馈对推荐排序列表的内容进行筛选和过滤，得到内容过滤模型；

采用深度因子分解机算法，通过输入从结构化数据集中选取的相关离散特征，利用训练集进行训练，得到初始深度因子分解机模型；

通过验证集检测初始深度因子分解机模型的性能，直到训练误差满足设定阈值时停止训练，得到目标深度因子分解机模型；

将用户相似度矩阵模型、内容过滤模型和目标深度因子分解机模型利用线性加权融合方法混合后进行同步，得到个性化推荐模型。

进一步的，所述基于个性化推荐模型获取推荐结果集合，并将推荐结果推荐给用户，具体包括：

对数据库中的医疗信息数据构建索引；

根据个性化推荐模型，对目标用户的输入信息进行解析并运算，结合索引分析后，得到推荐结果集合；

对得到的推荐结果集合经过预设权重规则进行排序，得到前N项推荐结果，实时推荐给目标用户，完成一次推荐流程。

本发明的第二个目的可以通过采取如下技术方案达到：

一种基于多模态心血管疾病信息的医疗推荐系统，所述系统包括：

数据采集模块，用于获取心血管疾病的临床文本模态数据，作为第一模态数据，以及获取心电图信号数据，作为第二模态数据，并对第一模态数据和第二模态数据进行预处理；

模型构造模块，用于根据预处理后的数据，基于多种推荐算法结合构造个性化推荐模型；

推荐引擎模块，用于基于个性化推荐模型获取推荐结果集合，并将推荐结果推荐给目标用户。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述的医疗推荐方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的医疗推荐方法。

本发明相对于现有技术具有如下的有益效果：

1、本发明方法及系统采用多模态的心血管疾病信息数据，联合使用了图像数据处理和文本数据处理的方法，并应用于心血管疾病领域的个性化推荐模型构建。主要是心电图信号数据引入推荐系统领域，并结合原有的文本信息，从而能够针对用户，构建更为精准反映用户身体状况和需求的推荐模型。

2、本发明方法及系统采用了基于深度学习领域的深度因子分解机算法和传统的推荐算法结合，相比于传统的方法，引入深度算法后模型在特征选取和学习表达的优势，在医疗信息不断增加的情况下，提升了医疗推荐系统的推荐能力，从而有助于医疗资源的配置优化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的基于多模态心血管疾病信息的医疗推荐方法的的流程图。

图2为本发明实施例1的基于内容的过滤算法的原理架构图。

图3为本发明实施例1的基于多模态心血管疾病信息的医疗推荐系统的示意图。

图4为本发明实施例2的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本实施例提供了一种基于多模态心血管疾病医疗信息的医疗推荐方法，该方法主要应用于医疗推荐系统中，包括如下步骤：

S101、获取心血管疾病的临床文本模态数据，作为第一模态数据，以及获取心电图信号数据，作为第二模态数据，并对第一模态数据和第二模态数据进行预处理。

S1011、获取心血管疾病的临床文本模态数据，作为第一模态数据，具体为：从互联网的医疗相关网站采集获取各类心血管疾病相关的医疗信息数据，如中文医典医疗学术文章的疾病关键词信息，中文医疗电子病历，相关医院、科室、医生的信息，以及从用户获取个人信息和症状信息，将用户的症状文字描述、疾病特征信息、医院医生文本信息数据构成心血管疾病的临床文本模态数据，作为第一模态数据。

S1012、获取心电图信号数据，作为第二模态数据，具体为：获取用户自行上传的心电图信号数据，或基于智能穿戴设备获取用户的心电图信号数据，或基于便携心电图机获取用户的心电图信号数据，心电图信号数据为时序信号数据，其本身为影像信号模态数据，将心电图信号数据作为第二模态数据。

S1013、对第一模态数据和第二模态数据进行预处理，具体包括：

1)对获取的心血管疾病的临床文本模态数据进行识别提取，剔除无关信息，剩下主要信息，然后对主要信息进行结构化处理，并保存在数据库。

2)对获取的心电图信号数据(ECG)进行确定学习动态建模处理，得到心电动力学特征数据(CDG)，对心电动力学特征数据进行归一化处理，再通过特征运算，得到量化指标数据，然后对量化指标数据进行结构化处理，并保存在数据库。

具体地，对心电图信号数据(ECG)进行确定学习动态建模处理是指：通过临床验证有效的一种基于确定学习理论的心肌缺血辅助检测方法，将心电数据转化为心电动力学数据。确定学习理论通过RBF神经网络实现对心电数据的局部准确辨识，再将RBF神经网络的权值常值保存后建模，在进行三维可视化得到心电动力学特征数据(CDG)。

具体地，特征运算是通过一种心电动力学数据量化分析方法将心电动力学特征数据的空间离散量化特征进行提取后，采用几何平均的方法对特征进行处理得到量化指标数据。

S102、根据预处理后的数据，基于多种推荐算法结合构造个性化推荐模型。

进一步地，该步骤S102包括特征工程处理、数据划分和模型训练三个过程，这三个过程的具体说明如下：

S1021、特征工程：对预处理后的数据进行特征工程处理，得到结构化数据集。

在预处理后的数据中选择数据特征，对数据特征中的重复值、异常值和缺失值特征进行处理；缺失值特征的处理为随机填充、将缺失值特征作为一种信息以及将缺失值特征直接忽略中的一种，其中随机填充是指采用数据特征的均值、众数或中位数填充，重复值和异常值的处理为直接删除；对处理后的数据中的部分数值特征进行分桶或截断，即对特征进行离散化，得到稀疏特征，使得算法的内积乘法运算速度更快；对分桶或截断后的数据进行标准化处理，使其中的数据按等比例缩放，转化为无量纲数值，有助于提升后期模型训练的收敛速度，处理后得到结构化数据集。

S1022、数据划分：从结构化数据集中随机抽取数据，并划分为训练集和验证集。

从步骤S1021得到的结构化数据集中随机抽取数据，并划分为训练集和验证集，前者用于模型训练，后者用于模型验证。

S1023、模型训练：根据结构化数据集、训练集和验证集，利用多种推荐算法进行混合，构成个性化推荐模型。

个性化推荐模型主要由三种推荐算法进行混合构成，三种推荐算法分别为协同过滤算法、基于内容的过滤算法和深度因子分解机算法，结合步骤S1022的训练集和验证集分别使用协同过滤算法、基于内容的过滤算法和深度因子分解机算法(DeepFM算法)进行模型训练，并将得到的个性化推荐模型利用存储模型进行保存。

1)采用协同过滤算法，根据结构化数据集，计算用户之间的兴趣相似度，度量用户对推荐项目的感兴趣程度，得到用户相似度矩阵模型。

具体地，根据结构化数据集，使用如下Jaccard公式计算余弦相似度：

其中，A和B分别为用户集中两个不同的用户，N(A)和N(B)表示用户A和B感兴趣的项目集合，W

再使用如下公式计算，度量用户对推荐项目的感兴趣程度：

其中，S(A,K)包含和用户A兴趣最接近的K个用户，N(I)是对推荐项目I有过行为的用户集合，W

2)采用基于内容的过滤算法(该算法的原理架构如图2所示)，通过对用户的过往偏好信息进行内容分析，在结构化数据集中搜寻类似的信息并对比，使用相似度量计算，将相似度量数值大于预设阈值的项目，即相似度量数值高的项目，生成推荐排序列表返回给用户；通过过滤模块能够根据用户的实时反馈对推荐排序列表的内容进行筛选和过滤，得到内容过滤模型；同时在推荐完成后，将此次推荐相关信息进行存储，为下次推荐提供参考。

3)采用深度因子分解机算法，通过输入从结构化数据集中选取的相关离散特征，利用训练集进行训练，得到初始深度因子分解机模型。

记深度因子分解机模型的输出值为y，公式如下：

y＝sigmoid(y

其中，sigmoid代表机器学习领域常用的S型函数，y

利用训练集通过最小化下列函数来进行训练，得到初始深度因子分解机模型，函数公式如下：

其中，W,b为模型参数，y为模型输出值，y

通过验证集检测初始深度因子分解机模型的性能，直到训练误差满足设定阈值时停止训练，得到目标深度因子分解机模型，此时该目标深度因子分解机模型能够根据用户的输入信息输出推荐的项目列表。

4)将用户相似度矩阵模型、内容过滤模型和目标深度因子分解机模型利用线性加权融合方法混合后进行同步，得到个性化推荐模型，该个性化推荐模型进入后续步骤可为目标用户进行个性化推荐预测。

由于传统的推荐算法主要是协同过滤算法和基于内容的过滤算法，其推荐模型依赖大量的数据预处理，特征工程较为复杂耗时，推荐性能和精度有限，因此在推荐模型的精准度和个性化推荐能力上有一定欠缺。而本实施例将基于深度学习领域的深度因子分解机算法和传统的推荐算法结合，利用深度算法模型在特征选取和模型构建的优势，提升了医疗推荐系统的推荐能力。

S103、基于个性化推荐模型获取推荐结果集合，并将推荐结果推荐给用户。

步骤S103中，通过对数据库中的医疗信息数据建立索引，并应用个性化推荐模型进行召回和排序工作，将包含疾病、医院、科室和医生的推荐结果列表通过互联网和浏览器实时返回给用户，即可完成一次推荐流程；该步骤S103包括构建索引、结果召回和结果排序三个过程，这三个过程的具体说明如下：

S1031、构建索引：对数据库中的医疗信息数据构建索引，便于后续结果列表的选择和调用，提升医疗推荐系统的性能和工作效率。

S1032、结果召回：根据个性化推荐模型，对目标用户的输入信息进行解析并运算后，并结合索引分析，得到推荐结果集合。

S1033、结果排序：对得到的召回结果(即推荐结果集合)经过预设权重规则进行排序，得到前N项推荐结果，实时推荐给目标用户，完成一次推荐流程。

实施例2：

如图3所示，本实施例提供了一种基于多模态心血管疾病信息的医疗推荐系统，能够应用于医疗数据分析推荐领域，医疗推荐系统的主要应用价值在于为用户提供个性化的医疗信息，将原本较为抽象的医院、医生的医疗水平信息进行量化并排序，提升了用户对于医疗信息的信任和理解，优化医疗资源的配置，减少医疗资源的浪费，同时也有助于改善医患关系，为医疗事业的发展提供助力。本实施例的医疗推荐系统包括数据采集模块、模型构造模块和推荐引擎模块，各个模块的具体说明如下：

数据采集模块，用于采集获取各类心血管疾病相关的医疗信息数据并进行预处理，具体为：获取心血管疾病的临床文本模态数据，作为第一模态数据，以及获取心电图信号数据，作为第二模态数据，并对第一模态数据和第二模态数据进行预处理。

本实施例的数据采集模块可以包括第一模态数据获取单元、第二模态数据获取单元和预处理单元，第一模态数据获取单元、第二模态数据获取单元和预处理单元的具体说明如下：

第一模态数据获取单元，用于获取心血管疾病的临床文本模态数据，作为第一模态数据，具体为：从互联网的医疗相关网站采集，获取各类心血管疾病相关的医疗信息数据如中文医典医疗学术文章的疾病关键词信息，中文医疗电子病历，相关医院、科室、医生的信息，以及从用户获取个人信息和症状信息，将用户的症状文字描述、疾病特征信息、医院医生文本信息数据构成心血管疾病的临床文本模态数据，作为第一模态数据。

第二模态数据获取单元，用于获取心电图信号数据，作为第二模态数据，具体为：获取用户自行上传的心电图信号数据，或基于智能穿戴设备获取用户的心电图信号数据，或基于便携心电图机获取用户的心电图信号数据，心电图信号数据为时序信号数据，其本身为影像信号模态数据，将心电图信号数据作为第二模态数据。

预处理单元，用于对获取的心血管疾病的临床文本模态数据进行识别提取，剔除无关信息，并进行结构化处理；对获取的心电图信号数据进行确定学习动态建模处理，得到心电动力学特征数据，对心电动力学特征数据进行归一化处理，再通过特征运算，得到量化指标数据，并对量化指标数据进行结构化处理。

模型构造模块，用于对预处理后的数据进行处理，构造基于多种推荐算法的个性化推荐模型，具体为：根据预处理后的数据构建个性化推荐模型，个性化推荐模型是采用三种推荐算法混合构建，分别是协同过滤推荐算法、基于内容的过滤算法和深度因子分解机(deepFM)算法。个性化推荐模型构造完毕后，同步到推荐引擎模块。

模型构造模块中，推荐算法能实现医疗领域愈发复杂和多样化的信息推荐需求，有助于实现医疗资源的优化配置，因而受到重点研究。而基于推荐算法的智能医疗推荐系统能够针对不同用户个性化的医疗需求，提供相关的推荐信息，满足用户特定的医疗要求。比如，个性化推荐系统通过获取用户输入的个人信息，通过数据分析和模型构建，并结合用户其他信息和医疗数据，将个性化的医疗信息集合后推荐给用户。

推荐引擎模块，用于基于个性化推荐模型获取推荐结果集合，并将推荐结果推荐给目标用户，具体为：根据上述生成的个性化推荐模型，进行索引，召回和排序，为目标用户生成个性化的推荐结果，并将推荐结果推荐给目标用户。

在本实施例的具体实施过程中，基于多模态心血管疾病信息的医疗推荐系统的各个模块可由Python语言实现，在用户使用时，仅需要常规的浏览器和互联网连接即可完成相关的操作，无需其他附带软件，同时也不受操作系统的限制，在Linux，Windows，MacOS等操作平台皆可使用。

实施例3：

本实施例提供了一种计算机设备，该计算机设备可以是计算机，如图4所示，其包括通过系统总线401连接的处理器402、存储器、输入装置403、显示器404和网络接口405，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质406和内存储器407，该非易失性存储介质406存储有操作系统、计算机程序和数据库，该内存储器407为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器402执行存储器存储的计算机程序时，实现上述实施例1的医疗推荐方法，如下：

获取心血管疾病的临床文本模态数据，作为第一模态数据，以及获取心电图信号数据，作为第二模态数据，并对第一模态数据和第二模态数据进行预处理；

根据预处理后的数据，基于多种推荐算法结合构造个性化推荐模型；

基于个性化推荐模型获取推荐结果集合，并将推荐结果推荐给目标用户。

实施例3：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时，实现上述实施例1的医疗推荐方法，如下：

获取心血管疾病的临床文本模态数据，作为第一模态数据，以及获取心电图信号数据，作为第二模态数据，并对第一模态数据和第二模态数据进行预处理；

根据预处理后的数据，基于多种推荐算法结合构造个性化推荐模型；

基于个性化推荐模型获取推荐结果集合，并将推荐结果推荐给目标用户。

需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

综上所述，本发明引入了多模态的心血管医疗数据，根据用户的症状文字描述，疾病特征信息，医院医生文本信息数据构成第一模态信息，并获取用户心电图的时序波形信号数据构成第二模态信息，多模态信息结合进行特征表示能更为准确反映用户的身体情况和医疗需求，从而提升建模精度，并且本发明引入了深度因子分解机算法，使其与协同过滤推荐算法、基于内容的过滤算法进行混合的方式来构造个性化推荐模型，该混合模型具有更强的学习能力和模型拟合能力，能够提升医疗推荐系统的推荐能力。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。