影像报告生成方法、装置、计算机设备和存储介质
文献发布时间：2023-06-19 10:19:37
技术领域
本申请涉及影像报告技术领域，特别是涉及一种影像报告生成方法、装置、计算机设备和存储介质。
背景技术
随着医疗影像设备的发展，医疗影像在临床诊断中的作用越来越重要。
通常情况下，获得医疗影像后都会依据医疗影像形成影像报告。现有的影像报告生成方式是将获得的医疗影像填充到预先提供的影像报告的模板中，模板中未填充的部分由阅片医生手动填写。
但是，这种影像报告的生成方式效率很低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高影像报告生成效率的影像报告生成方法、装置、计算机设备和存储介质。
一种影像报告生成方法，该方法包括：
获取目标影像，并从目标影像中截取出第一特征影像；其中，第一特征影像为目标影像中感兴趣区域的影像；
根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；
基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；
根据目标影像、影像描述信息和诊断结果信息生成影像报告。
在其中一个实施例中，在上述基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息之前，该方法还包括：
确定领域知识图谱的图谱结构；图谱结构包括实体类型和实体连接关系；
获取预设领域的原始文本和原始影像，从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系；
根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱。
在其中一个实施例中，实体类型包括原始影像、特征影像、疾病、诱因、症状、药物中的至少一种；
实体连接关系包括观察、相克、使用中的至少一种。
在其中一个实施例中，上述从原始文本和原始影像中提取出多个实体数据，包括：
对于原始文本，将原始文本输入到预先训练的分词模型中，得到分词模型输出的多个分词结果；
将多个分词结果输入到预先训练的实体识别模型中，得到实体识别模型输出的特征文本，并将特征文本确定为实体数据。
在其中一个实施例中，上述确定多个实体数据之间的关联关系，包括：
将原始文本和多个特征文本输入到预先训练的关系提取模型中，得到关系提取模型输出的多个特征文本之间的关联关系。
在其中一个实施例中，上述从原始文本和原始影像中提取出多个实体数据，包括：
对于原始影像，将原始影像输入到预先训练的识别模型中，得到识别模型输出的识别结果；识别结果用于指示原始影像中的感兴趣区域；
从原始影像中截取出感兴趣区域的特征影像，并将特征影像确定为实体数据。
在其中一个实施例中，该方法还包括：
将特征影像存储到特征影像库中，并将特征影像和原始影像之间的关联关系存储到预先设置的数据表中。
在其中一个实施例中，上述从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系，包括：
从原始文本中提取出原始影像对应的影像描述文本和诊断结果文本，并将影像描述文本和诊断结果文本确定为实体数据；
从原始影像中提取出特征影像，并将特征影像确定为实体数据；
建立特征影像、影像描述文本和诊断结果文本之间的关联关系。
在其中一个实施例中，上述根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱，包括：
根据多个实体数据之间的关联关系将多个实体数据组成多个三元组；
将多个三元组存储到预先设置的图数据库中，得到领域知识图谱。
在其中一个实施例中，上述基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的影像描述信息和诊断结果信息，包括：
在领域知识图谱中查找第二特征影像，并获取第二特征影像对应的影像描述集合和诊断结果集合；影像描述集合由多个影像描述文本组成，诊断结果集合由多个诊断结果文本组成；
对影像描述集合和诊断结果集合进行去重处理，得到去重后的影像描述文本和诊断结果文本，并根据去重后的影像描述文本和诊断结果文本确定影像描述信息和诊断结果信息。
在其中一个实施例中，上述在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像，包括：
将第一特征影像分别与特征影像库中的各特征影像进行相似度计算，得到多个相似度；
将特征影像库中相似度满足预设条件的特征影像确定为第二特征影像。
在其中一个实施例中，该方法还包括：
基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的疾病信息、诱因信息、症状信息和药物信息；
根据目标影像、影像描述信息、诊断结果信息、疾病信息、诱因信息、症状信息和药物信息生成影像报告。
一种影像报告生成装置，该装置包括：
影像截取模块，用于获取目标影像，并从目标影像中截取出第一特征影像；其中，第一特征影像为目标影像中感兴趣区域的影像；
影像查找模块，用于根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；
第一信息查找模块，用于基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；
第一报告生成模块，用于根据目标影像、影像描述信息和诊断结果信息生成影像报告。
在其中一个实施例中，该装置还包括：
结构确定模块，用于确定领域知识图谱的图谱结构；图谱结构包括实体类型和实体连接关系；
数据和关系提取模块，用于获取预设领域的原始文本和原始影像，从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系；
图谱构建模块，用于根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱。
在其中一个实施例中，实体类型包括原始影像、特征影像、疾病、诱因、症状、药物中的至少一种；
实体连接关系包括观察、相克、使用中的至少一种。
在其中一个实施例中，上述数据和关系提取模块，具体用于对于原始文本，将原始文本输入到预先训练的分词模型中，得到分词模型输出的多个分词结果；将多个分词结果输入到预先训练的实体识别模型中，得到实体识别模型输出的特征文本，并将特征文本确定为实体数据。
在其中一个实施例中，上述数据和关系提取模块，具体用于将原始文本和多个特征文本输入到预先训练的关系提取模型中，得到关系提取模型输出的多个特征文本之间的关联关系。
在其中一个实施例中，上述数据和关系提取模块，具体用于对于原始影像，将原始影像输入到预先训练的识别模型中，得到识别模型输出的识别结果；识别结果用于指示原始影像中的感兴趣区域；从原始影像中截取出感兴趣区域的特征影像，并将特征影像确定为实体数据。
在其中一个实施例中，该装置还包括：
影像存储模块，用于将特征影像存储到特征影像库中，并将特征影像和原始影像之间的关联关系存储到预先设置的数据表中。
在其中一个实施例中，上述数据和关系提取模块，具体用于从原始文本中提取出原始影像对应的影像描述文本和诊断结果文本，并将影像描述文本和诊断结果文本确定为实体数据；从原始影像中提取出特征影像，并将特征影像确定为实体数据；建立特征影像、影像描述文本和诊断结果文本之间的关联关系。
在其中一个实施例中，上述图谱构建模块，具体用于根据多个实体数据之间的关联关系将多个实体数据组成多个三元组；将多个三元组存储到预先设置的图数据库中，得到领域知识图谱。
在其中一个实施例中，上述第一信息查找模块，具体用于在领域知识图谱中查找第二特征影像，并获取第二特征影像对应的影像描述集合和诊断结果集合；影像描述集合由多个影像描述文本组成，诊断结果集合由多个诊断结果文本组成；对影像描述集合和诊断结果集合进行去重处理，得到去重后的影像描述文本和诊断结果文本，并根据去重后的影像描述文本和诊断结果文本确定影像描述信息和诊断结果信息。
在其中一个实施例中，上述影像查找模块，具体用于将第一特征影像分别与特征影像库中的各特征影像进行相似度计算，得到多个相似度；将特征影像库中相似度满足预设条件的特征影像确定为第二特征影像。
在其中一个实施例中，该装置还包括：
第二信息查找模块，用于基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的疾病信息、诱因信息、症状信息和药物信息；
第二报告生成模块，用于根据目标影像、影像描述信息、诊断结果信息、疾病信息、诱因信息、症状信息和药物信息生成影像报告。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标影像，并从目标影像中截取出第一特征影像；其中，第一特征影像为目标影像中感兴趣区域的影像；
根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；
基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；
根据目标影像、影像描述信息和诊断结果信息生成影像报告。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标影像，并从目标影像中截取出第一特征影像；其中，第一特征影像为目标影像中感兴趣区域的影像；
根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；
基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；
根据目标影像、影像描述信息和诊断结果信息生成影像报告。
上述影像报告生成方法、装置、计算机设备和存储介质，获取目标影像，并从目标影像中截取出第一特征影像；根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；根据目标影像、影像描述信息和诊断结果信息生成影像报告。本公开实施例中，终端可以利用预先构建的领域知识图谱自动生成影像报告，与现有技术相比，无需阅片医生手动填写影像报告，提高了影像报告的生成效率。
附图说明
图1为一个实施例中影像报告生成方法的应用环境图；
图2为一个实施例中影像报告生成方法的流程示意图；
图3为一个实施例中构建领域知识图谱步骤的流程示意图；
图4为一个实施例中图谱结构的示意图；
图5为一个实施例中领域知识图谱的示意图；
图6为一个实施例中查找与目标影像对应的影像描述信息和诊断结果信息步骤的流程示意图；
图7为一个实施例中生成影像报告步骤的流程示意图；
图8为一个实施例中影像报告的示意图；
图9为一个实施例中影像报告生成装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的影像报告生成方法，可以应用于如图1所示的应用环境中。该应用环境可以包括终端102和服务器104，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种影像报告生成方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤201，获取目标影像，并从目标影像中截取出第一特征影像。
其中，目标影像可以包括CT(Computed Tomography，电子计算机断层扫描)影像、MR(Magnetic Resonance，磁共振)影像、PET(Positron Emission Computed Tomography，正电子发射型计算机断层显像)影像、X光片(X-Ray)、超声影像中的至少一种；第一特征影像为目标影像中感兴趣区域的影像。
终端获取目标影像的方式可以有多种，比如从影像设备获取目标影像，或者从影像数据库获取目标影像。本公开实施例对目标影像的获取方式不做限定。
终端获取到目标影像后，识别出目标影像中的感兴趣区域；然后将感兴趣区域内的影像截取出来作为第一特征影像。
其中一种确定感兴趣区域的方式，可以包括：将目标影像输入到预先训练的识别模型中，得到识别模型输出的目标影像中的感兴趣区域。另一种确定感兴趣区域的方式，可以包括：接收用户针对目标影像的选取操作，根据选取操作确定目标影像中的感兴趣区域。本公开实施例对感兴趣区域的确定方式不做限定。
步骤202，根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像。
预先设置特征影像库，在从目标影像中截取出第一特征影像后，终端将第一特征影像分别与特征影像库中的各特征影像进行相似度计算，得到多个相似度；然后，终端将特征影像库中相似度满足预设条件的特征影像确定为第二特征影像。其中，预设条件可以包括相似度大于预设阈值。
例如，计算第一特征影像A与特征影像库中的特征影像1之间的相似度1，计算第一特征影像A与特征影像库中的特征影像2之间的相似度2，以此类推计算出多个相似度。假如预设阈值设置为95％，则可以将相似度大于95％的特征影像确定第二特征影像。
步骤203，基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息。
其中，影像描述信息包括影像中感兴趣区域的形状、尺寸和纹理中的至少一种。诊断结果信息包括影像中感兴趣区域的诊断结果。
预先构建领域知识图谱，在从特征影像库中查找到与第一特征影像相似的第二特征影像之后，终端根据第二特征影像在领域知识图谱中进行查找，查找出与第二特征影像关联的影像描述信息和诊断结果信息，这些影像描述信息和诊断结果信息即为目标影像对应的影像描述信息和诊断结果信息。
步骤204，根据目标影像、影像描述信息和诊断结果信息生成影像报告。
可以预先设置影像报告模板，在查找出目标影像的影像描述信息和诊断结果信息之后，终端可以将就诊对象的基础信息、目标影像、影像描述信息和诊断结果信息填充到影像报告模型中，然后自动生成影像报告。
上述影像报告生成方法中，终端获取目标影像，并从目标影像中截取出第一特征影像；根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；根据目标影像、影像描述信息和诊断结果信息生成影像报告。本公开实施例中，终端可以利用预先构建的领域知识图谱自动生成影像报告，与现有技术相比，无需阅片医生手动填写影像报告，提高了影像报告的生成效率。
在一个实施例中，如图3所示，在上述基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息的步骤之前，还可以包括如下步骤：
步骤301，确定领域知识图谱的图谱结构。
其中，图谱结构包括实体类型和实体连接关系。对于医疗领域知识图谱，如表1所示，实体类型包括原始影像、特征影像、疾病、诱因、症状、药物中的至少一种；实体连接关系包括观察、相克、使用中的至少一种。
表1
确定实体类型和实体连接关系后，可以根据上述实体类型和实体连接关系确定如图4所示的图谱结构。
步骤302，获取预设领域的原始文本和原始影像，从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系。
预设领域可以包括医疗领域，终端获取原始文本和原始影像的方式可以包括：从书籍、报刊、网络获取医学常识的原始文本；从电子病历、化验单、诊断报告获取诊断相关的原始文本和原始影像；从医疗影像设备获取原始影像。本公开实施例对获取方式不做限定。
在其中一个实施例中，终端可以将获取到原始文本存储到MySQL数据表中，将获取到原始影像以DICOM格式保存到影像数据库中，并将保存路径存储到MySQL数据表中。
终端获取到原始文本和原始影像后，可以从原始文本中提取出多个文本实体数据，并确定提取出的多个文本实体数据之间的关联关系；也可以从原始影像中提取出影像实体数据，并确定原始影像与影像实体数据之间的关联关系；还可以从原始文本和原始影像中提取出文本实体数据和影像实体数据，并确定文本实体数据和影像实体数据之间的关联关系。
步骤303，根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱。
在确定图谱结构、多个实体数据和多个实体数据之间的关联关系后，终端根据多个实体数据之间的关联关系将多个实体数据组成多个三元组；然后，将多个三元组存储到预先设置的图数据库中，得到领域知识图谱。
例如，以<实体，关系，实体>这样的三元组格式表示，可以将文本实体数据之间的关联关系表示为
上述实施例中，终端确定领域知识图谱的图谱结构；获取预设领域的原始文本和原始影像，从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系；根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱。现有技术中，知识图谱通常只包含文本；而本公开实施例根据文本和影像建立了多模态的领域知识图谱。与现有技术相比，本公开实施例所建立的领域知识图谱更加全面、更加准确。
在一个实施例中，上述从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系的步骤，可以包括采用以下方式实现：
其中一种实体数据提取方式包括：对于原始文本，将原始文本输入到预先训练的分词模型中，得到分词模型输出的多个分词结果；将多个分词结果输入到预先训练的实体识别模型中，得到实体识别模型输出的特征文本，并将特征文本确定为实体数据。
其中，分词模型和实体识别模型可以是终端自行训练的，也可以是由服务器训练好，终端再从服务器获取的。本公开实施例对此不做限定。
分词模型的训练过程可以包括：通过热词挖掘方式从海量文本中提取出常用词及其标准表达；根据校验人员对常用词及其标准表达的校验结果，生成同义词表。接着，将同义词表转换成分词词典，再将分词词典和人工标注的分词数据作为输入训练分词模型。
在其中一个实施例中，将原始文本输入到分词模型中，得到分词模型输出的多个分词结果后，终端针对分词结果进行N-Gram(N＝2,3,4…)的频次统计，并显示频次较高的K个N-Gram结果。接着，终端接收校验人员针对频次较高的K个N-Gram结果输入的校验信息，根据校验信息确定是否需要将每个N-Gram结果合并成一个词汇，然后将合并得到的词汇更新到上述分词词典中。例如，一个原始文本“肾弓形动脉以规则的间距发出放射状的分支”经分词模型分词后得到的分词结果为“肾弓形动脉以规则的间距发出放射状的分支”，从中可以得到9个3-Gram{“肾弓形动脉”，“弓形动脉以”，“动脉以规则”，“规则的间距”，“的间距发出”，“间距发出放射”，“发出放射状”，“放射状的”，“状的分支”}，经人工确认“肾弓形动脉”是一个专业术语，因此将“肾弓形动脉”合并成“肾弓形动脉”加入到分词词典中。之后，可以根据更新后的分词词典重新训练分词模型。通过对分词结果进行N-Gram频次统计并人工校验，可以解决医疗领域较长的专业词汇被分割开的问题。
实体识别模型的训练过程可以包括：获取训练样本集，基于训练样本集进行识别模型的训练，得到上述实体识别模型。上述实体识别模型可以采用Word2Vec+BiLSTM+CRF结构。本公开实施例对实体识别模型的结构不做限定。
与上述实体数据提取方式对应的关联关系确定方式包括：将原始文本和多个特征文本输入到预先训练的关系提取模型中，得到关系提取模型输出的多个特征文本之间的关联关系。
其中，关系提取模型可以是终端自行训练的；也可以是由服务器训练好，终端再从服务器获取的。本公开实施例对此不做限定。
终端将原始文本和上述提取到的多个特征文本输入到关系提取模型中，关系提取模型根据原始文本的内容确定多个特征文本之间的关联关系，并输出该关联关系。上述关系提取模型可以采用GRU模型，本公开实施例对关系提取模型的结构不做限定。
可以理解地，终端利用预先训练好的分词模型、实体识别模型和关系提取模型，可以快速、准确地从原始文本中提取出文本实体数据，并确定文本实体数据之间的关联关系，为构建领域知识图谱提供了大量文本依据。
另一种实体数据提取方式包括：对于原始影像，将原始影像输入到预先训练的识别模型中，得到识别模型输出的识别结果；从原始影像中截取出感兴趣区域的特征影像，并将特征影像确定为实体数据。
其中，识别结果用于指示原始影像中的感兴趣区域。例如，识别模型采用神经网络模型，将原始影像输入到神经网络模型后，神经网络模型输出原始影像中标有感兴趣区域识别框。接着，终端将感兴趣区域识别框中的特征影像截取出来作为实体数据。本公开实施例对识别模型的结构不做限定。
与上述实体数据提取方式对应的关联关系确定方式包括：将特征影像存储到特征影像库中，并将特征影像和原始影像之间的关联关系存储到预先设置的数据表中。
从原始影像中截取出特征影像后，将特征影像存储到预先设置的特征影像库中，并建立“原始影像-特征影像”这样的关联关系。之后，将关联关系存储到MySQL数据表中。本公开实施例对数据表的结构不做限定。
可以理解地，终端利用预先训练好的识别模型，可以快速、准确地从原始影像中截取出影像实体数据，并确定影像实体数据与原始影像之间的关联关系，为构建领域知识图谱提供了大量影像依据。
又一种实体数据提取方式：从原始文本中提取出原始影像对应的影像描述文本和诊断结果文本，并将影像描述文本和诊断结果文本确定为实体数据；从原始影像中提取出特征影像，并将特征影像确定为实体数据。
对于既包括原始文本和原始影像的原始数据，比如电子病历、诊断报告等，终端对原始影像进行识别，得到多个特征影像P＝{p
与上述实体数据的提取方式对应的关联关系确定方式可以包括：建立特征影像、影像描述文本和诊断结果文本之间的关联关系。
终端将影像描述文本和诊断结果文本存储到MySQL数据表中，将特征影像保存到特征影像库中，并将保存路径存储到MySQL数据表中。之后，建立关联关系“特征影像-[观察]-影像描述文本”，并用g(p
在其中一个实施例中，特征影像在保存到特征影像库中时，生成特征影像的唯一标识，建立特征影像与影像描述文本和诊断结果文本之间的关联关系时采用特征影像的唯一标识。
可以理解地，终端从原始文本和原始影像中提取出实体数据，为构建领域知识图谱提供了大量文本依据和影像依据，使得构建出的领域知识图谱更加全面、更加准确。
在一个实施例中，如图6所示，上述基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的影像描述信息和诊断结果信息的步骤，可以包括：
步骤401，在领域知识图谱中查找第二特征影像，并获取第二特征影像对应的影像描述集合和诊断结果集合。
其中，影像描述集合由多个影像描述文本组成，诊断结果集合由多个诊断结果文本组成。
终端从目标影像中截取出第一特征影像，根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像，其中，第二特征影像可以是一个也可以是多个。之后，终端在领域知识图谱中查找第二特征影像，与每个第二特征影像对应的影像描述文本和诊断结果文本可以是一个也可以是多个，这样，就获取到了多个影像描述文本和诊断结果文本。接着，将多个影像描述文本组成影像描述集合，将多个诊断结果文本组成诊断结果集合。
步骤402，对影像描述集合和诊断结果集合进行去重处理，得到去重后的影像描述文本和诊断结果文本，并根据去重后的影像描述文本和诊断结果文本确定影像描述信息和诊断结果信息。
由于影像描述集合中包括多个影像描述文本，这些影像描述文本可能存在重复描述的情况，因此需要对影像描述集合进行去重处理。同样地，对诊断结果结合也需要去重处理。去重处理的过程可以包括：对一个影像描述文本进行分词，得到分词结果；判断分词结果是否包含其他影像描述文本的文本内容，如果包含了另一个影像描述文本的内容，就将另一个影像描述文本去掉。诊断结果文本的去重处理可以参考上述过程，本公开实施例对此不做限定。
去重处理后，得到去重后的影像描述文本和诊断结果文本，将去重后的影像描述文本和诊断结果文本按照一定顺序排列，则得到了影像描述信息和诊断结果信息。
上述基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的影像描述信息和诊断结果信息的过程中，终端在领域知识图谱中查找第二特征影像，并获取第二特征影像对应的影像描述集合和诊断结果集合；对影像描述集合和诊断结果集合进行去重处理，得到去重后的影像描述文本和诊断结果文本，并根据去重后的影像描述文本和诊断结果文本确定影像描述信息和诊断结果信息。本公开实施例中，终端利用领域知识图像进行影像描述信息和诊断结果信息的查找，由于领域知识图谱为包含文本和影像的多模态知识图谱，因此，可以查找到更全面、更准确的影像描述信息和诊断结果信息。并且，终端对查找到的影像描述集合和诊断结果集合进行去重处理，可以避免影像报告中出现重复描述，使得影像报告更加简洁。
在一个实施例中，如图7所示，在上述实施例的基础上，还可以包括：
步骤205，基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的疾病信息、诱因信息、症状信息和药物信息。
领域知识图谱中与第二特征影像关联的还包括疾病信息，通过疾病信息可以通过关联查询推理得到疾病有关的诱因信息、症状信息和药物信息等，如图5所示。因此，在领域知识图谱中查找到第二特征影像所关联的影像描述文本和诊断结果后，还可以进一步查找到第二特征影像关联的疾病信息、诱因信息、症状信息和药物信息等。可以理解地，与第二特征影像关联的疾病信息、诱因信息、症状信息和药物信息即为目标影像对应的疾病信息、诱因信息、症状信息和药物信息。
步骤206，根据目标影像、影像描述信息、诊断结果信息、疾病信息、诱因信息、症状信息和药物信息生成影像报告。
终端可以预先设置影像报告模板，在获取到了目标影像对应的疾病信息、诱因信息、症状信息和药物信息后，将这些信息填充到影像报告模板的对应位置中，自动生成影像报告，如图8所示。
上述实施例中，终端基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的疾病信息、诱因信息、症状信息和药物信息；根据目标影像、影像描述信息、诊断结果信息、疾病信息、诱因信息、症状信息和药物信息生成影像报告。本公开实施例中，领域知识图谱不仅包含特征影像、影像描述文本和诊断结果文本，还包含疾病信息、诱因信息、症状信息和药物信息等，因此，与现有技术相比，本公开实施例结合知识图谱智能化的查询和推理功能丰富了影像报告的内容，可以为医生提供更多更全面的信息支持。
应该理解的是，虽然图2-图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种影像报告生成装置，包括：
影像截取模块501，用于获取目标影像，并从目标影像中截取出第一特征影像；其中，第一特征影像为目标影像中感兴趣区域的影像；
影像查找模块502，用于根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；
第一信息查找模块503，用于基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；
第一报告生成模块504，用于根据目标影像、影像描述信息和诊断结果信息生成影像报告。
在其中一个实施例中，该装置还包括：
结构确定模块，用于确定领域知识图谱的图谱结构；图谱结构包括实体类型和实体连接关系；
数据和关系提取模块，用于获取预设领域的原始文本和原始影像，从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系；
图谱构建模块，用于根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱。
在其中一个实施例中，实体类型包括原始影像、特征影像、疾病、诱因、症状、药物中的至少一种；
实体连接关系包括观察、相克、使用中的至少一种。
在其中一个实施例中，上述数据和关系提取模块，具体用于对于原始文本，将原始文本输入到预先训练的分词模型中，得到分词模型输出的多个分词结果；将多个分词结果输入到预先训练的实体识别模型中，得到实体识别模型输出的特征文本，并将特征文本确定为实体数据。
在其中一个实施例中，上述数据和关系提取模块，具体用于将原始文本和多个特征文本输入到预先训练的关系提取模型中，得到关系提取模型输出的多个特征文本之间的关联关系。
在其中一个实施例中，上述数据和关系提取模块，具体用于对于原始影像，将原始影像输入到预先训练的识别模型中，得到识别模型输出的识别结果；识别结果用于指示原始影像中的感兴趣区域；从原始影像中截取出感兴趣区域的特征影像，并将特征影像确定为实体数据。
在其中一个实施例中，该装置还包括：
影像存储模块，用于将特征影像存储到特征影像库中，并将特征影像和原始影像之间的关联关系存储到预先设置的数据表中。
在其中一个实施例中，上述数据和关系提取模块，具体用于从原始文本中提取出原始影像对应的影像描述文本和诊断结果文本，并将影像描述文本和诊断结果文本确定为实体数据；从原始影像中提取出特征影像，并将特征影像确定为实体数据；建立特征影像、影像描述文本和诊断结果文本之间的关联关系。
在其中一个实施例中，上述图谱构建模块，具体用于根据多个实体数据之间的关联关系将多个实体数据组成多个三元组；将多个三元组存储到预先设置的图数据库中，得到领域知识图谱。
在其中一个实施例中，上述第一信息查找模块503，具体用于在领域知识图谱中查找第二特征影像，并获取第二特征影像对应的影像描述集合和诊断结果集合；影像描述集合由多个影像描述文本组成，诊断结果集合由多个诊断结果文本组成；对影像描述集合和诊断结果集合进行去重处理，得到去重后的影像描述文本和诊断结果文本，并根据去重后的影像描述文本和诊断结果文本确定影像描述信息和诊断结果信息。
在其中一个实施例中，上述影像查找模块502，具体用于将第一特征影像分别与特征影像库中的各特征影像进行相似度计算，得到多个相似度；将特征影像库中相似度满足预设条件的特征影像确定为第二特征影像。
在其中一个实施例中，该装置还包括：
第二信息查找模块，用于基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的疾病信息、诱因信息、症状信息和药物信息；
第二报告生成模块，用于根据目标影像、影像描述信息、诊断结果信息、疾病信息、诱因信息、症状信息和药物信息生成影像报告。
关于影像报告生成装置的具体限定可以参见上文中对于影像报告生成方法的限定，在此不再赘述。上述影像报告生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种影像报告生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取目标影像，并从目标影像中截取出第一特征影像；其中，第一特征影像为目标影像中感兴趣区域的影像；
根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；
基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；
根据目标影像、影像描述信息和诊断结果信息生成影像报告。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定领域知识图谱的图谱结构；图谱结构包括实体类型和实体连接关系；
获取预设领域的原始文本和原始影像，从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系；
根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱。
在一个实施例中，实体类型包括原始影像、特征影像、疾病、诱因、症状、药物中的至少一种；
实体连接关系包括观察、相克、使用中的至少一种。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对于原始文本，将原始文本输入到预先训练的分词模型中，得到分词模型输出的多个分词结果；
将多个分词结果输入到预先训练的实体识别模型中，得到实体识别模型输出的特征文本，并将特征文本确定为实体数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将原始文本和多个特征文本输入到预先训练的关系提取模型中，得到关系提取模型输出的多个特征文本之间的关联关系。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对于原始影像，将原始影像输入到预先训练的识别模型中，得到识别模型输出的识别结果；识别结果用于指示原始影像中的感兴趣区域；
从原始影像中截取出感兴趣区域的特征影像，并将特征影像确定为实体数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将特征影像存储到特征影像库中，并将特征影像和原始影像之间的关联关系存储到预先设置的数据表中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
从原始文本中提取出原始影像对应的影像描述文本和诊断结果文本，并将影像描述文本和诊断结果文本确定为实体数据；
从原始影像中提取出特征影像，并将特征影像确定为实体数据；
建立特征影像、影像描述文本和诊断结果文本之间的关联关系。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据多个实体数据之间的关联关系将多个实体数据组成多个三元组；
将多个三元组存储到预先设置的图数据库中，得到领域知识图谱。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在领域知识图谱中查找第二特征影像，并获取第二特征影像对应的影像描述集合和诊断结果集合；影像描述集合由多个影像描述文本组成，诊断结果集合由多个诊断结果文本组成；
对影像描述集合和诊断结果集合进行去重处理，得到去重后的影像描述文本和诊断结果文本，并根据去重后的影像描述文本和诊断结果文本确定影像描述信息和诊断结果信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将第一特征影像分别与特征影像库中的各特征影像进行相似度计算，得到多个相似度；
将特征影像库中相似度满足预设条件的特征影像确定为第二特征影像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的疾病信息、诱因信息、症状信息和药物信息；
根据目标影像、影像描述信息、诊断结果信息、疾病信息、诱因信息、症状信息和药物信息生成影像报告。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取目标影像，并从目标影像中截取出第一特征影像；其中，第一特征影像为目标影像中感兴趣区域的影像；
根据第一特征影像在预先设置的特征影像库中进行查找，得到与第一特征影像匹配的第二特征影像；
基于预先构建的领域知识图谱和第二特征影像，查找出与目标影像对应的影像描述信息和诊断结果信息；
根据目标影像、影像描述信息和诊断结果信息生成影像报告。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定领域知识图谱的图谱结构；图谱结构包括实体类型和实体连接关系；
获取预设领域的原始文本和原始影像，从原始文本和原始影像中提取出多个实体数据，并确定多个实体数据之间的关联关系；
根据图谱结构、多个实体数据和多个实体数据之间的关联关系构建领域知识图谱。
在一个实施例中，实体类型包括原始影像、特征影像、疾病、诱因、症状、药物中的至少一种；
实体连接关系包括观察、相克、使用中的至少一种。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对于原始文本，将原始文本输入到预先训练的分词模型中，得到分词模型输出的多个分词结果；
将多个分词结果输入到预先训练的实体识别模型中，得到实体识别模型输出的特征文本，并将特征文本确定为实体数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将原始文本和多个特征文本输入到预先训练的关系提取模型中，得到关系提取模型输出的多个特征文本之间的关联关系。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对于原始影像，将原始影像输入到预先训练的识别模型中，得到识别模型输出的识别结果；识别结果用于指示原始影像中的感兴趣区域；
从原始影像中截取出感兴趣区域的特征影像，并将特征影像确定为实体数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将特征影像存储到特征影像库中，并将特征影像和原始影像之间的关联关系存储到预先设置的数据表中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
从原始文本中提取出原始影像对应的影像描述文本和诊断结果文本，并将影像描述文本和诊断结果文本确定为实体数据；
从原始影像中提取出特征影像，并将特征影像确定为实体数据；
建立特征影像、影像描述文本和诊断结果文本之间的关联关系。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据多个实体数据之间的关联关系将多个实体数据组成多个三元组；
将多个三元组存储到预先设置的图数据库中，得到领域知识图谱。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在领域知识图谱中查找第二特征影像，并获取第二特征影像对应的影像描述集合和诊断结果集合；影像描述集合由多个影像描述文本组成，诊断结果集合由多个诊断结果文本组成；
对影像描述集合和诊断结果集合进行去重处理，得到去重后的影像描述文本和诊断结果文本，并根据去重后的影像描述文本和诊断结果文本确定影像描述信息和诊断结果信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将第一特征影像分别与特征影像库中的各特征影像进行相似度计算，得到多个相似度；
将特征影像库中相似度满足预设条件的特征影像确定为第二特征影像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
基于预先构建的领域知识图谱和第二特征影像，查找与目标影像对应的疾病信息、诱因信息、症状信息和药物信息；
根据目标影像、影像描述信息、诊断结果信息、疾病信息、诱因信息、症状信息和药物信息生成影像报告
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
- 影像报告生成方法、装置、计算机设备和存储介质
- 影像报告模板的生成方法、计算机设备和存储介质