文献主题内容分析方法及装置

技术领域

本发明涉及文本分析技术领域，尤其涉及一种文献主题内容分析方法及装置。

背景技术

随着数据科学的不断创新与发展，论文、专利、基金项目等学术研究载体数量迅速增长，内容丰富且深入，在研究内容中蕴含了大量高学术价值的知识，其中涉及专家学者的研究观点、研究方法、研究成果等重要的信息。面对海量学术信息，科技情报工作者、领域科研人员仅凭人工处理这些信息，并主观分析解读这些信息资源，不仅耗时耗力，而且难以全面、准确地识别出研究主题，获取有价值的信息。

因此，现亟需建立一种深层次、细粒度的主题识别与分析方法，辅助科研人员、情报人员对领域内容进行解读与分析。

发明内容

本发明提供一种文献主题内容分析方法及装置，用以解决现有技术中难以快速全面而又准确地识别出文献主题的缺陷，实现对文献进行深层次、细粒度的主题识别与分析。

本发明提供一种文献主题内容分析方法，包括：

获取目标领域的多个待分析文献；

将各待分析文献输入至主题词提取模型，得到所述主题词提取模型输出的各主题下的主题词，并生成各主题下的主题词扩展短语；将各待分析文献的摘要输入至语步标注模型，得到所述语步标注模型输出的各待分析文献的摘要的语步标注信息；

基于各主题下的主题词扩展短语以及各待分析文献的摘要的语步标注信息，生成各主题下待分析文献的分析文本。

根据本发明提供的一种文献主题内容分析方法，所述将各待分析文献输入至主题词提取模型，得到所述主题词提取模型输出的各主题下的主题词，包括：

将各待分析文献文本进行分词并向量化，得到各待分析文献对应的词袋向量；

基于各待分析文献文本分词结果中各词语的出现频次，将各待分析文献对应的词袋向量进行筛选，得到各待分析文献对应的目标词袋向量；

将各待分析文献对应的目标词袋向量输入至所述主题词提取模型，得到所述主题词提取模型输出的第一数量的主题和各主题对应的第二数量的主题词；其中，每个所述待分析文献与一个所述主题对应。

根据本发明提供的一种文献主题内容分析方法，所述生成各主题下的主题词扩展短语，包括：

基于各主题下的各主题词，确定各主题下第三数量的目标主题词；

基于各目标主题词和短语结构，构建主题词扩展短语集合；

通过语义相似度模型确定所述主题词扩展短语集合中各主题词扩展短语与各待分析文献的语义相似度；

基于所述主题词扩展短语集合中各主题词扩展短语与各待分析文献的语义相似度，从所述主题词扩展短语集合中确定第四数量的主题词扩展短语。

根据本发明提供的一种文献主题内容分析方法，所述基于各主题下的各主题词，确定各主题下第三数量的目标主题词，包括：

对各待分析文献的各主题词在对应的待分析文献中的出现频率进行统计；

基于各待分析文献的各主题词的出现频率，确定各主题下所述第三数量的目标主题词。

根据本发明提供的一种文献主题内容分析方法，所述语步标注模型为SCIBert模型，所述语步标注模型的训练数据通过以下方式获取：

获取数据库中的结构化摘要论文；

以论文的领域标签词语作为检索词，通过检索筛选研究方向为所述目标领域的文献并进行数据导出，得到所述目标领域的原始文献；

对所述目标领域的原始文献的摘要进行清洗，识别语步标签并提取得到不同语步标签后的句子。

根据本发明提供的一种文献主题内容分析方法，所述语步标签包括研究背景、研究目标、研究方法、结果和结论。

本发明还提供一种文献主题内容分析装置，包括：

获取模块，用于获取目标领域的多个待分析文献；

第一处理模块，用于将各待分析文献输入至主题词提取模型，得到所述主题词提取模型输出的各主题下的主题词，并生成各主题下的主题词扩展短语；将各待分析文献的摘要输入至语步标注模型，得到所述语步标注模型输出的各待分析文献的摘要的语步标注信息；

第二处理模块，用于基于各主题下的主题词扩展短语以及各待分析文献的摘要的语步标注信息，生成各主题下待分析文献的分析文本。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述文献主题内容分析方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述文献主题内容分析方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述文献主题内容分析方法。

本发明提供的文献主题内容分析方法及装置，通过主题提取、生成主题词扩展短语并对反映主题的文本进行语步功能标注，能更深层次、细粒度地对大量文献进行主题分析，更加有利于相关人员更加全面而又准确地对文献主题进行了解。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的文献主题内容分析方法的流程示意图；

图2是本发明提供的文献主题内容分析装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图3描述本发明的文献主题内容分析方法及装置。

本发明实施例的文献主题内容分析方法的执行主体可以是处理器，当然，在另一些实施例中，本发明实施例的文献主题内容分析方法的执行主体还可以是服务器，此处对执行主体的类型不做限制。下面以执行主体为处理器为例来对本发明实施例的文献主题内容分析方法进行说明。

如图1所示，本发明实施例的文献主题内容分析方法主要包括步骤110、步骤120以及步骤130。

步骤110、获取目标领域的多个待分析文献。

可以理解的是，相同领域的文献在词语以及短语上具有一定的相似度，能够方便进行批量处理。

目标领域可以是科技情报工作者、领域科研人员需要查阅、分析以及学习的领域。

待分析文献可以从相关的数据库中经过筛选后批量导出，并按照一定的文档格式载体进行呈现。

步骤120，将各待分析文献输入至主题词提取模型，得到主题词提取模型输出的各主题下的主题词，并生成各主题下的主题词扩展短语；将各待分析文献的摘要输入至语步标注模型，得到语步标注模型输出的各待分析文献的摘要的语步标注信息。

需要说明的是，在获取到批量的待分析文献后，需要对各待分析文献进行主题识别与分析。主题识别的目的是对大规模的数据信息进行处理和分析，从而快速抽取其中的研究主题，并使用表征词对关键性的信息进行表示。

需要说明的是，主题可以用于表示在目标领域下更加细分的领域。主题可以是一个抽象的类型概念，可用不同具体的词语进行表示。

在一些实施例中，将各待分析文献输入至主题词提取模型，得到主题词提取模型输出的各主题下的主题词包括以下步骤。

需要说明的是，主题词提取模型可以是LDA(Latent Dirichlet Allocation，潜在狄利克雷分配模型)模型。LDA模型是一种主题抽取模型，属于无监督的算法模型，LDA模型可以从一份文档中提取出文档的主题以及主题对应的主题词。

LDA模型的主题模型(Topic Model)能够识别文档里的主题，并且挖掘语料里隐藏的信息，在主题聚合、从非结构化文本中提取信息、特征选择等场景有广泛的用途。

本发明实施例通过LDA主题模型，将文档-词汇矩阵变成文档-主题矩阵和主题-主题词汇矩阵，进而得到主题和各主题对应的主题词。

可以理解的是，可以先将各待分析文献文本进行分词并向量化，得到各待分析文献对应的词袋向量。

需要说明的是，可以采用NLTK、Spacy、Gemsim等Python工具包对文本内容进行分词、去停用词、词型还原、词性标注等操作。文本向量表示过程中，通过压缩词向量，降低高频词和低频词对主题识别影响，最后提取分词结果用于LDA主题识别。

在进行主题提取前可以构造领域词典，并利用领域词典自定义分词字典来进行文本分词，进而有助于提高切分词语的准确率。

在本实施方式中，以农业领域为例，可以挑选WOS(Web of Science)数据库中农业领域期刊，提取近5年发表论文的作者添加关键词(Author plus key words)以及KeywordPlus关键词，并以此为基础，通过数据清洗过滤无意义词语，确定91万条领域词语。

在本实施方式中，可以基于Python中主题模型工具包Gemsim进行主题抽取，将每一篇文档文本分词后向量化，转化为词袋(BOW，Bag of words)向量。

在此基础上，再基于各待分析文献文本分词结果中各词语的出现频次，将各待分析文献对应的词袋向量进行筛选，得到各待分析文献对应的目标词袋向量。

在词袋构建过程中，本文对文献中摘要文本转化的同时，对文档标题和关键词也进行转化，通过实验计算给予三部分文献的内容一定权重，以提高文本主题聚类效果。

进一步地，将各待分析文献对应的目标词袋向量输入至主题词提取模型，得到主题词提取模型输出的第一数量的主题和各主题对应的第二数量的主题词；其中，每个待分析文献与一个主题对应。

换言之，通过基于语料分词结果构造字典和词袋，并对词袋向量进行压缩，减少高频词和低频次对主题识别的影响。例如，可以去掉出现在全部语料中频次小于2的词，以及留下在50％的文档都出现的词语，得到目标词袋向量。再将经过筛选后的目标词袋向量输入LDA模型。

LDA模型的参数如第一数量和第二数量可以根据需要来进行设置，此处不作限制。例如，本发明实施例中LDA主题模型参数可以设置为：第一数量的主题个数为4个，迭代次数1000次，输出第二数量的主题词个数为10个。

在本实施方式中，通过LDA模型能够批量提取文献的主题和主题词，能够有效提高处理效率。

现有技术中，在主题识别方法上开展了深入研究，主要集中在共词分析和主题模型两个方向。通过构建词语共现网络，利用复杂网络算法识别研究主题，并通过机器学习算法挖掘隐藏在文档中的主题表征词信息。然而单独使用缺乏上下文语境的词汇作为主题表征词，很难准确揭示主题含义。

由于短语相比词汇更能表达丰富的语义信息，易于理解和分析。因此，从主题表示形式角度出发，本实施方式中，在确定出主题词后，再生成短语结构的主题词扩展短语。

在本实施方式中，生成各主题下的主题词扩展短语，包括：基于各主题下的各主题词，确定各主题下第三数量的目标主题词。

可以对各待分析文献的各主题词在对应的待分析文献中的出现频率进行统计。

在得到频率后，再基于各待分析文献的各主题词的出现频率，确定各主题下第三数量的目标主题词。

需要说明的是，第三数量可以根据实际需要去进行设定，例如第三数量可以是3或者4等。

以第三数量为3为例，可以将待分析文献中出现频率前三的主题词挑选出。

在本实施方式中，通过分析主题词在待分析文献中的频率来筛选目标主题词，能够更好地反映目标主题词与待分析文献主题之间的关联性，进而能确定出更加准确的主题词。

在确定出目标主题词的基础上，可以基于各待分析文献的目标主题词和短语结构，构建主题词扩展短语集合。

短语结构根据语法以及词语的词性来进行确定。根据目标主题词的词性以及语法，确定出该目标主题词可能的短语结构，并在此基础上，根据本领域的短语库，构建主题词扩展短语集合。

在得到主题词扩展短语集合后，可以通过语义相似度模型确定主题词扩展短语集合中各主题词扩展短语与各待分析文献的语义相似度。

在一些实施例中，可以选取适用语义-文本相似度(STS，Semantic TextualSimilarity)任务的Sentence-BERT预训练模型，本实施例中选择paraphrase-distilroberta-base-v2模型对文本进行表示。

在构建主题词扩展短语集合后，以LDA模型主题识别得到的主题词作为种子词，结合短语结构搭配对文本进行划分，利用预训练模型将候选短语和文本嵌入到向量空间，使用余弦相似度计算找到与待分析文献相似的主题词扩展短语，以此描述整个待分析文献的主题内容，

换言之，基于主题词扩展短语集合中各主题词扩展短语与各待分析文献的语义相似度，从主题词扩展短语集合中确定各待分析文献第四数量的主题词扩展短语。

在本实施方式中，通过计算主题词扩展短语与待分析文献的语义相似度，能够尽可能获得与待分析文献主题贴合的主题词扩展短语。

例如，针对某一批农业领域的文献，提取出四个主题的主题词如下。

Topic0：plant、root、abundance、diversity、rhizosphere、microbial、alter、biomass、decomposition以及isolate；

Topic1：model、area、sample、sediment、predict、map、soil erosion,、soilproperties、erosion以及parameter；

Topic2：treatment、concentration、biochar、content、crop、plant、fertilizer、Cd、maize以及nutrient；

Topic3：soil quality、SOC、depth、content、plot、aggregate、soil properties、tillage、layer以及cover crop。

例如，以上述Topic0中的目标主题词plant为例，可以得到plant traits、wholeplant effects以及plant variables这三个主题词扩展短语构成的主题词扩展短语集合，再进一步通过语义相似度的计算，确定待分析文献的一个主题词扩展短语为planttraits。

需要说明的是，将各待分析文献的摘要输入至语步标注模型，可以得到语步标注模型输出的各待分析文献的摘要的语步标注信息。摘要是文献体裁中重要的次语体，摘要在结构和功能上的独立性和自含性使其成为一种独立的学术语篇体裁。

学术语篇体裁最常用的分析方法就是语步分析。在本实施方式中，用于语步分析的语步标注模型为SCIBert模型，

本实施方式中，将语步标注任务转化为文本分类任务，通过选取预训练模型，构建语步标签的训练集，训练得到用于文本语步分类的SCIBert模型，以实现对文本内容的语步标注。

科技文本摘要的内容高度凝练，具有结构化的撰写模式。在本实施方式中，语步标签包含：研究背景(BACKGROUND)、研究目标(OBJECTIVE)、研究方法(METHODS)、结果(RESULTS)、结论(CONCLUSIONS)等五类，以此描述文献的核心思想。

本实施方式中采用的SCIBert预训练模型标注上述五类语步结构。SCIBert预训练模型是一个利用大型科学出版物语料库(包括生物医学(82％)以及计算机科学(18％)方向总共114万篇论文样本)进行无监督预训练的BERT模型，因此，更加适用于科技文本数据的自然语言处理任务。

训练数据的特性和数量是决定一个模型性能好坏的最主要因素。例如针对农业领域，可以重点针对农业领域科技文本进行主题分析，现有公开数据集未涉及农业领域，因此，可以先构建农业领域语步标注训练数据集，再对预训练模型进行微调，将使得模型更好的适应农业领域文本标注任务。

语步标注模型即SCIBert模型的训练数据可以通过以下方式获取。

先获取数据库中的结构化摘要论文，以论文的领域标签词语作为检索词，通过检索筛选研究方向为目标领域的文献并进行数据导出，得到目标领域的原始文献，进而保证语步标注训练数据的准确性和权威性。

在此基础上，再对目标领域的原始文献的摘要进行清洗，识别语步标签并提取得到不同语步标签后的句子。

例如，本实施例以WOS(Web Of Science)数据库中的结构化摘要论文作为语料来源，以标签词语作为检索词，通过检索筛选研究方向为农业领域的文献进行数据导出，利用Python工具对论文摘要进行清洗，识别标签并提取不同标签后的句子。

在训练过程中，本实施方式中，使用Pytorch深度学习框架，选用SCIBert中推荐的scibert-scivocab-uncased预训练模型进行语步识别任务训练，模型首先对输入的语步标签、句子文本进行编码，转为模型需要的编码格式，使用辅助标记符[CLS]和[SEP]来表示句子的开始和分隔，然后根据输入得到对应的embedding，在得到整体的embedding后使用模型进行学习，最终根据本任务的分类层得到语步标注结果。

在得到训练好的语步标注模型后，将各待分析文献的摘要输入至语步标注模型，得到语步标注模型输出的各待分析文献的摘要的语步标注信息

步骤130，基于各待分析文献的目标主题词扩展短语以及各待分析文献的摘要的语步标注信息，生成各待分析文献的分析文本。

可以理解的是，可以直接将各待分析文献的目标主题词扩展短语以及各待分析文献的摘要的语步标注信息以文本的形式进行展示后输出，生成各待分析文献的分析文本，以便于相关人员直接查阅。

以农业领域为例，若通过LDA主题识别结果得到Topic0：农业资源环境研究主题下的plant traits、root traits、abundance effects、microbial traits以及rhizosphereeffect为目标主题词对应的主题词扩展短语，则可以确定Topic0主要研究作物根际与微生物多样性，如有机微生物分解、微生物多样性、根际微生物对作物生长的影响。

本发明实施例中，通过提出基于LDA和语步标注的主题识别与分析方法，在LDA模型基础上，通过短语结构分析和深度学习模型对主题表征词进行语义扩展，获取主题词扩展短语，提高了主题解读性。同时，引入语步分析法，通过构建领域语步训练数据集，基于SCIBert预训练模型，训练语步标注模型，并对主题结果进行句子功能标注，以提高主题内容在功能结构层面的理解与分析。

根据本发明实施例提供的文献主题内容分析方法，通过主题提取、生成主题词扩展短语并对反映主题的文本进行语步功能标注，能更深层次、细粒度地对大量文献进行主题分析，更加有利于相关人员更加全面而又准确地对文献主题进行了解。

下面对本发明提供的文献主题内容分析装置进行描述，下文描述的文献主题内容分析装置与上文描述的文献主题内容分析方法可相互对应参照。

如图2所示，本发明实施例的文献主题内容分析装置包括获取模块210、第一处理模块220以及第二处理模块230。

获取模块210用于获取目标领域的多个待分析文献；

第一处理模块220用于将各待分析文献输入至主题词提取模型，得到主题词提取模型输出的各主题下的主题词，并生成各主题下的主题词扩展短语；将各待分析文献的摘要输入至语步标注模型，得到语步标注模型输出的各待分析文献的摘要的语步标注信息；

第二处理模块230用于基于各主题下的主题词扩展短语以及各待分析文献的摘要的语步标注信息，生成各主题下待分析文献的分析文本。

根据本发明实施例提供的文献主题内容分析装置，通过主题提取、生成主题词扩展短语并对反映主题的文本进行语步功能标注，能更深层次、细粒度地对大量文献进行主题分析，更加有利于相关人员更加全面而又准确地对文献主题进行了解。

在一些实施例中，第一处理模块220还用于将各待分析文献文本进行分词并向量化，得到各待分析文献对应的词袋向量；基于各待分析文献文本分词结果中各词语的出现频次，将各待分析文献对应的词袋向量进行筛选，得到各待分析文献对应的目标词袋向量；将各待分析文献对应的目标词袋向量输入至主题词提取模型，得到主题词提取模型输出的第一数量的主题和各主题对应的第二数量的主题词；其中，每个待分析文献与一个主题对应。

在一些实施例中，第一处理模块220还用于基于各主题下的各主题词，确定各主题下第三数量的目标主题词；基于各目标主题词和短语结构，构建主题词扩展短语集合；通过语义相似度模型确定主题词扩展短语集合中各主题词扩展短语与各待分析文献的语义相似度；基于主题词扩展短语集合中各主题词扩展短语与各待分析文献的语义相似度，从主题词扩展短语集合中确定第四数量的主题词扩展短语。

在一些实施例中，第一处理模块220还用于对各待分析文献的各主题词在对应的待分析文献中的出现频率进行统计；基于各待分析文献的各主题词的出现频率，确定各主题下第三数量的目标主题词。

在一些实施例中，语步标注模型为SCIBert模型，语步标注模型的训练数据通过以下方式获取：获取数据库中的结构化摘要论文；以论文的领域标签词语作为检索词，通过检索筛选研究方向为目标领域的文献并进行数据导出，得到目标领域的原始文献；对目标领域的原始文献的摘要进行清洗，识别语步标签并提取得到不同语步标签后的句子。

在一些实施例中，语步标签包括研究背景、研究目标、研究方法、结果和结论。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行文献主题内容分析方法，该方法包括：获取目标领域的多个待分析文献；将各待分析文献输入至主题词提取模型，得到主题词提取模型输出的各主题下的主题词，并生成各主题下的主题词扩展短语；将各待分析文献的摘要输入至语步标注模型，得到语步标注模型输出的各待分析文献的摘要的语步标注信息；基于各主题下的主题词扩展短语以及各待分析文献的摘要的语步标注信息，生成各主题下待分析文献的分析文本。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的文献主题内容分析方法，该方法包括：获取目标领域的多个待分析文献；将各待分析文献输入至主题词提取模型，得到主题词提取模型输出的各主题下的主题词，并生成各主题下的主题词扩展短语；将各待分析文献的摘要输入至语步标注模型，得到语步标注模型输出的各待分析文献的摘要的语步标注信息；基于各主题下的主题词扩展短语以及各待分析文献的摘要的语步标注信息，生成各主题下待分析文献的分析文本。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的文献主题内容分析方法，该方法包括：获取目标领域的多个待分析文献；将各待分析文献输入至主题词提取模型，得到主题词提取模型输出的各主题下的主题词，并生成各主题下的主题词扩展短语；将各待分析文献的摘要输入至语步标注模型，得到语步标注模型输出的各待分析文献的摘要的语步标注信息；基于各主题下的主题词扩展短语以及各待分析文献的摘要的语步标注信息，生成各主题下待分析文献的分析文本。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。