掌桥专利:专业的专利平台
掌桥专利
首页

领域术语层次关系的确定方法、装置

文献发布时间:2023-06-19 10:41:48


领域术语层次关系的确定方法、装置

技术领域

本申请涉及计算机及人工智能技术领域,具体而言,涉及一种领域术语层次关系的确定方法、装置。

背景技术

在领域术语层次关系的确定场景中,通常使用领域内文本内容的相似性来抽取术语语义关系,例如多层次术语聚类方法,其主要内容为在文本语料的基础上探讨术语语义表示、聚类数目确定、术语聚类标记以及类目标签抽取等方面的工作。

然而,现有术语聚类标记方法难以克服大规模术语所形成的高维稀疏语义空间,无法较好地保证术语聚类标记的精度与稳定性,从而无法提高领域术语层次关系的准确性。

基于此,如何提高领域术语层次关系的准确性是亟待解决的技术问题。

发明内容

本申请的实施例提供了一种领域术语层次关系的确定方法、装置、计算机程序产品或计算机程序、计算机可读介质及电子设备,进而至少在一定程度上可以提高领域术语层次关系的准确性。

本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面,提供了一种领域术语层次关系的确定方法,所述方法包括:获取目标领域内的至少两个术语,以及各个术语所对应的定义文本;基于所述定义文本,构建关键词矩阵,所述关键词矩阵用于表征所述定义文本中的关键词特征,并对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系;基于所述定义文本,构建术语共现矩阵,所述术语共现矩阵用于表征所述至少两个术语在所述定义文本中的共现特征,并对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第二层次关系;融合所述第二层次关系和所述第一层次关系,得到所述至少两个术语的目标层次关系。

根据本申请实施例的一个方面,提供了一种领域术语层次关系的确定装置,所述装置包括:获取单元,被用于获取目标领域内的至少两个术语,以及各个术语所对应的定义文本;第一构建单元,被用于基于所述定义文本,构建关键词矩阵,所述关键词矩阵用于表征所述定义文本中的关键词特征,并对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系;第二构建单元,被用于基于所述定义文本,构建术语共现矩阵,所述术语共现矩阵用于表征所述至少两个术语在所述定义文本中的共现特征,并对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第二层次关系;融合单元,被用于融合所述第二层次关系和所述第一层次关系,得到所述至少两个术语的目标层次关系。

根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中所述的领域术语层次关系的确定方法。

根据本申请实施例的一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中所述的领域术语层次关系的确定方法。

根据本申请实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的领域术语层次关系的确定方法。

在本申请的一些实施例所提供的技术方案中,通过各个术语所对应的定义文本,分别构建用于表征所述定义文本中关键词特征的关键词矩阵和用于表征所述至少两个术语在所述定义文本中的共现特征的术语共现矩阵,进一步通过对所述关键词矩阵进行谱聚类分析和对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第一层次关系和第二层次关系,最后融合所述第二层次关系和第一层次关系,得到目标层次关系。由于对术语共现矩阵进行形式概念分析能够有效地提高术语间层次关系的准确性,因此,通过将第二层次关系和第一层次关系进行融合,可以保证领域术语层次关系在满足召回率的情况下,进一步提高领域术语层次关系(即术语的目标层次关系)的准确性。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图;

图2示出了根据本申请一个实施例的领域术语层次关系模型演示图;

图3示出了根据本申请一个实施例的领域术语层次关系的确定方法的流程图;

图4示出了根据本申请一个实施例的构建关键词矩阵的细节流程图;

图5示出了根据本申请一个实施例的对所述关键词矩阵进行谱聚类分析的细节流程图;

图6示出了根据本申请一个实施例的按照所述聚类个数对所述关键词矩阵进行谱聚类分析的细节流程图;

图7示出了根据本申请一个实施例的在所述目标术语类簇中确定一个上位术语的细节流程图;

图8示出了根据本申请一个实施例的对领域术语进行多重聚类的模型演示图;

图9示出了根据本申请一个实施例的构建术语共现矩阵的细节流程图;

图10示出了根据本申请一个实施例的对所述术语共现矩阵进行形式概念分析的细节流程图;

图11示出了根据本申请一个实施例的确定领域术语层次关系的整体流程图;

图12示出了根据本申请一个实施例的领域术语层次关系的确定装置的框图;

图13示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。

此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。

需要说明的是:在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

还需要说明的是:本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示,系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种,当然也可以是其它具有定位功能的终端设备,例如水表。电表等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线通信链路、无线通信链路等等。

在本申请的一个实施例中,可以是服务器105获取来自终端设备的确定领域术语层次关系的请求,服务器105在获取目标领域内的至少两个术语,以及各个术语所对应的定义文本之后,首先基于所述定义文本,构建关键词矩阵,所述关键词矩阵用于表征所述定义文本中的关键词特征,并对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系,然后,服务器105基于所述定义文本,构建术语共现矩阵,所述术语共现矩阵用于表征所述至少两个术语在所述定义文本中的共现特征,并对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第二层次关系,最后,服务器105融合所述第二层次关系和所述第一层次关系,得到所述至少两个术语的目标层次关系。

领域术语层次关系的确定装置一般设置于服务器105中。但是,在本申请的其它实施例中,终端设备也可以与服务器具有相似的功能,从而执行本申请实施例所提供的领域术语层次关系的确定方案。

需要说明的是,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务的云服务器。

在对本申请中的领域术语层次关系的确定方案进行阐述之前,下面将结合图2对于领域术语及领域术语层次关系的概念进行一个简单的介绍。

参见图2,示出了根据本申请一个实施例的领域术语层次关系模型演示图。

首先,本申请中所提出的领域术语可以是指某一个专业领域内的专业术语(或者专业词语),例如“诊断”、“治疗”、“疾病”、“肿瘤”等等属于在医学领域中的术语。还例如“政府机关”、“检察院”、“专利局”、“执法”、“执法人员”、“警察”等等属于在政务领域中的术语。而领域术语层次关系则可以是指在一个领域内,术语与术语之间的关系,例如同位关系、上下位关系(从属关系或者父子关系)等等,比如,在医学领域中,“诊断”和“治疗”属于同位关系,“疾病”和“肿瘤”属于上下位关系(即“疾病”为上位术语,“肿瘤”为下位术语)。

在图2中,领域术语集合201中包括术语“B、C、D、E、F、G、H、I、J、K、L、M、N、O”,与之相对应的领域术语层次关系如图2中202所示,例如,术语“B、D、N”的术语层次关系为上下位关系,术语“B、E、J”的术语层次关系为同位关系。

以下对本申请实施例的技术方案的实现细节进行详细阐述:

图3示出了根据本申请的一个实施例的领域术语层次关系的确定方法的流程图,该领域术语层次关系的确定方法可以由具有计算处理功能的设备来执行,比如可以由图1中所示的服务器105来执行。参照图3所示,该领域术语层次关系的确定方法至少包括步骤310至步骤370,详细介绍如下:

在步骤310中,获取目标领域内的至少两个术语,以及各个术语所对应的定义文本。

在本申请中,所述目标领域可以是指某一个专业领域,比如医学专业领域,军事专业领域,人工智能专业领域,政务专业领域等等,本申请对此不做过多限定。进一步的,目标领域内的术语可以是指某一个专业领域内的多个专业术语,例如医学专业领域内的“诊断”、“治疗”、“疾病”、“肿瘤”等术语。

在本申请中,定义文本可以是针对术语的定义或者解释,其可以从网络平台上获取,例如,在网络中爬取领域术语的百科文本(比如百度百科,还比如维基百科,还比如文学字典等等),其中,一个术语可以对应一个定义文本。

在本申请中,通过将术语的定义文本作为确定领域术语层次关系的语料,可以增强语料丰富度,提高领域术语层次关系的准确性。

继续参照图3,在步骤330中,基于所述定义文本,构建关键词矩阵,所述关键词矩阵用于表征所述定义文本中的关键词特征,并对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系。

在本申请的一个实施例中,基于所述定义文本,构建关键词矩阵可以按照如图4所示的步骤执行。

参见图4,示出了根据本申请一个实施例的构建关键词矩阵的细节流程图。具体包括步骤331至332:

在步骤331中,通过词袋模型在所述定义文本中提取目标关键词,并确定所述目标关键词在所述定义文本中的权重,所述权重用于表征所述目标关键词在所述定义文本中的重要程度。

在步骤332中,基于所述权重,构建所述关键词矩阵。

在本申请中,通过词袋模型在所述定义文本中提取的目标关键词,能够在一定程度上反映所述定义文本的主题,进一步的,通过确定所述目标关键词在所述定义文本中的权重,可以体现出所述定义文本所对应术语的特征。

需要注意的是,所述目标关键词在所述定义文本中的权重可以根据目标关键词在定义文本中的存在情况来确定,当定义文本中不存在某一个目标关键词时,则该目标关键词在该定义文本中的权重可以为0,若某一个目标关键词在定义文本中出现的频次越高时,则该目标关键词在该定义文本中的权重可以越高。

基于所述权重,构建所述关键词矩阵,例如,存在两个术语A和B,对应的定义文本为a和b,通过词袋模型在定义文本a和b中提取的目标关键词为c1、c2、c3、c4。其中,目标关键词c1、c2、c3、c4在定义文本a中的权重分别为0.1、0、0.4、0.5,目标关键词c1、c2、c3、c4在定义文本b中的权重分别为0.7、0.1、0、0.2。基于此,基于定义文本a和b,构建的关键词矩阵可以为:{v

在本申请的一个实施例中,对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系,可以按照如图5所示的步骤执行。

参见图5,示出了根据本申请一个实施例的对所述关键词矩阵进行谱聚类分析的细节流程图。具体包括步骤333至334:

在步骤333中,对所述关键词矩阵依次进行线性降维和非线性降维,得到降维关键词矩阵。

在步骤334中,通过所述降维关键词矩阵,确定聚类个数,以按照所述聚类个数,对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系。

在本实施例中,可以通过主成分分析的算法实现对关键词矩阵的线性降维,通过主成分分析可以将高维特征映射到低维正交特征上,计算数据在正交特征上投影的方差,方差越大,正交特征包含的信息量越多,删去小特征值方向上的数据即可达到降维效果。

在本实施例中,可以通过T分布随机邻域嵌入的算法实现对关键词矩阵的非线性降维,其通过高维数据点之间的概率分布使得相似对象有更高的概率被选中,同时将对象点映射至低维空间构建概率分布,使二者尽可能相似,以达到降维的效果。

在本申请中,对所述关键词矩阵依次进行线性降维和非线性降维,既能保证对关键词矩阵的降维效率,又能保证降维精度。

在本申请中,对所述关键词矩阵进行降维,得到降维关键词矩阵,从而可以将关键词矩阵的高维稀疏语义空间压缩至降维关键词矩阵的低维稠密语义空间,使得语义特征更为集中,进而有利于确定聚类个数。

需要说明的是,本申请所提出的聚类个数是指在将所述至少两个术语进行聚类之后,得到的术语类簇的个数。

需要注意的是,在本申请的其它实施例中,也可以只通过线性降维对所述关键词矩阵进行降维,或者只通过非线性降维对所述关键词矩阵进行降维。

在本实施例中,按照所述聚类个数,对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系,可以按照如图6所示的步骤执行。

参见图6,示出了根据本申请一个实施例的按照所述聚类个数对所述关键词矩阵进行谱聚类分析的细节流程图。具体包括步骤3341至3342:

在步骤3341中,提取所述关键词矩阵的拉普拉斯矩阵,并对所述拉普拉斯矩阵的特征向量进行聚类分析,得到所述聚类个数的术语类簇,其中,每一个术语类簇中包括至少一个术语。

在本申请中,按照聚类个数,对所述关键词矩阵进行谱聚类分析,是指在聚类个数的指导下,对关键词矩阵进行谱聚类划分术语类簇。谱聚类是一种源于图论思想的聚类算法,将集中的数据点视为无向加权图的顶点,从而让数据点之间的相似关系转化为无向图的加权边,使得数据集的聚类转化为无向加权图的切分问题。谱聚类的核心在于对数据集拉普拉斯矩阵的特征向量进行聚类,以达到更为精准的划分效果,具体步骤如下:

第1步,输入关键词矩阵={v

第2步,将关键词矩阵图谱化,定义任意两点v

第3步,通过数据集的边权重计算相似度矩阵S

第4步,计算并获取L

T

第5步,对T

在本申请中,通过大规模术语所对应的定义文本转化而成的关键词矩阵是高维、稀疏的,谱聚类核心思想是通过将高维空间的数据映射至低维,从而实现对样本数据特征向量进行聚类,以达成对高维稀疏的关键词矩阵精准且稳定的划分,最终提升大规模术语的聚类效果。

继续参照图6,在步骤3342中,针对每一个目标术语类簇,在所述目标术语类簇中确定一个上位术语,并将在所述目标术语类簇内除所述上位术语之外的其它术语确定为所述上位术语的下位术语。

在本实施例中,针对每一个目标术语类簇,在所述目标术语类簇中确定一个上位术语,可以按照如图7所示的步骤执行。

参见图7,示出了根据本申请一个实施例的在所述目标术语类簇中确定一个上位术语的细节流程图。具体包括步骤3343至3345:

在步骤3343中,基于所述目标术语类簇中各个术语所对应的定义文本,构建子关键词矩阵。

在步骤3344中,基于所述子关键词矩阵,构建基于术语语义相似度的社会网络,以计算所述目标术语类簇中各个术语的术语中心度。

在步骤3345中,将所述术语中心度最高的术语确定为所述上位术语。

在本申请中,基于所述子关键词矩阵,计算所述目标术语类簇中各个术语的术语中心度,可以是在每个子关键词矩阵内以术语为属性构建术语特征向量,通过余弦算法计算术语特征向量的相似度,即可获得表示术语间相似度的术语矩阵,最后,将术语矩阵输入社会网络工具借助社会网络分析的方法计算术语中心度。

在本申请中,通过计算目标术语类簇中各个术语的术语中心度,并将术语中心度最高的术语确定为上位术语,能够提高对上位术语进行确定的准确性。

在本申请的一个实施例中,还可以对所述子关键词矩阵进行谱聚类分析,得到所述目标术语类簇中术语的第三层次关系,所述第三层次关系为所述第一层次关系的局部层次关系。

为了使本领域技术人员进一步理解该实施例,下面将结合图8以一个示例进行阐述:

参见图8,示出了根据本申请一个实施例的对领域术语进行多重聚类的模型演示图。

具体的,如图8所示,从左至右为术语聚类分裂的方向,其中,领域术语集合801为完整术语类簇,对其进行第一次谱聚类后得到2个一级术语类簇802,其中每簇最大的节点(该节点的术语中心度最大,其在该一级术语类簇中的语义相关性最广)被确定为在该一级术语类簇中的上位术语。

进一步的,可以分别对两个一级术语类簇所对应的子关键词矩阵进行再一次的谱聚类分析,需要说明的是,在再一次的谱聚类过程中,需要将一级术语类簇中的上位术语剔除。

在如图8所示的示例中,再一次对2个一级术语类簇进行谱聚类分析后得到4个二级术语类簇803,其中每个二级术语类簇803中的最大节点被确定为在该二级术语类簇803中的上位术语,从而分别得到在2个一级术语类簇中术语的第三层次关系。

需要说明的是,在图8中,上位术语1和上位术语2为同位关系,上位术语1-1和上位术语1-2为上位术语1的下位术语,上位术语2-1和上位术语2-2为上位术语2的下位术语,在每个二级术语类簇中,又包括一个上位术语和若干个下位术语,比如,上位术语1-1为另外两个术语的上位术语。

对于本领域技术人员而言,应该理解的是,图8中所示的二级术语类簇还可以进行谱聚类分析,从而继续分裂,最终得到领域术语集合801中全部术语的第一层次关系。

继续参照图3,在步骤350中,基于所述定义文本,构建术语共现矩阵,所述术语共现矩阵用于表征所述至少两个术语在所述定义文本中的共现特征,并对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第二层次关系。

在本申请的一个实施例中,基于所述定义文本,构建术语共现矩阵可以按照如图9所示的步骤执行。

参见图9,示出了根据本申请一个实施例的构建术语共现矩阵的细节流程图。具体包括步骤351至352:

在步骤351中,针对每一个定义文本,生成一个术语共现向量,其中,所述术语共现向量中的向量元素用于表征各个术语在所述定义文本中的存在情况。

在步骤352中,通过各个定义文本所对应的术语共现向量,构建所述术语共现矩阵。

在本申请中,各个术语在所述定义文本中可以包括“存在”或者“不存在”两种情况,当术语在所述定义文本中存在时,则可以用“1”表示,当术语在所述定义文本中不存在时,则可以用“0”表示。具体的,例如,若领域术语集合包括A、B、C、D四个术语,其中某一个定义文本W

进一步,当目标领域内至少两个术语所对应的定义文本为W

在本申请的一个实施例中,对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第二层次关系可以按照如图10所示的步骤执行。

参见图10,示出了根据本申请一个实施例的对所述术语共现矩阵进行形式概念分析的细节流程图。具体包括步骤353至354:

在步骤353中,基于所述术语共现矩阵,生成概念格结构,所述概念格结构用于表征所述定义文本与各个术语之间的关联关系。

在步骤354中,从所述概念格结构中提取所述至少两个术语的第二层次关系。

在本实施例中,通过所述术语共现矩阵,可以确定领域术语集合A(属性)、定义文本集合O(对象)以及及二者间的关系R,从而能够生成一个概念格结构,概念格结构是一个以概念为元素的偏序集,它可以通过Hasse图可视化,其中每个节点是一个概念,概念格结构能够描述定义文本集合O(对象)与领域术语集合A(属性)之间的关系R。

进一步的,通过概念格结构,可以构建一个3元组B=(A,O,R),接下来,在3元组B中,对O、A的幂集定义两个映射f和h如下式:

其中,aRo表示在对象o∈O中有属性a∈A。上式反映了对象集合(O

最后,若对于概念C

继续参照图3,在步骤370中,融合所述第二层次关系和所述第一层次关系,得到所述至少两个术语的目标层次关系。

在本申请的一个实施例中,融合所述第二层次关系和所述第一层次关系可以包括如下两种情况:

在所述第二层次关系中存在与所述第一层次关系不同且不冲突的第一局部层次关系时,将所述第一局部层次关系补充到第一层次关系中。

在所述第二层次关系中存在与所述第一层次关系不同且冲突的第二局部层次关系时,将所述第二局部层次关系替换到第一层次关系中。

为了使本领域技术人员进一步理解该实施例,下面将结合表1以一个示例进行阐述:

表1

参见表1,当融合类别为上位扩展,下位扩展,上下位扩展时,所述第二层次关系中存在与所述第一层次关系不同且不冲突的局部层次关系,此时将所述该局部层次关系补充到第一层次关系中,得到目标层次关系中的局部层次关系。

具体的,上位扩展是指不同的上位术语(A、B)指向同一个下位术语(C)以扩展下位词的上位概念。下位扩展是指一个上位术语(A)同时指向不同的下位术语(B、C)以扩展上位词的下位概念。上下位扩展是指通过同一个术语(B)将其上位术语(A)与下位术语(C)融合以扩展上下位概念。

继续参见表1,当融合类别为上下位修正时,所述第二层次关系中存在与所述第一层次关系不同且冲突的局部层次关系,此时将该局部层次关系替换到第一层次关系中,得到目标层次关系中的局部层次关系。

具体的,上下位修正是指将第一层次关系中的局部层次关系由A→B替换为B→A。

为了使本领域技术人员从整体上更好的理解本申请,下面将结合图11对本申请提出的方案进行简单的梳理:

参见图11,示出了根据本申请一个实施例的确定领域术语层次关系的整体流程图。

在图11中,首先基于领域术语集合1101中的领域术语检索和爬取定义文本1102,然后基于定义文本1102,构建关键词矩阵1103和术语共现矩阵1107,并对关键词矩阵1103进行谱聚类分析,对术语共现矩阵1107进行形式概念分析,分别得到第一层次关系1104和第二层次关系1105,最后对第一层次关系1104和第二层次关系1105进行融合,得到领域术语集合1101中领域术语的目标层次关系1106。进一步的,得到的领域术语的目标层次关系可以应用到信息检索、智能化推荐、知识发现等具体应用场景中。

可见,本申请的技术方案通过各个术语所对应的定义文本,分别构建用于表征所述定义文本中关键词特征的关键词矩阵和用于表征所述至少两个术语在所述定义文本中的共现特征的术语共现矩阵,进一步通过对所述关键词矩阵进行谱聚类分析和对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第一层次关系和第二层次关系,最后融合所述第二层次关系和第一层次关系,得到目标层次关系。由于对所述关键词矩阵进行谱聚类分析能够保证领域术语层次关系具有一定的召回率,对术语共现矩阵进行形式概念分析能够有效地提高术语间层次关系的准确性,因此,通过将第二层次关系和第一层次关系进行融合,可以保证领域术语层次关系在满足召回率的情况下,进一步提高领域术语层次关系的准确性。

以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的领域术语层次关系的确定方法。对于本申请装置实施例中未披露的细节,请参照本申请上述的领域术语层次关系的确定方法的实施例。

图12示出了根据本申请的一个实施例的领域术语层次关系的确定装置的框图。

参照图12所示,根据本申请的一个实施例的领域术语层次关系的确定装置1200,包括:获取单元1201、第一构建单元1202、第二构建单元1203和融合单元1004。

其中,根据本申请实施例的一个方面,提供了一种领域术语层次关系的确定装置,所述装置包括:获取单元1201,被用于获取目标领域内的至少两个术语,以及各个术语所对应的定义文本;第一构建单元1202,被用于基于所述定义文本,构建关键词矩阵,所述关键词矩阵用于表征所述定义文本中的关键词特征,并对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系;第二构建单元1203,被用于基于所述定义文本,构建术语共现矩阵,所述术语共现矩阵用于表征所述至少两个术语在所述定义文本中的共现特征,并对所述术语共现矩阵进行形式概念分析,得到所述至少两个术语的第二层次关系;融合单元1204,被用于融合所述第二层次关系和所述第一层次关系,得到所述至少两个术语的目标层次关系。

在本申请的一些实施例中,基于前述方案,所述第一构建单元1202配置为:通过词袋模型在所述定义文本中提取目标关键词,并确定所述目标关键词在所述定义文本中的权重,所述权重用于表征所述目标关键词在所述定义文本中的重要程度;基于所述权重,构建所述关键词矩阵。

在本申请的一些实施例中,基于前述方案,所述第一构建单元1202包括第一分析单元,被用于对所述关键词矩阵依次进行线性降维和非线性降维,得到降维关键词矩阵;通过所述降维关键词矩阵,确定聚类个数,以按照所述聚类个数,对所述关键词矩阵进行谱聚类分析,得到所述至少两个术语的第一层次关系。

在本申请的一些实施例中,基于前述方案,所述第一分析单元配置为:提取所述关键词矩阵的拉普拉斯矩阵,并对所述拉普拉斯矩阵的特征向量进行聚类分析,得到所述聚类个数的术语类簇,其中,每一个术语类簇中包括至少一个术语;针对每一个目标术语类簇,在所述目标术语类簇中确定一个上位术语,并将在所述目标术语类簇内除所述上位术语之外的其它术语确定为所述上位术语的下位术语。

在本申请的一些实施例中,基于前述方案,所述第一分析单元配置为:基于所述目标术语类簇中各个术语所对应的定义文本,构建子关键词矩阵;基于所述子关键词矩阵,构建基于术语语义相似度的社会网络,以计算所述目标术语类簇中各个术语的术语中心度;将所述术语中心度最高的术语确定为所述上位术语。

在本申请的一些实施例中,基于前述方案,所述第一分析单元配置为:对所述子关键词矩阵进行谱聚类分析,得到所述目标术语类簇中术语的第三层次关系,所述第三层次关系为所述第一层次关系的局部层次关系。

在本申请的一些实施例中,基于前述方案,所述第二构建单元1203配置为:针对每一个定义文本,生成一个术语共现向量,其中,所述术语共现向量中的向量元素用于表征各个术语在所述定义文本中的存在情况;通过各个定义文本所对应的术语共现向量,构建所述术语共现矩阵。

在本申请的一些实施例中,基于前述方案,所述第二构建单元1203包括第二分析单元,被用于基于所述术语共现矩阵,生成概念格结构,所述概念格结构用于表征所述定义文本与各个术语之间的关联关系;从所述概念格结构中提取所述至少两个术语的第二层次关系。

在本申请的一些实施例中,基于前述方案,所述融合单元1204配置为:在所述第二层次关系中存在与所述第一层次关系不同且不冲突的第一局部层次关系时,将所述第一局部层次关系补充到第一层次关系中;在所述第二层次关系中存在与所述第一层次关系不同且冲突的第二局部层次关系时,将所述第二局部层次关系替换到第一层次关系中。

图13示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是,图13示出的电子设备的计算机系统1300仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。

如图13所示,计算机系统1300包括中央处理单元(Central Processing Unit,CPU)1301,其可以根据存储在只读存储器(Read-Only Memory,ROM)1302中的程序或者从储存部分1308加载到随机访问存储器(Random Access Memory,RAM)1303中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM 1303中,还存储有系统操作所需的各种程序和数据。CPU 1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(Input/Output,I/O)接口1305也连接至总线1304。

以下部件连接至I/O接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1307;包括硬盘等的储存部分1308;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1313,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入储存部分1308。

特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时,执行本申请的系统中限定的各种功能。

需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。

附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面,本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中所述的领域术语层次关系的确定方法。

作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的领域术语层次关系的确定方法。

应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

相关技术
  • 领域术语层次关系的确定方法、装置
  • 一种基于信息熵和术语可信度的金融领域术语识别方法
技术分类

06120112640787