一种基于词典生成词向量的方法及系统

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于词典生成词向量的方法及系统。

背景技术

将词语表示为向量的技术起源于20世纪60年代，随着用于信息检索的向量空间模型的发展，使用奇异值分解减少维数，然后在20世纪80年代后期引入潜在语义分析。随着技术的不断发展，词向量结合深度网络在现有的自然语言处理任务中有广泛应用，通常词向量都基于海量无标注语料产生，基本思路都是用文本中前后文预测当前词。语料是人工编写的，两个词义相近的词被用到的频率有时候是很不同的，这会导致频率低的词训练不充分，词义挖掘不足。词典是对词汇意义的解释，是最精炼、最准确的语义解释，因此，若能将词典提供的信息融合进入词向量里，则能很好地弥补上述现有技术中存在的缺陷。

发明内容

有鉴于此，本发明提供一种基于词典生成词向量的方法及系统，至少部分解决现有技术中存在的问题。本发明基于词典构造词汇有向图，基于深度游走算法对有向图进行计算，得到词向量，即将词典提供的词汇信息融合进词向量。

本发明具体为：

一种基于词典生成词向量的方法，包括：

将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；

以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并确定各有向边的权重，得到基于词典的有向图；

基于深度游走算法对所述有向图进行计算，得到词向量。

进一步地，所述根据所述频率对各词汇释义进行分词，具体为：

将所述频率作为基于词典分词器的参数，利用分词算法对所述各词汇释义进行分词处理；该过程通常使用jieba分词。

进一步地，所述以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，具体为：

基于遍历算法，在所述各释义词汇序列中对各词汇进行遍历，当一个词汇在另一个词汇的释义词汇序列中时，则生成一条从所述另一个词汇出发到达该词汇的边，形成一条有向边；基于该过程对所述词汇集合中包含的所有词汇进行遍历，直到各节点的连接过程完毕。

进一步地，所述按规定确定各有向边的权重，具体为：

基于TF-IDF算法，将有向边对应的被指向词汇在所在的释义词汇序列中的权值作为该有向边的权重；算法公式为：tfidf＝tf*idf，tf为词频，即所述被指向词汇在所在的释义词汇序列中出现的频率，idf为逆向文档频率，即所述被指向词汇普遍重要性的度量。

本发明基于深度游走算法对所述有向图进行计算，得到词向量，深度游走算法是一种结合随机游走算法和word2vec模型的算法，随机游走是一种可重复访问已访问节点的深度优先遍历算法，每次遍历过程中，首先随机给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件，接着利用word2vec模型对通过随机游走算法遍历得到的各节点序列进行计算，得到词向量。

进一步地，所述基于深度游走算法对所述有向图进行计算，得到词向量，具体为：

基于随机游走算法对所述有向图进行遍历计算，在一次遍历过程中，首先给定对所述有向图进行访问的起始节点，根据所述起始节点包含的有向边的权重，选择对应有向边指向的节点为下一个访问点，直到访问序列长度满足预设条件；

利用word2vec模型对经过上述遍历计算后得到的所有节点序列进行向量化计算，得到词向量；该过程主要基于word2vec模型中的skip gram算法。

一种基于词典生成词向量的系统，包括：

释义词汇序列生成模块，用于将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；

有向图生成模块，用于以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并确定各有向边的权重，得到基于词典的有向图；

词向量生成模块，用于基于深度游走算法对所述有向图进行计算，得到词向量。

进一步地，所述根据所述频率对各词汇释义进行分词，具体为：

将所述频率作为基于词典分词器的参数，利用分词算法对所述各词汇释义进行分词处理；该过程通常使用jieba分词。

进一步地，所述以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，具体为：

基于遍历算法，在所述各释义词汇序列中对各词汇进行遍历，当一个词汇在另一个词汇的释义词汇序列中时，则生成一条从所述另一个词汇出发到达该词汇的边，形成一条有向边；基于该过程对所述词汇集合中包含的所有词汇进行遍历，直到各节点的连接过程完毕。

进一步地，所述按规定确定各有向边的权重，具体为：

基于TF-IDF算法，将有向边对应的被指向词汇在所在的释义词汇序列中的权值作为该有向边的权重；算法公式为：tfidf＝tf*idf，tf为词频，即所述被指向词汇在所在的释义词汇序列中出现的频率，idf为逆向文档频率，即所述被指向词汇普遍重要性的度量。

本发明基于深度游走算法对所述有向图进行计算，得到词向量，深度游走算法是一种结合随机游走算法和word2vec模型的算法，随机游走是一种可重复访问已访问节点的深度优先遍历算法，每次遍历过程中，首先随机给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件，接着利用word2vec模型对通过随机游走算法遍历得到的各节点序列进行计算，得到词向量。

进一步地，所述词向量生成模块具体用于：

基于随机游走算法对所述有向图进行遍历计算，在一次遍历过程中，首先给定对所述有向图进行访问的起始节点，根据所述起始节点包含的有向边的权重，选择对应有向边指向的节点为下一个访问点，直到访问序列长度满足预设条件；

利用word2vec模型对经过上述遍历计算后得到的所有节点序列进行向量化计算，得到词向量；该过程主要基于word2vec模型中的skip gram算法。

本发明的有益效果体现在：

本发明不同于现有技术基于海量无标签语料得到词向量，而是将词典提供的词汇信息融合进词向量；在构建词汇有向图时，首先综合考虑词典中的词汇及词汇释义，将词汇释义进行分词处理也转换为词汇，该过程能够为有向图的构建提供充分的词汇基础及词汇关系，且基于词典的词汇是最精炼、最准确的语义表示；确定有向图中每条有向边的权重，能够更好地标记和反应各词汇的重要程度，以此为基础通过深度游走算法得到的词向量更加精准。本发明将词典提供的词汇信息融合进词向量，能够为词向量训练提供优质的数据基础，进而更好地对词义进行挖掘、支撑自然语言处理任务。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一种基于词典生成词向量的方法流程图；

图2为本发明实施例一种基于词典的有向图的示意图；

图3为本发明实施例一种基于词典生成词向量的系统结构图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

如图1所示，为本发明一种基于词典生成词向量的方法实施例，包括：

S11：将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；

S12：以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并确定各有向边的权重，得到基于词典的有向图；

S13：基于深度游走算法对所述有向图进行计算，得到词向量。

优选地，所述根据所述频率对各词汇释义进行分词，具体为：

将所述频率作为基于词典分词器的参数，利用分词算法对所述各词汇释义进行分词处理；该过程通常使用jieba分词。

以词汇“简单”为例，其词汇释义为：

结构单纯；头绪少；容易理解、使用或处理

经过分词后，其得到的释义词汇序列为：

结构单纯；头绪少；容易理解、使用或处理

优选地，所述以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，具体为：

基于遍历算法，在所述各释义词汇序列中对各词汇进行遍历，当一个词汇在另一个词汇的释义词汇序列中时，则生成一条从所述另一个词汇出发到达该词汇的边，形成一条有向边；基于该过程对所述词汇集合中包含的所有词汇进行遍历，直到各节点的连接过程完毕。

例如，若词汇wj在词汇wi的释义词汇序列中，则生成一条从wi出发到达wj的边。比如“单纯”出现在“简单”的释义词汇序列中，则存在一条边从“简单”出发指向“单纯”。

优选地，所述按规定确定各有向边的权重，具体为：

基于TF-IDF算法，将有向边对应的被指向词汇在所在的释义词汇序列中的权值作为该有向边的权重；算法公式为：tfidf＝tf*idf，tf为词频，即所述被指向词汇在所在的释义词汇序列中出现的频率，idf为逆向文档频率，即所述被指向词汇普遍重要性的度量。

某一词汇的idf值可根据以下方式进行计算：首先用释义词汇序列的总数除以包含该词汇的释义词汇序列数，再将得到的商取以10为底的对数。

以“简单”、“单纯”、“容易”三个词汇为例，相应地给出一种基于词典的有向图的示意图，如图2所示；

其中，“简单”的释义词汇序列为：

结构单纯；头绪少；容易理解、使用或处理

“单纯”的释义词汇序列为：

简单，不复杂，单一的，不顾及其他

“容易”的释义词汇序列为：

做起来不费事的

本发明基于深度游走算法对所述有向图进行计算，得到词向量，深度游走算法是一种结合随机游走算法和word2vec模型的算法，随机游走是一种可重复访问已访问节点的深度优先遍历算法，每次遍历过程中，首先随机给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件，接着利用word2vec模型对通过随机游走算法遍历得到的各节点序列进行计算，得到词向量。

优选地，所述基于深度游走算法对所述有向图进行计算，得到词向量，具体为：

基于随机游走算法对所述有向图进行遍历计算，在一次遍历过程中，首先给定对所述有向图进行访问的起始节点，根据所述起始节点包含的有向边的权重，选择对应有向边指向的节点为下一个访问点，直到访问序列长度满足预设条件；

本发明在随机游走算法选择下一个访问节点的随机采样过程中，采样的概率基于当前访问节点包含的有向边的权重，使得在重复遍历当前访问节点时，提高下一个访问节点的多样性，在一定程度上避免循环遍历的现象；例如，某一节点对应两个可选择的下一节点，相应有向边的权重分别为0.7和0.3，同时该节点被遍历了10次，则可能有7次其下一节点为权重0.7的有向边指向的节点，有3次其下一节点为权重0.3的有向边对应的节点；

根据随机游走算法的计算过程，对所述有向图进行遍历计算为多次遍历，每次遍历均随机指定起始节点，并根据上述过程进行计算，得到序列长度满足所述预设条件的节点序列，通过随机游走可以得到从每个节点出发的一条路径，各路径包含其起始节点的词汇关系信息；所述预设条件即对遍历步数的设置，为保证生成词向量的精准性，一般不会设置较大的数值，可设置为5、10等数值，即从起始节点开始遍历5个节点或10个节点，即对应的节点序列中包含5个或10个词汇，序列中的词汇可重复；进一步地，以随机游走算法的遍历次数为5，设置的访问序列长度为10为例，则对所述有向图进行随机游走计算后，将得到5个包含10个词汇的节点序列，然后对各节点序列进行下一步计算；

利用word2vec模型对经过上述遍历计算后得到的节点序列进行向量化计算，得到词向量；该过程主要基于word2vec模型中的skip gram算法；

以图2为例，若随机游走算法的遍历次数为2，访问序列长度设置为3，则遍历计算的节点序列可以为：

单纯简单处理

简单容易来

本发明实施例中提到的随机游走算法的遍历次数、访问序列的长度等参数，均为便于举例使用，不代表实际应用，在实际应用过程中，应根据应用需求对各参数进行科学设置。

如图3所述，为本发明一种基于词典生成词向量的系统实施例，包括：

释义词汇序列生成模块31，用于将词典包含的词汇构成词汇集合，统计所述词汇集合中各词汇在所述词典包含的词汇释义中出现的频率，根据所述频率对各词汇释义进行分词，得到释义词汇序列；

有向图生成模块32，用于以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，并按规定确定各有向边的权重，得到基于词典的有向图；

词向量生成模块33，用于基于深度游走算法对所述有向图进行计算，得到词向量。

优选地，所述根据所述频率对各词汇释义进行分词，具体为：

将所述频率作为基于词典分词器的参数，利用分词算法对所述各词汇释义进行分词处理；该过程通常使用jieba分词。

优选地，所述以所述词汇为节点，根据各词汇及释义词汇序列的对应关系，对各节点进行连接，构成有向边，具体为：

基于遍历算法，在所述各释义词汇序列中对各词汇进行遍历，当一个词汇在另一个词汇的释义词汇序列中时，则生成一条从该词汇出发到达所述另一个词汇的边，形成一条有向边；基于该过程对所述词汇集合中包含的所有词汇进行遍历，直到各节点的连接过程完毕。

优选地，所述按规定确定各有向边的权重，具体为：

基于TF-IDF算法，将有向边对应的被指向词汇在所在的释义词汇序列中的权值作为该有向边的权重；算法公式为：tfidf＝tf*idf，tf为词频，即所述被指向词汇在所在的释义词汇序列中出现的频率，idf为逆向文档频率，即所述被指向词汇普遍重要性的度量。

本发明基于深度游走算法对所述有向图进行计算，得到词向量，深度游走算法是一种结合随机游走算法和word2vec模型的算法，随机游走是一种可重复访问已访问节点的深度优先遍历算法，每次遍历过程中，首先随机给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件，接着利用word2vec模型对通过随机游走算法遍历得到的各节点序列进行计算，得到词向量。

优选地，所述词向量生成模块33具体用于：

基于随机游走算法对所述有向图进行遍历计算，在遍历过程中，首先给定对所述有向图进行访问的起始节点，根据所述起始节点包含的有向边的权重，选择对应有向边指向的节点为下一个访问点，一般情况下选择权重最大的有向边指向的节点为下一个访问节点，直到访问序列长度满足预设条件；

利用word2vec模型对经过上述遍历计算后的节点序列进行向量化计算，得到词向量；该过程主要基于word2vec模型中的skip gram算法。

本发明系统实施例部分过程与方法实施例相近，对于系统实施例的描述较为简单，相应部分请参照方法实施例。

本发明不同于现有技术基于海量无标签语料得到词向量，而是将词典提供的词汇信息融合进词向量；在构建词汇有向图时，首先综合考虑词典中的词汇及词汇释义，将词汇释义进行分词处理也转换为词汇，该过程能够为有向图的构建提供充分的词汇基础及词汇关系，且基于词典的词汇是最精炼、最准确的语义表示；确定有向图中每条有向边的权重，能够更好地标记和反应各词汇的重要程度，以此为基础通过深度游走算法得到的词向量更加精准。本发明将词典提供的词汇信息融合进词向量，能够为词向量训练提供优质的数据基础，进而更好地对词义进行挖掘、支撑自然语言处理任务。

以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。