掌桥专利:专业的专利平台
掌桥专利
首页

单词分类方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 18:35:48


单词分类方法、装置、计算机设备和存储介质

技术领域

本申请涉及深度学习领域,尤其涉及一种单词分类方法、装置、计算机设备和存储介质。

背景技术

在给出的单词中,选择不同类型的单词是英语试题中的常见题型。为帮助学生学习,可采用上网搜题的方式,通过识别试题文字,在数据库中查找单词类型且给出正确答案,以便学生检查作业。目前最直接的单词分类方法是通过学习统计的方法,给出训练数据中最置信的结果。

发明内容

本申请提供了一种单词分类方法、装置、计算机设备和存储介质,通过统计与深度学习的结合,提高单词分类的准确性及泛化性能。

根据本申请的第一方面,提供了一种单词分类方法,包括:

获取多个待分类单词,并将所述多个待分类单词之中每两个单词组成一组,以得到多个单词组;

从目标数据集中寻找并统计出每个所述单词组之中两个单词属于相同类型的第一出现次数和每个所述单词组之中两个单词属于不同类型的第二出现次数;

根据每个所述单词组之中两个单词属于相同类型的第一出现次数和每个所述单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度;

响应于所述置信度未满足预设条件,基于深度学习从所述多个待分类单词之中找出不同类型的单词。

在本申请一些实施例中,所述获取多个待分类单词,包括:

响应于输入的图像,对所述图像进行文字识别以获得所述多个待分类单词。

在本申请一些实施例中,所述对所述图像进行文字识别以获得所述多个待分类单词,包括:

对所述图像进行文字识别以获得多个识别单词;

针对每个所述识别单词,响应于所述识别单词未在单词集合中出现,获取所述识别单词的多个候选词;其中,所述单词集合中包含每个单词以及所述每个单词的出现次数;

根据所述单词集合之中所述每个单词的出现次数,从所述多个候选词中确定出所述识别单词的矫正后单词,并将所述矫正后单词作为待分类单词。

在本申请一些实施例中,所述对所述图像进行文字识别以获得所述多个待分类单词,还包括:

响应于所述识别单词在所述单词集合中出现,将所述识别单词作为待分类单词。

在本申请一些实施例中,所述获取所述识别单词的多个候选词,包括:

确定所述识别单词之中每个字符的替换字符;

根据所述每个字符的替换字符和所述识别单词,获取所述识别单词的多个候选词;其中,所述候选词的个数与所述识别单词之中字符个数和所述每个字符的替换字符的个数有关。

在本申请一些实施例中,所述根据每个所述单词组之中两个单词属于相同类型的第一出现次数和每个所述单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度,包括:

根据每个所述单词组之中两个单词属于相同类型的第一出现次数,获取第一出现次数排在前N的单词组;其中,所述N的取值为所述待分类单词的个数与2的差值;

响应于所述排在前N的单词组之中所包含的不同单词个数为目标值,根据每个所述单词组之中两个单词属于不同类型的第二出现次数,确定出与所述排在前N的单词组对应的第二出现次数;其中,所述目标值为所述待分类单词的个数与1的差值;

将与所述排在前N的单词组对应的第一出现次数和与所述排在前N的单词组对应的第二出现次数进行计算,以获得所述排在前N的单词组之中每组单词属于相同类型的概率值;

将所述排在前N的单词组之中每组单词属于相同类型的概率值,作为针对多个待分类单词的分类结果的置信度。

在本申请一些实施例中,所述方法还包括:

响应于所述置信度满足所述预设条件,根据所述排在前N的单词组之中每组单词,从所述多个待分类单词之中找出不同类型的单词;

其中,所述置信度满足所述预设条件,包括:所述每组单词属于相同类型的概率值均大于预设阈值。

在本申请一些实施例中,所述置信度未满足预设条件,包括:

所述每组单词属于相同类型的概率值之中存在至少一个概率值小于或等于所述预设阈值;或者,

所述排在前N的单词组之中所包含的不同单词个数不为所述目标值。

在本申请一些实施例中,所述基于深度学习从所述多个待分类单词之中找出不同类型的单词,包括:

获取每个所述待分类单词的词向量表示;

将每个所述待分类单词的词向量表示进行拼接,以获得所述多个待分类单词的向量表示;

基于所述深度学习对所述多个待分类单词的向量表示进行特征提取,以得到所述多个待分类单词的特征向量,并根据所述特征向量确定每个所述待分类单词的分类信息;

根据每个所述待分类单词的分类信息,从所述多个待分类单词之中找出不同类型的单词。

根据本申请的第二方面,提供了一种单词分类装置,包括:

第一获取模块,用于获取多个待分类单词;

分组模块,用于将所述多个待分类单词之中每两个单词组成一组,以得到多个单词组;

统计模块,用于从目标数据集中寻找并统计出每个所述单词组之中两个单词属于相同类型的第一出现次数和每个所述单词组之中两个单词属于不同类型的第二出现次数;

第二获取模块,用于根据每个所述单词组之中两个单词属于相同类型的第一出现次数和每个所述单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度;

分类模块,用于响应于所述置信度未满足预设条件,基于深度学习从所述多个待分类单词之中找出不同类型的单词。

在本申请一些实施例中,所述第一获取模块具体用于:

响应于输入的图像,对所述图像进行文字识别以获得所述多个待分类单词。

在本申请一些实施例中,所述第一获取模块包括:识别单元,用于对所述图像进行文字识别以获得多个识别单词;

第一获取单元,用于针对每个所述识别单词,响应于所述识别单词未在单词集合中出现,获取所述识别单词的多个候选词;其中,所述单词集合中包含每个单词以及所述每个单词的出现次数;

第二获取单元,用于根据所述单词集合之中所述每个单词的出现次数,从所述多个候选词中确定出所述识别单词的矫正后单词,并将所述矫正后单词作为待分类单词。

在本申请一些实施例中,所述第二获取单元还用于:

响应于所述识别单词在所述单词集合中出现,将所述识别单词作为待分类单词。

在本申请一些实施例中,所述第一获取单元具体用于:

确定所述识别单词之中每个字符的替换字符;

根据所述每个字符的替换字符和所述识别单词,获取所述识别单词的多个候选词;其中,所述候选词的个数与所述识别单词之中字符个数和所述每个字符的替换字符的个数有关。

在本申请一些实施例中,所述第二获取模块具体用于:

根据每个所述单词组之中两个单词属于相同类型的第一出现次数,获取第一出现次数排在前N的单词组;其中,所述N的取值为所述待分类单词的个数与2的差值;

响应于所述排在前N的单词组之中所包含的不同单词个数为目标值,根据每个所述单词组之中两个单词属于不同类型的第二出现次数,确定出与所述排在前N的单词组对应的第二出现次数;其中,所述目标值为所述待分类单词的个数与1的差值;

将与所述排在前N的单词组对应的第一出现次数和与所述排在前N的单词组对应的第二出现次数进行计算,以获得所述排在前N的单词组之中每组单词属于相同类型的概率值;

将所述排在前N的单词组之中每组单词属于相同类型的概率值,作为针对多个待分类单词的分类结果的置信度。

在本申请一些实施例中,所述分类模块还用于:

响应于所述置信度满足所述预设条件,根据所述排在前N的单词组之中每组单词,从所述多个待分类单词之中找出不同类型的单词;

其中,所述置信度满足所述预设条件,包括:所述每组单词属于相同类型的概率值均大于预设阈值。

在本申请一些实施例中,所述置信度未满足预设条件,包括:

所述每组单词属于相同类型的概率值之中存在至少一个概率值小于或等于所述预设阈值;或者,

所述排在前N的单词组之中所包含的不同单词个数不为所述目标值。

在本申请一些实施例中,所述分类模块具体用于:

获取每个所述待分类单词的词向量表示;

将每个所述待分类单词的词向量表示进行拼接,以获得所述多个待分类单词的向量表示;

基于所述深度学习对所述多个待分类单词的向量表示进行特征提取,以得到所述多个待分类单词的特征向量,并根据所述特征向量确定每个所述待分类单词的分类信息;

根据每个所述待分类单词的分类信息,从所述多个待分类单词之中找出不同类型的单词。

根据本申请的第三方面,提供了一种计算机设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面任一项所述的单词分类方法。

根据本申请的第四方面,提供了一种计算机可读存储介质,所述计算机指令用于使所述计算机执行前述第一方面任一项所述的单词分类方法。

根据本申请的技术方案,根据识别单词是否出现在单词集合中,判断识别单词是否正确,将识别错误的单词矫正后再进行分类,大大提高了待分类单词的准确性。通过目标数据集中的统计数据,计算多个待分类单词的分类结果的置信度,判断该分类结果是否可信,若置信度未满足预设条件,则需要基于深度学习从多个待分类单词之中找出不同类型的单词,提高了单词分类的泛化性能。

应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案,不构成对本申请的限定。其中:

图1为本申请实施例提供的一种单词分类方法的流程示意图;

图2a为本申请实施例提供的一种单词组之中每两个单词属于相同类型的第一出现次数的矩阵示意图;

图2b为本申请实施例提供的一种单词组之中每两个单词属于不同类型的第二出现次数的矩阵示意图;

图3a为本申请实施例提供的另一种单词组之中每两个单词属于相同类型的第一出现次数的矩阵示意图;

图3b为本申请实施例提供的另一种单词组之中每两个单词属于不同类型的第二出现次数的矩阵示意图;

图4为本申请实施例提供的获取针对多个待分类单词的分类结果的置信度的流程示意图;

图5为本申请实施例提供的基于深度学习从多个待分类单词之中找出不同类型的单词的流程示意图;

图6为本申请实施例提供的基于深度学习从多个待分类单词之中找出不同类型的单词的交互示意图;

图7为本申请实施例提供的获取多个待分类单词的流程示意图;

图8为本申请实施例提供的另一种单词分类方法的流程示意图;

图9为本申请实施例提供的一种单词分类装置的结构框图;

图10为用来实现本申请实施例的单词分类方法的计算机设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

现有技术中,最直接的单词分类方法是通过学习统计的方法,给出训练数据中最置信的结果。但是,统计学习的方法需要人工构造很多特征,工作量较大,且规则的泛化性能较差。当训练数据较少的场景下,得出的结果准确度不高。

为此,本申请提出一种单词分类方法、装置、计算机设备和存储介质,可以通过统计与深度学习的结合,提高单词分类的准确度和泛化性能。

需要说明的是,本申请提出的单词分类方法并不单指在英文单词(如book、good、new)中确定出不同类型的单词,还可以是在其他语言的单词中确定出不同类型的单词,如中文单词(如苹果、香蕉、耳机)或日语单词(如自転車、バス、テレビ)等,在本申请实施例中,仅以英文单词为例,描述本申请提出的单词分类方法、装置、计算机设备和存储介质,不构成对本申请的限定。下面参考附图描述本申请实施例的单词分类方法、装置、计算机设备和存储介质。

图1为本申请实施例提供的一种单词分类方法的流程示意图。如图1所示,该单词分类方法可以包括如下步骤:

步骤101,获取多个待分类单词,并将多个待分类单词之中每两个单词组成一组,以得到多个单词组。

举例而言,以多个待分类单词分别为book、good、new为例,将待分类单词之中每两个单词组成一组,以得到多个单词组,分别为:(book,good)、(book,new)、(good,new)。

需要说明的是,可通过对输入图像进行文字识别的方式获取到待分类单词。作为一种示例,可通过OCR(Optical Character Recognition,光学字符识别)识别出具体的题目。然而,在OCR将题目字符转换为计算机文本的过程中,往往存在一定误差,以致于识别出的单词是错误的。为提高文字识别的准确度,可以对识别出的可能存在错误的单词进行矫正。可选地,在本申请一些实施例中,可根据OCR识别出的单词是否在单词集合中出现,来确定该识别单词是否需要矫正。其中,该单词集合中包含统计题库中的每个单词以及每个单词的出现次数。如果识别单词未在单词集合中出现,则该识别单词可能为错误单词,需要矫正后再进行单词分类。具体实现方式可参见后续实施例的描述。

步骤102,从目标数据集中寻找并统计出每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数。

作为一种示例,以near、finally、beside三个单词为待分类单词,每两个单词组成一组,可以得到三个单词组“near finally”、“near beside”和“finally beside”,从目标数据集中寻找并统计出每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数。统计后得到如图2a所示的每个单词组之中两个单词属于相同类型的第一出现次数的矩阵M1和如图2b所示的每个单词组之中两个单词属于不同类型的第二出现次数的矩阵M2。如图2a所示,矩阵M1表示:在目标数据集中,单词near和单词finally属于相同类型的第一出现次数为0次;单词near和单词beside属于相同类型的第一出现次数为112次;单词finally和单词beside属于相同类型的第一出现次数为0次。矩阵M2表示:在目标数据集中,单词near和单词finally属于不同类型的第二出现次数为0次;单词near和单词beside属于不同类型的第二出现次数为12次;单词finally和单词beside属于不同类型的第二出现次数为0次。

需要说明的是,本申请实施例中仅以在三个单词中找出不同类型的单词为例,本申请提出的单词分类方法还可用于在其他数量的单词之中找出不同类型的单词,如在四个单词中找出不同类型的单词或在其他个数的单词中找出不同类型的单词,对此本申请不做具体限定。

步骤103,根据每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度。

需要说明的是,该置信度用于指示对于多个待分类单词的分类结果为正确分类结果的概率。作为一种示例,图3a为待分类单词组UE、earphone、computer、mobile phone之中每两个单词属于相同类型第一出现次数的矩阵N1;图3b为待分类单词组UE、earphone、computer、mobile phone之中每两个单词属于不同类型的第二出现次数的矩阵N2。下面将基于图3a和图3b所示实施例,描述获取针对多个待分类单词的分类结果的置信度的实现过程,如图4所示,本申请实施例提供的获取针对多个待分类单词的分类结果的置信度的实现过程可以包括如下步骤:

步骤401,根据每个单词组之中两个单词属于相同类型的第一出现次数,获取第一出现次数排在前N的单词组;其中,N的取值为待分类单词的个数与2的差值。

由图3a和图3b可知,待分类单词个数为4,4与2的差值为2,故N的取值为2。在UE、earphone、computer、mobile phone的待分类单词组中,单词组UE、computer和单词组UE、mobile phone的第一出现次数最多,分别为115、107次,故第一出现次数排在前2的单词组为单词组UE、computer和单词组UE、mobile phone。

步骤402,响应于排在前N的单词组之中所包含的不同单词个数为目标值,根据每个单词组之中两个单词属于不同类型的第二出现次数,确定出与排在前N的单词组对应的第二出现次数;其中,目标值为待分类单词的个数与1的差值。

在本实施例中,待分类单词的个数4与1的差值为3,故目标值为3。在第一出现次数排在前2的单词组UE、computer和单词组UE、mobile phone之中,所包含的不同单词个数为3,与目标值相同,即可根据每个单词组之中两个单词属于不同类型的第二出现次数,确定出与排在前2的单词组对应的第二出现次数。由图3b可知,单词组UE、computer和单词组UE、mobile phone的第二出现次数分别为106、105。

需要说明的是,通过将N的取值设置为待分类单词的个数与2的差值,以及将目标值设置为待分类单词的个数与1的差值的目的是为了能够保证只需基于统计方式即可找出待分类单词中不同类型的单词,而无需基于深度学习进行单词分类。也就是说,为了能够保证只需基于统计方式即可找出待分类单词中不同类型的单词,经过分析,发现将N的取值设置为待分类单词的个数与2的差值,并将目标值设置为待分类单词的个数与1的差值,即可对某种情况下的待分类单词通过统计方式就能够实现单词分类。

例如,以待分类单词分别为A、B、C和D为例,假设A与B同类,B与C同类,针对这种情况下,只需要基于统计方式即可找出A、B、C和D中不同类型的单词为D,而无需基于深度学习进行单词分类。又如,以待分类单词分别为A、B、C和D为例,假设A与B同类,C与D同类,针对这种情况下,通过统计方式是无法准确找出A、B、C和D之中的不同类型单词,因此需要基于深度学习进行单词分类。基于上述所给出的示例,可以看出,将N的取值设置为待分类单词的个数与2的差值,并将目标值设置为待分类单词的个数与1的差值,是为了能够保证只需基于统计方式即可找出待分类单词中不同类型的单词,而无需基于深度学习进行单词分类。

步骤403,将与排在前N的单词组对应的第一出现次数和与排在前N的单词组对应的第二出现次数进行计算,以获得排在前N的单词组之中每组单词属于相同类型的概率值。

可选地,可将与排在前N的单词组对应的第一出现次数减去与排在前N的单词组对应的第二出现次数的差值作为排在前N的单词组之中每组单词属于相同类型的概率值。由图3a和图3b可知,与排在前2的单词组UE、computer和单词组UE、mobile phone对应的第一出现次数分别为115、107,与排在前2的单词组UE、computer和单词组UE、mobile phone对应的第二出现次数分别为106、105。单词组UE、computer对应的第一出现次数减去第二出现次数为115-106=9,单词组UE、mobile phone对应的第一出现次数减去第二出现次数为107-105=2。即在本实施例中,排在前2的单词组UE、computer属于相同类型的概率值为9,单词组UE、mobile phone属于相同类型的概率值为2。

步骤404,将排在前N的单词组之中每组单词属于相同类型的概率值,作为针对多个待分类单词的分类结果的置信度。

由步骤403可知,第一出现次数排在前2的单词组UE、computer属于相同类型的概率值为9,单词组UE、mobile phone属于相同类型的概率值为2,故单词组UE、computer属于相同类型的置信度为9,单词组UE、mobile phone属于相同类型的置信度为2。

由此,可通过统计方式对需要分类的单词集合从目标数据集中找出每两个单词同类型与不同类型出现的次数,进而基于统计到的次数确定针对多个待分类单词的分类结果的置信度,以便后续根据置信度判断是否继续需要利用深度学习来从待分类单词之中找出不同类型的单词。

步骤104,响应于置信度未满足预设条件,基于深度学习从多个待分类单词之中找出不同类型的单词。

其中,置信度未满足预设条件表示多个待分类单词的分类结果为正确分类结果的概率过低,故该分类结果准确度不高,不能当作最终的分类结果。需要说明的是,置信度未满足预设条件,可包括:每组单词属于相同类型的概率值之中存在至少一个概率值小于或等于预设阈值。作为一种示例,将预设阈值设置为10,以图3a和图3b所示实施例为例,单词组UE、computer属于相同类型的概率值为9,单词组UE、mobile phone属于相同类型的概率值为2。其中,单词组UE、computer属于相同类型的概率值9<预设阈值10,单词组UE、mobilephone属于相同类型的概率值2<预设阈值10。即存在一组单词属于相同类型的概率值小于等于预设阈值。也就是说,单词组UE、earphone、computer、mobile phone的分类结果准确度不高,不可按照该分类结果分类。需基于深度学习从多个待分类单词中找出不同类型的单词。

作为一种示例,图5为本申请实施例提供的基于深度学习从多个待分类单词之中找出不同类型的单词的流程示意图。如图5所示,本申请实施例提供的基于深度学习从多个待分类单词之中找出不同类型的单词的实现过程可以包括如下步骤:

步骤501,获取每个待分类单词的词向量表示。

可选地,可通过GloVe(Global Vectors for Word Representation,全局的词向量表示)获取每个待分类单词的词向量表示。

步骤502,将每个待分类单词的词向量表示进行拼接,以获得多个待分类单词的向量表示。

步骤503,基于深度学习对多个待分类单词的向量表示进行特征提取,以得到多个待分类单词的特征向量,并根据特征向量确定每个待分类单词的分类信息。

可选地,可通过感知机网络对多个待分类单词的向量表示进行特征提取。例如,将拼接后的多个待分类单词的向量表示输入到感知机网络,基于深度学习对多个待分类单词的向量表示进行特征提取,以得到多个待分类单词的特征向量,并根据特征向量确定每个待分类单词的分类信息。作为一种示例,该分类信息可理解为单词属于哪种类型,即单词的类型信息。

步骤504,根据每个待分类单词的分类信息,从多个待分类单词之中找出不同类型的单词。

可选地,可通过交叉熵损失函数,根据每个待分类单词的分类信息,从多个待分类单词之中找出不同类型的单词。

作为一种示例,设图6为本申请实施例提供的基于深度学习从多个待分类单词之中找出不同类型的单词的交互示意图,如图6所示,待分类单词new、book、good、bad,通过GloVe获取每个待分类单词的词向量表示a、b、c、d后,将每个待分类单词的词向量表示进行拼接,以获得多个待分类单词的向量表示,如a+b+c+d。将该多个待分类单词的向量表示作为感知机网络的输入,感知机网络对该多个待分类单词的向量表示进行特征提取,以得到多个待分类单词的特征向量,并根据特征向量确定每个待分类单词的分类信息。交叉熵损失函数根据每个待分类单词的分类信息,从多个待分类单词之中找出不同类型的单词book。

本申请实施例的单词分类方法,通过对输入图像进行文字识别的方式获取到待分类单词,从目标数据集中寻找并统计出每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数。根据每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度,若置信度未满足预设条件,则需要基于深度学习从多个待分类单词之中找出不同类型的单词。由此可见,本申请通过统计与深度学习的结合以实现对单词的分类,人工参与感降低,并且提高了不同类型单词判断的泛化性能,并提高了单词分类的准确性。

在本申请一些实施例中,在对图像进行文字识别后,可根据识别单词是否在单词集合中出现,来确定该识别单词是否需要矫正,且将矫正后的识别单词作为待分类单词,以提高待分类单词的准确度,从而可以进一步提高单词分类的准确性。作为一种示例,如图7所示,本申请实施例提供的获取多个待分类单词的实现过程可以包括如下步骤:

步骤701,响应于输入的图像,对图像进行文字识别以获得多个识别单词。

作为一种示例,可通过拍照或上传带有题目文字的图片的方式,输入图像,并对该图像进行文字识别。可选地,可通过OCR(Optical Character Recognition,光学字符识别)对图像进行文字识别以获得多个识别单词。

步骤702,针对每个识别单词,判断识别单词是否在单词集合中出现。其中,单词集合包含每个单词以及每个单词的出现次数。如果识别单词未在单词集合中出现,则执行步骤703;如果识别单词在单词集合中出现,则执行步骤705。

也就是说,如果识别单词未在含有统计题库中每个单词的单词集合中出现,表示该识别单词有识别错误,需要先矫正该识别单词,再进行单词分类;如果识别单词在单词集合中出现,即确认该识别单词没有识别错误,不需要对该识别单词进行矫正,可直接将该识别单词作为待分类单词进行单词分类。

步骤703,获取识别单词的多个候选词。

需要说明的是,在本申请实施例中,以OCR为例,通过OCR对图像进行文字识别。进一步地,通过对历史识别数据的分析与统计,得知OCR绝大部分的识别错误为每个单词中识别错误一个字母。因此,基于历史识别数据的统计情况,本申请实施例以识别错误的单词中有一个字母发生识别错误为例(如将单词new识别成单词naw),描述步骤703中的获取识别单词的多个候选词的实现过程。

作为一种示例,可确定识别单词之中每个字符的替换字符,根据每个字符的替换字符和识别单词,获取识别单词的多个候选词。其中,候选词的个数与识别单词之中字符个数和每个字符的替换字符的个数有关。

需要说明的是,由于本申请实施例是以英文单词为例,故在本实施例中,识别单词之中每个字符的替换字符为[a-z]的26个英文字母。假设识别单词之中字符个数为M,可将候选词的每个字母替换成[a-z]的26个英文字母,得到识别单词的M*26个候选词。例如将单词new错误识别成单词naw,则将第一个字母替换后获取aaw、baw、caw、daw...xaw、yaw、zaw26个候选词;将第二个字母替换后获取naw、nbw、ncw、new...nxw、nyw、nzw26个候选词;将第三个字母替换后获取naa、nab、nac...nax、nay、naz26个候选词。经过替换后,得到3*26个候选词。

步骤704,根据单词集合之中每个单词的出现次数,从多个候选词中确定出识别单词的矫正后单词,并将矫正后单词作为待分类单词。

基于步骤703的实施例,可在识别单词的M*26个候选词中,找到在目标数据集中出现次数最多的候选词,将该出现次数最多的候选词确定为识别单词的矫正后单词,并将该矫正后单词作为待分类单词。

步骤705,将识别单词作为待分类单词。

根据本申请实施例提供的获取多个待分类单词的实现方式,通过识别单词是否在单词集合中出现,判断该识别单词是否发生识别错误,对于识别错误的识别单词进行矫正,大大提高了识别待分类单词的准确性。

在本申请一些实施例中,若置信度满足预设条件,表示该分类结果准确度较高,可直接当作最终的分类结果,无需基于深度学习从多个待分类单词之中找出不同类型的单词。需要说明的是,置信度满足预设条件,可包括:每组单词属于相同类型的概率值均大于预设阈值。作为一种示例,如图8所示,本申请实施例提供的单词分类方法可包括如下步骤:

步骤801,响应于输入的图像,对图像进行文字识别以获得多个识别单词。

步骤802,针对每个识别单词,判断识别单词是否在单词集合中出现。其中,单词集合包含每个单词以及每个单词的出现次数。如果识别单词未在单词集合中出现,则执行步骤803;如果识别单词在单词集合中出现,则执行步骤805。

步骤803,获取识别单词的多个候选词。

步骤804,根据单词集合之中每个单词的出现次数,从多个候选词中确定出识别单词的矫正后单词,并将矫正后单词作为待分类单词。

步骤805,将识别单词作为待分类单词。

步骤806,将多个待分类单词之中每两个单词组成一组,以得到多个单词组。

步骤807,从目标数据集中寻找并统计出每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数。

步骤808,根据每个单词组之中两个单词属于相同类型的第一出现次数,获取第一出现次数排在前N的单词组;其中,N的取值为待分类单词的个数与2的差值。

步骤809,响应于排在前N的单词组之中所包含的不同单词个数为目标值,根据每个单词组之中两个单词属于不同类型的第二出现次数,确定出与排在前N的单词组对应的第二出现次数;其中,目标值为待分类单词的个数与1的差值。

步骤810,将与排在前N的单词组对应的第一出现次数和与排在前N的单词组对应的第二出现次数进行计算,以获得排在前N的单词组之中每组单词属于相同类型的概率值。

步骤811,将排在前N的单词组之中每组单词属于相同类型的概率值,作为针对多个待分类单词的分类结果的置信度。

步骤812,判断该分类结果的置信度是否满足预设条件。如果置信度不满足预设条件,则执行步骤813;如果置信度满足预设条件,则执行步骤817。

步骤813,获取每个待分类单词的词向量表示。

步骤814,将每个待分类单词的词向量表示进行拼接,以获得多个待分类单词的向量表示。

步骤815,基于深度学习对多个待分类单词的向量表示进行特征提取,以得到多个待分类单词的特征向量,并根据特征向量确定每个待分类单词的分类信息。

步骤816,根据每个待分类单词的分类信息,从多个待分类单词之中找出不同类型的单词。

步骤817,根据排在前N的单词组之中每组单词,从多个待分类单词之中找出不同类型的单词。

需要说明的是,置信度满足预设条件,包括:每组单词属于相同类型的概率值均大于预设阈值。作为一种示例,若预设阈值设置为10,以图2a和图2b所示实施例为例,单词组near和beside属于相同类型的置信度为100,该置信度>预设阈值,即near和beside可确定为同类型单词,finally为不同类型单词。无需通过深度学习从多个待分类单词之中找出不同类型的单词。

在本申请实施例中,步骤801-步骤816可以分别采用本申请的各实施例中任一种方式实现,对此本申请不做具体限定,也不再赘述。

根据本申请实施例的单词分类方法,通过对输入图像进行文字识别的方式获取到识别单词,根据识别单词是否出现在单词集合中判断该识别单词是否发生识别错误,若确认该识别单词发生识别错误后,对该识别单词进行矫正,并将矫正后的单词作为待分类单词。从目标数据集中寻找并统计出每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数。根据每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度,若置信度未满足预设条件,则需要基于深度学习从多个待分类单词之中找出不同类型的单词,提高了单词分类的泛化性能。

图9为根据本申请实施例所提供的一种单词分类装置的结构框图。如图9所示,本申请实施例提供的单词分类装置可以包括第一获取模块901、分组模块902、统计模块903、第二获取模块904和分类模块905。

具体地,第一获取模块901,用于获取多个待分类单词。

在本申请一些实施例中,第一获取模块901具体用于:响应于输入的图像,对图像进行文字识别以获得多个待分类单词。

在本申请一些实施例中,第一获取模块901可以包括识别单元906、第一获取单元907和第二获取单元908。

其中,识别单元906,用于对图像进行文字识别以获得多个识别单词;

第一获取单元907,用于针对每个识别单词,响应于识别单词未在单词集合中出现,获取识别单词的多个候选词;其中,单词集合中包含每个单词以及每个单词的出现次数;

在本申请一些实施例中,第一获取单元907具体用于:确定识别单词之中每个字符的替换字符;根据每个字符的替换字符和识别单词,获取识别单词的多个候选词;其中,候选词的个数与识别单词之中字符个数和每个字符的替换字符的个数有关。

第二获取单元908,用于根据单词集合之中每个单词的出现次数,从多个候选词中确定出识别单词的矫正后单词,并将矫正后单词作为待分类单词。

在本申请一些实施例中,第二获取单元908,还用于响应于识别单词在单词集合中出现,将识别单词作为待分类单词。

分组模块902,用于将多个待分类单词之中每两个单词组成一组,以得到多个单词组。

统计模块903,用于从目标数据集中寻找并统计出每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数。

第二获取模块904,用于根据每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度。

在本申请一些实施例中,第二获取模块904具体用于:根据每个单词组之中两个单词属于相同类型的第一出现次数,获取第一出现次数排在前N的单词组;其中,N的取值为待分类单词的个数与2的差值;响应于排在前N的单词组之中所包含的不同单词个数为目标值,根据每个单词组之中两个单词属于不同类型的第二出现次数,确定出与排在前N的单词组对应的第二出现次数;其中,目标值为待分类单词的个数与1的差值;将与排在前N的单词组对应的第一出现次数和与排在前N的单词组对应的第二出现次数进行计算,以获得排在前N的单词组之中每组单词属于相同类型的概率值;将排在前N的单词组之中每组单词属于相同类型的概率值,作为针对多个待分类单词的分类结果的置信度。

分类模块905,用于响应于置信度未满足预设条件,基于深度学习从多个待分类单词之中找出不同类型的单词。其中,置信度未满足预设条件,包括:每组单词属于相同类型的概率值之中存在至少一个概率值小于或等于预设阈值;或者,排在前N的单词组之中所包含的不同单词个数不为目标值。

在本申请一些实施例中,分类模块905还用于:响应于置信度满足预设条件,根据排在前N的单词组之中每组单词,从多个待分类单词之中找出不同类型的单词;其中,置信度满足预设条件,包括:每组单词属于相同类型的概率值均大于预设阈值。

在本申请一些实施例中,分类模块905具体用于:获取每个待分类单词的词向量表示;将每个待分类单词的词向量表示进行拼接,以获得多个待分类单词的向量表示;基于深度学习对多个待分类单词的向量表示进行特征提取,以得到多个待分类单词的特征向量,并根据特征向量确定每个待分类单词的分类信息;根据每个待分类单词的分类信息,从多个待分类单词之中找出不同类型的单词。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

根据本申请实施例的单词分类装置,通过对输入图像进行文字识别的方式获取到识别单词,根据识别单词是否出现在单词集合中判断该识别单词是否发生识别错误,若确认该识别单词发生识别错误后,对该识别单词进行矫正,并将矫正后的单词作为待分类单词。从目标数据集中寻找并统计出每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数。根据每个单词组之中两个单词属于相同类型的第一出现次数和每个单词组之中两个单词属于不同类型的第二出现次数,获取针对多个待分类单词的分类结果的置信度,若置信度未满足预设条件,则需要基于深度学习从多个待分类单词之中找出不同类型的单词,提高了单词分类的泛化性能。

基于本申请的实施例,本申请还提供了一种计算机设备,至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行前述任一实施例的单词分类方法。

基于本申请的实施例,本申请还提供了一种计算机可读存储介质,其中,计算机指令用于使计算机执行根据本申请实施例提供的前述任一实施例的单词分类方法。

图10示出了可以用来实施本申请的实施例的示例计算机设备的示意性框图。计算机设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示,设备1000包括计算单元1001,其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序,来执行各种适当的动作和处理。在RAM 1003中,还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005,包括:输入单元1006,例如键盘、鼠标等;输出单元1007,例如各种类型的显示器、扬声器等;存储单元1008,例如磁盘、光盘等;以及通信单元1009,例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理,例如单词分类方法。例如,在一些实施例中,单词分类方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1008。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时,可以执行上文描述的单词分类方法的一个或多个步骤。备选地,在其他实施例中,计算单元1001可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行单词分类方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

相关技术
  • 视频分类方法、装置、电子设备及计算机可读存储介质
  • 多媒体资源分类方法、装置、计算机设备及存储介质
  • 文本分类方法、装置、计算机设备及存储介质
  • 视频动作分类的方法、装置、计算机设备和存储介质
  • 用户信息分类方法、装置、计算机设备和存储介质
  • 用于单词记忆的方法、计算机可读存储介质及计算机设备
  • 用于单词记忆的方法、计算机可读存储介质及计算机设备
技术分类

06120115623641