掌桥专利:专业的专利平台
掌桥专利
首页

扫描翻译方法、装置、扫描笔及相关产品

文献发布时间:2023-06-19 10:35:20


扫描翻译方法、装置、扫描笔及相关产品

技术领域

本申请涉及机器翻译领域,具体涉及一种扫描翻译方法、装置、扫描笔及相关产品。

背景技术

近年来,随着机器翻译在多种多样的场景及设备上的应用,市场上出现了各种具有机器翻译功能的终端,例如,扫描笔,扫描笔可以实现对纸质文本或者图像的扫描,并将扫描的内容进行翻译。但是,当扫描的内容较多,需要进行多次扫描的场景下,对扫描笔的计算资源会造成较大压力,因此,如何减少扫描笔的计算资源的问题需要解决,此外,现有扫描笔的翻译准确性也需要提高。

发明内容

本申请实施例提供了一种扫描翻译方法、装置、扫描笔及相关产品,既能够提升扫描笔的翻译效率,也能提升扫描笔的翻译效果。

第一方面,本申请实施例提供一种扫描翻译方法,所述方法包括:

在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,i为正整数;

将所述第一翻译中间结果进行转存;

在所述第i+1次扫描结束之后,根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译。

第二方面,本申请实施例提供一种扫描翻译装置,所述装置包括处理单元和通信单元,其中,

所述处理单元,用于在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,i为正整数;将所述第一翻译中间结果进行转存;在所述第i+1次扫描结束之后,根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译。

第三方面,本申请实施例提供一种终端,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例,具备如下有益效果:

可以看出,本申请实施例中提供的扫描翻译方法、装置、扫描笔及相关产品,在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果;将第一翻译中间结果进行转存;在第i+1次扫描结束之后,根据转存的第一翻译中间结果对第i+1次扫描的第二扫描文本进行翻译,如此,可通过根据转存的第一翻译中间结果对第i+1次扫描的第二扫描文本进行翻译,减少第二扫描文本进行翻译的过程中的计算量,不需要对第一扫描文本进行重复计算,避免计算资源的浪费,从而提升扫描笔的翻译效率;此外,通过根据第一翻译中间结果对第二扫描文本进行翻译,利用第一翻译中间结果表示的上下文信息来提升翻译结果的准确性和连贯性,从而提升扫描笔的翻译效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1A是现有技术中的一种多行扫描场景下的进行翻译的演示示意图;

图1B是本申请实施例提供的一种扫描翻译方法的流程示意图;

图1C是本申请实施例提供的一种将第一扫描文本进行翻译的流程示意图;

图1D是本申请实施例提供的一种扫描翻译进程的演示示意图;

图1E是本申请实施例提供的一种解码进程的多个算子进行计算的演示示意图;

图2是本申请实施例提供的一种扫描翻译方法的流程示意图;

图3是本申请实施例提供的一种扫描笔的结构示意图;

图4是本申请实施例提供的一种扫描翻译装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

扫描笔翻译场景最主要的交互方式是借助光学字符识别(optical characterrecognition,OCR)技术进行文本识别,然后作为源文本输入,使用扫描笔内置的算力进行机器翻译算法的计算,最终在终端屏幕上显示翻译结果。相比较于语音翻译场景来说,语音翻译场景的用户在说出待翻译的句子之后,有200ms到1s左右的等待时间,这段等待时间对于说话人来说基本上是可接受的,但是,在扫描笔场景下,扫描笔作为一种用户手持设备,用户的目的是尽快的得到更多翻译结果,相比较语音翻译场景,输入句子更多更长,而等待期望时间变短,这导致翻译的响应时间在直观上被双重放大。特别是在用户在抬笔落笔过程中进行多次扫描的场景下,多次扫描是指,用户落笔进行一次扫描之后,在1-2s内马上落笔进行下一次扫描。可选地,多次扫描的场景,可包括多行扫描的场景,多行扫描指的是在用户扫描完一行之后1-2s内马上扫描下一行,此时第一行的翻译结果将会被废除,与下一行进行拼接再次从头进行翻译;或者,多次扫描的场景,还可以是用户握持扫描笔落笔扫描之后,在同一行中间位置,若抬笔进行停顿之后,再次继续扫描下文的情况。

现有技术中,通常前一次的翻译结果会被废除,与下一次的扫描结果进行拼接再次从头进行翻译,但是在这段间隔时间内,翻译已经开始了运算,导致延长了“多次扫描”整体的响应时间,对于本来计算资源有限的扫描笔来说,造成了计算资源的浪费。如图1A所示,图1A为现有技术中的一种多行扫描场景下的进行翻译的演示示意图,其中,用户握持扫描笔扫描完第一行之后1-2s内,扫描下一行,在扫描第一行结束到扫描下一行之前的间隔时间内,翻译已经开始了运算,待下一次落笔时,由于系统资源有限,计算资源需要优先分配给扫描操作,于是翻译被打断,此时第一行的翻译结果将会被废弃,当下一行扫描结果扫描完成后,会将第一行的扫描文本与下一行进行拼接再次从头进行翻译,如此,延长了“多行扫描”整体的响应时间,对于本来计算资源有限的扫描笔来说,浪费了计算资源,可见,现有技术中采用的废弃、拼接、重新翻译这样的技术路线,浪费了计算资源。

为此,本案提出了一种利用起多次扫描的扫描间隔时间内的翻译结果,待下一次扫描结束后,在避免重复计算上一行的前提下,利用上一行的翻译结果来组织上下文信息,最大限度地保证翻译的效果和连贯性。

下面对本申请实施例进行详细介绍。

请参阅图1B,图1B是本申请实施例提供的一种扫描翻译方法的流程示意图,本申请提供的扫描翻译方法包括:

101、在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,i为正整数。

本申请实施例中,由于扫描笔的计算资源有限,因此,在扫描笔进行扫描时,将系统资源用于扫描,扫描进程将占据所有系统资源,此时翻译进程进入休眠状态,在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将计算资源用于翻译,翻译进程将占据所有系统资源,第i+1次扫描开始后,将所有系统资源再次用于扫描,此时翻译进程再次进入休眠状态。

可选地,上述步骤101中,所述将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,可包括:

11、将所述第一扫描文本进行预处理,得到第一预处理数据;

12、将所述预处理数据进行编码,得到第一编码数据;

13、对所述第一编码数据进行解码,得到第一解码数据;

14、对所述第一解码数据进行第一后处理,得到所述第一翻译中间结果。

请参阅图1C,图1C为本申请实施例提供的一种将第一扫描文本进行翻译的流程示意图,其中,上述预处理可包括以下至少一种:前处理、分词、切词等,其中前处理包括以下至少一种:格式转换、修改、删减、增加虚词等处理,此处不作限制,通过对第一扫描文本进行预处理,可以使第一预处理数据更加符合进行机器翻译的要求。

其中,编码解码的过程可在预设的机器翻译模型中执行,例如,该预设的机器翻译模型可以为编码-解码模型,具体地,对第一编码数据进行解码,解码计算可进行逐帧计算,每一帧可计算得到一个最佳备选单词,从而,可根据第一编码数据解码得到至少一个最佳备选单词。

其中,上述第一后处理可包括以下至少一种:束搜索、标点规范化处理、大小写转换、格式转换等等,此处不作限制,其中,可采用束搜索的方式,根据解码得到的解码文段确定最佳备选单词。

可选地,在所述将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果之前,所述方法还包括:

A1、检测到所述扫描笔第i次落笔,触发扫描模式,扫描得到所述第一扫描文本;

A2、检测到所述扫描笔第i次抬笔,中断第i次扫描进程,触发第i次翻译模式。

本申请实施例中,扫描笔可检测落笔、抬笔的动作,若检测到扫描笔第i次落笔,可触发扫描模式,将系统资源用于扫描,扫描得到所述第一扫描文本;若检测到第i次抬笔,则中断第i次扫描进程,使扫描进程进入休眠状态,触发第i次翻译模式,将系统资源用于翻译,直到检测到第i+1次落笔,如此,在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,可将第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果。

102、将所述第一翻译中间结果进行转存。

本申请实施例中,用户握持扫描笔第i+1次落笔,扫描进程将再次占用所有系统资源,翻译进程在检测到第i+1次落笔之后中断,让出所有系统资源。

在解码过程中,可将解码得到的包括至少一个最佳备选单词的最佳单词序列进行转存,从而,在第i+1次扫描之后,转存区存在有效的至少一个最佳备选单词可以取出。

103、在所述第i+1次扫描结束之后,根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译。

其中,在第i+1次扫描结束之后,扫描进程进入休眠状态,所有系统资源将用于翻译,可将转存区转存的第一翻译中间结果取出,根据第一翻译中间结果对第i+1次扫描的第二扫描文本进行翻译,如此,在第i+1次翻译过程中,不需要对第一扫描文本进行重新翻译,可直接将第一翻译中间结果用于对第二扫描文本进行翻译,可减少节约翻译进程中的计算资源,此外,通过将第一翻译中间结果用于对第二扫描文本,可以将第一翻译中间结果表示的上下文信息作为第i+1扫描的已知信息,提升第二扫描文本的翻译准确性。

可选地,上述步骤103中,所述根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译,可包括:

31、将所述第一扫描文本和所述第二扫描文本进行拼接,得到拼接文本;

32、将所述拼接文本进行第一处理,得到第一处理数据,所述第一处理至少包括第二编码处理,所述第一处理数据包括第二编码数据;

33、根据所述第一翻译中间结果对所述第二编码数据进行解码,得到第二解码数据;

34、对所述第二解码数据进行第二处理,得到第二翻译中间结果;

35、对所述第二翻译中间结果进行第二后处理,得到第二翻译结果。

其中,具体实施中,在扫描笔进行扫描和翻译的进程中,计算耗时最大,即消耗系统资源最多的操作为解码操作,本方案中,可以将第一扫描文本和第二扫描文本进行拼接,得到拼接文本,将拼接文本进行第一处理,得到第一处理数据,其中,第一处理至少包括第二编码处理,相比于上述拼接操作和第二编码操作需要的系统资源,解码操作消耗的系统资源占比较大,因此,可根据第一翻译中间结果对第二编码数据进行解码,得到第二解码数据,例如,若通过编码-解码模型进行翻译,可将第一翻译中间结果作为解码进程的输入,虽然将第一扫描文本和第二扫描文本进行了拼接,但是不需要重复对第一扫描文本的内容进行解码的操作,可直接利用第一翻译中间结果,从而节约了解码进程中的系统资源。

其中,第二后处理可包括以下至少一种:标点规范化处理、大小写转换、格式转换等等,此处不作限制。

可选地,上述步骤32中,所述将所述拼接文本进行第一处理,得到第一处理数据,可包括:

3201、将所述拼接文本进行预处理,得到第二预处理数据;

3202、将所述第二预处理数据进行编码,得到第二编码数据。

其中,上述预处理可包括以下至少一种:前处理、分词、切词等,其中前处理包括以下至少一种:格式转换、修改、删减、增加虚词等处理,此处不作限制,通过对拼接文本进行预处理,可以使第二预处理数据更加符合进行机器翻译的要求。

可选地,上述步骤3201中,所述将所述拼接文本进行预处理,得到第二预处理数据,可包括:

将所述拼接文本进行分词处理,得到分词处理后的文本数据;

将所述分词处理后的文本数据进行切词处理,得到第二预处理数据。

其中,通过分词和切词处理后,可将拼接文本拆分成多帧数据,以便于进行后续的机器翻译。

可选地,上述步骤3202中,所述将所述第二预处理数据进行编码,得到第二编码数据,包括:

将所述第二预处理数据进行编码,得到与所述第二预处理数据的长度相同的向量。

将第二预处理数据进行编码,可将第二预处理数据转换成与第二预处理数据的长度相同的向量,以便于解码操作中进行翻译推理。

可选地,所述第二编码数据包括多帧编码子数据,所述第二解码数据包括多帧解码文段,上述步骤33-步骤34中,所述根据所述第一翻译中间结果对所述第二编码数据进行解码,得到第二解码数据;对所述第二解码数据进行第二处理,得到第二翻译中间结果,可包括:

36、根据所述第一翻译中间结果对第j编码子数据进行解码,得到第j解码文段,j为正整数;

37、对所述第j解码文段进行第二处理,得到所述第j解码文段对应的第j最佳备选单词;

38、根据所述第一翻译中间结果和所述第j解码文段对应的第j最佳备选单词对第j+1编码子数据进行解码,得到第j+1解码文段;

39、对所述第j+1解码文段进行第二处理,得到所述第j+1解码文段对应的第j+1最佳备选单词;其中,所述第二翻译中间结果包含所述第j最佳备选单词和所述第j+1最佳备选单词。

本申请实施例中,进行解码的进程中,可采用逐帧处理的方式,具体地,先对第j编码子数据进行解码,然后进行第二处理,得到第j最佳备选单词,其中j=1,2,3...,j为正整数,第j编码子数据处理完之后,对第j+1编码子数据进行解码和第二处理,直到第二编码数据包括的多帧编码子数据都处理完成,可以看出,相比于现有技术中第一扫描文本需要重复进行上述操作,本方案不需要对第一扫描文本进行重复解码和第二处理,节约了多次进行解码和第二处理的系统资源,具体来说,解码的耗时与解码帧数成正比,解码帧数越多,节约的系统资源越多,例如,多次扫描解码10帧数据,第一翻译中间结果中包括3帧数据,则解码进程的解码效率可提升30%作用,大大降低了翻译的响应时间。

如图1D所示,为本申请实施例提供的一种扫描翻译进程的演示示意图,其中,第i次扫描得到第一扫描文本“a1a2a3a4”,第一扫描文本进行预处理、编码、解码、第一后处理之后,得到多个最佳备选单词c1c2c3,其中,在解码得到最佳备选单词c1之后,可将最佳备选单词c1作为解码进程的输入,用于解码后面的信息,直到得到多个最佳备选单词c1c2c3作为第一翻译中间结果;然后,将第一翻译中间结果c1c2c3进行转存,第i+1次扫描得到第二扫描文本“b1b2b3b4”,可将第一扫描文本和第二扫描文本拼接,得到拼接文本“a1a2a3a4b1b2b3b4”将拼接文本“a1a2a3a4 b1b2b3b4”进行预处理和编码之后,得到第二编码数据,然后将第一翻译中间结果和第二编码数据作为解码进程的输入,根据第一翻译中间结果对第二编码数据进行逐帧解码和第二处理,得到最佳备选单词c4,将最佳备选单词c4作为解码进程的输入,用于解码后面的信息,直到得到第二翻译中间结果。

可选地,所述第j编码子数据包括编码得到的第j向量,上述步骤36中,所述根据所述第一翻译中间结果对第j编码子数据进行解码,得到第j解码文段,包括:

根据所述第一翻译中间结果将所述编码得到的第j向量解码成第j解码文段;

上述步骤37中,所述对所述第j解码文段进行第二处理,得到所述第j解码文段对应的第j最佳备选单词,包括:

确定所述第j解码文段属于多个备选单词中每一备选单词的概率,得到多个概率;

确定所述多个概率中最大概率对应的备选单词作为所述第j最佳备选单词。

本申请实施例中,可采用束搜索的方式,根据第j解码文段确定多个备选单词中每一备选单词的概率,得到多个概率,然后将多个概率中最大概率的备选单词作为最佳备选单词。

可选地,在所述根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译之前,所述方法还包括:

A3、在将所述第i次扫描的第一扫描文本进行翻译的过程中,检测到所述扫描笔第i+1次落笔,中断所述第一扫描文本的第i次翻译进程,触发第i+1次扫描模式;

A4、在第i+1次扫描的过程中,检测到所述扫描笔第i+1次抬笔,中断第i+1次扫描进程,触发第i+1次的翻译模式。

本申请实施例中,在将第i次扫描的第一扫描文本进行翻译的过程中,若检测到扫描笔第i+1次落笔,则可中断第一扫描文本的第i次翻译进程,使翻译进程进入休眠状态,触发第i+1次扫描模式,将所有系统资源用于扫描;在在第i+1次扫描的过程中,检测到扫描笔第i+1次抬笔,可中断第i+1次扫描进程,使扫描进程进入休眠状态,触发第i+1次的翻译模式,将所有系统资源用于翻译。可见,通过检查扫描笔落笔、抬笔的动作,可控制扫描笔交替进行扫描和翻译,实现多次扫描,例如,在多行扫描场景下,扫描笔落笔,可扫描第一行,扫描笔抬笔,可对第一行的第一扫描文本进行翻译,扫描笔再次落笔,可扫描下一行,扫描笔再次抬笔,可根据第一行的第一翻译中间结果翻译下一行的第二扫描文本。

可选地,进行解码的算子包括多个,其中,至少一个所述算子中每一算子包括多个计算单元;上述步骤A3中,所述中断所述第一扫描文本的第i次翻译进程,可包括:

A31、确定解码进程中正在执行运算操作的目标算子或者目标计算单元;

A32、向所述目标算子或者目标计算单元发送中断指令,以控制所述目标算子或者目标计算单元根据所述中断指令中断所述第一扫描文本的第i次翻译进程。

本申请实施例中,为了减少中断过程的耗时,将更多的系统资源和时间片分配给转存过程,对于计算耗时占比较大的计算操作,如图1E所示,图1E为本申请实施例中解码进程的多个算子进行计算的演示示意图,其中,第五算子可包括6个计算单元,从而可以向正在执行运算操作的目标算子或者目标计算单元发送中断指令,如此,可减少中断指令响应时间,更快地中断翻译进程。

可选地,上述步骤103之后,所述方法还包括:

检测到所述扫描笔第i+2次落笔,中断所述第i+1次的翻译模式,触发第i+2次扫描模式,扫描得到第三扫描文本;

若所述第i+2次落笔与所述第i+1次抬笔之间的时间间隔小于或等于预设时长,根据所述第二翻译中间结果对所述第三扫描文本进行翻译;否则,对所述第三扫描文本单独进行翻译。

其中,预设时长例如可以是2秒,3秒等等,本申请实施例不作限制,预设时长可以由系统默认设置或者用户自行设置。

本申请实施例中,若多次扫描场景中,抬笔超过预设时长无落笔动作发生,则可将当前已经扫描的文本作为一次扫描事件,例如,一次扫描事件经过了五次落笔、抬笔,针对该五次落笔、抬笔产生的扫描文本,可根据前一次扫描文本的翻译中间结果翻译下一次扫描文本,在第五次抬笔之后超过预设时长无落笔动作发生,则(预设时长之后)用户下一次落笔扫描的内容,与前一次扫描事件的翻译结果不存在联系。

具体实施中,若第i+1次抬笔到第i+2次落笔之间的时间间隔小于或等于预设时长,则可根据第二翻译中间结果对第三扫描文本进行翻译;否则,第三扫描文本与第二扫描文本不存在联系,可对第三扫描文本单独进行翻译。

可以看出,本申请实施例中的应扫描翻译方法,在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,i为正整数;将第一翻译中间结果进行转存;在第i+1次扫描结束之后,根据转存的第一翻译中间结果对第i+1次扫描的第二扫描文本进行翻译,如此,可通过根据转存的第一翻译中间结果对第i+1次扫描的第二扫描文本进行翻译,减少第二扫描文本进行翻译的过程中的计算量,不需要对第一扫描文本进行重复计算,避免计算资源的浪费,从而提升扫描笔的翻译效率;此外,通过根据第一翻译中间结果对第二扫描文本进行翻译,利用第一翻译中间结果表示的上下文信息来提升翻译结果的准确性和连贯性,从而提升扫描笔的翻译效果。

请参阅图2,图2为本申请实施例提供的一种扫描翻译方法的流程示意图,所述方法包括:

201、检测到扫描笔第i次落笔,触发扫描模式,扫描得到所述第一扫描文本。

202、检测到所述扫描笔第i次抬笔,中断第i次扫描进程,触发第i次翻译模式,i为正整数。

203、在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果。

204、将所述第一翻译中间结果进行转存。

205、在将所述第i次扫描的第一扫描文本进行翻译的过程中,检测到所述扫描笔第i+1次落笔,中断所述第一扫描文本的第i次翻译进程,触发第i+1次扫描模式,扫描得到第二扫描文本。

206、在第i+1次扫描的过程中,检测到所述扫描笔第i+1次抬笔,中断第i+1次扫描进程,触发第i+1次的翻译模式。

207、在所述第i+1次扫描结束之后,将所述第一扫描文本和所述第二扫描文本进行拼接,得到拼接文本。

208、将所述拼接文本进行预处理,得到第二预处理数据;将所述第二预处理数据进行编码,得到第二编码数据。

209、根据所述第一翻译中间结果对所述第二编码数据进行解码,得到第二解码数据。

210、对所述第二解码数据进行第二处理,得到第二翻译中间结果。

211、对所述第二翻译中间结果进行第二后处理,得到第二翻译结果。

可以看出,本申请实施例,检测到扫描笔第i次落笔,触发扫描模式,检测到扫描笔第i次抬笔,中断第i次扫描进程,触发第i次翻译模式,在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,将第一翻译中间结果进行转存,将第i次扫描的第一扫描文本进行翻译的过程中,检测到扫描笔第i+1次落笔,中断第一扫描文本的第i次翻译进程,检测到扫描笔第i+1次抬笔,中断第i+1次扫描进程,触发第i+1次的翻译模式,将第一扫描文本和所述第二扫描文本进行拼接,得到拼接文本,根据第一翻译中间结果对第二编码数据进行解码,得到第二解码数据,对第二解码数据进行第二处理,得到第二翻译中间结果,如此,可在多次扫描的场景下,减少第二扫描文本进行翻译的过程中的计算量,不需要对第一扫描文本进行重复计算,避免计算资源的浪费,从而提升扫描笔的翻译效率;此外,通过根据第一翻译中间结果对第二扫描文本进行翻译,利用第一翻译中间结果表示的上下文信息来提升翻译结果的准确性和连贯性,从而提升扫描笔的翻译效果。

以下是实施上述扫描翻译方法的装置,具体如下:

与上述一致地,请参阅图3,图3是本申请实施例提供的一种扫描笔的结构示意图,该扫描笔包括:处理器310、通信接口330和存储器320;以及一个或多个程序321,所述一个或多个程序321被存储在所述存储器320中,并且被配置成由所述处理器执行,所述程序321包括用于执行以下步骤的指令:

在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,i为正整数;

将所述第一翻译中间结果进行转存;

在所述第i+1次扫描结束之后,根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译。

在一个可能的示例中,在所述将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果方面,所述程序321包括用于执行以下步骤的指令:

将所述第一扫描文本进行预处理,得到第一预处理数据;

将所述预处理数据进行编码,得到第一编码数据;

对所述第一编码数据进行解码,得到第一解码数据;

对所述第一解码数据进行第一后处理,得到所述第一翻译中间结果。

在一个可能的示例中,在所述根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译方面,所述程序321包括用于执行以下步骤的指令:

将所述第一扫描文本和所述第二扫描文本进行拼接,得到拼接文本;

将所述拼接文本进行第一处理,得到第一处理数据,所述第一处理至少包括第二编码处理,所述第一处理数据包括第二编码数据;

根据所述第一翻译中间结果对所述第二编码数据进行解码,得到第二解码数据;

对所述第二解码数据进行第二处理,得到第二翻译中间结果;

对所述第二翻译中间结果进行第二后处理,得到第二翻译结果。

在一个可能的示例中,在所述将所述拼接文本进行第一处理,得到第一处理数据方面,所述程序321包括用于执行以下步骤的指令:

将所述拼接文本进行预处理,得到第二预处理数据;

将所述第二预处理数据进行编码,得到第二编码数据。

在一个可能的示例中,在所述将所述拼接文本进行预处理,得到第二预处理数据方面,所述程序321包括用于执行以下步骤的指令:

将所述拼接文本进行分词处理,得到分词处理后的文本数据;

将所述分词处理后的文本数据进行切词处理,得到第二预处理数据。

在一个可能的示例中,在所述将所述第二预处理数据进行编码,得到第二编码数据方面,所述程序321包括用于执行以下步骤的指令:

将所述第二预处理数据进行编码,得到与所述第二预处理数据的长度相同的向量。

在一个可能的示例中,所述第二编码数据包括多帧编码子数据,所述第二解码数据包括多帧解码文段,在所述根据所述第一翻译中间结果对所述第二编码数据进行解码,得到第二解码数据;对所述第二解码数据进行第二处理,得到第二翻译中间结果方面,所述程序321包括用于执行以下步骤的指令:

根据所述第一翻译中间结果对第j编码子数据进行解码,得到第j解码文段,j为正整数;

对所述第j解码文段进行第二处理,得到所述第j解码文段对应的第j最佳备选单词;

根据所述第一翻译中间结果和所述第j解码文段对应的第j最佳备选单词对第j+1编码子数据进行解码,得到第j+1解码文段;

对所述第j+1解码文段进行第二处理,得到所述第j+1解码文段对应的第j+1最佳备选单词;其中,所述第二翻译中间结果包含所述第j最佳备选单词和所述第j+1最佳备选单词。

在一个可能的示例中,所述第j编码子数据包括编码得到的第j向量,在所述根据所述第一翻译中间结果对第j编码子数据进行解码,得到第j解码文段方面,所述程序321包括用于执行以下步骤的指令:

根据所述第一翻译中间结果将所述编码得到的第j向量解码成第j解码文段;

在所述对所述第j解码文段进行第二处理,得到所述第j解码文段对应的第j最佳备选单词方面,所述程序321还包括用于执行以下步骤的指令:

确定所述第j解码文段属于多个备选单词中每一备选单词的概率,得到多个概率;

确定所述多个概率中最大概率对应的备选单词为所述第j最佳备选单词。

在一个可能的示例中,在所述将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果之前,所述程序321还包括用于执行以下步骤的指令:

检测到所述扫描笔第i次落笔,触发扫描模式,扫描得到所述第一扫描文本;

检测到所述扫描笔第i次抬笔,中断第i次扫描进程,触发第i次翻译模式。

在一个可能的示例中,在所述根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译之前,所述程序321还包括用于执行以下步骤的指令:

在将所述第i次扫描的第一扫描文本进行翻译的过程中,检测到所述扫描笔第i+1次落笔,中断所述第一扫描文本的第i次翻译进程,触发第i+1次扫描模式;

在第i+1次扫描的过程中,检测到所述扫描笔第i+1次抬笔,中断第i+1次扫描进程,触发第i+1次的翻译模式。

在一个可能的示例中,进行解码的算子包括多个,其中,至少一个所述算子中每一算子包括多个计算单元;在所述中断所述第一扫描文本的第i次翻译进程方面,所述程序321还包括用于执行以下步骤的指令:

确定解码进程中正在执行运算操作的目标算子或者目标计算单元;

向所述目标算子或者目标计算单元发送中断指令,以控制所述目标算子或者目标计算单元根据所述中断指令中断所述第一扫描文本的第i次翻译进程。

在一个可能的示例中,所述程序321还包括用于执行以下步骤的指令:

检测到所述扫描笔第i+2次落笔,中断所述第i+1次的翻译模式,触发第i+2次扫描模式,扫描得到第三扫描文本;

若所述第i+2次落笔与所述第i+1次抬笔之间的时间间隔小于或等于预设时长,根据所述第二翻译中间结果对所述第三扫描文本进行翻译;否则,对所述第三扫描文本单独进行翻译。

需要说明的是,本申请实施例中的具体实施步骤和其他实施步骤,可参见图1B所示的方法实施例的步骤,为避免重复,这里不再详细描述。

请参阅图4,图4是本实施例提供的一种扫描翻译装置的结构示意图,该扫描翻译装置400包括所述装置包括处理单元401和通信单元402,处理单元401用于对电子设备的动作进行控制管理,

通信单元402用于支持电子设备与其他设备的通信。终端还可以包括存储单元403,用于存储终端的程序代码和数据。

其中,处理单元401可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),通用处理器,数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信单元402可以是通信接口、收发器、收发电路等,存储单元403可以是存储器。

具体实现时,所述处理单元401用于执行如上述方法实施例中由电子设备执行的任一步骤,且在执行诸如发送等数据传输时,可选择的调用所述通信单元402来完成相应操作。下面进行详细说明。

语音处理装置400,包括处理单元和通信单元,其中,所述处理单元401,用于在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,i为正整数;将所述第一翻译中间结果进行转存;在所述第i+1次扫描结束之后,根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译。

可选地,在所述将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果方面,所述处理单元401具体用于:

将所述第一扫描文本进行预处理,得到第一预处理数据;

将所述预处理数据进行编码,得到第一编码数据;

对所述第一编码数据进行解码,得到第一解码数据;

对所述第一解码数据进行第一后处理,得到所述第一翻译中间结果。

可选地,在所述根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译方面,所述处理单元401具体用于:

将所述第一扫描文本和所述第二扫描文本进行拼接,得到拼接文本;

将所述拼接文本进行第一处理,得到第一处理数据,所述第一处理至少包括第二编码处理,所述第一处理数据包括第二编码数据;

根据所述第一翻译中间结果对所述第二编码数据进行解码,得到第二解码数据;

对所述第二解码数据进行第二处理,得到第二翻译中间结果;

对所述第二翻译中间结果进行第二后处理,得到第二翻译结果。

可选地,在所述将所述拼接文本进行第一处理,得到第一处理数据方面,所述处理单元401具体用于:

将所述拼接文本进行预处理,得到第二预处理数据;

将所述第二预处理数据进行编码,得到第二编码数据。

可选地,在所述将所述拼接文本进行预处理,得到第二预处理数据方面,所述处理单元401具体用于:

将所述拼接文本进行分词处理,得到分词处理后的文本数据;

将所述分词处理后的文本数据进行切词处理,得到第二预处理数据。

可选地,在所述将所述第二预处理数据进行编码,得到第二编码数据方面,所述处理单元401具体用于:

将所述第二预处理数据进行编码,得到与所述第二预处理数据的长度相同的向量。

可选地,所述第二编码数据包括多帧编码子数据,所述第二解码数据包括多帧解码文段,在所述根据所述第一翻译中间结果对所述第二编码数据进行解码,得到第二解码数据;对所述第二解码数据进行第二处理,得到第二翻译中间结果方面,所述处理单元401具体用于:

根据所述第一翻译中间结果对第j编码子数据进行解码,得到第j解码文段,j为正整数;

对所述第j解码文段进行第二处理,得到所述第j解码文段对应的第j最佳备选单词;

根据所述第一翻译中间结果和所述第j解码文段对应的第j最佳备选单词对第j+1编码子数据进行解码,得到第j+1解码文段;

对所述第j+1解码文段进行第二处理,得到所述第j+1解码文段对应的第j+1最佳备选单词;其中,所述第二翻译中间结果包含所述第j最佳备选单词和所述第j+1最佳备选单词。

可选地,所述第j编码子数据包括编码得到的第j向量,在所述根据所述第一翻译中间结果对第j编码子数据进行解码,得到第j解码文段方面,所述处理单元401具体用于:

根据所述第一翻译中间结果将所述编码得到的第j向量解码成第j解码文段;

在所述对所述第j解码文段进行第二处理,得到所述第j解码文段对应的第j最佳备选单词方面,所述程序321还包括用于执行以下步骤的指令:

确定所述第j解码文段属于多个备选单词中每一备选单词的概率,得到多个概率;

确定所述多个概率中最大概率对应的备选单词为所述第j最佳备选单词。

可选地,在所述将所述第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果之前,所述处理单元401还用于:

检测到所述扫描笔第i次落笔,触发扫描模式,扫描得到所述第一扫描文本;

检测到所述扫描笔第i次抬笔,中断第i次扫描进程,触发第i次翻译模式。

可选地,在所述根据转存的所述第一翻译中间结果对所述第i+1次扫描的第二扫描文本进行翻译之前,所述处理单元401还用于:

在将所述第i次扫描的第一扫描文本进行翻译的过程中,检测到所述扫描笔第i+1次落笔,中断所述第一扫描文本的第i次翻译进程,触发第i+1次扫描模式;

在第i+1次扫描的过程中,检测到所述扫描笔第i+1次抬笔,中断第i+1次扫描进程,触发第i+1次的翻译模式。

可选地,进行解码的算子包括多个,其中,至少一个所述算子中每一算子包括多个计算单元;在所述中断所述第一扫描文本的第i次翻译进程方面,所述确定解码进程中正在执行运算操作的目标算子或者目标计算单元;

向所述目标算子或者目标计算单元发送中断指令,以控制所述目标算子或者目标计算单元根据所述中断指令中断所述第一扫描文本的第i次翻译进程。具体用于:

确定解码进程中正在执行运算操作的目标算子或者目标计算单元;

向所述目标算子或者目标计算单元发送中断指令,以控制所述目标算子或者目标计算单元根据所述中断指令中断所述第一扫描文本的第i次翻译进程。

可选地,所述处理单元401,还用于:

检测到所述扫描笔第i+2次落笔,中断所述第i+1次的翻译模式,触发第i+2次扫描模式;

扫描得到第三扫描文本;

若所述第i+2次落笔与所述第i+1次抬笔之间的时间间隔小于或等于预设时长,根据所述第二翻译中间结果对所述第三扫描文本进行翻译;否则,对所述第三扫描文本单独进行翻译。

可以看出,本申请实施例中所描述的扫描翻译装置,在扫描笔第i次扫描结束到第i+1次扫描开始的时间间隔内,将第i次扫描的第一扫描文本进行翻译,得到第一翻译中间结果,i为正整数;将第一翻译中间结果进行转存;在第i+1次扫描结束之后,根据转存的第一翻译中间结果对第i+1次扫描的第二扫描文本进行翻译,如此,可通过根据转存的第一翻译中间结果对第i+1次扫描的第二扫描文本进行翻译,减少第二扫描文本进行翻译的过程中的计算量,不需要对第一扫描文本进行重复计算,避免计算资源的浪费,从而提升扫描笔的翻译效率;此外,通过根据第一翻译中间结果对第二扫描文本进行翻译,利用第一翻译中间结果表示的上下文信息来提升翻译结果的准确性和连贯性,从而提升扫描笔的翻译效果。

需要说明的是,本申请实施例中的具体实施步骤和其他实施步骤,可参见图1B所示的方法实施例的步骤,为避免重复,这里不再详细描述。

可以理解的是,本实施例的扫描翻译装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 扫描翻译方法、装置、扫描笔及相关产品
  • 扫描笔及扫描笔装置
技术分类

06120112607232