用于外语学习的智能语音分析和辅助交流方法

技术领域

本发明涉及一种用于外语学习的智能语音分析和辅助交流方法，当用户在交互式场景中与其他人进行交流时，通过智能语音分析系统的辅助，改善交流过程的流畅性；并且智能语音分析系统记录用户在交流过程中出现的各种错误，在后期有针对性的对用户进行重点强化训练、以进行改正；属于语音识别的技术领域。

背景技术

当人们在学习一种全新的语言时，会遇到各种各样的困难；尤其是在学习差异较大的新语言时，更是困难重重；例如外国人学习汉语的情况。当然，不同的人学习外语的目的和目标都有所差异，而且在学习外语的不同阶段，其面临的难点和重点也是不同的。以往经验表明，通过不断融入外语语境的交互式场景，是一种促进语言学习的很好的途径；另外，增加学习的乐趣也是促进外语学习的一个重要因素。

随着人工智能技术的不断发展，自动语音翻译设备逐渐兴起；但是，现有的自动语音翻译设备其主要目的是帮助人们在陌生的语言环境中临时进行交流沟通；其主要目的并不是帮助人们学习如何应用外语口语。换言之，在外语学习过程中，学习者自己都不确定其用外语所叙述的内容是否正确，同样自动语音翻译设备也无法做出正确的翻译。

因此，如何利用自动语音识别的技术手段，促进外语学习的过程即成为一个有待解决的问题。

发明内容

本发明则是利用自动语音识别的技术手段，实时分析用户在不同的场景和不同学习阶段所遇到的问题，并由针对性的给予辅助性支持；当用户在交互式场景中与其他人进行交流时，通过智能语音分析系统的辅助，改善交流过程的流畅性；并且智能语音分析系统记录用户在交流过程中出现的各种错误，在后期有针对性的对用户进行重点强化训练、以进行改正；从而帮助用户更快的进行外语学习，并可以从中获得学习的乐趣。

本发明的技术方案是：用于外语学习的智能语音分析和辅助交流方法，其特征在于：包括智能语音分析系统；首先，用户在智能语音分析系统中设定第一语言和第二语言的种类；第一语言为用户正在学习的语言；第二语言为用户已熟练掌握的语言；

用于外语学习的智能语音分析和辅助交流方法应用于交互式场景之中；所述的交互式场景是以第一语言为主要交流方式的场景；具体的方法如下：

S101，当用户与交流对象进行对话时，交流对象使用第一语言作为表达方式，用户使用第一语言或第一语言为主混合第二语言的表达方式；智能语音分析系统对用户表达的内容进行语音分析，并将其处理成为符合第一语言规范的文字或语音，使得交流对象能够理解用户所要表达的意思；若用户所叙述的内容具有不确定性，则由智能语音分析系统给出若干种备选的处理结果，由用户或交流对象人为进行判断和选择；

需要说明的是，采用上述操作是为了让用户在场景中尽可能多使用第一语言，以促进其学习过程；重点在于尽可能容忍用户所犯各种错误；并且，智能语音分析系统可以根据各种场景特别设定一些由第一语言加第二语言混合的常用语句范本、提示用户使用，使得用户在初学阶段能够降低与人交流的难度；

S102，智能语音分析系统，能够分析并提取交流对象说话的内容，将内容按第一语言对应的文字的形式展示给用户，并且对其中的关键信息进行标注，便于用户对第一语言进行学习；若用户不理解所述的关键信息的含义，则通过智能语音分析系统进行翻译、以第二语言进行解释说明，以便于用户的理解；

需要说明的是，“将内容按第一语言对应的文字的形式展示给用户”，虽然流程有些麻烦，但可以促进用户对第一语言的理解和学习；

S103，智能语音分析系统能够对S101、S102中出现的用户使用第一语言的问题进行记录；

所述的问题至少包括用词不当、发音不准、语法错误、语序颠倒；

由于社交过程具有较高的交互性，当用户与交流对象的对话进行的顺畅时，智能语音分析系统判定在该过程中双方均已理解对方所要表达的意思；若用户与交流对象的对话进行的不顺畅时，则需要更多的借助智能语音分析系统进行中转，智能语音分析系统对该过程中用户所出现的使用第一语言的问题进行记录。

进一步的，在所述的S103步骤之后，当用户离开交互式场景后，能够启动复习过程，通过智能语音分析系统逐一回放交流过程中可能存在问题的对话，并通过与用户的交互逐一确认问题的细节、并进行纠正错误的强化练习。

进一步的，智能语音分析系统通过耳机实时对用户播放辅助交流的语音，帮助用户完成交流过程、同时也不会对对话过程产生额外的干扰。

进一步的，智能语音分析系统能够记录用户经常会犯的错误，当用户在交互式场景中进行交流的过程中，若出现所述的错误则能够有针对性的进行处理；即智能语音分析系统能够根据用户经常性的错误记录进行自动纠错并更准确的翻译用户所要表达的内容，使得交流的过程更加顺畅。

进一步的，当用户学习到熟练的阶段后，通过智能语音分析系统设定学习目标；在用户与交流对象进行对话时，智能语音分析系统对于话内容进行实时翻译和分析；若对话的内容与学习目标重叠，则由智能语音分析系统将对话的内容与相应的学习目标的知识点进行关联并提示，使用户加深印象、并逐渐掌握所述的知识点的使用条件和使用方法。

本发明的有益效果是：

1、现有的自动语音翻译设备主要是围绕用户构建一个以第二语言为主的语言和文字环境、便于交流；本发明则是围绕用户构建一个以第一语言为主的语言和文字环境、促进用户学习外语；

2、利用交互式场景的上下文环境，能够提高语音自动识别过程的准确性，降低出错的概率；并能够帮助用户进行更好的交流，形成良好的互动的氛围；

3、通过回放过程，强化学习的效果；并利用用户对交流过程的记忆、便于查找对话中的问题和错误，使用户能够更快的融入相关的交互式场景；

4、通过分阶段设定学习目标，不失时机的结合场景，即兴的加入需要学习的知识点，在交流对象的协助下，能够更轻松、有趣的达到学习的目的。

附图说明

图1：本发明的用于外语学习的智能语音分析和辅助交流方法的流程图。

具体实施方式

实施例1：

通常，所述的智能语音分析系统安装在用户随身携带的智能终端之中；当用户处于某个交互式场景并与交流对象进行交流时，启动智能语音分析系统。

当用户与交流对象进行对话时，交流对象使用第一语言作为表达方式，用户使用第一语言或第一语言为主混合第二语言的表达方式；

由于用户仍处于学习阶段、还不能够熟练运用第一语言；因此，智能语音分析系统采集到的用户使用第一语言的语音可能存在各种各样的错误、例如发音、语法、用词、语序等错误，若直接进行翻译往往很难做到准确无误。因此，当用户所叙述的内容具有不确定性导致智能语音分析系统无法确定用户所表达的意思时，由智能语音分析系统将采集到的语音拆分成若干个片段，并对各个片段进行分析、设定若干个相同或相近似的词句，然后再进行排列组合、形成若干个意思通顺的备选的处理结果；再将备选的处理结果以第一语言的形式（文字或语音）进行展示，由用户或交流对象人为进行判断和选择；

上述过程，不仅是进行翻译，而是可根据用户在学习阶段的实际情况，对于对话的内容进行细分、标出其中的重点，从而促进用户的学习过程；与特定的场景结合之后，可以缩小智能语音分析系统纠错的范围、降低纠错的难度；

当用户无法表达某些单词时（主要是一些使用频率较低或生僻的词），允许用户使用以第一语言为主混合第二语言的单词的语句，由智能语音分析系统对上述语句进行相应的转换；通过这种灵活的设定，可以使得用户不必纠结在某些单词上、实现更流畅的交流。

并且，智能语音分析系统能够分析并提取交流对象说话的内容，将内容按第一语言对应的文字的形式展示给用户；由于交流对象能够熟练使用第一语言，因此语音转换的准确度较高；智能语音分析系统在展示文字的同时、对其中的关键信息进行标注，便于用户对第一语言进行学习；若用户仍然不理解所述的文字信息的含义，则通过智能语音分析系统进行翻译、再以第二语言进行解释说明，以便于用户的理解；通过这个过程，使得用户可以加深语言和文字的对应关系的印象，同时使得交流过程更加顺畅；

由于社交过程具有较高的交互性，当用户与交流对象的对话进行的比较顺畅时（例如双方对答如流的情况），智能语音分析系统判定在该过程中双方均已理解对方所要表达的意思；若用户与交流对象的对话进行的不顺畅时（例如双方不能互相理解表达的内容、就会在停顿在一个点上不断反复），则需要更多的借助智能语音分析系统进行中转、促进双方的理解；

智能语音分析系统能够对上述过程中出现的用户使用第一语言的问题进行记录；包括用词不当、发音不准、语法错误、语序颠倒等等。并且可以对实时场景的对话进行录音，便于后期重复播放。

当用户离开交互式场景后，能够启动复习过程，通过智能语音分析系统逐一回放交流过程中可能存在问题的对话，并通过与用户的交互逐一确认问题的细节、并进行纠正错误的强化练习；

例如，当回放某一段对话时，采用第一语言与第二语言对照显示的方式，用户能够比较容易的发现对话内容是否与他的理解相同，若不同则对问题进行记录、对错误进行纠正；而且，通过这个重放的过程，智能语音分析系统能够记录用户经常会犯的错误，当用户在交互式场景中进行交流的过程中，若出现所述的错误则能够有针对性的进行处理；即智能语音分析系统能够自动纠错，因此能够更准确的翻译用户所要表达的内容，使得交流的过程更加顺畅。

进一步的，通过与定位系统配合使用、获取准确的场景信息；通过与用户交互确认后设定到智能语音分析系统，智能语音分析系统能够根据具体的场景信息提供个性化的辅助翻译服务；并且能够推送与该场景相关的特定内容。例如，在某个旅游景点推送与该景点相关的导游信息；在某个饭店推送该饭店特色菜品的介绍等等，使得学习过程与场景紧密结合、更具趣味性。

进一步的，当用户学习到熟练的阶段后，通过智能语音分析系统设定学习目标；在用户与交流对象进行对话时，智能语音分析系统对于对话的内容进行实时翻译和分析；当对话的内容与学习目标重叠时，由智能语音分析系统将对话的内容与相应的学习目标的知识点进行关联并提示，使用户加深印象、并逐渐掌握所述的知识点的使用条件和使用方法。

通过设定较高级的学习目标，智能语音分析系统就像是一个参与社交过程的机器人，不仅聆听而且时不时的参与交流过程。以外国人学习中文为例，可以设定如下的学习目标，特定语法、成语、诗词、修辞手法等；该方法主要可以用于两个人或多个人聊天/闲谈的场景，当对话的内容与预先设定的学习目标重叠时，智能语音分析系统通过语音或文字加入进来。例如说，“这句话还可以这样说：…………”、“这里可以使用XXXX成语”、“这个景色可以用XXX诗词来形容”等等。

由于交流对象并不了解用户的学习目标，所以也不会主动涉及相关知识点；但是在交流过程中，当相关的知识点被智能语音分析系统适时的提出的时候，交流对象完全能够做出适当的反馈，从而自然而然的帮助用户完成学习的过程；另外，系统自动提出的知识点，有可能合理或者不合理，而通过交流对象的反馈则可以排除不合理的内容。

当然，本发明创造并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。