一种基于笔式交互及语音交互的三维立体几何绘制系统

技术领域

本发明涉及立体几何绘制技术领域，特别是涉及一种基于笔式交互及语音交互的三维立体几何绘制系统。

背景技术

前苏联教育学家斯托利亚尔曾指出，数学教学与数学相关的实验活动息息相关，需要结合实验操作与观察验证才能达到最好的教学效果。立体几何伴随着其难度颇高的空间想象能力要求，成为了不少学生难以理解与学习的知识点。传统的立体几何教育中，教师通常使用黑板作图和实物模型相结合以进行立体几何图形的展现，学生难以亲自观察到立体几何图形的全貌或是动手操作这些模型。而如果采用软件的方式，将这些立体图形以三维的方式显现出来，同时学生可以对其进行自由的操作，就会让学生在与软件的交互过程中更加深刻理解相关的立体几何知识。

在我国教育部明确指出了“空间与图形”在义务教育过程中的重要地位。同时，还推荐使用信息技术来改进教与学之间的关系，使学生能够在探索过程中理解与解决实际的问题。目前市面上也有数款立体几何教学软件，如几何画板和GeoGebra等。几何画板是美国Key Curriculum Press公司制作的，适用于平面几何、物理矢量分析、函数作图的动态几何教育工具。使用几何画板可以绘制精确的几何图形，能度量并显示长度、面积和角度，研究函数图像以及绘制动态轨迹等，方便了教学和学生理解，但几何画板的学习成本较高，在实现立体几何中旋转体等复杂图形时步骤复杂，且几何画板的立体几何图形只可以通过制作动画来定轴旋转，无法以任意角度观察。GeoGebra融合了代数与几何两大学科，利用绘图工具可以做出点、线、向量、多边形等基本图形，也可直接在命令列中输入代数表达式得到对应图形。GeoGebra在平面几何中可以对函数求导数、积分、对多项式函数求极值和拐点等，但在绘制立体几何时，GeoGebra无法根据约束条件快速构造图形，使用时需要较长时间来学习绘图，同时GeoGebra也不能隐藏外部点线面，因而不利于了解几何体的内部线面结构。Cabri 3D是法国国家科研中心研制的一款三维几何模型软件，能够帮助使用者快速构建立体几何并能操控、查看多种三维空间图形，它提供构建动态和静态的图形，也可以进行长度、面积、体积、角度等测量。然而，Cabri 3D的操作过程非常依赖鼠标和键盘，且缺少了用字母标识几何图形的点这一重要功能，不利于教师在教学过程中使用。同时，Cabri 3D也无法根据给定的约束条件构造立体图形。

鉴于当前中学数学领域立体几何教学软件的功能不足，无法满足实际教学中的需求，有必要提供一种能够方便快捷操作的立体几何教学软件，既能够满足学生快速上手操作的需要，也能提升学生的学习兴趣；同时考虑到在课堂教学中，教师需要在有限的课堂时间内完成教学，因而需要软件具有较高的交互效率。

发明内容

本发明的目的是提供一种基于笔式交互及语音交互的三维立体几何绘制系统，以解决现有技术中存在的技术问题，能够最大限度保持传统课堂教学的使用习惯，提高系统的交互效率，操作性和实用性强。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于笔式交互及语音交互的三维立体几何绘制系统，包括用户交互模块、识别模块、命令模块、几何模块；

所述用户交互模块包括操作模块和显示模块；所述操作模块用于获取用户的操作内容；所述显示模块用于对用户操作内容的识别结果、命令转换结果、三维立体几何生成结果进行实时显示；

所述识别模块用于对用户的操作内容进行识别；

所述命令模块用于将用户的操作内容的识别结果转换成可执行的命令；

所述几何模块用于根据所述命令模块转换成的可执行命令构建或修改三维立体几何图形。

优选地，所述操作模块包括笔式交互模块、语音交互模块，所述笔式交互模块、语音交互模块分别与所述识别模块连接；所述笔式交互模块用于获取用户手写操作内容，并将所获取的操作内容以坐标点序列的形式进行存储；所述语音交互模块用于获取用户通过语音发出的操作内容。

优选地，所述识别模块包括手写识别模块、语音识别模块；所述手写识别模块与所述笔式交互模块连接，用于对用户的笔式交互内容进行识别；所述语音识别模块与所述语音交互模块连接，用于对用户的语音交互内容进行识别。

优选地，所述手写识别模块采用百度云手写识别应用程序接口API。

优选地，所述百度云手写识别API返回的结果字段包含了字符的位置信息、候选字符列表，将候选字符中识别概率最高的字符作为当前的识别结果，并在所述显示模块中进行显示。

优选地，所述语音识别模块采用改进的百度云语音识别API，所述改进的百度云语音识别API通过语音识别词库文件训练得到。

优选地，所述语音识别词库文件的生成方法包括：

选择英文字母作为顶点标记字母，对命令模块中的字母标记符进行替换；

利用英文字母之间的顺序性与非顺序性关系，对命令模块中的顶点字母进行替换。

优选地，用户的操作内容包括构造条件操作、辅助图形操作、测量条件操作、平面图形的旋转、旋转体的展开。

优选地，所述命令模块对所述识别模块的识别结果进行模糊处理。

优选地，所述几何模块包括几何模型、几何状态模块、摄像机系统；

所述几何模型用于三维立体几何图形顶点位置的确定、三维立体几何图形元素点、边、面的增删；

所述摄像机系统包括若干个摄像机；所述摄像机系统用于对三维立体几何图形进行渲染，还用于控制所述摄像机的镜头位置视角变换并绘制用于计算边的虚实线的深度图；

所述几何状态模块用于对三维立体几何图形的当前状态进行存储；所述几何状态模块还用于对三维立体几何图形的状态所对应的交互响应事件进行存储。

本发明公开了以下技术效果：

(1)本发明用户交互模块包括笔式交互模块、语音交互模块，通过笔式交互既能够最大限度保持传统课堂教学的使用习惯，又能激发学生自主探究学习的兴趣；通过语音交互能够显著提高系统的交互效率；同时，通过多模态的交互方式，有效增强了本发明三维立体几何绘制系统在实际教学环境中的操作性和实用性。

(2)本发明通过命令模块将用户输入的操作内容转换为系统可执行的命令，涵盖了教学中所有的操作命令，除点线面绘制等常用功能外，还能进行旋转体动态实时构建、截面展示，解决了立体几何教学中2D图形到3D图形的映射关系、以及立体几何空间关系理解困难等难题，有助于学生提高空间想象能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于笔式交互及语音交互的三维立体几何绘制系统结构示意图；

图2为本发明实施例中手写识别模块的识别流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本实施例提供一种基于笔式交互及语音交互的三维立体几何绘制系统，包括用户交互模块、识别模块、命令模块、几何模块；

所述用户交互模块包括操作模块和显示模块；所述操作模块用于获取用户的操作内容；所述操作模块包括笔式交互模块、语音交互模块，所述笔式交互模块、语音交互模块分别与所述识别模块连接；所述笔式交互模块用于获取用户手写操作内容，并将所获取的操作内容以坐标点序列的形式进行存储；所述笔式交互模块对输入的笔迹以时间以时间阈值进行分割，当抬笔时间大于预设阈值时，触发一次识别请求；所述语音交互模块用于获取用户通过语音发出的操作内容。

本实施例中，所述操作模块还包括UI(user interface，用户界面)交互模块，用于根据系统自带操作界面上的功能发送指令，所述UI交互模块与所述几何模块连接。

所述显示模块用于对用户操作内容的识别结果、命令转换结果、三维立体几何生成结果进行实时显示。

所述识别模块用于对用户的操作内容进行识别；所述识别模块包括手写识别模块、语音识别模块，通过多模态的交互方式，有效增强了本发明三维立体几何绘制系统在实际教学环境中的操作性和实用性；所述识别模块还用于对识别结果进行解析，通过解析将文字或语音转换为相应的命令，通过所述命令对三维立体几何图形进行自定义操作。

所述手写识别模块用于对用户的笔式交互内容进行识别；本实施例中，所述手写识别模块基于百度云手写识别API(Application Programming Interface，应用程序接口)来实现；所述手写识别模块的具体识别流程如图2所示，包括手写笔迹获取、请求结构、命令解析识别三部分；百度云手写识别API返回的结果字段包含了字符的位置信息、候选字符列表，将候选字符中识别概率最高的字符作为当前的识别结果，并在所述显示模块中进行显示。

所述语音识别用于对用户的语音交互内容进行识别；所述语音识别模块基于改进的百度云语音识别API来实现；

百度云语音识别API在获取到用户语音文件后，首先将所述语音文件转化为PCM16编码数据，并将PCM16编码数据上传到API，得到JSON格式的识别结果，将候选字符中识别概率最高的字符作为当前的识别结果，并在所述显示模块中进行显示。然而，百度云语音识别API对于数学领域的特定命令识别准确率不高，特别对于命令中混杂的字母标记识别效果不佳，无法满足三维立体几何绘制需求。

用于平台训练的语音识别词库文件内容对于模型训练后的识别效果至关重要，本实施例改进的百度云语音识别API的语音识别词库中，加入了搜狗输入法提供的数学相关词库文件，涵盖了基础数学用词、常用数学词汇、专业数学词汇，以提升模型对数学词汇的训练效果；同时，由于百度云语音识别API倾向于将语音中的英文字母识别为发音相似的汉字，如字母B识别为汉字“比”，字母I识别为汉字“爱”，因此，本实施例自定义构建了大量软件所能识别的命令并加入到语音识别词库文件中，语音识别词库文件生成具体方法如下：

首先，选择英文字母作为顶点标记字母，对命令模块中的字母标记符进行替换；

语音识别词库文件的生成是对字符串进行匹配与替换的过程，如果不加以限制进行替换，会导致最后生成的语音识别词库文件快速膨胀，且包含大量无效训练语句；本实施例在A至Z这26个英文字母中，选择常用的17个英文字母作为顶点标记字母进行替换，减小了需要替换的字母的规模。

其次，利用英文字母之间的顺序性与非顺序性关系，对命令模块中的顶点字母进行替换；

在数学命令中，如“作AB中点F”，英文字母之间存在前后之间的字母的字典顺序性与非顺序性，如“作AB中点F”命令中A、B位置的英文字母存在递增的字典顺序，而F位置的字母与A、B之间不存在该顺序性，因此，本实施例利用英文字母之间的顺序性与非顺序性关系，通过替换生成了大量可用于训练的文本，并将其放入语音识别词库文件中；百度云语音识别API通过大量的训练文本进行不断的增量学习，根据文本中关键词与字母出现的高频率性对模型的影响，即使需要识别的命令不在语音识别词库文件中，也能得到较好的识别结果。

为了验证本发明语音识别词库文件的训练效果，本实施例收集了64个语音样本，分别采用现有百度云语音识别API及本发明改进的百度云语音识别API，在现实场景中进行对比实验，其中，现实场景为发音不清晰或环境嘈杂的场景；在第一次识别错误的情况下，进行第二遍实验，得到了单次识别精度与二次识别精度，语音识别结果与命令内容完全相同则认为识别成功，否则认为识别失败；实验结果如表1所示；在使用本发明语音识别词库文件对百度云语音识别API进行训练后，单次识别准确率从35.94％提升到了78.13％，二次识别准确率从42.19％提升到了84.38％，本发明改进后的百度云语音识别API能够较好地满足识别精度要求。

表1

所述命令模块用于将用户的操作内容的识别结果转换成可执行的命令；通过可执行命令，能够构建或修改三维立体几何图形；其中，用户的操作内容包括多种操作类型，操作类型包括构造条件操作、辅助图形操作(如中心、重心、辅助平面)、测量条件操作(如线段长度、夹角角度、平面面积)、平面图形的旋转、旋转体的展开(如圆柱体、圆锥体)本实施例中将用户的操作内容的识别结果转换成可执行命令如表2所示：

表2

其中，表2括号中的内容为可选输入。

本实施例中，考虑到自然语言的随意性以及语音识别接口对于同音字的识别存在困难，所述命令模块对所述识别模块的识别结果进行模糊处理，即在对命令进行分词时，将相关命令进行同等处理，如，把“取”当作“作”、“终点”等同于“中点”。

所述几何模块用于根据所述命令模块转换成的可执行命令构建或修改三维立体几何图形；所述几何模块还能根据所述UI交互模块发送的命令构建或修改三维立体几何图形；

所述几何模块包括几何模型、几何状态模块、摄像机系统；

所述几何模型用于三维立体几何图形顶点位置的确定、三维立体几何图形元素点、边、面的增删，以实现三维立体几何的数据处理和逻辑行为；

所述摄像机系统包括若干个摄像机；所述摄像机系统用于对三维立体几何图形进行渲染，还用于控制所述摄像机的镜头位置视角变换并绘制用于计算边的虚实线的深度图；本实施例中，所述摄像机系统包括两个摄像机，一个用于绘制UI交互模块中的图形界面，包括绘制图形界面中深度固定的按钮、输入框；另一个用于绘制所述显示模块中三维立体几何的生成结果。

所述几何状态模块用于对三维立体几何图形的当前状态进行存储，例如，用户对点、线、面的自定义操作；所述几何状态模块还用于对三维立体几何图形的状态所对应的交互响应事件进行存储，例如，三维立体几何图形界面的查看。

为进一步验证本发明基于笔式交互及语音交互的三维立体几何绘制系统的有效性，本实施例以一道数学题为例进行了三维立体几何的绘制。

题目要求为：计算一个等腰直角三角形绕一条直角边旋转一周得到几何体的体积。

步骤一：通过笔式交互模块输入“绘制等腰三角形”，经识别模块识别后，命令模块转换为“规整图形”命令；

步骤二：通过语音交互模块输入“旋转”指令，经识别模块及命令模块后，几何模块默认以y轴为旋转轴进行旋转，且通过显示模块实时显示旋转过程，便于学生直观感受2D到3D图像的生成过程；

步骤三：通过UI(user interface，用户界面)交互模块点击“计算表面积和体积”功能图标，在显示模块查看旋转体的表面积和体积。

可见，通过本发明基于笔式交互及语音交互的三维立体几何绘制系统能够简单快速地完成2D图形到3D图形的构建，同时，还支持旋转体展开的功能，为理解平面图形和立体图形的对应关系，以及计算旋转体的体积提供了直观的表示，有助于学生提高空间想象能力；同时，借助笔式交互、语音交互多模态的交互方式，学生能够自主创建任意立体图形，有效增强了本发明三维立体几何绘制系统在实际教学环境中的操作性和实用性。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。