一种基于笔式交互的化学实验记录系统

技术领域

本发明涉及电子实验记录技术领域，特别是涉及一种基于笔式交互的化学实验记录系统。

背景技术

计算机辅助教学(Computer-Aided Instruction，CAI)是在计算机辅助下进行的各种教学活动，在教育科学中具有比较重要的地位。CAI综合应用了多媒体、超文本、人工智能和知识库等计算机技术，克服了传统教学方式上单一、片面的缺点。它的使用可以为学生提供一个良好的个人化学习环境，并能有效地缩短学习时间，提高教学质量和教学效率，实现最优化的教学目标。此外，优秀的计算机辅助教学系统也可以在大范围内实施高质量教育，尤其是在远程教育方面表现得更为突出。在中学的教育体系中，化学实验教学的作用是不容忽视的，切实采取措施加强实验教学是提高教学质量的重要环节。而计算机辅助教学系统可以在其中发挥重要的作用。

目前，国内外对计算机辅助教学系统有着丰富的应用研究，其中就包括很多针对化学实验教学的应用。国内比较典型的应用平台有NOBOOK虚拟实验平台。该平台提供了中学化学课堂中的大部分虚拟实验场景，并可以在场景中模拟真实的实验过程与实验现象。NOBOOK平台基于图形用户界面交互形式，帮助学生更好地参与到化学实验的操作环节中，并可以在一定程度上加深学生对知识与现象的理解。但是，对实验原理的深入理解则需要通过相应的实验记录进行归纳与总结。而包括NOBOOK在内的现有的化学实验教学平台，都缺乏完备的实验内容记录系统，学生不能将实验过程与内容等记录下来，不方便后期回顾学习。现有的电子实验记录系统(ELN)如ILabELN，iLabber等大多仅支持传统的WIMP界面交互形式，不符合使用者的自然记录习惯，并且对实验内容的输入有着较大限制。而传统的纸笔记录模式在表格处理、文字处理、数据处理等一系列步骤中基本上都是手工操作，且纸质记录也容易丢失与损毁。

除了实验部分，方程式的学习对于增进学生的化学思维，了解化学反应过程，借助于方程式来定量分析化学产物的变化情况具有重要意义。由此，如何更好地帮助学生进行化学式书写也成为了化学教学的研究热点。MyScript公司的产品在化学方程式书写识别领域成果较为突出，其产品采用笔画数据在线识别，将化学方程式识别为LaTex格式，并通过上下文相关的依赖得到准确率较高的识别结果。但是未能提供化学式系数自动纠错功能，而化学式配平对于学生书写正确的化学方程式尤为重要。

另外，有机化学是一门难度较大的独立学科，其中的有机物分子结构很难观察。通常学生三维空间想象的能力较弱，并且很难在教科书和教室黑板上使用的二维图形之间进行转换以表示分子及其三维结构，需要一种通过在电脑上绘制分子图而自动生成相应3D模型的系统。

综上，有必要提供一套基于笔式交互的化学实验记录系统。

发明内容

本发明的目的是提供一种基于笔式交互的化学实验记录系统，以解决现有技术中存在的技术问题，能够有效降低对实验内容输入的限制，高度还原手写习惯，使老师和学生能够做到对实验内容的随学随记，联系以及回顾，从而提高了学习效果。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于笔式交互的化学实验记录系统，包括展现系统、识别系统、数据处理系统和数据存储系统；所述展现系统包括手写区域、识别结果显示区域；

所述手写区域用于用户进行手写，获取用户笔式交互行为，并基于所述笔式交互行为生成草图数据，将所述草图数据传送至所述识别系统和数据存储系统；

所述识别结果显示区域用于对用户笔式交互行为识别结果进行展示；

所述识别系统用于对所述草图数据进行处理及识别，并根据识别结果触发所述数据处理系统中的不同功能模块；

所述数据处理系统用于根据所述识别系统的识别结果完成相应的功能；

所述数据存储系统用于进行草图数据、识别模型、分子结构的存储。

优选地，所述笔式交互行为通过笔式手势进行手写交互。

优选地，所述识别系统通过调用所述识别模型对所述草图数据进行识别；所述识别模型包括包括中英文识别模型、化学方程式识别模型。

优选地，所述数据处理系统包括方程式辅助模块、微观结构模块、表格模块；

所述方程式辅助模块用于根据所述识别系统的识别结果，将反应物、生成物进行分割，并进行化学元素的分割，对分割出的化学元素进行最小公倍数配平，并对用户输入的方程式中的配平错误进行提示；

所述微观结构模块用于根据所述识别系统的识别结果，将有机物分子的微观结构以3D渲染方式呈现；

所述表格模块用于进行表格创建、行列增删、内容填入。

优选地，所述方程式辅助模块进行最小公倍数配平的方法包括：

通过等号分出反应物和生成物，根据加号分出化合物，并构建元素对下标的映射关系；

寻找只在反应物的一个化合物和生成物的一个化合物中出现的元素，等号两边的化学式按照所述元素的数量，运用最小公倍数法进行配平；按照已获取系数的化学式，对未平衡质量的元素配平化学式，重复进行，直至全部配平。

优选地，所述微观结构模块将有机物分子的微观结构以3D渲染方式呈现的具体方法包括：

根据所述识别系统识别到的有机物分子，从所述数据存储系统中读取所述有机物分子中各原子的位置数据，进行3D分子结构搭建，将有机物分子的微观结构以3D渲染方式呈现。

优选地，所述识别系统根据识别到的“＝”、“+”以及符号之间的字符串触发所述方程式辅助模块。

优选地，所述识别系统根据识别到的分子式及笔式手势识别结果触发所述微观结构模块。

优选地，所述识别系统根据识别到的“m×n”触发所述表格模块生成m行n列表格，并通过表格右侧、下侧位置的“+”、“-”触发表格的行列增删。

优选地，所述数据存储系统包括草图数据库、识别模型数据库、分子结构数据库；

所述草图数据库用于对所述手写区域生成的草图数据进行存储；

所述识别模型数据库用于对所述识别模型进行存储；

所述分子结构数据库用于对有机物分子结构数据进行存储；所述有机物分子结构数据包括原子的位置关系数据、化学键数据。

本发明公开了以下技术效果：

(1)本发明通过展现系统中的手写区域获取用户笔式交互行为，并通过笔式手势进行手写交互，能够高度还原手写习惯，符合使用者的自然记录习惯，有效提高了化学实验记录系统的实用性，且避免了纸质记录的丢失或损毁；

(2)本发明通过识别系统的识别结果触发数据处理系统中的不同功能模块，能够实现化学式书写、化学式配平与检测、表格制作、有机物分子微观结构的3D渲染，降低了对实验内容输入的限制，使老师和学生能够做到对实验内容的随学随记，联系以及回顾，从而提高了学习效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于笔式交互的化学实验记录系统结构示意图；

图2为本发明实施例中识别系统对数据处理系统中不同功能模块的触发结果；

图3为本发明实施例中化学实验的记录结果示意图；其中，图3(a)为方程式配平结果示意图；图3(b)为微观分子结果显示结果示意图；图3(c)为表格创建结果示意图；

图4为本发明实施例中化学实验总结记录结果示意图；其中，图4(a)为配平错误提示示意图；图4(b)为错误删除并重新更正书写示意图；图4(c)为综合使用手写文字识别与表格创建示意图；图4(d)为有机物分子三维立体结构自动显示示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本实施例提供一种基于笔式交互的化学实验记录系统，包括：展现系统、识别系统、数据处理系统和数据存储系统；

所述展现系统包括手写区域、识别结果显示区域；所述手写区域用于用户进行手写，获取用户笔式交互行为，并基于所述笔式交互行为生成草图数据，将所述草图数据传送至所述识别系统和数据存储系统；所述识别结果显示区域用于对用户笔式交互行为识别结果进行展示；其中所述草图数据为用户在所述手写区域进行手写产生的笔迹数据。

本实施例中，所述展现系统采用HTML和JavaScript构造笔式交互的网站系统，以便于学生在移动设备上便携使用。所述手写区域、识别结果显示区域的大小能够根据实际设备的大小进行调整，允许识别结果显示区域被缩小，以呈现更大的手写区域，同时识别结果的呈现不被缩减。

所述笔式交互行为通过笔式手势进行手写交互，本实施例中笔式手势的设计如表1所示：

表1

在用户完成右键画圈确认手势后，系统将圈中的字符提取出来，分别作为化学式分子模型、创建表格以及和化学方程式配平功能应用的内容。

特殊符号用右键书写完毕后，识别模型进行识别后，分别应用相应的规则来触发切换模型和换行等操作。

用户在目标字符上画波浪符号以删除该字符，系统获取到波浪符号的边界框信息，其中，边界框是指能够将字符笔画信息框住的矩形边界；并计算波浪符号的边界框与已有字符的边界框的交并比，交并比大于阈值的字符为需要删除的字符。系统对每一行书写区域的字符按顺序构建索引，所述索引对应手写区域的字符识别结果，系统获取到需要删除的字符的索引后，保留所有其余字符的笔画。手写区域开始执行删除操作，删除后重新绘制保留的笔画。展现系统则将索引对应的字符删除。

插入字符操作中，用户在目标区域书写字符后，系统获取到插入字符的中心位置，将其与已有字符进行比较，获取到应插入的索引位置，展现系统根据索引位置将新增字符的识别结果插入到对应的位置中。

修改操作先对要修改的字符作删除操作，之后再在原位置上执行新增操作。

所述识别系统用于对所述草图数据进行处理及识别，并根据识别结果触发所述数据处理系统中的不同功能模块；所述识别系统根据不同的识别内容进行识别模型的切换与调用，通过所述识别模型得到草图数据的识别结果；所述识别模型包括中英文识别模型、化学方程式识别模型；所述识别系统通过对所述草图数据进行处理，将草图数据生成所述识别模型能够处理的点矩阵。

本实施例中，所述识别模型采用基于书写停顿的单字符识别方案对所述草图数据进行识别；开发手写识别系统要目标是保证对用户输入的识别准确，同时也要考虑到用户书写的自然。由于手写记录方式具有随意性，其字符大小、字间距、字内距变化很大，且字符之间存在粘连、交叠等情况。因此，当用户书写完一行后，通过切分方法对其字符先进行分割再交由识别器识别的方案，会因为切分的误差而给识别器的识别带来很大的困难。由于化学方程式存在较为复杂的二维结构，对一行的手写字符进行结构分析以整体识别的方案仍具有挑战性。因此，本实施例采用基于书写停顿的单字符识别方案，能够实现化学实验记录识别的准确性。

采用基于书写停顿的单字符识别方案对所述草图数据进行识别的方法具体包括：

首先，字符笔画数据获取：在用户书写时，通过监听笔落下与抬起之间的时间间隔进行字符的识别；如时间间隔大于预设阈值，则为字符件的笔画停顿，所述识别系统通过记录停顿前的笔画数据，并通过补点和居中处理，生成48*48大小的字符笔画数据；本实施例中，预设阈值为400ms。

其次，基于CNN网络构建识别模型，并对所述识别模型训练；

本实施例采用MobileNet结构的CNN网络构建识别模型；所述识别模型包括初始的32个卷积核的全卷积层，所述全卷积层连接有19个残差瓶颈层，所述CNN网络的非线性激活函数采用ReLU6；所述CNN网络的输出为Softmax函数，优化器为Adam，损失函数采用多分类交叉熵函数；所述CNN网络中引入了Squeeze-and-Excitation模块，所述Squeeze-and-Excitation模块能够学习特征通道之间关系的机制，具体包括如下操作：

首先，进行Squeeze操作，在空间维度上进行特征压缩，将每个二维的特征通道变为一个实数，这个实数具有全局的感受野，而输出的通道数不变；

其次，进行Excitation操作，类似于循环神经网络中门的机制，通过参数为每个特征通道生成权重，权重代表每个特征的重要性；

再次，进行Scale操作，将权重逐通道加权到先前的特征上。

所述识别模型的训练过程具体包括：

1)通过全卷积层对字符笔画样本数据进行特征提取；所述特征提取过程中，对所述字符笔画样本数据进行批归一化处理，以提升训练速度；

2)将所提取的特征建模成权重，通过所述权重表示特征的重要程度；

3)将所述权重加权到步骤1)所提取的特征上，并通过所述非线性激活函数对加权后的特征进行非线性处理；

4)对非线性处理后的特征进行最大池化；重复执行步骤1)～步骤3)3次，通过3个核变换后得到2个全连接层；在全连接层的倒数第二层加入参数为0.5的Dropout，防止过拟合。

本实施例中，所述中英文识别模型的训练样本采用华南理工SCUT_COUCH数据库中的3755个汉字和53个数字字母(COSVWKPXZ等的大小写视作同一类)；训练样本为160个用户的共计610720张图片，其余35个用户书写的数字和字母以及28个用户书写的汉字共计107310张图片作为测试样本，最终测得中英文单字符识别精度为94.49％；所述化学方程式识别模型中采用数据集中化学方程式常见的字符和手势操作中设计的特殊符号(85个字符)共16380张图片数据，其中70％作为训练集，其余作为验证集，最终测得单字符识别精度达到93.53％。

再次，基于字符笔画数据，通过训练好的识别模型进行字符的识别；

所述识别系统的识别结果包括文字、方程式、微观结构、表格、内容更正；

所述文字包括汉字、英文、数字及符号，例如，Na，2，所述文字直接输出至所述数据处理系统；

所述方程式包括“＝”、“+”以及符号之间的字符串；所述方程式的识别结果类似“A+B＝C+D”；

所述微观结构为当用户进行分子式书写时，通过笔式手势设计处理触发有机物分子结构的三维模型。

所述表格通过“m×n”形式触发m行n列表格生成；在所述表格的右侧、下侧位置，通过手写“+”、“-”触发表格的行列增删；

所述内容更正通过删除手势设计，以删除字符，并在所述手写区域获取用户笔式交互行为，更新识别结果。

所述数据处理系统用于根据所述识别系统的识别结果完成相应的功能；所述数据处理系统包括方程式辅助模块、微观结构模块、表格模块；通过所述识别系统识别到的“＝”、“+”以及符号之间的字符串触发所述方程式辅助模块；通过所述识别系统识别到的分子式及笔式手势识别结果触发所述微观结构模块；通过所述识别系统识别到的“m×n”触发所述表格模块生成m行n列表格，并通过表格右侧、下侧位置的“+”、“-”触发表格的行列增删；本实施例触发结果如图2所示。

所述方程式辅助模块用于根据所述识别系统的识别结果，将反应物、生成物进行分割，并进行化学元素的分割，对分割出的化学元素进行最小公倍数配平，并对用户输入的方程式中的配平错误进行提示，以实现方程式辅助学习。

其中，化学方程式配平要遵循质量守恒定律，需要对输入的化学式进行结构的分析。具体包括：

首先，通过等号分出反应物和生成物，根据加号分出化合物，并构建元素对下标的映射关系；

其次，寻找只在反应物的一个化合物和生成物的一个化合物中出现的元素，等号两边的化学式按照该元素的数量，运用最小公倍数法进行配平；按照已获取系数的化学式，对未平衡质量的元素配平化学式，重复进行，直至全部配平。

所述微观结构模块用于根据所述识别系统的识别结果，将有机物分子的微观结构以3D渲染方式呈现；所述微观结构模块将有机物分子的微观结构以3D渲染方式呈现的具体方法包括：

根据所述识别系统识别到的有机物分子，从所述数据存储系统中读取所述有机物分子中各原子的位置数据，并通过JavaScript语言实现3D分子结构搭建，将有机物分子的微观结构以3D渲染方式呈现。

所述表格模块根据现实中学生的书写习惯，进行表格创建、行列增删、内容填入。

所述数据存储系统用于进行草图数据、识别模型、分子结构的存储；所述数据存储系统包括草图数据库、识别模型数据库、分子结构数据库；

所述草图数据库用于对所述手写区域生成的草图数据进行存储；

所述识别模型数据库用于对所述识别模型进行存储；

所述分子结构数据库用于对有机物分子结构数据进行存储；所述有机物分子结构数据包括原子的位置关系数据、化学键数据。

为进一步验证本发明基于笔式交互的化学实验记录系统的有效性，本实施例以中学阶段的实验室探究甲烷的性质实验为例，对实验记录主要包括的三大功能模块，即实验现象记录、实验方程式书写、甲烷分子结构探究等进行了演示，具体探究内容及界面展示效果如图3所示；由图3可知，实验记录系统的记录结果与书写的实际效果相符合；

用户对实验现象背后的化学反应方程式进行总结，如图4(a)所示，系统能够对错误的配平进行错误提示；用户通过删除笔式手势，将错误之处删除，并重新更正书写，如图4(b)所示；实验注意要点以及实验现象的记录综合使用手写文字识别与表格创建功能，如图4(c)所示；对于有机物分子结构的探究，如书写甲烷及更多烷烃类分子式，能够查看该物质的三维立体结构，如图4(d)所示；根据图4可知，本发明实验系统能够准确有效地进行化学实验记录。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。