一种原笔迹还原编码信息的方法及系统

技术领域

本发明涉及原笔迹还原技术领域，尤其涉及一种原笔迹还原编码信息的方法及系统。

背景技术

由于手写原笔迹技术在电子产品应用很广泛，主要是采用电磁板技术和电容屏技术，电磁板技术通过电磁场的变化来获取笔迹轨迹，电容屏通过电容的变化获取笔迹轨迹。这些技术在普通纸张应用，尤其是教学应用出现了难以克服的缺陷，常规教学主要基于纸、笔，且纸笔的规格型号很多，电磁板受限于书写板的尺寸不能适应各种规格的纸张，电容屏依耐与平板、手机等终端设备，存在价格高昂不能普及，且因为影响学生视力被教育部定为受限使用，总之，基于以下背景：一是教育部基于学生视力保护的原则，提倡基于纸笔互动教学，带来了纸笔互动技术的飞速发展；二是在线教育的蓬勃发展，有强烈的师生远程互动教学的需求。以及基于手写原笔迹还原技术长期使用电磁板或者电容笔技术，在纸笔教学中因为硬件限制或者技术本身的限制不能得到广泛的应用。国外也有一些类似的技术，但一般都是采用电磁板或者电容触摸屏实现手写原笔迹数据采集，通过相对坐标的方式采集手写原笔迹的原始点坐标数据，这样就必须有配套的平板或者手机显示纸张背景信息，这样对于普及性有很大的影响，而且也不符合教育部保护学生视力，限制手机、平板在学校使用的要求。现有的原笔迹还原技术通过密集的采集书写过程中笔锋经过的点，记录下笔画中各个点坐标位置以及压感系数，还原原笔迹，但会明显出现函接痕迹，导致局部线条失真，通过数码笔实现笔迹的数字化存储，在实际的信息书写记录过程中，通常只是能够识别出用户书写的字迹，但并不能再现与用户书写完全一致的笔迹，原笔迹的复杂性和数量庞大，需要较长的时间和大量的计算资源才能完成还原过程，限制了该技术在实际应用中的可行性和效率。

如申请公开号为CN110263636A的中国专利提供一无损笔迹还原方法及系统，其特征在于，该方法包括：S10，对基于书写装置书写的笔迹图像数据进行采集，其中采集的图像数据为采集点的坐标、压感系数及距离上一点的时间；S20，将笔迹图像数据中的每个笔画的数据进行分组；S30，基于每个笔画采集点的坐标数据及压感系数计算对应的第一边缘衍生点及第二边缘衍生点，并将每个组多个边缘衍生点进行连接，生成笔迹文件；S40，将笔迹文件中每相邻的两个边缘衍生点使用贝塞尔算法进行处理，得到最终笔迹。该发明的有益效果为：提高了笔迹识别的准确率以及生成的笔迹更加逼真。

如申请公开号为CN112541377A的中国专利提供一种笔迹还原方法，包括：图像拾取单元采集对书写介质进行图像采集，得到位置基准图像，同时获取处理装置的书写端在书写介质上的位置坐标；根据位置基准图像的中心点的位置坐标和书写端在书写介质上的位置坐标确定第一偏移量；图像拾取单元采集所经过的铺有码点的介质区域的图像数据，记录时间信息和压力传感值；对图像数据进行边界划分和图像截取；提取第二编码图像数据中的编码信息；根据编码信息生成目标点的坐标信息；根据第一偏移量对目标点的坐标信息进行修正，得到修正坐标信息；根据多个目标点的修正坐标信息和相对应的压力传感值生成数据包；上位机对数据包解析得到书写端的书写笔迹。

以上专利均存在本背景技术提出的问题：现有的原笔迹还原技术通过密集的采集书写过程中笔锋经过的点，记录下笔画中各个点坐标位置以及压感系数，还原原笔迹，但会明显出现函接痕迹，导致局部线条失真，通过数码笔实现笔迹的数字化存储，在实际的信息书写记录过程中，通常只是能够识别出用户书写的字迹，但并不能再现与用户书写完全一致的笔迹，原笔迹的复杂性和数量庞大，需要较长的时间和大量的计算资源才能完成还原过程，限制了该技术在实际应用中的可行性和效率，为了解决这些问题，本申请设计了一种原笔迹还原编码信息的方法及系统。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供了一种原笔迹还原编码信息的方法，首先根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理，其次根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列，最后将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数，通过原笔迹还原，生成原笔迹仿真图像。

为实现上述目的，本发明提供如下技术方案：

一种原笔迹还原编码信息的方法，包括以下步骤；

S1：根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理；

S2：根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列；

S3：将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原的输入参数，通过原笔迹还原，生成原笔迹仿真图像；

具体的，所述S1中所述预处理具体步骤如下：

S1.1：根据原笔迹图像，对原笔迹图像进行缩放和裁剪；

S1.2：对缩放和裁剪后的原笔迹图像噪声进行去噪处理，所述噪声包括行笔状态噪声和行笔方向噪声，所述行笔状态噪声包括行笔快导致的稀疏笔迹噪声和行笔慢导致的重叠笔记噪声；

S1.3：检测去噪后原笔迹图像的特征点，获得原笔迹图像中重心的位置，具体原笔迹图像重心的计算公式为：

，

其中，

具体的，所述S2中所述原笔迹提取策略具体步骤如下：

S2.1：根据原笔迹图像中重心的位置，确定原笔迹图像的行笔特征，所述原笔迹图像的行笔特征包括原笔迹图像的水平中心矩、竖直中心距和重心偏移度，原笔迹图像的水平中心矩的计算公式为：

，

其中，

，

其中，

，

其中，

S2.2：对原笔迹图像的笔划像素点进行检测，以原笔迹图像的重心为起始点，根据原笔迹图像的行笔特征，对原笔迹图像的重心局部梯度信息进行像素提取，获得笔划像素点集合；

S2.3：根据笔划像素点集合，对笔划像素点集合中每一个像素点计算与原笔迹图像重心之间的欧氏距离，确定笔划的起始位置和结束位置，进行原笔迹提取；

具体的，所述S2中所述笔段编码包括笔段提取、笔段划分和编码转换，所述笔段提取通过确认笔划起始点、笔划拐点和笔划终点，获得横、竖、撇、捺提和钩六个笔段，所述笔段划分用于根据笔段的方向判断笔段的空间区域，所述编码转换用于根据笔段的空间区域，对笔段进行编码，转换为观察值序列；

具体的，所述S3中所述原笔迹还原网络包括输入层、判别层和生成层；

具体的，所述S3中具体步骤如下：

S3.1：将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数输入到原笔迹网络的输入层中，根据提取的原笔迹和笔段编码的观察值序列生成初始原笔迹仿真图像，初始原笔迹仿真图像的计算公式为：

，

其中，Io表示初始原笔迹仿真图像，N表示提取的原笔迹总数，

S3.2：设置原笔迹图像为X域图像，初始原笔迹仿真图像为Y域图像，将X域图像和Y域图像相互重构，计算重构误差得到损失值，将损失值与判别层设置的损失阈值进行对比，如果小于判别层设置的损失阈值，表示生成的初始原笔迹仿真图像达到还原原笔迹的要求；

S2.3：当X域图像和Y域图像通过重构误差的损失值小于判别层设置的损失阈值时，将初始原笔迹仿真图像作为生成层的输入，对初始原笔迹仿真图像进行加权求和，最后输出原笔迹仿真图像，原笔迹仿真图像的计算公式为：

，

其中，O表示原笔迹仿真图像，

一种原笔迹还原编码信息的系统，所述系统包括原笔迹图像预处理模块、原笔迹提取与编码模块和原笔迹仿真图像生成模块；

所述原笔迹图像预处理模块，用于根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理，所述预处理包括对原笔迹图像进行缩放、裁剪、去噪和计算重心位置；

所述原笔迹提取与编码模块，用于根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列；

所述原笔迹仿真图像生成模块，用于将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数，通过原笔迹还原网络训练，生成原笔迹仿真图像；

具体的，所述原笔迹图像预处理模块包括：

图像传感器单元，用于根据图像传感器获取原笔迹图像；

原笔迹图像预处理单元，用于对原笔迹图像进行缩放、裁剪、去噪和计算重心位置；

具体的，所述原笔迹提取与编码模块包括：

行笔特征计算单元，用于根据原笔迹图像中重心的位置，确定原笔迹图像的行笔特征；

笔划像素点集合提取单元，用于对原笔迹图像的笔划像素点进行检测，以原笔迹图像的重心为起始点，根据原笔迹图像的行笔特征，对原笔迹图像的重心局部梯度信息进行像素提取；

原笔迹提取单元，用于根据笔划像素点集合，确定笔划的起始位置和结束位置，提取原笔迹图像中的笔迹；

笔段编码单元，用于通过确认笔划起始点、笔划拐点和笔划终点获取笔段，根据笔段的方向判断笔段的空间区域，对笔段进行编码，转换为观察值序列。

与现有技术相比，本发明的有益效果是：

1.本发明综合原笔迹还原相关技术，设计的原笔迹还原网络包括输入层、判别层和生成层，训练过程中将原笔迹图像和初始原笔迹仿真图像相互重构，小于损失阈值后训练完成，通过加权平均生成原笔迹仿真图像，提高原笔迹还原的有效性和效率性；

2.本发明考虑在书写过程中行笔过快、过慢和抖动的情况，分为行笔状态噪声和行笔方向噪声，通过对噪声的去噪处理，提高原笔迹还原的精确性；

3.本发明将原笔迹图像的行笔特征和笔段编码进行结合，通过计算行笔特征提取原笔迹，根据笔段的空间区域，对笔段进行编码，转换为观察值序列，将原笔迹和观察值序列作为原笔迹还原网络的输入参数，避免出现原笔迹图像失真的情况。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例1一种原笔迹还原编码信息的方法的流程示意图；

图2为本发明实施例1原笔迹图像噪声去噪流程示意图；

图3为本发明实施例1笔段空间区域划分图；

图4为本发明实施例1原笔迹还原网络结构示意图；

图5为本发明实施例2一种原笔迹还原编码信息的系统模块图；

图6为本发明实施例4一种原笔迹还原编码信息电子设备图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

请参阅图1，本发明提供的一种实施例：一种原笔迹还原编码信息的方法，包括以下步骤；

S1：根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理；

S2：根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列；

S3：将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数，通过原笔迹还原网络训练，生成原笔迹仿真图像；

具体的，所述S1中所述预处理具体步骤如下：

S1.1：根据原笔迹图像，对原笔迹图像进行缩放和裁剪；

S1.2：对缩放和裁剪后的原笔迹图像噪声进行去噪处理，所述噪声包括行笔状态噪声和行笔方向噪声，所述行笔状态噪声包括行笔快导致的稀疏笔迹噪声和行笔慢导致的重叠笔迹噪声；

S1.3：检测去噪后原笔迹图像的特征点，获得原笔迹图像中重心的位置，具体原笔迹图像重心的计算公式为：

，

其中，

具体的，请参阅图2，本发明实施例1原笔迹图像噪声去噪流程示意图，包括稀疏笔迹噪声去噪101、重叠笔迹噪声去噪102和行笔方向噪声去噪103，具体的，采用步长可选线性插值处理稀疏笔迹噪声，设定过度飘笔阈值，计算每一个相邻笔迹点的距离，当相邻笔迹点的距离大于过度飘笔阈值时，通过插值重构笔迹，具体的，采用点序差处理重叠笔迹噪声，设定位置索引差值阈值，当笔迹像素点集合中存在相同像素点，且两个相同像素点之间的距离小于位置索引差值阈值时，删除集合中位置靠前的相同像素点，具体的，采用虚拟平滑处理行笔方向噪声，对方向序列像素点和关键点进行虚拟平滑；

具体的，所述S2中所述原笔迹提取策略具体步骤如下：

S2.1：根据原笔迹图像中重心的位置，确定原笔迹图像的行笔特征，所述原笔迹图像的行笔特征包括原笔迹图像的水平中心矩、竖直中心距和重心偏移度，原笔迹图像的水平中心矩的计算公式为：

，

其中，

，

其中，

，

其中，

S2.2：对原笔迹图像的笔划像素点进行检测，以原笔迹图像的重心为起始点，根据原笔迹图像的行笔特征，对原笔迹图像的重心局部梯度信息进行像素提取，获得笔划像素点集合；

S2.3：根据笔划像素点集合，对笔划像素点集合中每一个像素点计算与原笔迹图像重心之间的欧氏距离，确定笔划的起始位置和结束位置，进行原笔迹提取；

具体的，所述S2中所述笔段编码包括笔段提取、笔段划分和编码转换，所述笔段提取通过确认笔划起始点、笔划拐点和笔划终点，获得横、竖、撇、捺、提和钩六个笔段，所述笔段划分用于根据笔段的方向判断笔段的空间区域，所述编码转换用于根据笔段的空间区域，对笔段进行编码，转换为观察值序列；

具体的，请参阅图3，本发明实施例1的笔段空间区域划分图，，在X-Y平面上进行笔段空间区域划分，根据书写笔段的方向判断笔段的空间区域，笔段的首端点对应X-Y平面的原点，笔段共分为横、竖、撇、捺、提和钩六个笔段，对应的空间区域分别为：横对应(0°，20°)∪(340°，360°)区域，竖对应(250°，290°)区域，撇对应(200°，250°)区域，捺对应(290°，340°)区域，提对应(20°，70°)区域，钩对应(110°，160°)区域；

具体的，请参阅图4，本发明实施例1的原笔迹还原网络结构示意图，所述原笔迹还原网络包括输入层、判别层和生成层，输入层的输入参数为提取的原笔迹和笔段编码的观察值序列，输入层输出初始原笔迹仿真图像，结合原笔迹图像传输至判别层，判别层将原笔迹仿真图像和原笔迹图像进行重构，计算损失值，与损失阈值进行比对，损失值小于损失阈值，将重构后的初始原笔迹仿真图像传输至生成层，生成层对重构后的初始原笔迹仿真图像进行加权求和，输出原笔迹仿真图像，所述S3中具体步骤如下：

S3.1：将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数输入到原笔迹网络的输入层中，根据提取的原笔迹和笔段编码的观察值序列生成初始原笔迹仿真图像，初始原笔迹仿真图像的计算公式为：

，

其中，Io表示初始原笔迹仿真图像，N表示提取的原笔迹总数，

S3.2：设置原笔迹图像为X域图像，初始原笔迹仿真图像为Y域图像，将X域图像和Y域图像相互重构，计算重构误差得到损失值，将损失值与判别层设置的损失阈值进行对比，如果小于判别层设置的损失阈值，表示生成的初始原笔迹仿真图像达到还原原笔迹的要求；

S2.3：当X域图像和Y域图像通过重构误差的损失值小于判别层设置的损失阈值时，将重构后的初始原笔迹仿真图像作为生成层的输入，对初始原笔迹仿真图像进行加权求和，最后输出原笔迹仿真图像，原笔迹仿真图像的计算公式为：

，

其中，O表示原笔迹仿真图像，

实施例2：

请参阅图5，本发明提供一种实施例：一种原笔迹还原编码信息的系统，所述系统包括原笔迹图像预处理模块、原笔迹提取与编码模块和原笔迹仿真图像生成模块；

所述原笔迹图像预处理模块，用于根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理，所述预处理包括对原笔迹图像进行缩放、裁剪、去噪和计算重心位置；

所述原笔迹提取与编码模块，用于根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列；

所述原笔迹仿真图像生成模块，用于将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数，通过原笔迹还原网络训练，生成原笔迹仿真图像；

具体的，所述原笔迹图像预处理模块包括：

图像传感器单元，用于根据图像传感器获取原笔迹图像；

原笔迹图像预处理单元，用于对原笔迹图像进行缩放、裁剪、去噪和计算重心位置；

具体的，所述原笔迹提取与编码模块包括：

行笔特征计算单元，用于根据原笔迹图像中重心的位置，确定原笔迹图像的行笔特征；

笔划像素点集合提取单元，用于对原笔迹图像的笔划像素点进行检测，以原笔迹图像的重心为起始点，根据原笔迹图像的行笔特征，对原笔迹图像的重心局部梯度信息进行像素提取；

原笔迹提取单元，用于根据笔划像素点集合，确定笔划的起始位置和结束位置，提取原笔迹图像中的笔迹；

笔段编码单元，用于通过确认笔划起始点、笔划拐点和笔划终点获取笔段，根据笔段的方向判断笔段的空间区域，对笔段进行编码，转换为观察值序列。

实施例3：

本发明实施例的一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行上述任一项的一种原笔迹还原编码信息的方法。

实施例4：

请参阅图6，本发明实施例的一种电子设备，包括图像传感器410、处理器420和存储介质430，其中，电子设备可以选用电脑、手机等。

图像传感器410用于获取原笔迹图像，处理器420可以与电子设备中的原件电连接，并执行存储介质430中的各项指令。

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。

因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。