公式标注方法、装置、存储介质及电子设备

技术领域

本公开涉及图像识别技术领域，具体地，涉及一种公式标注方法、装置、存储介质及电子设备。

背景技术

随着计算机技术的发展，计算机技术已应用于诸多领域，例如应用于教育领域。其中计算机技术中的公式检测技术具有较高的应用价值，可以应用于AI学习机、智能批改、题库录排等。在实际应用中，数理化公式可能存在公式区域尺寸跨度大、公式区域形状不规则、多个公式紧凑等情况，由于上述情况的存在，可能导致在识别上述公式时，存在难以准确识别出公式位置的问题。

发明内容

本公开的目的是提供一种公式标注方法、装置、存储介质及电子设备，以克服上述技术问题。

为了实现上述目的，第一方面，本公开提供一种公式标注方法，包括：

获取原始图像，其中，所述原始图像中包含待标注公式；

对所述原始图像进行下采样处理，得到不同尺度的第一特征图；

针对每一尺度，根据该尺度的第一特征图和除该尺度以外的其他尺度的第一特征图，得到该尺度的第二特征图；

对所有尺度的所述第二特征图进行融合，得到目标特征图；

根据所述目标特征图，确定目标图像，所述目标图像包括对所述待标注公式进行标注的标注标识。

可选地，所述针对每一尺度，根据该尺度的第一特征图和除该尺度以外的其他尺度的第一特征图，得到该尺度的第二特征图，包括：

在不同尺度中，对第一目标尺度的第一特征图进行下采样和下采样；

根据第二目标尺度的第一特征图、对所述第一目标尺度的第一特征图下采样得到的特征图中与所述第二目标尺度相同尺度的特征图、以及对所述第一目标尺度的第一特征图上采样得到的特征图中与所述第二目标尺度相同尺度的特征图进行融合，得到所述第二目标尺度的第二特征图。

可选地，所述对所有尺度的所述第二特征图进行融合，得到目标特征图，包括：

通过FPN网络中的多个依次连接的融合网络对所有尺度的所述第二特征图进行处理，得到与每一尺度对应的融合特征图，其中，所述多个依次连接的融合网络基于上采样方式、下采样方式和横向连接方式对所有尺度的所述第二特征图进行处理；

通过FPN网络中的拼接网络从每一尺度对应的融合特征图中采样得到与所述原始图像相同尺度大小的目标融合特征图，并对所有采样得到的所述目标融合特征图进行拼接，得到目标特征图。

可选地，所述融合网络包括依次连接的第一融合网络、第二融合网络和第三融合网络，所述通过FPN网络中的多个依次连接的融合网络对所有尺度的所述第二特征图进行处理，得到与每一尺度对应的融合特征图，包括：

将所有尺度的所述第二特征图输入至所述第一融合网络，得到所述第一融合网络输出的每个尺度的第一子融合特征图；

将所有尺度的第一子融合特征图输入至所述第二融合网络，得到所述第二融合网络输出的每个尺度的第二子融合特征图；

将所有尺度的第二子融合特征图输入至所述第三融合网络，得到所述第三融合网络输出的每个尺度的融合特征图。

可选地，所述根据所述目标特征图，确定目标图像，包括：

获取所述目标特征图对应的概率图和所述目标特征图对应的阈值图；

通过可微分二值化网络，对所述概率图和所述阈值图进行可微分操作，获得二值图；

将所述二值图确定为所述目标图像。

可选地，所述根据所述目标特征图，确定目标图像，包括：

获取所述目标特征图对应的概率图；

将所述概率图确定为所述目标图像。

可选地，所述根据所述目标特征图，确定目标图像，包括：

获取所述目标特征图对应的阈值图；

将所述阈值图确定为所述目标图像。

第二方面，本公开提供一种公式标注装置，包括：

获取模块，用于获取原始图像，其中，所述原始图像中包含待标注公式；

采样模块，用于对所述原始图像进行下采样处理，得到不同尺度的第一特征图；

第一特征处理模块，用于针对每一尺度，根据该尺度的第一特征图和除该尺度以外的其他尺度的第一特征图，得到该尺度的第二特征图；

第二特征处理模块，用于对所有尺度的所述第二特征图进行融合，得到目标特征图；

标注模块，用于根据所述目标特征图，确定目标图像，所述目标图像包括对所述待标注公式进行标注的标注标识。

第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。

通过上述技术方案，由于每种尺度的第二特征图是通过对不同尺度之间的特征信息进入融合得到的，因此，可以使得基于第二特征图进入融合得到的目标特征图可以同时保留更强地语义信息和更精准地位置信息，进而使得根据目标特征图确定的目标图像中待标注公式的位置标注更准确。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据本公开一示例性实施例示出的一种公式标注方法的流程图。

图2是根据本公开一示例性实施例示出的一种公式标注模型的结构示意图。

图3是根据本公开一示例性实施例示出的一种确定第二特征图的示意图。

图4是根据本公开一示例性实施例示出的一种确定目标特征图的示意图。

图5是根据本公开一示例性实施例示出的一种公式标注装置的框图。

图6是根据本公开一示例性实施例示出的一种电子设备的结构示意图。

图7是根据本公开一示例性实施例示出的一种电子设备的另一结构示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

正如背景技术所言，在实际应用中，数理化公式可能存在公式区域尺寸跨度大、公式区域形状不规则、多个公式紧凑等情况，由于上述情况的存在，可能导致在识别上述公式时，存在难以准确识别出公式位置的问题。

针对上述问题，目前采用图像处理方法对公式进行检测，在获取到包含公式的原始图像时，先对图像进行二值化等预处理操作，然后结合连通域方法和经验阈值，得到二值化处理后的图像上的公式候选区域，然后再经过启发式规则从上述图像上确定最终的公式区域。但是图像处理方法严重依赖对图像的预处理，模型泛化能力弱，并且模型中的各个模块相互串联，上游模块效果不佳会严重影响下游模块的处理效果，从而最终导致公式检测效果差。

此外还可以采用深度学习的方法对公式进行检测，深度学习方法大致有两种策略，其中一种是基于回归的公式检测方法，另一种是基于分割的公式检测方法。基于回归的公式检测方法将公式检测问题转化为目标回归问题，而基于分割的公式检测方法将公式检测问题转化为语义分割或者实例分割问题。但是，基于回归的公式检测方法不能处理任意形状的公式区域，基于分割的公式检测方法是目前比较流行的公式检测方法，但是现存的公式检测方法后处理过程复杂，特征提取过程复杂，不利于公式检测模型的工程化实现。

有鉴于此，本公开提供一种公式标注方法、装置、电子设备及存储介质，通过特征提取网络和特征融合网络对原始图像的图像特征进行采样和特征融合，提高图像表征能力，以使得根据图像表征能力强的目标特征图对原始图像中待标注公式的位置标注的更准确。

图1是根据本公开一示例性实施例示出的一种公式标注方法的流程图。该公式标注方法可以应用于电子设备，其中，电子设备例如可以为终端设备或者服务器，终端设备可以是手机、平板电脑、笔记本电脑、智能穿戴设备、学习机等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务器。参照图1，该公式标注方法可以包括以下步骤：

步骤S101，获取原始图像，其中，原始图像中包含待标注公式。

其中，原始图像上显示有待标注公式，可以理解的是，需要对原始图像上的待标注公式进行标注，以便于后续对公式进行识别。待标注公式可以是数学公式、数字、化学公式、物理公式等。

在一些实施方式中，电子设备上安装有摄像头，电子设备通过其上的摄像头拍摄书本、报刊、试卷、显示屏、黑板等获得的图像，以该图像作为原始图片，以用于后续的公式标注。

在一些实施方式中，电子设备可以从存储位置获取原始图像。作为一种方式，电子设备预先存储有原始图像，电子设备可以从本地的存储位置获取原始图像。作为另一种方式，其余设备(例如手机，服务器等)上存储由原始图像，电子设备与其余设备建立通信连接，通过该连接关系，电子设备从其余设备上获取原始图像，以用于后续的公式标注。

步骤S102，对原始图像进行下采样处理，得到不同尺度的第一特征图。

需要说明的是，下采样处理也称为缩小图像。下文中的上采样也称为放大图像。

步骤S103，针对每一尺度，根据该尺度的第一特征图和除该尺度以外的其他尺度的第一特征图，得到该尺度的第二特征图。

在一些实施例中，步骤S103可以通过如图2所示的公式标注模型中的特征提取网络实现，具体的，特征提取网络可以通过以下方式得到每种尺度的第二特征图：在不同尺度中，对第一目标尺度的第一特征图进行下采样和下采样；根据第二目标尺度的第一特征图、对第一目标尺度的第一特征图下采样得到的特征图中与第二目标尺度相同尺度的特征图、以及对第一目标尺度的第一特征图上采样得到的特征图中与第二目标尺度相同尺度的特征图进行融合，得到第二目标尺度的第二特征图。

需要说明的是，第一目标尺度和第二目标尺度是不同尺度中的任一尺度，且第一目标尺度和第二目标尺度可以是不同的尺度。在对第一目标尺度进行上采样和下采样的过程中，若第一目标尺度是最大尺度，则无需再进行上采样，若第一目标尺度是最小尺度，则无需再进行下采样。

参照图3，图3所示包括四种尺度的特征图，不同矩形大小表示不同尺度的特征图，其中，矩形越大表征尺度越大。图3中第一类虚线箭头斜向上表征上采样(放大图像)，第二类虚线箭头斜向下表征下采样(缩小图像)，图3中构成第一类虚线的线段长度小于构成第二类虚线的线段长度。在图3中，C3

步骤S104，对所有尺度的第二特征图进行融合，得到目标特征图。

步骤S105，根据目标特征图，确定目标图像，目标图像包括对待标注公式进行标注的标注标识。

需要说明的是，目标特征图的尺寸与原始图像的尺寸相同，待标注公式在原始图像和目标特征图表征的图像上的位置也相同，对目标特征图上的待标注公式进行标注，标注出来的公式所在的位置与原始图像上所在的位置相同，因此实现了对原始图像中待标注公式的标注。

其中，标注标识可以包括标注框，标注框用于指示待标注公式在目标图像中的位置。

通过上述方式，由于每种尺度的第二特征图是通过对不同尺度之间的特征信息进入融合得到的，因此，可以使得基于第二特征图进入融合得到的目标特征图可以同时保留更强地语义信息和更精准地位置信息，进而使得根据目标特征图确定的目标图像中待标注公式的位置标注更准确，从而解决公式区域的尺度(尺寸)跨度大难以准确检测公式位置的问题。

在一些实施方式中，图1所示步骤S104可以包括：通过FPN网络中的多个依次连接的融合网络对所有尺度的第二特征图进行处理，得到与每一尺度对应的融合特征图；通过FPN网络中的拼接网络从每一尺度对应的融合特征图中采样得到与原始图像相同尺度大小的目标融合特征图，并对所有采样得到的目标融合特征图进行拼接，得到目标特征图。

其中，由于是需要对原始图像中的待标注公式进行标识，因此，确定的目标特征图需要与原始图像的尺寸一致，因此，需要从每一尺度对应的融合特征图中采样得到与原始图像相同尺度大小的目标融合特征图，并对所有采样得到的目标融合特征图进行拼接，以此得到目标特征图。

其中，多个融合网络基于上采样方式、下采样方式和横向连接方式对所有尺度的第二特征图进行处理，由于上采样方式是从低层特征到高层特征的提取，下采样方式是从高层特征到底层特征的提取，横向连接方式也是对一种对同等尺度的特征进行融合的方式，因此，结合上采样方式、下采样方式和横向连接方式一起对输入该融合网络的特征图进行融合处理，以此实现从多个方向进行特征融合，进而充分融合不同尺度的特征图的信息，进一步解决公式区域的尺度(尺寸)跨度大难以准确检测公式位置的问题。

需要说明的是，图2中所示的特征融合网络为FPN(feature pyramid networks，特征金字塔网络)网络。

作为一种方式，融合网络包括依次连接的第一融合网络、第二融合网络和第三融合网络，上述通过FPN网络中的多个依次连接的融合网络对所有尺度的第二特征图进行处理，得到与每一尺度对应的融合特征图的步骤可以包括：将所有尺度的第二特征图输入至第一融合网络，得到第一融合网络输出的每个尺度的第一子融合特征图；将所有尺度的第一子融合特征图输入至第二融合网络，得到第二融合网络输出的每个尺度的第二子融合特征图；将所有尺度的第二子融合特征图输入至第三融合网络，得到第三融合网络输出的每个尺度的融合特征图。

具体来讲，参照图4，C3、C4、C5和C6(尺度关系：C3>C4>C5>C6)用于表征不同尺度的第二特征图，通过第一融合网络对C3、C4、C5和C6进行处理，得到第一融合网络输出的每个尺度的第一子融合特征图，所有尺度的第一子融合特征图包括与C3对应的C3'，与C4对应的C4'，C5对应的C5'以及C6对应的C6'。通过第二融合网络对所有尺度的第一子融合特征图进行处理，得到第二融合网络输出的每个尺度的第二子融合特征图，所有尺度的第二子融合特征图包括与C3对应的C3”，与C4对应的C4”，C5对应的C5”以及C6对应的C6”。再通过第三融合网络对所有尺度的第二子融合特征图进行处理，得到第三融合网络输出的每个尺度的融合特征图，所有尺度的融合特征图包括与C3对应的P3，与C4对应的P4，C5对应的P5以及C6对应的P6。再从P3、P4、P5以及P6中采样得到与原始图像相同尺度大小的目标融合特征图，并对所有采样得到的目标融合特征图进行拼接，以此得到目标特征图(图4所示的F)。

具体的，参照图4，图4中箭头①表示横向连接(同等尺度的融合)，图4中箭头②表示下采样(高尺度到低尺度)，图4中箭头③表示上采样(低尺度到高尺度)，通过特征提取网络得到每个尺度的第二特征图(图4所示的C3、C4、C5、C6)，再输入至FPN网络中的融合网络。首先，用1x1卷积核对第二特征图C3、C4、C5、C6进行横向连接(图4所示箭头①)，并采用上采样方法进行多方向融合(图4所示箭头③)，得到第一子融合特征图(C3'、C4'、C5'和C6')，然后再用1x1卷积核对第一子融合特征图C3'、C4'、C5'和C6'进行横向连接，并采用下采样方法进行多方向融合(图4所示箭头②)，得到第二子融合特征图(C3”、C4”、C5”和C6”)，然后再用1x1卷积核对特征图C3”、C4”、C5”和C6”进行横向连接，并采用上采样方法进行多方向融合，得到每个尺度的融合特征图(P3、P4、P5、P6)，然后再从P3、P4、P5、P6中采样到原图图像大小的特征图，并通过拼接网络进行拼接操作，得到目标特征图(图4所示的F)。

如此，从图4中各类箭头所示的多个方向进行特征的融合，进而充分融合不同尺度的特征图的信息，进一步解决公式区域的尺度(尺寸)跨度大难以准确检测公式位置的问题。

在一些实施方式中，图1所示步骤S105可以通过以下方式实施：获取目标特征图对应的概率图和目标特征图对应的阈值图；通过可微分二值化网络，对概率图和阈值图进行可微分操作，获得二值图；将二值图确定为所述目标图像。

在本实施例中，作为一种方式，可以利用预设函数，根据第三特征图预测概率图和阈值图。

在本实施例中，作为另一种方式，可以通过预先训练的公式标注模型预测概率图和阈值图。可选地，如图2所示，公式标注模型还包括公式标注网络，将特征融合网络输出的目标特征图输入公式标注网络，获得公式标注网络输出的概率图和阈值图。

在本实施例中，利用可微分二值化网络，对概率图和阈值图进行可微分操作，获得二值图，其中，二值图指的每个像素只有两个可能值(0或者1)的数字图像。

作为一种方式，可微分二值化网络中的二值化函数规定了概率图、阈值图和二值图之间的对应关系，基于该对应关系，获得概率图和阈值图对应的二值图。可选地，二值化函数的表达式如下：

其中，B

结合公式(1)，在获取到概率图和阈值图后，获取概率图位置的值P

通过上述方式，通过可微分二值化网络实现待标注公式的标注，使得公式标注模型推理速度快，检测准确率高、实用性强，从而有利于解决公式区域形状不规则、若干公式区域相邻紧凑等难以准确检测公式位置的问题。

在一些实施方式中，图1所示步骤S105可以通过以下方式实施：获取目标特征图对应的概率图；将概率图确定为目标图像。在本实施例中，概率图的获取方式可以参照上述相关实施例，本实施例在此不做赘述。

在一些实施方式中，图1所示步骤S105可以通过以下方式实施：获取目标特征图对应的阈值图；将阈值图确定为目标图像。在本实施例中，阈值图的获取方式可以参照上述相关实施例，本实施例在此不做赘述。

在一些实施方式中中，图2所示的公式标注模型中的公式标注网络可以通过以下方式进行预先训练：在公式标注模型特征融合网络输出的目标特征图后，根据目标特征图推断概率图和阈值图，再根据概率图和阈值图计算出二值图，将计算获得的概率图、阈值图和二值图作为图像标签用于训练上述训练公式标注网络，训练后的公式标注网络输出的图像和图像样本计算损失函数，如果损失函数收敛，得到训练好的公式标注网络，从而获得训练好的公式标注模型。

其中，在计算上述损失函数时，需要分别计算模型输出的概率图和概率图标签之间的损失函数、阈值图和阈值图标签之间的损失函数、二值图和二值图标签之间的损失函数。以计算二值图和二值图标签之间的损失函数为例：

将公式(1)中的可微分二值化函数简化为：

其中，在公式(2)中，f(x)为二值图位置的值，x＝P

可选地，损失函数选取二元交叉熵损失函数，二元交叉熵损失函数为：

BCE

其中，BCE

针对二值图，当为前景(即为公式所在区域)时，y＝1，

当为背景(为非公式所在区域)时，y＝0，

分别对l

在进行待标注公式标注时，将原始图像输入训练好的公式标注模型中，公式标注模型可以输出二值图、概率图和阈值图中的至少一个。可以根据预先设置的输出规则输出结果，例如，预先设置输出概率图，则上述模型输出概率图。

基于同一发明构思，本公开提供一种公式标注装置，参照图5，该公式标注装置500可以包括：

获取模块501，用于获取原始图像，其中，所述原始图像中包含待标注公式；

采样模块502，用于对所述原始图像进行下采样处理，得到不同尺度的第一特征图；

第一特征处理模块503，用于针对每一尺度，根据该尺度的第一特征图和除该尺度以外的其他尺度的第一特征图，得到该尺度的第二特征图；

第二特征处理模块504，用于对所有尺度的所述第二特征图进行融合，得到目标特征图；

标注模块505，用于根据所述目标特征图，确定目标图像，所述目标图像包括对所述待标注公式进行标注的标注标识。

可选地，所述第一特征处理模块503包括：

第一采样子模块，用于在不同尺度中，对第一目标尺度的第一特征图进行下采样和下采样；

第一融合子模块，用于根据第二目标尺度的第一特征图、对所述第一目标尺度的第一特征图下采样得到的特征图中与所述第二目标尺度相同尺度的特征图、以及对所述第一目标尺度的第一特征图上采样得到的特征图中与所述第二目标尺度相同尺度的特征图进行融合，得到所述第二目标尺度的第二特征图。

可选地，所述第二特征处理模块504包括：

第二融合子模块，用于通过FPN网络中的多个依次连接的融合网络对所有尺度的所述第二特征图进行处理，得到与每一尺度对应的融合特征图，其中，所述多个依次连接的融合网络基于上采样方式、下采样方式和横向连接方式对所有尺度的所述第二特征图进行处理；

拼接子模块，用于通过FPN网络中的拼接网络从每一尺度对应的融合特征图中采样得到与所述原始图像相同尺度大小的目标融合特征图，并对所有采样得到的所述目标融合特征图进行拼接，得到目标特征图。

可选地，所述融合网络包括依次连接的第一融合网络、第二融合网络和第三融合网络，所述第二融合子模块具体用于将所有尺度的所述第二特征图输入至所述第一融合网络，得到所述第一融合网络输出的每个尺度的第一子融合特征图；将所有尺度的第一子融合特征图输入至所述第二融合网络，得到所述第二融合网络输出的每个尺度的第二子融合特征图；将所有尺度的第二子融合特征图输入至所述第三融合网络，得到所述第三融合网络输出的每个尺度的融合特征图。

可选地，所述标注模块505包括：

第一获取子模块，用于获取所述目标特征图对应的概率图和所述目标特征图对应的阈值图；

第二获取子模块，用于通过可微分二值化网络，对所述概率图和所述阈值图进行可微分操作，获得二值图；

第一标注子模块，用于将所述二值图确定为所述目标图像。

可选地，所述标注模块505还包括：

第三获取子模块，用于获取所述目标特征图对应的概率图；

第二标注子模块，用于将所述概率图确定为所述目标图像。

可选地，所述标注模块505还包括：

第四获取子模块，用于获取所述目标特征图对应的阈值图；

第三标注子模块，用于将所述阈值图确定为所述目标图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述公式标注方法的步骤。

基于同一发明构思，本公开提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述公式标注方法的步骤。

参照图6，图6是根据一示例性实施例示出的一种电子设备600的框图。如图6所示，该电子设备600可以包括：处理器601，存储器602。该电子设备600还可以包括多媒体组件603，输入/输出(I/O)接口604，以及通信组件605中的一者或多者。

其中，处理器601用于控制该电子设备600的整体操作，以完成上述的公式标注方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该电子设备600的操作，这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该电子设备600与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件605可以包括：Wi-Fi模块，蓝牙模块，NFC模块。

在一示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的公式标注方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的公式标注方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器602，上述程序指令可由电子设备600的处理器601执行以完成上述的公式标注方法。

图7是根据一示例性实施例示出的一种电子设备700的框图。例如，电子设备700可以被提供为一服务器。参照图7，电子设备700包括处理器722，其数量可以为一个或多个，以及存储器732，用于存储可由处理器722执行的计算机程序。存储器732中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器722可以被配置为执行该计算机程序，以执行上述的公式标注方法。

另外，电子设备700还可以包括电源组件726和通信组件750，该电源组件726可以被配置为执行电子设备700的电源管理，该通信组件750可以被配置为实现电子设备700的通信，例如，有线或无线通信。此外，该电子设备700还可以包括输入/输出(I/O)接口758。电子设备700可以操作基于存储在存储器732的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的公式标注方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器732，上述程序指令可由电子设备700的处理器722执行以完成上述的公式标注方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。