一种基于机器学习智能识别图像中财务数据的方法及装置

技术领域

本发明涉及招标采购管理技术领域，具体涉及基于机器学习智能识别图像中财务数据的方法。

背景技术

按照广电企[2019]8号文《关于印发公司深化招标管理改革任务分解表的通知》整体要求，通过利用供应商数据重构等技术实现智能推荐、风险分析与智能预警，保证招标采购遴选供应商合规高效，防范采购过程中由于供应商自身风险导致履约、审计的风险。

评标过程中，财务数据多以表格的形式存在，数据较难提取。

发明内容

本发明解决的技术问题为招标文件中财务数据提取困难的问题，提供基于机器学习智能识别图像中财务数据的方法。

为了解决上述技术问题，本发明提供的技术方案为：

基于机器学习智能识别图像中财务数据的方法，包括：

获取投标文件的图像；

识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；

将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。

应用神经网络识别出财务数据，大度提高了识别效率和速度。

神经网络经过训练可以提高财务数据提取效率，节约评标所需时间，降低招标采购成本。

优选地，含有财务数据的区域内含有表格区域，识别出表格区域内的文字blob块；

对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；

对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；

分别计算表格的列集合和行集合；

将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；

将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。Blob为连通区域，用blob领域缩小了表格中文本块的搜索范围，大大加快了识别效率。

优选地，将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。卷积神经网络可以提高基于连通域内文字识别的效率和准确率。

优选地，所述神经网络在MatConvNet环境下搭建。

优选地，将含有财务数据的区域图像纠偏后再处理。

基于机器学习智能识别图像中财务数据的装置，包括：

图像获取模块，所述图像获取模块获取投标文件的图像；

区域图像获取模块，所述区域图像获取模块识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；

数据获取模块，所述数据获取模块将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。

优选地，还包括区域图像处理模块，所述区域图像处理模块识别出区域图像内的表格区域内的文字blob块；

对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；

对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；

分别计算表格的列集合和行集合；

将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；

将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。

优选地，所述数据获取模块将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。

优选地，所述数据获取模块在MatConvNet环境下搭建神经网络。

优选地，还包括纠偏模块，所述纠偏模块将含有财务数据的区域图像纠偏。

与现有技术相比，本发明具有的有益效果为：神经网络经过训练可以提高财务数据提取效率，节约评标所需时间，降低招标采购成本。

用blob领域缩小了表格中文本块的搜索范围，大大加快了识别效率，再采用卷积神经网络可以提高基于连通域内文字识别的效率和准确率。

附图说明

图1为基于机器学习智能识别图像中财务数据的方法的示意图。

图2为基于机器学习智能识别图像中财务数据的装置的示意图。

具体实施方式

以下实施列是对本发明的进一步说明，不是对本发明的限制。

基于机器学习智能识别图像中财务数据的方法，在本申请的一些实施例中，包括：

S100.获取投标文件的图像；

S200.识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；

S300.将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。

应用神经网络识别出财务数据，大度提高了识别效率和速度。

神经网络经过训练可以提高财务数据提取效率，节约评标所需时间，降低招标采购成本。

在本申请的一些实施例中，含有财务数据的区域图像处理包括：

含有财务数据的区域内含有表格区域，识别出表格区域内的文字blob块；

对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；

对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；

分别计算表格的列集合和行集合；

将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；

将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。

Blob为连通区域，用blob领域缩小了表格中文本块的搜索范围，大大加快了识别效率。

在本申请的一些实施例中，对blob集合进行分类前，训练blob关系分类模型，选用GNN模型，包括：

将标注数据中的每个blob与其邻近集合中的每个blob建立blob对，得到每个blob对的两种关系：是否同行、是否同列，作为ground truth；再计算每个blob对的特征；

建立两个分类器，分别用于分类是否同行、是否同行；

预测blob与邻近集合中每个blob是否同行、同列。

在本申请的一些实施例中，将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。

卷积神经网络可以提高基于连通域内文字识别的效率和准确率。

在本申请的一些实施例中，从招标文件中提取将近3000个字符进行标记，形成数据集，将数据集分为训练集和测试集，分别占数据集的70%和30%；

将训练集进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出的向量中每一维都是输入图像属于该类别的概率，其最大概率所属类别为预测类别，完成字符识别训练

在本申请的一些实施例中，所述神经网络在MatConvNet环境下搭建。

在本申请的一些实施例中，将含有财务数据的区域图像纠偏后再处理。

基于机器学习智能识别图像中财务数据的装置，在本申请的一些实施例中，包括：

图像获取模块，所述图像获取模块获取投标文件的图像；

区域图像获取模块，所述区域图像获取模块识别出所述图像中财务数据的位置，截取出含有财务数据的区域图像；

数据获取模块，所述数据获取模块将含有财务数据的区域图像处理后输入神经网络模型中，输出所述财务数据。

在本申请的一些实施例中，还包括区域图像处理模块，所述区域图像处理模块识别出区域图像内的表格区域内的文字blob块；

对表格区域内的blob集合按照图像y坐标进行排序，排列成多行的blob集合，每行的blob集合按照x坐标排序；排序后，对每行中的blob，找到同一行中下一个相邻的blob、下一行中与其x轴上有重合的blob作为临近集合，得到每个blob的临近集合；

对blob集合进行分类，判断blob与临近集合的blob是否同行、是否同列，得到blob之间的关系并整理，得到表格的单元格结构；

分别计算表格的列集合和行集合；

将表格行集合按照图像的y坐标排序，列集合按照图像的x坐标排序，再将每行每列进行交叉，得到表格的单元格；

将每个单元格中的blob按行排列，并将每一行的blob合并为一个大blob，并将大blob的横坐标扩展到表格的单元格边界，得到提取出的表格。

在本申请的一些实施例中，所述数据获取模块将表格中大blob输入神经网络进行识别，所述神经网络为卷积神经网络，该网络的结构包括：第一卷积层、第一下采样层、第二卷积层、第二下才采样层、第三卷积层、softmax层，输出为字符。

在本申请的一些实施例中，所述数据获取模块在MatConvNet环境下搭建神经网络。

在本申请的一些实施例中，还包括纠偏模块，所述纠偏模块将含有财务数据的区域图像纠偏。

上列详细说明是针对本发明可行实施例的具体说明，以上实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。