一种针对多层控股关系股份图的识别方法

技术领域

本发明属于图像识别技术领域，涉及一种针对多层控股关系股份图的识别方法。

背景技术

随着互联网技术的日新月异，人工智能领域更加蓬勃发展，与之有关的技术以及产品在人们日常生活中的占比也随之上升。图像识别技术是人工智能中的一个重要领域，它是许多实用技术的基础，例如立体视觉、运动分析、数据融合等，也在导航、天气预报、自然资源分析、环境监测、生理病变研究等领域具有重要的应用价值。对复杂图像的具体识别解析是人工智能的一个重要领域，并且当前图像的目标识别对车牌、人脸、行人等特征识别已经较为成熟；因此，研究者希望对更加复杂的关系图像(如股份图)进行识别与解析，使相关人员摆脱传统人工进行股份分析的方法，能够高效、精准的掌握股权分布，提高工作效率。

但是，现有的股份图都是大多来自于公司发表的年度或季度报告以及相关软件(如天眼查)，图片比较复杂，难以直观的了解公司股份的架构，再加上分析时不仅仅是对一张图、一个公司的股份进行分析，工作不仅时费时费力，而且难以理清。另外，目前国内外没有利用图像识别技术对股份图进行识别的研究，没有研究股份关系图解析等方面的技术。

发明内容

本发明的目的是提供一种针对多层控股关系股份图的识别方法，解决了现有技术中存在的原有股份图难以直观反映出公司股份的问题。

本发明所采用的技术方案是，

一种针对多层控股关系股份图的识别方法，具体步骤为：

步骤1，输入多层控股关系的待识别股份图；

步骤2，采用Faster R-CNN网络提取图片中公司(个人)、箭头、带线箭头和百分比的坐标；

步骤3，根据分治思想，利用带线箭头的坐标将待识别股份图划分为多个单层一对多或多对一股份图；

步骤4，对于每个单层一对多或多对一股份图，根据箭头坐标确定角点坐标，根据箭头角点坐标确定箭头的走向；根据箭头的走向将公司(个人)划分为指向对象和被指向对象，之后将被指向对象和指向对象中个数多的一方与百分比一对一绑定；最后利用OCR识别方法对指向对象和被指向对象中的文字进行识别；

步骤5，根据步骤3得到的指向关系，构建“对象—箭头—百分比—被指向对象”的控股流程有向加权图。

本发明的特点还在于：

步骤2包括：

步骤2.1，采取大量股份图并对图中的公司(个人)、箭头、带线箭头和百分比进行人工标注后作为数据集；其中股份图被人工划分为多个单层一对多或多对一股份图，将超出单层一对多或多对一股份图的箭头定义为带线箭头；

步骤2.2，建立VGG-16网络模型，VGG-16包括13个卷积层，3个全连接层，5个池化层；

步骤2.3，VGG-16网络模型对数据集进行训练；

步骤2.4，采用训练好的VGG-16网络模型对待识别股份图进行检测，输出检测结果，检测结果为公司(个人)、箭头和百分比的坐标。

步骤2中13个卷积层采用的卷积核的尺寸是3x3卷积，采用步幅stride＝1，填充方式为padding＝same，每一个卷积层使用一个relu激活函数；分别生成positive anchors和对应bounding box regression偏移量，然后计算出proposals；

的池化层的采用的池化核参数均为2×2，步幅stride＝2，max的池化方式；利用卷积层的proposals从feature maps中提取proposal feature送入后续全连接和softmax网络作classification(即分类proposal到底是什么object)。

步骤3为：

步骤3.1，基于步骤2所得的某个带线箭头的坐标，设带线箭头的区域的上界、下界、左界、右界为U、D、L、R，进而根据四个界限依次对公司(个人)名称的坐标进行搜索扩展，具体操作如下：

对上界U进行扩展：当带线箭头区域的上界U和某公司(个人)名称区域的下界D’的差的绝对值在误差μ范围之内时，即将带线箭头区域的上界U扩展为此公司(个人)名称区域的上界U’；对下界D进行扩展：当带线箭头区域的下界D和某公司(个人)名称区域的上界U’的差的绝对值在误差μ范围之内时，即将带线箭头区域的下界D扩展为此公司(个人)名称区域的下界D’；对L进行扩展：找出一组公司(个人)名称，其条件为公司(个人)名称区域的下界与U的差在误差μ范围之内，然后求出这一组公司(个人)名称的左边界与L的差，将L扩展为差最小的那一个的公司(个人)名称区域的左界限L’；对R进行扩展：找出一组公司(个人)名称，其条件为公司(个人)名称区域的上界与D的差在误差μ范围之内，然后求出这一组公司(个人)名称的右边界与R的差，将R扩展为差最小的那一个的公司(个人)名称区域的右界限R’；此时的上界U’、下界D’、左界L’、右界R’构成的区域即为此带线箭头坐标的最后扩展的目标范围；

步骤3.2，遍历全部的股份图的带线箭头的坐标，重复执行步骤3.1，直至每个箭头走向的整体坐标均扩展完成，最终将待识别股份图划分为多个单层一对多或多对一股份图。

误差μ取范围值10～30像素。

步骤4包括对于每一个单层一对多或多对一股份图做如下操作：

步骤4.1，对于某一个单层一对多或多对一股份图，根据箭头坐标确定角点坐标，根据箭头角点坐标确定箭头的方向：

某一箭头的三个角点设为(A(x

步骤4.2，根据箭头的指向将公司(个人)名称划分为指向对象和被指向对象，之后将被指向对象和指向对象中个数多的一方与百分比一对一绑定，由于输入的股份图都是单层的，所以可以根据公司名称的纵坐标的大小将其分成两组，根据步骤3.1得到的箭头的指向，若指向向上，则公司(个人)坐标中纵坐标最大的一组为被指向对象，若箭头的指向向下，则公司(个人)坐标中纵坐标最小的一组为被指向对象；然后进行将被指向对象和指向对象中个数多的一方与百分比一对一绑定：设被指向对象和指向对象中个数多的一方其中某个对象四个点的坐标中最小的横坐标和最大的横坐标为(x

步骤4.3，利用OCR技术对指向对象和被指向对象的坐标中文字进行识别。

步骤5包括：

步骤5.1，建立一个空的有向图G，利用步骤3.3中得到的公司(个人)名称，使其作为节点依次添加进有向图G中，得到基础的仅存节点的有向图G′；

步骤5.2，在步骤5.1中有向图G′的基础上，将步骤3.2中的指向关系转化为三元组[u,v,w]，其中u为起点，代表指向对象；v为终点，代表被指向对象，w为权重代表占股百分比，利用转化成的三元组作为参数，添加进有向图G′中，最终形成控股流程有向加权图G″。

本发明的有益效果是

利用深度学习框架Faster R-CNN技术和图像识别技术对股份图进行了识别与解析，克服了对于个人或公司进行股份分析时费时费力、难以理解的缺点，弥补了国内外对此方面研究的缺失，提供了高效、准确的方法。

附图说明

图1是本发明对单层一对多或多对一股份图识别与解析方法示意图；

图2是本发明对单层一对多或多对一股份图识别与解析方法中Faster R-CNN的VGG-16网络结构示意图；

图3是本发明对单层一对多或多对一股份图识别与解析方法的实施例1中输入的股份图；

图4是本发明对单层一对多或多对一股份图识别与解析方法的实施例1中执行步骤3之后得到的结果图；

图5是本发明对单层一对多或多对一股份图识别与解析方法的实施例1中最终得到的复杂网络图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1，一种针对多层控股关系股份图的识别方法，具体步骤为：

步骤1，输入多层控股关系的待识别股份图；

步骤2，采用Faster R-CNN网络提取图片中公司(个人)、箭头、带线箭头和百分比的坐标；

步骤3，根据分治思想，利用带线箭头的坐标将待识别股份图划分为多个单层一对多或多对一股份图；

步骤4，对于每个单层一对多或多对一股份图，根据箭头坐标确定角点坐标，根据箭头角点坐标确定箭头的走向；根据箭头的走向将公司(个人)划分为指向对象和被指向对象，之后将被指向对象和指向对象中个数多的一方与百分比一对一绑定；最后利用OCR识别方法对指向对象和被指向对象中的文字进行识别；

步骤5，根据步骤3得到的指向关系，构建“对象—箭头—百分比—被指向对象”的控股流程有向加权图。

步骤1中对于多层控股关系的待识别股份图，需要先将其放缩至固定大小；

步骤2包括：

步骤2.1，采取大量股份图并对图中的公司(个人)、箭头、带线箭头和百分比进行人工标注后作为数据集；其中股份图被人工划分为多个单层一对多或多对一股份图，将超出单层一对多或多对一股份图的箭头定义为带线箭头；

步骤2.2，建立VGG-16网络模型，VGG-16包括13个卷积层，3个全连接层，5个池化层；

步骤2.3，VGG-16网络模型对数据集进行训练；

步骤2.4，采用训练好的VGG-16网络模型对待识别股份图进行检测，输出检测结果，检测结果为公司(个人)、箭头和百分比的坐标。

步骤2中13个卷积层采用的卷积核的尺寸是3x3卷积，采用步幅stride＝1，填充方式为padding＝same，每一个卷积层使用一个relu激活函数；分别生成positive anchors和对应bounding box regression偏移量，然后计算出proposals；

的池化层的采用的池化核参数均为2×2，步幅stride＝2，max的池化方式；利用卷积层的proposals从feature maps中提取proposal feature送入后续全连接和softmax网络作classification(即分类proposal到底是什么object)。

步骤3为：

步骤3.1，基于步骤2所得的某个带线箭头的坐标，设带线箭头的区域的上界、下界、左界、右界为U、D、L、R，进而根据四个界限依次对公司(个人)名称的坐标进行搜索扩展，具体操作如下：

对上界U进行扩展：当带线箭头区域的上界U和某公司(个人)名称区域的下界D’的差的绝对值在误差μ范围之内时，即将带线箭头区域的上界U扩展为此公司(个人)名称区域的上界U’；对下界D进行扩展：当带线箭头区域的下界D和某公司(个人)名称区域的上界U’的差的绝对值在误差μ范围之内时，即将带线箭头区域的下界D扩展为此公司(个人)名称区域的下界D’；对L进行扩展：找出一组公司(个人)名称，其条件为公司(个人)名称区域的下界与U的差在误差μ范围之内，然后求出这一组公司(个人)名称的左边界与L的差，将L扩展为差最小的那一个的公司(个人)名称区域的左界限L’；对R进行扩展：找出一组公司(个人)名称，其条件为公司(个人)名称区域的上界与D的差在误差μ范围之内，然后求出这一组公司(个人)名称的右边界与R的差，将R扩展为差最小的那一个的公司(个人)名称区域的右界限R’；此时的上界U’、下界D’、左界L’、右界R’构成的区域即为此带线箭头坐标的最后扩展的目标范围；

步骤3.2，遍历全部的股份图的带线箭头的坐标，重复执行步骤3.1，直至每个箭头走向的整体坐标均扩展完成，最终将待识别股份图划分为多个单层一对多或多对一股份图。

误差μ取范围值10～30像素。

步骤4包括对于每一个单层一对多或多对一股份图做如下操作：

步骤4.1，对于某一个单层一对多或多对一股份图，根据箭头坐标确定角点坐标，根据箭头角点坐标确定箭头的方向：

某一箭头的三个角点设为(A(x

步骤4.2，根据箭头的指向将公司(个人)名称划分为指向对象和被指向对象，之后将被指向对象和指向对象中个数多的一方与百分比一对一绑定，由于输入的股份图都是单层的，所以可以根据公司名称的纵坐标的大小将其分成两组，根据步骤3.1得到的箭头的指向，若指向向上，则公司(个人)坐标中纵坐标最大的一组为被指向对象，若箭头的指向向下，则公司(个人)坐标中纵坐标最小的一组为被指向对象；然后进行将被指向对象和指向对象中个数多的一方与百分比一对一绑定：设被指向对象和指向对象中个数多的一方其中某个对象四个点的坐标中最小的横坐标和最大的横坐标为(x

步骤4.3，利用OCR技术对指向对象和被指向对象的坐标中文字进行识别。

步骤5包括：

步骤5.1，建立一个空的有向图G，利用步骤3.3中得到的公司(个人)名称，使其作为节点依次添加进有向图G中，得到基础的仅存节点的有向图G′；

步骤5.2，在步骤5.1中有向图G′的基础上，将步骤3.2中的指向关系转化为三元组[u,v,w]，其中u为起点，代表指向对象；v为终点，代表被指向对象，w为权重代表占股百分比，利用转化成的三元组作为参数，添加进有向图G′中，最终形成控股流程有向加权图G″。

实施例1

执行步骤1，输入待识别股份图为图3；

执行步骤2，其中数据集主要来自于中国招标网和巨潮资讯网，总体量值超过100G，且由于股权图单张图像中含有多个目标图像的特征，故原始数据集数量为3200张，利用open-cv库对现有数据集进行翻转等操作，扩充数据集数量到11000张，各类别的目标图像数量均超过60000张；其中的OCR技术是调用已有的、成熟的OCR接口(例如百度OCR的API)进行识别，提高识别率；

执行步骤3，其中μ取15，输出结果为图4，如图可见，图中每一个框即为一个层一对多或多对一股份图；

执行步骤4，其中构建指向关系的复杂网络是基于图论与复杂网络建模工具NetworkX进行构建的可视化的网络，最终得到的控股流程有向加权图如图4所示。