一种大宗商品行业产业数据分析平台

技术领域

本发明涉及大宗商品市场分析技术领域，IPC分类号为：G06Q10/06，特别是涉及一种大宗商品行业产业数据分析平台。

背景技术

大宗商品在市场贸易中存在流通性强，商品交易端口种类繁杂，售卖端口各异的问题，在进行大宗商品的行业产业数据采集与分析过程中，通常将会产生采集的大宗商品数据结构不统一，数据错误以及数据冗余等多种问题，导致大宗商品在进行数据录入时首先在前期会影响数据录入质量以及数据传输效率，其次在后期会影响大宗商品数据的数据分类处理与数据的应用展示效果，从而无法实现大宗商品的贸易数据的标注化管理与综合性应用。

专利CN202010244972提供了一种大宗商品电子商务交易数据处理系统和处理方法、处理装置，此专利中通过建立了多个外部系统，用以进行多个外部系统与大宗商品电子商务交易数据之间的数据共享与数据连通，从而进一步保证数据交易过程中的数据安全性。专利CN201510196023提供了一种大宗商品交易数据处理系统及数据处理方法，此专利中建立了大宗商品在与各平台进行贸易往来以及资金流转过程中的相关流程，通过设计一系列的贸易交易方法与数据传输流程用以实现大宗商品贸易交易中利益的最大化，同时保证了交易过程中的安全性。

但是上述专利中，均偏向于大宗商品行业产品数据安全性管理的问题，并未涉及数据分析管理过程中的数据一致性以及数据的最终展示质量的问题，即仅偏重于数据的交易流程管理，却并未涉及实际交易流程中数据的质量与最终的展示效果，无法更好地为大宗商品上下游商家提供一个系统化交易管理平台，针对这一问题，本发明建立大型的全流程钢材交易管理平台，通过对市场中正在流通的钢材数据进行汇总与分析处理，从而打通钢材销售的上下游渠道，为相关企业的推广与销售提供契机。

发明内容

针对上述存在的问题，如图2所示，本发明通过了一种大宗商品行业产业数据分析平台，具体包括行情页面单元，行情地图页面单元，区域价格页面单元与历史价格页面单元；其中所述的数据分析平台中，从多价格端口获取大宗商品原始数据，通过对大宗商品原始数据进行数据前处理后，建立多端数据分析模型并进行数据加工，将加工后的数据传送至数据分析平台在行情页面单元，行情地图页面单元，区域价格页面单元与历史价格页面单元中进行前端多维度数据展示。

优选的，所述的多价格端口，包括大宗商品价格端口，市场价格端口，企业价格端口；其中所述的市场价格端口，对获取的市场价格进行占比分布排列，取占比排名第一、第三的价格作为区间价进行原始数据录入。

优选的，所述的数据前处理，采用分布式流处理技术进行数据一致性更新处理；所述的数据一致性包括数据预处理，多端数据结构标准化处理，数据可用性处理。

具体的，所述的数据一致性在多端数据进行分布式流处理的过程中，首先进行数据可用性处理的监控，避免数据传输过程中由于传输错误影响数据采集的质量。

优选的，所述的数据可用性处理，具体包括原始数据更新时效问题与原始数据传输错误问题，通过实时监控原始数据传输日志，进行原始数据的可用性分析。

具体的，所述的原始数据更新失效问题，通过建立基于数据传输的时序序列监控阈值，用以对数据流的传送时间进行监控。

优选的，所述的多端数据分析模型，建立多标签文本分类数据处理方式，同时对多标签文本分类数据进行分级划分，用以进行数据的分类与融合处理。

优选的，所述的多端数据分析模型，建立了迭代反馈计算与模型评价方法，用以将多端数据分析模型应用于数据分析平台中。

具体的，所述的迭代反馈计算与模型评价方法中，通过输入测试数据进行数据多端数据分析模型与分布式流处理技术中在数据传输过程中的关联度测试。

优选的，所述的行情地图页面单元，根据大宗商品分布区域进行行情地图的分区，同时将行情地图页面单元划分为数据层与图像层，通过监测各分区下数据层的数据更新状态，进行各分区下指定数据层与图像层的更新。

优选的，所述的行情地图页面单元，建立了一种行情地图数据自更新控制逻辑。

优选的，所述的历史价格页面单元，建立了价格变化曲线，并结合当前价格变化曲线下的环境影响因素，进行价格变换曲线的预测趋势分析。

具体的，所述的历史价格页面单元展示当前品种历史价格数据，页面上部曲线图表展示近1年价格曲线，下方以周统计、月统计为维度展示历史价格及涨跌数据，同时支持用户自定义时段查询数据。

优选的，所述的区域价格页面单元，包括大宗商品调价模块与基地调价模块，并通过列表的形式进行调价详情的展示。

与现有技术相比，本发明的有益效果在于：

(1)本发明中所述的一种大宗商品行业产业数据分析平台，通过建立多端数据分析模型，用以与分布式流处理技术进行关联性处理，从而在数据流处理传输的过程中，通过将多标签文本分类数据与多价格端口采集的数据进行配准，生成便签化的数据信息，从而便于对多价格端口采集的数据进行后续的标签化数据降维，分类与汇总处理，用以得到标准化数据并在大宗商品行业产业数据分析平台中进行展示，提高了数据处理的效率以及数据展示的自动化与准确性。

(2)在(1)的基础上，本发明中所述的分布式流处理技术，由于本发明中所述的原始数据来自于多价格端口的实时更新数据，如果选择批处理的数据传输技术，可能会存在多价格端口在某一时刻的数据更新不及时，同时产生数据延时的问题，为了避免这一问题发生，本发明在大宗商品行业产业数据分析平台中引入了分布式流处理技术，用以避免所述的数据延时的问题将会对大宗商品行业产业数据分析平台的数据展示的实时性产生影响，同时也会影响前端行情页面单元，行情地图页面单元，区域价格页面单元与历史价格页面单元中在进行数据分析时的数据精度。

(3)在(1)的基础上，本发明中通过建立种行情地图数据自更新控制逻辑，用以将采集的多价格端口数据在行情地图页面单元中进行自动更新，同时通过在数据层与图像层中建立关联，从而将自动更新的数据以及各区域内数据变换的状态进行直观化的展示，从而提升大宗商品行业产业数据分析平台中的数据展示效果。

附图说明

图1为一种大宗商品行业产业数据分析平台中钢材的交易管理数据处理流程图；

图2为一种大宗商品行业产业数据分析平台展示图。

具体实施方式

实施例1：

本实施例中所述的一种大宗商品行业产业数据分析平台，具体包括行情页面单元，行情地图页面单元，区域价格页面单元与历史价格页面单元；其中所述的数据分析平台中，从多价格端口获取大宗商品原始数据，通过对大宗商品原始数据进行数据前处理后，建立多端数据分析模型并进行数据加工，将加工后的数据传送至数据分析平台在行情页面单元，行情地图页面单元，区域价格页面单元与历史价格页面单元中进行前端多维度数据展示。其中，如图1所示，本实施例中以钢材的交易管理为例。

所述的多价格端口，包括大宗商品价格端口，市场价格端口，企业价格端口；其中所述的市场价格端口，对获取的市场价格进行占比分布排列，取占比排名第一、第三的价格作为区间价进行原始数据录入。

其中，所述的钢厂端口中，所述的数据分析平台与合作企业建立信息渠道，合作企业授权本数据分析平台进行价格发布，本数据分析平台按照合作企业提供的价格进行数据录入。

所述的市场价格端口中，所述的数据分析平台采集当地从事钢材回收与加工的重点样本企业的废钢、废铁收购价，对采集到的价格进行占比分布排列，取占比排名第一、第三的价格作为区间价进行数据录入。

所述的企业价格端口中，所述的数据分析平台与合作企业建立推广合作，合作企业授权本发明所述的数据分析平台进行价格发布，以达到扩展企业知名度需求，所述的数据分析平台按照合作企业提供的价格进行数据录入。

所述的数据前处理，采用分布式流处理技术进行数据一致性更新处理；所述的数据一致性包括数据预处理，多端数据结构标准化处理，数据可用性处理。

其中，在此基础上进行数据预处理，用以避免采集的数据中的数据冗余，数据无序的问题，同时通过剔除数据中的噪声值，在提高数据传输质量的同时，减小数据传输的体量值，提高数据传输的效率；在数据预处理的基础上，进行多端数据结构标准化处理，其中所述的多端结构标准化处理中，对数据源不统一的数据标准化处理，在所述的数据标准化处理中进行数据采集协议中编码关键词的拆分，所述的编码关键词的拆分用以提取出核心数据与其对应的特征值，将特征值与核心数据以键值对的方式进行列表存储，用以进行后续的数据特征聚类处理与数据特征关联。

所述的数据可用性处理，具体包括原始数据更新时效问题与原始数据传输错误问题，通过实时监控原始数据传输日志，进行原始数据的可用性分析。

其中，当数据流的传送时间超出指定的时序序列时，进行自动预警并锁定数据传输端口进行及时维护处理；所述的原始数据传输错误问题，由于分布式流处理技术中，多端数据的传输是无序杂乱的，为避免由于传输问题造成数据流中错误数据过多，将首先进行原始数据中错误数据筛选操作，从而进一步保证分布式流处理技术中数据传输质量。

所述的多端数据分析模型，建立多标签文本分类数据处理方式，同时对多标签文本分类数据进行分级划分，用以进行数据的分类与融合处理。

其中，在所述的数据一致性更新处理上，通过获取数据标准化处理后的列表数据，将列表数据传送至多端数据分析模型中，将多端数据分析模型与分布式流处理技术建立关联关系，其中将多标签文本分类数据建立多维空间列表结构，将具有标签文本的多维空间列表结构与分布式流处理技术中的各数据流进行分别配准，其中所述的各数据流为数据一致性更新处理后进行分区存储的数据流，所述的分别配准为将列表数据中的特征值与标签文本的多维空间列表结构中的标签值进行匹配，同时将核心数据存储于多维空间列表结构中，待陪住完成后，将具有同一标签特征的多维空间列表结构进行分级划分，将分级划分后的同一级别下的多维空间列表结构进行合并处理，以此进行具有标签文本的多维空间列表结构的降维操作，用以进行数据的分类与融合处理，

所述的多端数据分析模型，建立了迭代反馈计算与模型评价方法，用以将多端数据分析模型应用于数据分析平台中。

其中，当关联度达到指定阈值后，再次进行实际数据流传输操作并应用于大宗商品行业产业数据分析平台展示界面中，用以提高行业产业数据展示准确性。

所述的行情地图页面单元，建立了一种行情地图数据自更新控制逻辑。

其中，所述的行情地图数据自更新控制逻辑，具体如下：

S1、首先获取加工后的数据，判断加工后的数据所属分区；

S2、将加工后的数据与所属分区的历史数据进行比对，用以计算加工后的数据变换量；

S3、设定数据变换级别，根据不同的数据变换级别进行加工后的数据变换量的分级；

S4、在数据层与图像层之间建立数据关联，根据数据层的分级确定图像层的展示颜色，同时将加工后的数据以及数据变换量作为数据层的展示数据，以此实现数据层与图案层的更新。

本发明所述的行情页面单元以省、市为维度默认展示所有品种、所有地区的价格、涨跌数据并且以卡片列表的形式展示，本发明中所述的行情页面单元支持对品种和地区进行组合筛选，品种可筛选：废钢、合金废钢、氧化铁皮、石墨电极、国际废钢、报废汽车，地区可筛选国内省份，点击某省份/城市卡片，进入该省份/城市价格详情页。

所述的区域价格页面单元，包括大宗商品调价模块与基地调价模块，并通过列表的形式进行调价详情的展示。

其中大宗商品调价模块包括钢厂调价模块，展示当前省/市下钢厂的调价信息，钢厂每次调价本发明所述的数据分析平台生成一条调价信息，以列表形式展示，点击调价列表进入调价详情页面。

基地调价模块展示当前省/市下合作基地企业的调价信息，基地每次调价本发明所述的数据分析平台生成一条调价信息，以列表形式展示，点击调价列表进入调价详情页面。