基于联邦学习的钢材价格预测方法、装置、设备及介质

技术领域

本发明涉及钢铁工业领域和人工智能技术领域，特别是涉及一种基于联邦学习的钢材价格预测方法、装置、设备及介质。

背景技术

近年来，随着计算机技术的发展，越来越多的技术应用在钢材行业，传统钢材行业正在向信息化的方向转变。在钢厂的大规模工业生产中，会根据客户需求的品类规格生产以外，还会额外生产出大量的同类产品。对于钢材产品定价的问题，现阶段以人工经验为主。

基于人工的钢材产品定价，取决于定价者的主观经验和价值判断，人工判断往往标准过于模糊，容易受个人的情绪波动和当前状态的影响。一方面，对于同一品类钢材产品，钢材市场的实时价格波动会影响到钢材价格制定；另一方面，不同的定价者也会在同一时间对同一品类的钢材产品标定的不同的价格，基于人工的钢材产品定价是非标准的流程。因此，基于机器学习的钢材产品价格确定算法的提出是迫在眉睫的。基于机器学习的钢材产品价格确定方法具有标准明确，定价稳定一致，效率高，准确率高的特点，近年来，本领域技术人员对此进行了相关研究。

与其他行业相比，钢铁行业主要资源及价格由大型钢厂和贸易商掌控，库存、资金状况、供需、交易特性等完整信息获取难度较大，存在一定竞争壁垒和区域性壁垒，且其不同区域内的竞争格局也各不相同，市场结构对于钢铁产品的价格具有一定的影响。单一钢厂或者贸易商所产生的数据限制了机器学习模型训练的效率和产出的结果。将钢材供应链的数据整合到一起有利于更好的训练模型。但是因为数据安全问题，供应链相关的数据都是核心机密数据，各方都不愿意共享核心数据，数据获取难度大，这就给最终钢铁产品的定价准确性产生影响。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种效率高、可获得更精准预测结果的基于联邦学习的钢材价格预测方法、装置、设备及介质，解决现有技术中数据收集困难、计算效率低等技术问题。

本发明的目的可以通过以下技术方案来实现：

一种基于联邦学习的钢材价格预测方法，该方法具体为：利用一基于联邦学习构建的价格仿真预测模型预测获得待估钢材的价格，所述价格仿真预测模型的输入为待估钢材的特征向量，其特征在于，所述价格仿真预测模型基于多层联邦学习网络构建获得。

进一步地，根据地理位置将待预测区域划分为多个子区域，所述多层联邦学习网络为两层联邦学习网络，其中，底层联邦学习网络为多个区域联邦学习网络，各所述区域联邦学习网络对应于一个所述子区域，所述顶层联邦学习网络为整体联邦学习网络，所述区域联邦学习网络和整体联邦学习网络间存在重叠。

进一步地，基于多层联邦学习网络构建所述价格仿真预测模型的步骤具体包括：

利用各所述区域联邦学习网络分别训练构建一区域价格预测模型，所述整体联邦学习网络基于各所述区域价格预测模型的预测输出数据，训练获得一整体价格预测模型，作为所述价格仿真预测模型。

进一步地，所述区域联邦学习网络训练构建区域价格预测模型的过程包括：

101)获得区域价格预测模型的初始模型参数；

102)利用至少两个一层终端对初始模型参数下的区域价格预测模型进行训练，输出损失函数的值，各所述一层终端的训练数据不同；

103)二层终端接收各所述一层终端输出的损失函数的值，根据损失函数的值对区域价格预测模型进行反向传播，计算梯度信息反馈至各一层终端，一层终端和二层终端根据所述梯度信息更新模型参数；

104)重复步骤102)和步骤103)，直到模型损失函数收敛；

所述一层终端和二层终端共享所述模型参数。

进一步地，所述二层终端为所述至少两个一层终端中的一个。

进一步地，所述二层终端利用各一层终端损失函数的值的和进行反向传播，更新模型参数。

进一步地，所述整体价格预测模型通过以下步骤训练获得：

201)获得整体价格预测模型的初始模型参数；

202)以获得各二层终端的区域价格预测模型的预测输出数据作为训练数据，对初始模型参数下的整体价格预测模型进行训练，输出损失函数的值，各所述二层终端的训练数据不同；

203)三层终端接收各所述二层终端输出的损失函数的值，根据损失函数的值对区域价格预测模型进行反向传播，计算梯度信息反馈至各二层终端，二层终端和三层终端根据所述梯度信息更新模型参数；

204)重复步骤202)和步骤203)，直到模型损失函数收敛；

所述二层终端和三层终端共享所述模型参数。

本发明还提供一种基于联邦学习的钢材价格预测装置，包括：

模型构建模块，用于基于多层联邦学习网络构建价格仿真预测模型；

输入模块，用于获得待估钢材的特征向量；

预测模块，用于根据所述待估钢材的特征向量及训练好的价格仿真预测模型获得待估钢材的价格。

进一步地，根据地理位置将待预测区域划分为多个子区域，所述多层联邦学习网络为两层联邦学习网络，其中，底层联邦学习网络为多个区域联邦学习网络，各所述区域联邦学习网络对应于一个所述子区域，所述顶层联邦学习网络为整体联邦学习网络，所述区域联邦学习网络和整体联邦学习网络间存在重叠。

本发明还提供一种电子设备，包括：

一个或多个处理器；

存储器；和

被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于联邦学习的钢材价格预测方法的指令。

本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述基于联邦学习的钢材价格预测方法的指令。

与现有技术相比，本发明具有如下有益效果：

1、本发明基于联邦学习构建价格仿真预测模型，可以在不共享基础数据的情况下使用各方的数据共同训练模型，较好地解决钢铁行业中数据安全问题带来的数据共享问题，使得参与联邦学习的联盟各方在不泄露数据的情况下有效利用大数据，保护了各自的数据安全和数据隐私，解决数据获取困难的问题。

2、本发明方法利用钢铁行业供应链的数据信息和标注信息，结合联邦学习的技术，训练深度学习模型并获得更精准的预测结果，提高可靠性。

3、本发明考虑区域特性，基于多层联邦学习网络，第一层进行区域钢材价格预测，第二层根据区域钢材预测价格建立整体区域钢材价格预测，可以对整体区域钢材价格进行准确预测，获得更加有效可靠的价格预测结果。

4、本发明方法通过训练好的模型实现预测，仅需要获得一定数据，即可快速获得预测结果，过程简单快捷，效率高。

附图说明

图1是实施例中涉及的硬件运行环境结构示意图；

图2是实施例中一种双层联邦学习架构的模型结构示意图；

图3是实施例中双层联邦学习架构中各终端包含的单元模型示意图；

图4是实施例中区域价格预测的示意图；

图5是实施例中区域价格预测流程示意图；

图6是实施例中模型参数训练的示意图；

图7是实施例中整体价格预测的示意图；

图8是实施例中整体价格预测流程示意图；

图9是实施例中各终端的硬件结构示意图。

图10是实施例中待估价钢材的特征向量。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本实施例提供一种基于联邦学习的钢材价格预测方法，该方法具体为：利用一基于联邦学习构建的价格仿真预测模型预测获得待估钢材的价格，所述价格仿真预测模型的输入为待估钢材的特征向量，其特征在于，所述特征向量包括钢材基本数据、人工标注特征和市场价格基本指数；所述价格仿真预测模型基于多层联邦学习网络构建获得。该方法可以方便地实现钢材或其他大宗商品的价格预测。

钢材价格的分布具有区域性，在不同区域的钢材价格相差很大的时候，单层的联邦学习模型并不能很好地适用。本方法针对钢铁行业的价格的区域性和信息的安全性，设计一多层联邦学习模型，至少一个底层联邦学习模型用于学习区域价格模型，顶层联邦学习模型用于整体价格模型，可以对整体的钢铁价格进行准确的预测。

如图10所示，特征向量包括钢材基本数据、人工标注特征和市场价格基本指数，不仅从钢铁本身的质量和钢铁市场的大行情来考虑，也从数据可以描述的特征和数据难以描述需要人工标注的特征两个角度来进行分析，多角度全方位的考虑了钢材定价问题中的相关特征，可以提供更好的训练数据，以提高模型预测精度。钢材基本数据包括尺寸(长宽高)、重量、屈服点、屈服强度、屈强比、抗拉强度、伸长率、r值、n值、断后伸长率、冷弯性能、硬度、类别1(热轧、酸洗、普冷、镀锌、电工钢、厚板、钢管、条钢、型材及钢轨、不锈钢、特等刚)、类别2(建筑、加点、乘用车、商务车、金属包装、能源)等等。

图1是本发明实施例方案涉及的硬件运行环境的结构示意图。图1也可为模型参数获取的硬件运行环境的结构示意图。本发明实施例模型参数获取设备可以是PC、便携计算机等终端设备。

如图1所示，该模型参数获取设备可以包括：通信总线、用户接口、处理器、网络接口和存储器。其中，通信总线用于实现这些组件之间的连接通信；用户接口可以包括显示屏、键盘、鼠标；网络接口可以包括标准的有线接口和无线接口；存储器可以是机械硬盘(HHD)，也可以是固态硬盘(SSD)。本领域技术人员可以理解，模型参数获取设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器中可以包括操作系统、网络通信模块、用户接口模块以及基于联邦学习的模型参数获取程序。其中，操作系统是管理和控制模型参数获取系统硬件和软件资源的程序，支持基于联邦学习的模型参数获取程序以及其它软件或程序的运行。

在图1所示的模型参数获取系统中，用户接口主要用于连接第一终端、第二终端和第三终端等，与各个终端进行数据通信；网络接口主要用于连接后台服务器，与后台服务器进行数据通信；而处理器可以用于调用存储器中存储的基于联邦学习的模型参数获取程序。

如图2所示，本实施例使用两层联邦学习网络。根据地理位置将待预测区域划分为多个子区域，所述多层联邦学习网络为两层联邦学习网络，其中，底层联邦学习网络为多个区域联邦学习网络，各所述区域联邦学习网络对应于一个所述子区域，所述顶层联邦学习网络为整体联邦学习网络，所述区域联邦学习网络和整体联邦学习网络间存在重叠，具体地，一层终端与二层终端构成区域联邦学习网络，二层终端与三层终端构成整体联邦学习网络。

所述二层终端可以为所述多个一层终端中的一个，也可以为一第三方终端，在进行信息交换的时候，各终端间只交换损失函数值和模型参数，保护了各个公司的数据隐私和数据安全。

如图2所示，第一终端、第二终端、第四终端和第五终端为一层终端，第三终端和第六终端为二层终端，第七终端为三层终端。其中第一终端、第二终端和第三终端，可以是第一层的联邦学习模型的一个联邦学习子模型，组成区域A钢材价格预测模型，用于分析区域A钢材价格走势，输出区域A的钢材价格；第四终端、第五终端和第六终端输出区域B的钢材价格。其中第三终端，第六终端和第七终端，可以是第二层联邦学习模型的一种模型，组成整体钢材价格预测模型，结合区域A钢材价格预测模型和区域B钢材价格预测模型，预测钢材的整体价格。中第一终端和第二终端属于同一区域的不同企业，第三终端和第四终端属于另一区域的不同企业。第五终端、第六终端和第七终端是协作终端。

如图4和图6所示，第一终端、第二终端和第三终端组成区域价格预测模型，其中第一终端和第二终端属于区域A，第三终端是协作终端。第一层中，区域联邦学习网络训练构建区域价格预测模型的过程包括：

1.数据收集和数据处理。其中数据处理包括数据清洗、数据转化、数据合并、数据计算等。

2.初始化模型参数，第一终端、第二终端和第三终端共享区域钢材价格预测模型参数。

3.根据数据计算损失，加密并汇总给第三终端。第一终端和第二终端属于同一区域的不同企业，在各个终端上使用各自的数据输入到模型中，计算损失，加密并汇总到第三终端。

4.第三终端接收到第一终端和第二终端发送的加密损失后，在第三终端的上进行解密与合并，并计算梯度信息。

5.第三终端将梯度信息回传给第一终端和第二终端。第一终端，第二终端和第三终端根据梯度信息更新区域钢材价格预测模型参数。

6.重复第3，4，5步，更新模型参数直到模型收敛。

如图7和图8所示，第二层中整体价格预测模型通过以下步骤训练获得：

1.数据处理，第三终端和第六终端包含着区域A和区域B各自的区域钢材价格预测模型，使用区域A和区域B各自的钢材价格预测模型输出区域A和区域B的钢材价格预测时间序列。

2.初始化模型参数，第三终端，第六终端和第七终端共享整体钢材价格预测模型参数，其中第三终端和第六终端每个终端均包含两个模型，分别是区域钢材价格模型和整体钢材价格模型。

3.根据数据计算损失，加密并汇总给第七终端。第三终端和第六终端是不同区域的协作终端，储存了各自的区域钢材价格预测模型和模型的输出价格时间序列。在第三终端和第六终端上使用各自预测出的区域钢材价格作为训练数据输入到整体钢材价格预测模型中，计算损失，加密并汇总到第七终端。

4.第七终端接收到第三终端和第六终端发送的加密损失后，在第七终端的上进行解密与合并，并计算梯度信息。

5.第七终端将梯度信息回传给第三终端和第六终端，第三终端，第六终端和第七终端根据梯度信息更新整体钢材价格预测模型参数。

6.重复第3，4，5步，更新模型参数直到模型收敛。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

实施例2

本实施例提供一种基于联邦学习的钢材价格预测装置，包括模型构建模块、输入模块和预测模块，其中，模型构建模块用于基于多层联邦学习网络构建价格仿真预测模型；输入模块用于获得待估钢材的特征向量；预测模块用于根据所述待估钢材的特征向量及训练好的价格仿真预测模型获得待估钢材的价格。

根据地理位置将待预测区域划分为多个子区域，所述多层联邦学习网络为两层联邦学习网络，其中，底层联邦学习网络为多个区域联邦学习网络，各所述区域联邦学习网络对应于一个所述子区域，所述顶层联邦学习网络为整体联邦学习网络，所述区域联邦学习网络和整体联邦学习网络间存在重叠。

本实施例提供的各终端如图9所示，包括数据获取模块、损失函数计算模块、模型参数同步模块和预测模块，其中，数据获取模块用于输出钢材的特征向量，预测模块用于计算钢材的预测价格，模型参数同步模块用于同步当前的模型参数，损失函数计算模块用于输出预测价格和损失函数值。

实施例3

本实施例提供一种电子设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述基于联邦学习的钢材价格预测方法的指令。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。