一种基于数据分析的以陈顶新预警方法及系统

技术领域

本发明涉及数据分析技术领域，并且更具体地，涉及一种基于数据分析的以陈顶新预警方法及系统。

背景技术

关于粮食储备，针对违规现象未有信息化的管理预警系统等。

发明内容

针对上述问题，本发明提出了一种基于数据分析的以陈顶新预警方法，包括：

获取与粮食储备相关的多类数据，对所述多类数据进行预处理，得到目标数据，确定与所述粮食储备相关的粮食粮情指标，基于所述粮食粮情指标，建立初始化数据分析规则，基于所述初始化数据分析规则，计算得到所述目标数据的各项粮食粮情指标的权重值；

基于所述初始化数据分析规则及数据分析技术，搭建初始分析统计模型，以所述目标数据作为初始分析统计模型的输入数据，以所述目标数据的各项粮食粮情指标的权重值作为输出数据，将所述输入数据及所述输出数据同时输入至所述初始分析统计模型，对所述初始分析统计模型进行训练，得到分析统计模型；

基于预先设定的预警权重值及预设网络，搭建预警模型，获取与粮食储备相关的风险数据，将所述风险数据代入所述分析统计模型进行计算，确定所述风险数据的各项粮食粮情的权重值，基于所述预警模型对所述风险数据的各项粮食粮情的权重值进行判断，若所述风险数据的各项粮食粮情的权重值，有任意一项超出对应的预警权重值，则发出风险提示，判断风险类型，若风险类型为以陈顶新风险，则发出以陈顶新预警信号。

可选的，与粮食储备相关的多类数据，包括：轮换计划数据、粮情数据、粮食质检数据和粮食出入库检测数据。

可选的，对所述多类数据进行预处理，包括：

对所述多类数据进行清洗，以剔除所述多类数据中的重复数据及错误数据，得到清洗后的多类数据；

针对清洗后的多类数据进行校验，以确定所述清洗后的多类数据是否存在缺失值及异常值，若是，则补全缺失值，并剔除异常值，得到完整的多类数据；

针对所述完整的多类数据，进行准确性的校验，筛选出准确性符合预设标准的完整的多类数据，作为目标数据。

可选的，粮食粮情指标，包括如下中的至少一种：水分含量、杂质含量和矿物质含量。

可选的，建立初始化数据分析规则，包括：

为各项粮食粮情指标设置默认的得分权重值。

可选的，数据分析技术，包括：机器学习技术、数据挖掘技术及数据统计技术。

可选的，以陈顶新预警方法，还包括：

根据粮食储备的相关需求，对粮食粮情指标及预警权重值进行调整；

根据调整后的粮食粮情指标，对分析统计模型的模型参数进行调整，以更新所述分析统计模型；

根据调整后的预警权重值，对预警模型的模型参数进行调整，以更新所述预警模型的参数。

可选的，以陈顶新预警方法，还包括：

对发出的以陈顶新预警信号的次数进行统计，并对以陈顶新风险次数进行统计，将以陈顶新预警信号次数的统计值与以陈顶新风险次数的统计值进行对比，若对比值不为一，则对分析统计模型及预警模型的模型参数进行校准，以校准分析统计模型及预警模型。

再一方面，本发明还提出了一种基于数据分析的以陈顶新预警系统，包括：

数据分析模块，用于获取与粮食储备相关的多类数据，对所述多类数据进行预处理，得到目标数据，确定与所述粮食储备相关的粮食粮情指标，基于所述粮食粮情指标，建立初始化数据分析规则，基于所述初始化数据分析规则，计算得到所述目标数据的各项粮食粮情指标的权重值；

训练模块，用于基于所述初始化数据分析规则及数据分析技术，搭建初始分析统计模型，以所述目标数据作为初始分析统计模型的输入数据，以所述目标数据的各项粮食粮情指标的权重值作为输出数据，将所述输入数据及所述输出数据同时输入至所述初始分析统计模型，对所述初始分析统计模型进行训练，得到分析统计模型；

预警模块，用于基于预先设定的预警权重值及预设网络，搭建预警模型，获取与粮食储备相关的风险数据，将所述风险数据代入所述分析统计模型进行计算，确定所述风险数据的各项粮食粮情的权重值，基于所述预警模型对所述风险数据的各项粮食粮情的权重值进行判断，若所述风险数据的各项粮食粮情的权重值，有任意一项超出对应的预警权重值，则发出风险提示，判断风险类型，若风险类型为以陈顶新风险，则发出以陈顶新预警信号。

可选的，与粮食储备相关的多类数据，包括：轮换计划数据、粮情数据、粮食质检数据和粮食出入库检测数据。

可选的，对所述多类数据进行预处理，包括：

对所述多类数据进行清洗，以剔除所述多类数据中的重复数据及错误数据，得到清洗后的多类数据；

针对清洗后的多类数据进行校验，以确定所述清洗后的多类数据是否存在缺失值及异常值，若是，则补全缺失值，并剔除异常值，得到完整的多类数据；

针对所述完整的多类数据，进行准确性的校验，筛选出准确性符合预设标准的完整的多类数据，作为目标数据。

可选的，粮食粮情指标，包括如下中的至少一种：水分含量、杂质含量和矿物质含量。

可选的，建立初始化数据分析规则，包括：

为各项粮食粮情指标设置默认的得分权重值。

可选的，数据分析技术，包括：机器学习技术、数据挖掘技术及数据统计技术。

可选的，训练模块还用于：

根据粮食储备的相关需求，对粮食粮情指标及预警权重值进行调整；

根据调整后的粮食粮情指标，对分析统计模型的模型参数进行调整，以更新所述分析统计模型；

根据调整后的预警权重值，对预警模型的模型参数进行调整，以更新所述预警模型的参数。

可选的，预警模块还用于：

对发出的以陈顶新预警信号的次数进行统计，并对以陈顶新风险次数进行统计，将以陈顶新预警信号次数的统计值与以陈顶新风险次数的统计值进行对比，若对比值不为一，则对分析统计模型及预警模型的模型参数进行校准，以校准分析统计模型及预警模型。

再一方面，本发明还提供了一种计算设备，包括：一个或多个处理器；

处理器，用于执行一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，实现如上述所述的方法。

再一方面，本发明还提供了一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现如上述所述的方法。

与现有技术相比，本发明的有益效果为：

本发明提供了一种基于数据分析的以陈顶新预警方法，包括：获取与粮食储备相关的多类数据，对所述多类数据进行预处理，得到目标数据，确定与所述粮食储备相关的粮食粮情指标，基于所述粮食粮情指标，建立初始化数据分析规则，基于所述初始化数据分析规则，计算得到所述目标数据的各项粮食粮情指标的权重值；基于所述初始化数据分析规则及数据分析技术，搭建初始分析统计模型，以所述目标数据作为初始分析统计模型的输入数据，以所述目标数据的各项粮食粮情指标的权重值作为输出数据，将所述输入数据及所述输出数据同时输入至所述初始分析统计模型，对所述初始分析统计模型进行训练，得到分析统计模型；基于预先设定的预警权重值及预设网络，搭建预警模型，获取与粮食储备相关的风险数据，将所述风险数据代入所述分析统计模型进行计算，确定所述风险数据的各项粮食粮情的权重值，基于所述预警模型对所述风险数据的各项粮食粮情的权重值进行判断，若所述风险数据的各项粮食粮情的权重值，有任意一项超出对应的预警权重值，则发出风险提示，判断风险类型，若风险类型为以陈顶新风险，则发出以陈顶新预警信号。本发明能够对粮食储备的以陈顶新风险进行预警，避免了以陈顶新对粮食储备带来的严重问题。

附图说明

图1为本发明方法的流程图；

图2为本发明系统的结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

实施例1：

本发明提出了一种基于数据分析的以陈顶新预警方法，如图1所示，包括：

步骤1、获取与粮食储备相关的多类数据，对所述多类数据进行预处理，得到目标数据，确定与所述粮食储备相关的粮食粮情指标，基于所述粮食粮情指标，建立初始化数据分析规则，基于所述初始化数据分析规则，计算得到所述目标数据的各项粮食粮情指标的权重值；

步骤2、基于所述初始化数据分析规则及数据分析技术，搭建初始分析统计模型，以所述目标数据作为初始分析统计模型的输入数据，以所述目标数据的各项粮食粮情指标的权重值作为输出数据，将所述输入数据及所述输出数据同时输入至所述初始分析统计模型，对所述初始分析统计模型进行训练，得到分析统计模型；

步骤3、基于预先设定的预警权重值及预设网络，搭建预警模型，获取与粮食储备相关的风险数据，将所述风险数据代入所述分析统计模型进行计算，确定所述风险数据的各项粮食粮情的权重值，基于所述预警模型对所述风险数据的各项粮食粮情的权重值进行判断，若所述风险数据的各项粮食粮情的权重值，有任意一项超出对应的预警权重值，则发出风险提示，判断风险类型，若风险类型为以陈顶新风险，则发出以陈顶新预警信号。

其中，与粮食储备相关的多类数据，包括：轮换计划数据、粮情数据、粮食质检数据和粮食出入库检测数据。

其中，对所述多类数据进行预处理，包括：

对所述多类数据进行清洗，以剔除所述多类数据中的重复数据及错误数据，得到清洗后的多类数据；

针对清洗后的多类数据进行校验，以确定所述清洗后的多类数据是否存在缺失值及异常值，若是，则补全缺失值，并剔除异常值，得到完整的多类数据；

针对所述完整的多类数据，进行准确性的校验，筛选出准确性符合预设标准的完整的多类数据，作为目标数据。

其中，粮食粮情指标，包括如下中的至少一种：水分含量、杂质含量和矿物质含量。

其中，建立初始化数据分析规则，包括：

为各项粮食粮情指标设置默认的得分权重值。

其中，数据分析技术，包括：机器学习技术、数据挖掘技术及数据统计技术。

其中，以陈顶新预警方法，还包括：

根据粮食储备的相关需求，对粮食粮情指标及预警权重值进行调整；

根据调整后的粮食粮情指标，对分析统计模型的模型参数进行调整，以更新所述分析统计模型；

根据调整后的预警权重值，对预警模型的模型参数进行调整，以更新所述预警模型的参数。

其中，以陈顶新预警方法，还包括：

对发出的以陈顶新预警信号的次数进行统计，并对以陈顶新风险次数进行统计，将以陈顶新预警信号次数的统计值与以陈顶新风险次数的统计值进行对比，若对比值不为一，则对分析统计模型及预警模型的模型参数进行校准，以校准分析统计模型及预警模型。

下面结合实例对本发明进行进一步的说明：

实施过程中，主要包括如下阶段：

数据准备阶段：

数据收集：需要收集大量的数据。这可能包括轮换计划数据、粮情数据、粮食质检数据、粮食出入库检测数据等。这些数据可以从粮库上传获取或者用户手动填报。

数据清洗：收集到的数据可能包含错误或缺失值，因此需要进行数据清洗，以确保数据的质量。这可以包括填充缺失值、删除异常值、检查数据的正确性等。

数据分析阶段：

以陈顶新分析规则录入：录入初始化分析规则，包括需要分析检测的粮食粮情指标，如水分，杂质，矿物质含量等。并对各个指标项设置默认得分权重值。

以陈顶新分析模型建设：使用大数据分析技术，建立分析和统计模型，对清洗后的数据进行分析。这可以帮助识别可能是陈顶新粮食入库记录，并发出预警信号。

以陈顶新分析模型优化：对于处置记录确定为以陈顶新的数据，进行分析数据指标，建立优化模型。对以陈顶新分析规则项指标和权重值进行优化。

结果处置阶段：

以陈顶新预警生成和发布:对于达到预警权重值的数据进行生成预警消息，并发布和通知处置人。

以陈顶新预警处置：对于发出预警的粮食入库记录进行结果处置，判断是否为以陈顶新。

以陈顶新预警上报：对以陈顶新粮进行上报国家局平台。

本发明确保收集到的数据质量高、完整并且准确，因此预警分析的准确性和可靠性。

实施例2：

本发明还提出了一种基于数据分析的以陈顶新预警系统200，如图2所示，包括：

数据分析模块201，用于获取与粮食储备相关的多类数据，对所述多类数据进行预处理，得到目标数据，确定与所述粮食储备相关的粮食粮情指标，基于所述粮食粮情指标，建立初始化数据分析规则，基于所述初始化数据分析规则，计算得到所述目标数据的各项粮食粮情指标的权重值；

训练模块202，用于基于所述初始化数据分析规则及数据分析技术，搭建初始分析统计模型，以所述目标数据作为初始分析统计模型的输入数据，以所述目标数据的各项粮食粮情指标的权重值作为输出数据，将所述输入数据及所述输出数据同时输入至所述初始分析统计模型，对所述初始分析统计模型进行训练，得到分析统计模型；

预警模块203，用于基于预先设定的预警权重值及预设网络，搭建预警模型，获取与粮食储备相关的风险数据，将所述风险数据代入所述分析统计模型进行计算，确定所述风险数据的各项粮食粮情的权重值，基于所述预警模型对所述风险数据的各项粮食粮情的权重值进行判断，若所述风险数据的各项粮食粮情的权重值，有任意一项超出对应的预警权重值，则发出风险提示，判断风险类型，若风险类型为以陈顶新风险，则发出以陈顶新预警信号。

其中，与粮食储备相关的多类数据，包括：轮换计划数据、粮情数据、粮食质检数据和粮食出入库检测数据。

其中，对所述多类数据进行预处理，包括：

对所述多类数据进行清洗，以剔除所述多类数据中的重复数据及错误数据，得到清洗后的多类数据；

针对清洗后的多类数据进行校验，以确定所述清洗后的多类数据是否存在缺失值及异常值，若是，则补全缺失值，并剔除异常值，得到完整的多类数据；

针对所述完整的多类数据，进行准确性的校验，筛选出准确性符合预设标准的完整的多类数据，作为目标数据。

其中，粮食粮情指标，包括如下中的至少一种：水分含量、杂质含量和矿物质含量。

其中，建立初始化数据分析规则，包括：

为各项粮食粮情指标设置默认的得分权重值。

其中，数据分析技术，包括：机器学习技术、数据挖掘技术及数据统计技术。

其中，训练模块202还用于：

根据粮食储备的相关需求，对粮食粮情指标及预警权重值进行调整；

根据调整后的粮食粮情指标，对分析统计模型的模型参数进行调整，以更新所述分析统计模型；

根据调整后的预警权重值，对预警模型的模型参数进行调整，以更新所述预警模型的参数。

其中，预警模块203还用于：

对发出的以陈顶新预警信号的次数进行统计，并对以陈顶新风险次数进行统计，将以陈顶新预警信号次数的统计值与以陈顶新风险次数的统计值进行对比，若对比值不为一，则对分析统计模型及预警模型的模型参数进行校准，以校准分析统计模型及预警模型。

本发明能够对粮食储备的以陈顶新风险进行预警，避免了以陈顶新对粮食储备带来的严重问题。

实施例3：

基于同一种发明构思，本发明还提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，以实现上述实施例中方法的步骤。

实施例4：

基于同一种发明构思，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。