一种生鲜农产品电商采购数据智能存储系统

技术领域

本发明涉及数据分析技术领域，具体涉及一种生鲜农产品电商采购数据智能存储系统。

背景技术

生鲜农产品电商平台为买家和卖家提供了交流、展示和交易的场所；消费者可以随时随地通过手机、电脑等设备轻松浏览和购买生鲜农产品，节省在实体店购买所需的时间和精力。且电商平台具有更丰富的商品可供选择，更有效地管理库存，与优质的供应商合作、加强物流配送等环节，提高效率和降低成本。

且该种电商模式下，采购数据信息具有较高的预测价值，通过对系统存储的采购数据进行分析，可以完成对未来市场趋势、消费者需求、价格波动等方面的预测，从而优化供应链管理，减少库存风险，制定更有针对性的营销策略。例如：销售量、价格、库存数据等等，都会随着市场供需、季节等因素发生趋势性变化，因此在对该类具有预测价值的采购数据进行存储时可以针对性使用时序分解进行压缩存储处理，虽其并非数据压缩的算法，但其针对当前场景可以作为一种有效的处理步骤，帮助提取出可压缩的数据特征，从而减小数据量实现数据压缩。

但通常情况下针对生鲜农产品电商的采购数据一般会使用STL时序分解，将当前时序数据拆分为趋势、季节和残差成分并对其分别进行压缩处理，而对于其中的残差成分，由于其为数据中的噪声以及无规律成分，可以选择数据删除即不进行压缩处理；但由于在实际的时序分解过程中存在算法未能完全捕捉趋势或季节成分真实变化的模型偏差，因此导致残差分量中可能包含非噪声数据信息，导致存在数据损失的风险。

因此本发明提出了一种生鲜农产品电商采购数据智能存储系统；通过对时序分解后的采购数据中的残差项进行数据特征分析，评估残差成分中各数据信息的保留程度；从而避免重要信息在时序分解处理中丢失，实现更加准确高效的数据压缩处理。

发明内容

本发明提供一种生鲜农产品电商采购数据智能存储系统，以解决现有的问题。

本发明的一种生鲜农产品电商采购数据智能存储系统采用如下技术方案：

本发明一个实施例提供了一种生鲜农产品电商采购数据智能存储系统，该系统包括以下模块：

数据采集模块：对生鲜农产品电商采购数据使用STL时序分解，得到为趋势、季节以及残差成分，并根据残差成分构建残差序列，并将残差序列中的每个数据记为残差数据；

数据稳定性分析模块：根据相邻的残差数据的稳定性，获取生鲜农产品电商采集数据的第一稳定性因子；根据局部的残差数据的稳定性，获取生鲜农产品电商采集数据的第二稳定性因子；根据生鲜农产品电商采集数据的第一稳定性因子与生鲜农产品电商采集数据的第二稳定性因子，获取生鲜农产品电商采集数据的稳定性因子；根据稳定性因子获取残差数据中的疑似非噪声数据；

数据周期性分析模块：根据疑似非噪声数据，获取每种疑似非噪声数据的周期长度；根据每种疑似非噪声数据的周期长度与每个疑似非噪声数据，计算每个疑似非噪声数据的周期性因子；根据疑似非噪声数据的周期性因子，获取疑似非噪声数据中的非噪声数据；

数据压缩存储模块：根据趋势成分、季节成分以及残差成分中的非噪声数据进行压缩存储处理。

优选的，所述获取生鲜农产品电商采集数据的第一稳定性因子，包括的具体方法为：

以任意残差数据为中心，获取预设范围内的所有残差数据，并将位于中心的残差数据记为中心数据，计算中心数据与所述所有残差数据均值的绝对值，根据绝对值得到残差数据的第一稳定性因子，并将残差数据的第一稳定性因子记为生鲜农产品电商采集数据的第一稳定性因子。

优选的，所述根据局部的残差数据的稳定性，获取生鲜农产品电商采集数据的第二稳定性因子，包括的具体方法为：

将残差序列中的残差数据按照时序顺序等分成若干簇残差数据，每簇残差数据中的残差数据的第二稳定性因子的计算公式如下：

式中，

优选的，所述获取生鲜农产品电商采集数据的稳定性因子，包括的具体方法为：

首先将生鲜农产品电商采集数据的第一稳定性因子与预设的生鲜农产品电商采集数据的第一稳定性因子的权值相乘，并将得到的乘积记为第一乘积；然后将生鲜农产品电商采集数据的第二稳定性因子与预设的生鲜农产品电商采集数据的第二稳定性因子的权值相乘得到第二乘积；最后将第一乘积与第二乘积的和作为生鲜农产品电商采集数据的稳定性因子。

优选的，所述获取残差数据中的疑似非噪声数据，包括的具体方法为：

通过预设一个筛选阈值

优选的，所述获取每种疑似非噪声数据的周期长度，包括的具体方法为：

首先，将具有相同大小的疑似非噪声数据记为同种疑似非噪声数据，计算在残差序列中相邻的同种疑似非噪声数据间残差数据的数量的均值，作为该种疑似非噪声数据的周期长度记为

优选的，所述计算每个疑似非噪声数据的周期性因子，包括的具体计算公式为：

式中，

优选的，所述获取疑似非噪声数据中的非噪声数据，包括的具体方法为：

通过预设一个筛选阈值

本发明的技术方案的有益效果是：通常情况下针对生鲜农产品电商的采购数据一般会使用STL时序分解，将当前时序数据拆分为趋势、季节和残差成分并对其分别进行压缩处理，而对于其中的残差成分，由于其为数据中的噪声以及无规律成分，可以选择数据删除即不进行压缩处理；但由于在实际的时序分解过程中存在算法未能完全捕捉趋势或季节成分真实变化的模型偏差，因此导致残差分量中可能包含非噪声数据信息，导致存在数据损失的风险。

因此本发明通过对时序分解后的采购数据中的残差项进行数据特征分析，评估残差成分中各数据信息的保留程度；从而避免重要信息在时序分解处理中丢失，实现更加准确高效的数据压缩处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种生鲜农产品电商采购数据智能存储系统的结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种生鲜农产品电商采购数据智能存储系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种生鲜农产品电商采购数据智能存储系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种生鲜农产品电商采购数据智能存储系统的结构框图，该系统包括以下模块：

数据采集模块：获取具有预测价值的采购数据并进行STL时序分解，获取残差序列。

需要说明的是，在生鲜农产品电商采购数据中具有预测价值的数据信息往往是非常有必要进行重点传输或存储的，而该类数据的波动或变化往往会直接对未来市场趋势、消费者需求、价格波动等方面的预测，从而优化供应链管理，减少库存风险，制定更有针对性的营销策略。所以可以通过STL时序分解获取具有预测价值的数据信息。

需要进一步说明的是，对生鲜农产品电商采购数据使用STL时序分解，得到为趋势、季节以及残差成分后助于理解生鲜农产品电商采购数据的结构和模式；同时趋势与季节性成分由于具有一定的规律，可使用函数逼近、周期性压缩等方法进行压缩；但残差成分由于在实际的STL时序分解过程中存在算法未能完全捕捉趋势或季节成分真实变化的模型偏差，因此导致残差成分中可能包含非噪声数据信息；因此需要对残差成分单独分析。

具体的，采集生鲜农产品电商采购数据，并构建生鲜农产品电商采购数据时序特征曲线；以当前销售量为例，特征曲线中横轴表示递进的日期，通常采用月份作为最小构建单位，纵轴表示销售量；由此将数据的波动变化反映到时序曲线中。

由于生鲜农产品电商采购数据中的残差成分会被市场变动、经济波动等因素影响，造成残差成分中出现噪声数据，而噪声数据不具备预测价值，因此需要将残差成分中的噪声数据剔除出来，以达到减少压缩存储的目标数据量的目的。

并对当前的时序数据使用进行STL时序分解；得到残差成分的序列记为残差序列。

至此，得到残差序列，并将残差序列中的每个数据记为残差数据。

数据稳定性分析模块：根据残差数据的稳定性，构建残差数据的稳定性因子，根据残差数据的稳定性因子，获取疑似非噪声数据。

1. 获取生鲜农产品电商采集数据的第一稳定性因子。

需要说明的是，在对具有预测价值的生鲜农产品电商采购数据进行STL时序分解的过程中得到的残差成分可能会由于模型偏差等因素导致其中包含非噪声数据信息；残差成分中的非噪声数据和噪声数据在残差序列中的分布存在一定区别，即残差成分中的非噪声数据通常具有较高的稳定性；而噪声干扰数据则可能呈现出随机分布的特征，即稳定性较低；且一般在残差成分中存在的异常数据或突变数据也更有可能为非噪声数据。所以可以通过残差成分中数据的稳定性，构建残差成分的稳定性因子。

具体的，通过残差序列中每个残差数据与每个残差数据周围的残差数据，计算残差数据的第一稳定性因子，其具体的计算公式如下：

式中，

需要进一步说明的是，当所计算的残差成分中的第

至此，得到残差数据的第一稳定性因子，将残差数据的第一稳定性因子记为生鲜农产品电商采集数据的第一稳定性因子。

2. 获取生鲜农产品电商采集数据的第二稳定性因子。

需要说明的是，通过残差序列中每个残差数据周围的残差数据，计算得到的残差数据的第一稳定性因子不能全面的评估残差数据；为了更为全面且多角度评估稳定性，还需要进行相邻残差数据差异变化程度的分析作为稳定性第二评估模型综合进行分析和判断，计算残差数据的第二稳定性因子。

具体的，将残差序列中的残差数据按照时序顺序等分成若干簇残差数据，其中每簇残差数据中共有

式中，

需要进一步说明的是，由于在每簇残差成分中的第一个残差数据没有前一个数据，因此需要从每簇残差成分中的第二个残差数据开始计算，故

至此，得到每簇残差成分的第二稳定性因子，同时每簇残差成分的第二稳定性因子也表征了每簇残差成分中所有的残差数据的第二稳定性因子，并将残差数据的第二稳定性因子记为生鲜农产品电商采集数据的第二稳定性因子。

需要说明的是，由于生鲜农产品电商采集数据的第二稳定性因子反映相邻数据趋势变化更加具体和深入，所以生鲜农产品电商采集数据的第二稳定性因子对残差数据的影响，大于生鲜农产品电商采集数据的第一稳定性因子对残差数据的影响；然后基于生鲜农产品电商采集数据的第二稳定性因子对残差数据的影响，大于生鲜农产品电商采集数据的第一稳定性因子对残差数据的影响，获取生鲜农产品电商采集数据的稳定性因子。

具体的，通过预设生鲜农产品电商采集数据的第一稳定性因子与第二稳定性因子的权值，计算残差数据的稳定性因子，其中生鲜农产品电商采集数据的第一稳定性因子的权值要大于生鲜农产品电商采集数据的第二稳定性因子的权值，其具体的计算公式如下：

式中，

需要进一步说明的是，当残差数据的稳定性因子越大，则代表残差数据的稳定性越高，即说明残差数据越不可能是噪声数据。

至此，通过上述方法得到残差数据的稳定性因子，并将残差数据的稳定性因子记为生鲜农产品电商采集数据的稳定性因子。

然后通过生鲜农产品电商采集数据的稳定性因子，获取残差成分中的疑似非噪声数据。

具体的，通过预设一个筛选阈值

至此，获取残差成分中的疑似非噪声数据。

数据周期性分析模块：根据疑似非噪声数据的周期性，获取疑似非噪声数据中的非噪声数据。

需要说明的是，残差成分中的非噪声数据的周期性与稳定性均高于残差成分中的噪声数据，而经过数据稳定性分析模块，已将残差成分中的稳定性高的残差数据筛选出来，作为疑似非噪声数据，所以再将疑似非噪声数据中周期性高的残差数据筛选出来作为非噪声数据。

首先，将具有相同大小的疑似非噪声数据记为同种疑似非噪声数据，计算在残差序列中相邻的同种疑似非噪声数据间残差数据的数量的均值，作为该种疑似非噪声数据的周期长度记为

然后，选取任意疑似非噪声数据，将选取的疑似非噪声数据的周期长度记为目标周期长度，统计选取的疑似非噪声数据后一个目标周期长度的疑似非噪声数据，与选取的疑似非噪声数据后两个目标周期长度的疑似非噪声数据；

最后，根据选取的疑似非噪声数据、选取的疑似非噪声数据后一个目标周期长度的疑似非噪声数据以及选取的疑似非噪声数据后两个目标周期长度的疑似非噪声数据，计算选取的疑似非噪声数据的周期性因子，其具体的计算过程如下：

式中，

需要进一步说明的是，当疑似非噪声数据的周期性因子越大，则说明疑似非噪声数据的周期性越高，即疑似非噪声数据的周期性因子越大，疑似非噪声数据就越可能是非噪声数据。

至此，得到疑似非噪声数据的周期性因子。

然后通过疑似非噪声数据的周期性因子，获取疑似非噪声数据中的非噪声数据。

具体的，通过预设一个筛选阈值

至此，获取疑似非噪声数据中的非噪声数据。

数据压缩存储模块：对所有成分数据进行针对性的单独压缩存储处理。

对趋势成分数使用移动平均、线性回归等方法进行拟合和压缩存储；对季节成分数据使用周期性压缩方式中的季节分解或季节指数法等方法来计算和提取压缩季节分量；对计算得到的残差数据中噪声数据进行删除操作，对计算得到的非残差数据中噪声数据按照对应的时间节点顺序进行压缩存储。

由此实现针对性的准确压缩，达到减少压缩存储的目标数据量的目的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。