一种基于云计算的数据处理方法

技术领域

本发明涉及数据处理技术领域，具体为一种基于云计算的数据处理方法。

背景技术

云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

专利申请号为CN113487193A的申请公开的基于云计算的大数据处理方法及云计算平台，能够削弱每个适配指标数据之间在时序上的互相影响。进而在对每个指标适配数据进行适配性检测时，能够确保得到的检测结果的完整性。在根据多个检测结果判定业务适配信息是否满足设定条件时，由于多个检测结果是没有受到时序异步性影响的，这样能够避免对数据业务发起端和数据业务处理端之间的适配性的误判。

云计算所产生的数据在进行数据处理分析过程中，会在数据采集完成后，采用特定的程序对异常数据进行识别，此种识别方式，需根据原始的数据逻辑，对数据进行一一识别，从而才可确定出对应的异常数据，此种方式，效率过于缓慢，不具备时效性，同时，后续数据存储时，也是按照时间进行存储，数据之间的相似性并不高，后续进行数据提取时，并不能达到较好的数据比对效果。

发明内容

针对现有技术的不足，本发明提供了一种基于云计算的数据处理方法，解决了原始的异常数据识别方式较为缓慢，且在存储过程中，未将数据之间的相似度考虑在内的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于云计算的数据处理方法，包括以下步骤：

S1、优先对云计算过程中所产生的处理数据进行采集，并将从不同目标对象内所采集的处理数据进行分类捆绑，生成不同目标对象的数据捆绑包；

S2、对不同数据捆绑包内部的数据进行动态分布，并构建属于对应数据捆绑包的分布示意图，后续，根据分布示意图的具体体现，锁定异常数据，具体方式为：

S21、将单组数据捆绑包的数据按照原始排序进行前后整理，并按照不同排序名次K所对应的不同数据构建一组二维坐标系，其中二维坐标系的横向坐标轴为排序名次，其竖向坐标轴为数据的具体参数，将单组数据捆绑包内部不同排序名称K所对应的不同数据，在二维坐标系内确定对应点位，并将若干组点位进行连线，确认属于此单组数据捆绑包的分布图；

S22、确认属于此分布图的方程式，从所确认的若干个方程式中，分析若干个方程式内是否存在规律，若存在，将同一方程式的线段进行确认，标记为相同区域，若不存在，则不进行处理，直接将此单组数据捆绑包传输至外部显示端内，由外部人员对异常数据进行校验识别并修改；

S23、将分布图内不属于相同区域的点位标记为异常点位，将异常点位所对应的数据标记为异常数据；

S3、异常数据锁定后，从对应数据捆绑包确认此异常数据的前后数据是否存在异常情况，若存在，则通过相同区域所对应的方程式进行修正，若不存在，则通过确认前后数据的斜率，对本异常数据进行修正，具体方式为：

S31、确定异常数据的所在位置j，确认j+1和j-1对应的数据是否为异常数据，若属于异常数据，则从本分布图内，确定相同区域对应的方程式，将所在位置j输入至此方程式内，将方程式输出的数据直接替换异常数据，完成对应数据捆绑包的数据修正工作，其中j∈K；

S32、确认异常数据的所在位置j，再确认j+1与j+2之间数据线段的斜率K1，再确认j-1与j-2之间数据线段的斜率K2，分析并确认K1与K2是否相等，若相等，则直接进行等比确认异常数据的修正值，其修正值＝j-1对应的数据×K1或修正值＝j+1对应的数据÷K2，其中K1＝K2，此种情况一般为一次方程；

若K1与K2不相等，分析K3÷K2是否与K2÷K1相等，若相等，则直接进行等比确认异常数据的修正值，其中修正值＝j-1对应的数据×K2

S4、数据捆绑包内不同异常数据依次修正完毕后，对不同数据捆绑包内部的数据进行压缩处理，具体方式为：

S41、将数据捆绑包内每个数据进行确认，确认后，将三个数据作为一组，并将中间数据作为标数据，此中间数据前后的数据作为隐数据，分别隐藏在标数据的前后下标处，例：三个数据分别为123，其中2为中间数据，进行隐藏下标处理后，表现形式变为：

S42、依次将三个数据一一进行处理，处理完毕后，按照原始的排序方式，重新排序值数据捆绑包内，完成对数据捆绑包的压缩处理工作；

S5、从压缩处理后的数据捆绑包内，对标数据进行确认，后续，根据所确认的若干组标数据，确认此数据捆绑包的特征值，后续，根据特征值的不同，将不同的数据捆绑包进行分类，并将属于同一分类的数据捆绑包存储于同一存储位置处，具体方式为：

S51、将对应捆绑数据包的标数据进行确认，将所确认的若干组标数据进行均值处理，确认一组特征均值，并将其标记为TZ

S52、再按照排列顺序，依次确认相邻标数据的差值，并将其标记为标准差值，再将若干组标准差值进行均值处理，确认标准均值，并标记为BJ

S53、采用ZZ

S54、根据分割值X1建立若干个分割区间，且分割区间从前向后的排序形式为：(0，X1],(X1，2X1]，……，根据若干组特征值ZZ

有益效果

本发明提供了一种基于云计算的数据处理方法。与现有技术相比具备以下有益效果：

本发明通过分析并确认数据的分布情况，确认出分布偏差较大的数据，并将所确认的数据标记为异常数据，后续，再根据分布图的具体数据规律或分布，对异常数据进行替换修正，并且在修正过程中，优先判定前后数据是否同时存在异常的情况，针对于不同的情况，采用方程式或直接确定修正值的方式，来进行数据确定，以此锁定对应的修正值，采用能尽快修正便修正的方式，进行数据处理，提升异常数据处理的时效性，快速锁定异常数据；

数据采集完毕后，再进行压缩，便可充分缩减存储数据的整体容量，完成压缩后，还可通过确认数据之间特征的方式，将相似特征的捆绑数据包作为同一分类，存储于同一位置处，便可确保同一存储分区内，所存储的数据均为相似数据，同时便于后续操作人员对数据进行审阅查收，提升数据存储的效率，缩减存储时长，提升数据存储的整体效果。

附图说明

图1为本发明方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本申请提供了一种基于云计算的数据处理方法，包括以下步骤：

S1、优先对云计算过程中所产生的处理数据进行采集，并将从不同目标对象内所采集的处理数据进行分类捆绑，生成不同目标对象的数据捆绑包；

S2、对不同数据捆绑包内部的数据进行动态分布，并构建属于对应数据捆绑包的分布示意图，后续，根据分布示意图的具体体现，锁定异常数据，其中，锁定异常数据的具体方式为：

S21、将单组数据捆绑包的数据按照原始排序进行前后整理，并按照不同排序名次K所对应的不同数据构建一组二维坐标系，其中二维坐标系的横向坐标轴为排序名次，其竖向坐标轴为数据的具体参数，将单组数据捆绑包内部不同排序名称K所对应的不同数据，在二维坐标系内确定对应点位，并将若干组点位进行连线，确认属于此单组数据捆绑包的分布图；

S22、确认属于此分布图的方程式，从所确认的若干个方程式中，分析若干个方程式内是否存在规律，若存在，将同一方程式的线段进行确认，标记为相同区域，若不存在，则不进行处理，直接将此单组数据捆绑包传输至外部显示端内，由外部人员对异常数据进行校验识别并修改，具体的，分析是否存在规律的具体方式为：

S221、采用：占比值＝相同方程式的个数÷总方程式个数，确认相同方程式的占比值，再确认占比值是否满足：占比值≥90％，若满足，则代表对应的分布图存在规律；

S222、若不满足，则代表对应的分布图不存在规律；

S23、将分布图内不属于相同区域的点位标记为异常点位，将异常点位所对应的数据标记为异常数据；

具体的，在进行数据采集过程中，并不是代表所采集的数据均为准确的数据，同时，还会存在错误以及异常的数据，针对于此类数据，要么就是删除，要么进行修正，修正的方式更好，更能保障所采集数据的完整度。

S3、异常数据锁定后，从对应数据捆绑包确认此异常数据的前后数据是否存在异常情况，若存在，则通过相同区域所对应的方程式进行修正，若不存在，则通过确认前后数据的斜率，对本异常数据进行修正，其中，进行修正的具体方式为：

S31、确定异常数据的所在位置j，确认j+1和j-1对应的数据是否为异常数据，若属于异常数据，则从本分布图内，确定相同区域对应的方程式，将所在位置j输入至此方程式内，将方程式输出的数据直接替换异常数据，完成对应数据捆绑包的数据修正工作，其中j∈K；

S32、确认异常数据的所在位置j，再确认j+1与j+2之间数据线段的斜率K1，再确认j-1与j-2之间数据线段的斜率K2，分析并确认K1与K2是否相等，若相等，则直接进行等比确认异常数据的修正值，其修正值＝j-1对应的数据×K1或修正值＝j+1对应的数据÷K2，其中K1＝K2，此种情况一般为一次方程；

若K1与K2不相等，分析K3÷K2是否与K2÷K1相等，若相等，则直接进行等比确认异常数据的修正值，其中修正值＝j-1对应的数据×K2

具体的，异常数据确认过程中，可通过前后数据所对应的斜率进行修正，一般存在斜率规律时，如果斜率一致，便可直接确认对应的修正值，例：一串数据为1、2、4、8，那么斜率便就是2，此种情况为一次方程；

若为二次方程，对应数据为1、2、8、64，其对应位置所对应斜率一般为2

便很容易便可将异常数据进行替换，相比于直接输入方程式中，此种方式更快，同时也能缩减计算过程，因有些计算方程式较为复杂，需要一定的算力，采用能尽快修正便修正的方式，进行数据处理，提升异常数据处理的时效性；

S4、数据捆绑包内不同异常数据依次修正完毕后，对不同数据捆绑包内部的数据进行压缩处理，其中，进行压缩处理的具体方式为：

S41、将数据捆绑包内每个数据进行确认，确认后，将三个数据作为一组，并将中间数据作为标数据，此中间数据前后的数据作为隐数据，分别隐藏在标数据的前后下标处，例：三个数据分别为123，其中2为中间数据，进行隐藏下标处理后，表现形式变为：

S42、依次将三个数据一一进行处理，处理完毕后，按照原始的排序方式，重新排序值数据捆绑包内，完成对数据捆绑包的压缩处理工作；

S5、从压缩处理后的数据捆绑包内，对标数据进行确认，后续，根据所确认的若干组标数据，确认此数据捆绑包的特征值，后续，根据特征值的不同，将不同的数据捆绑包进行分类，并将属于同一分类的数据捆绑包存储于同一存储位置处，其中，进行分类的具体方式为：

S51、将对应捆绑数据包的标数据进行确认，将所确认的若干组标数据进行均值处理，确认一组特征均值，并将其标记为TZ

S52、再按照排列顺序，依次确认相邻标数据的差值，并将其标记为标准差值，再将若干组标准差值进行均值处理，确认标准均值，并标记为BJ

S53、采用ZZ

S54、根据分割值X1建立若干个分割区间，且分割区间从前向后的排序形式为：(0，X1],(X1，2X1]，……，根据若干组特征值ZZ

具体的，在云计算过程中，所产生的数据优先需要进行采集，在采集完毕后，再进行压缩，便可充分缩减存储数据的整体容量，完成压缩后，还可通过确认数据之间特征的方式，将相似特征的捆绑数据包作为同一分类，存储于同一位置处，便可确保同一存储分区内，所存储的数据均为相似数据，同时便于后续操作人员对数据进行审阅查收，提升数据存储的效率，缩减存储时长，提升数据存储的整体效果。

上述公式中的部分数据均是去其纲量进行数值计算，同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。