一种数据报表的实时数据采集系统

技术领域

本发明涉及数据采集技术领域，具体为一种数据报表的实时数据采集系统。

背景技术

数据报表，是将数据进行记录、整理、分析，得出的结果可以辅助企业决策，让企业的规划、决策更加科学可靠，而数据报表的生成则需要采集相关目标数据。数据报表主要以图表或者表格的形式，将客观数据统计数据、分析教和综合信息等进行整理展示的报告性文档，以让管理者精准把握管理中的大局，具体做出正确有效的决策，根据报表的用途不同，可以将数据报表分为日常监督报表、决策分析报表、洞察报告等几类。数据报表能够使管理者可以把握全貌，把握关键点，从数据中获取关键洞见和发现机会，提升管理决策的正确性和准确性。

但现有的数据报表在数据采集过程中存在以下问题：

1.在数据采集的过程中，数据采集的设备处在一个不是理想的环境，会有来自各个方面的影响干扰，可能会有来自电线之间或者磁场的影响，这些因素都会影响到数据采集的准确性。

2.由于数据格式和标准存在差异，以及多种类型数据的存在，导致数据的处理工作相对繁琐和复杂，从而导致后续对数据处理时的效率较低，错过了数据的时效性，进而无法及时将实时数据生成数据报表。

因此，不满足现有的需求，对此我们提出了一种数据报表的实时数据采集系统。

发明内容

本发明的目的在于提供一种数据报表的实时数据采集系统，通过防干扰模块提高数据采集模块的抗干扰能力，避免了数据采集模块在采集报表数据被干扰影响，通过数据处理模块对采集到的报表数据进行数据清洗、数据转换和数据聚合操作，通过将报表数据清洗并转换为统一的标准格式，并可将处理后的数据集合在一起，解决了上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种数据报表的实时数据采集系统，包括：

数据采集模块，包含数据采集器，用于对数据进行采集，根据用户采集需求定时对数据报表所需的数据进行实时采集，以此获得报表数据，将采集到的报表数据传输至数据处理模块；

数据处理模块，用于对报表数据进行处理，对数据采集模块采集到的报表数据进行数据清洗、数据转换和数据聚合操作，以此获得聚合报表数据，并将聚合报表数据发送至数据库；

数据库，用于对聚合报表数据进行存储、备份和查询，对数据处理模块处理后获得的聚合报表数据进行存储和备份，以便用户对数据库中的报表的实时数据进行调用并生成数据报表。

进一步地，所述数据采集模块，包括：

定时模块，用于为数据采集模块设定采集时间，数据采集模块根据设定时间对报表的数据进行实时采集，以此获得报表数据；

防干扰模块，用于在数据采集模块通过数据采集器定时采集数据时进行防干扰工作。

进一步地，所述防干扰模块，包括：

判断模块，用于判断干扰信号产生的源头，并快速找寻出干扰的源头，以此确定干扰存在的路径，进而结合情况对干扰进行处理，以便数据采集模块通过数据采集器对数据报表的实时数据进行采集。

进一步地，所述判断模块在寻出干扰源头后，会结合情况对干扰进行处理，处理一般分为两种情况，一种在数据采集器的外壳设置有屏蔽层，屏蔽层由铜纸材料组成，通过屏蔽层屏蔽外部的干扰信号，避免数据采集器受外界电磁干扰，另一种为采用数值、逻辑运算处理来达到滤波的效果，如算术平均值、比较取舍法或者中值法，根据信号的变化规律而进行实际的调整。

进一步地，所述数据处理模块，包括：

数据清洗模块，用于根据预先配置的数据清洗规则，对采集的报表数据进行清洗操作，以此去除重复、缺失以及异常的无效数据；

数据转换模块，用于根据内置的数据转换功能组件，对清洗后的报表数据进行转换操作，以此将报表数据转换为统一的标准格式；

数据聚合模块，用于将经过清洗和转换的报表数据进行聚合操作，以此获得聚合报表数据，将获得的聚合报表数据发送至数据库进行存储。

进一步地，所述数据清洗模块，根据预先配置的数据清洗规则对报表数据进行数据去重，得到报表数据的去重数据，对去重数据进行缺失值填充，得到去重数据的填充数据，对填充数据进行异常值处理，得到异常值处理后的填充数据，确定异常值处理后的填充数据为报表数据的清洗数据。

进一步地，所述数据转换模块，根据内置的数据转换功能组件对清洗后的报表数据进行转换，内置的数据转换功能组件中预设有标准格式，数据转换功能组件根据预设的标准格式将报表数据转换为统一的标准格式。

进一步地，所述数据聚合模块，对经过清洗和转换的报表数据进行聚合操作，报表数据中包含不同类型数据，数据聚合模块将报表数据中不同类型数据集合成一个整体，以便后续数据库的存储和用户的查询。

进一步地，所述数据库，包括：

主库，用于将经过清洗和转换获得的聚合报表数据进行存储；

备份库，用于将主库中存储的聚合报表数据进行备份；

调用模块，用于用户对存储的报表实时数据进行调用，优选主库进行调用，且用户的调用记录会被调用模块进行记录；

进一步地，所述调用模块，包括：

请求接收模块，用于接收用户的数据查询请求，数据查询请求中包括用户输入的数据查询内容；

指令生成模块，用于根据查询内容确定数据库据中的目标数据，以此将数据查询请求生成查询指令；

执行模块，用于根据查询指令对数据库的目标数据进行查询，从而得到查询结果，用于根据数据查询结果结合预先设置的报表配置信息，以此将目标数据生成数据报表，并将生成的数据报表展示给用户；

记录模块，用于记录每次用户对数据库的调用记录。

与现有技术相比，本发明的有益效果是：

1、本发明通过防干扰模块，可在数据采集模块通过数据采集器定时采集数据时进行防干扰工作，防干扰模块先判断模块来判断干扰信号产生的源头，并快速找寻出干扰的源头，以此确定干扰存在的路径，进而结合情况对干扰进行处理，通过在数据采集器的外壳设置有屏蔽层，屏蔽层由铜纸材料组成，通过屏蔽层的铜纸材料特性可以屏蔽外部的干扰信号，避免数据采集器受外界电磁干扰，通过采用数值、逻辑运算处理来达到滤波的效果，如算术平均值、比较取舍法或者中值法，根据信号的变化规律而进行实际的调整，防干扰模块的设置在自身的情况下对可能或者以及产生的干扰进行处理，从而提高了数据采集模块抗干扰的能力。

2、本发明通过数据处理模块对报表数据进行处理，首先，通过数据清洗模块根据预先配置的数据清洗规则，对采集的报表数据进行清洗操作，从而可以去除重复、缺失以及异常的无效数据，其次，通过数据转换模块根据预设的标准格式，对清洗后的报表数据进行清洗操作，从而可将报表数据转换为统一的标准格式，最后，通过数据聚合模块可以将经过清洗和转换的报表数据进行聚合，从而可以将不同类型的数据集合在一起，进而获得聚合报表数据并送至数据库进行存储，通过数据处理模块对报表数据的数据清洗、数据转换和数据聚合操作，提高了数据处理工作的效率，位后续生成数据报表提供了便利。

附图说明

图1为本发明的整体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有数据采集的过程中，数据采集的设备处在一个不是理想的环境，会有来自各个方面的影响干扰，可能会有来自电线之间或者磁场的影响，这些因素都会影响到数据采集准确性的技术问题，请参阅图1，本实施例提供以下技术方案：

一种数据报表的实时数据采集系统，包括：

数据采集模块，包含数据采集器，用于对数据进行采集，根据用户采集需求定时对数据报表所需的数据进行实时采集，以此获得报表数据，将采集到的报表数据传输至数据处理模块；

数据处理模块，用于对报表数据进行处理，对数据采集模块采集到的报表数据进行数据清洗、数据转换和数据聚合操作，以此获得聚合报表数据，并将聚合报表数据发送至数据库；

数据库，用于对聚合报表数据进行存储、备份和查询，对数据处理模块处理后获得的聚合报表数据进行存储和备份，以便用户对数据库中的报表的实时数据进行调用并生成数据报表。

上述内容的技术效果：通过数据采集模块可以对数据报表所需的数据进行实时采集，从而获得报表数据，通过数据处理模块可以对数据采集模块采集到的报表数据进行数据清洗、数据转换和数据聚合操作，从而便于后续数据的处理，而经过数据处理模块处理的数据可存储在数据库中，用户可调用数据库中的数据来生成数据报表。

数据采集模块，包括：

定时模块，用于为数据采集模块设定采集时间，数据采集模块根据设定时间对报表数据进行实时采集，以此获得报表数据；

防干扰模块，用于在数据采集模块通过数据采集器定时采集数据时进行防干扰工作。

上述内容的技术效果：通过定时模块可使数据采集模块对报表数据进行实时采集，定时模块在事先预设好采集时间，使得数据采集模块根据设定好的时间对报表数据进行实时采集，定时模块的设置可保证数据采集模块对数据实时采集，从而保证了数据报表所需数据的时效性，而数据采集模块在采集报表数据的过程中，防干扰模块起到抗干扰的作用，避免了数据采集模块的数据采集器收到外界因素影响，从而保证了数据采集的准确性。

防干扰模块，包括：

判断模块，用于判断干扰信号产生的源头，并快速找寻出干扰的源头，以此确定干扰存在的路径，进而结合情况对干扰进行处理，以便数据采集模块通过数据采集器对数据报表的实时数据进行采集；判断模块在寻出干扰源头后，会结合情况对干扰进行处理，处理一般分为两种情况，一种在数据采集器的外壳设置有屏蔽层，屏蔽层由铜纸材料组成，通过屏蔽层屏蔽外部的干扰信号，避免数据采集器受外界电磁干扰，另一种为采用数值、逻辑运算处理来达到滤波的效果，如算术平均值、比较取舍法或者中值法，根据信号的变化规律而进行实际的调整。

上述内容的技术效果：防干扰模块通过判断模块来判断数据采集模块上干扰信号产生的源头，从而快速找寻出干扰的源头，并以此确定干扰存在的路径，根据干扰源头和干扰路径对干扰进行处理，采用数值、逻辑运算处理来达到滤波的效果，如算术平均值、比较取舍法或者中值法，根据信号的变化规律而进行实际的调整，并且数据采集模块的数据采集器外壳设置有屏蔽层，而屏蔽层由铜纸材料组成，屏蔽层的铜纸材料利用自身特性，可以有效的将电磁波进行吸收、反射和屏蔽，避免了数据采集器被外界电磁干扰，防干扰模块提高了数据采集模块抗干扰的能力，可在数据采集模块采集数据报表过程中，避免数据采集模块受外界因素的干扰，有效地保证了数据采集的准确性。

数据处理模块，包括：

数据清洗模块，用于根据预先配置的数据清洗规则，对采集的报表数据进行清洗操作，以此去除重复、缺失以及异常的无效数据；数据清洗模块，根据预先配置的数据清洗规则对报表数据进行数据去重，得到报表数据的去重数据，对去重数据进行缺失值填充，得到去重数据的填充数据，对填充数据进行异常值处理，得到异常值处理后的填充数据，确定异常值处理后的填充数据为报表数据的清洗数据；

数据转换模块，用于根据内置的数据转换功能组件，对清洗后的报表数据进行转换操作，以此将报表数据转换为统一的标准格式；数据转换模块，根据内置的数据转换功能组件对清洗后的报表数据进行转换，内置的数据转换功能组件中预设有标准格式，数据转换功能组件根据预设的标准格式将报表数据转换为统一的标准格式；

数据聚合模块，用于将经过清洗和转换的报表数据进行聚合操作，以此获得聚合报表数据，将获得的聚合报表数据发送至数据库进行存储；数据聚合模块，对经过清洗和转换的报表数据进行聚合操作，报表数据中包含不同类型数据，数据聚合模块将报表数据中不同类型数据集合成一个整体，以便后续用户的处理和分析。

上述内容的技术效果：通过数据清洗模块可以对报表数据进行清洗操作，数据清洗模块会根据预先配置的数据清洗规则，去除重复、缺失以及异常的无效数据，从而保证了报表数据的正确性和准确性，通过数据转换模块可以对清洗后报表数据进行转换操作，数据转换模块会预设的标准格式将报表数据转换为统一的标准格式，统一标准格式有利于后续数据报表的处理生成，最后，通过数据聚合模块将经过清洗和转换的报表数据进行聚合操作，可将报表数据中不同类型数据集合成一个整体，从而聚合成一个数据集，以此获得聚合报表数据，将数据聚合可便于数据库的存储以及用户的调用，用户选择数据报表所需的聚合报表数据，则查询该聚合报表数据种包含的不同类型数据，提高了数据后续处理工作效率。

数据库，包括：

主库，用于将经过清洗和转换获得的聚合报表数据进行存储；

备份库，用于将主库中存储的聚合报表数据进行备份；

调用模块，用于用户对存储的报表实时数据进行调用，优选主库进行调用，且用户的调用记录会被调用模块进行记录；

其中，调用模块，包括：

请求接收模块，用于接收用户的数据查询请求，数据查询请求中包括用户输入的数据查询内容；

指令生成模块，用于根据查询内容确定数据库据中的目标数据，以此将数据查询请求生成查询指令；

执行模块，用于根据查询指令对数据库的目标数据进行查询，从而得到查询结果，用于根据数据查询结果结合预先设置的报表配置信息，以此将目标数据生成数据报表，并将生成的数据报表展示给用户；

记录模块，用于记录每次用户对数据库的调用记录。

上述内容的技术效果：通过备份库可以对主库中存储的聚合报表数据进行备份存储，备份库用于后备支援和替补使用，防止主库出现操作失误或系统故障导致数据丢失的情况，调用模块在调用数据时，优先调用主库中的数据，在主库出现操作失误或系统故障导致数据丢失的情况下，再从备份库中调用数据进行使用，而用户每次调用数据均会被记录模块进行记录，以便管理人员根据调用记录查询调用的用户，调用模块在使用时，先通过请求接收模块接收用户的数据查询请求，而数据查询请求中包含有查询内容，再通过指令生成模块根据查询内容确定数据库据中的目标数据，并将数据查询请求生成查询指令，使得执行模块可以根据查询指令对数据库的目标数据进行查询并得到查询结果，预先设置的报表配置信息可结合查询结果将目标数据生成数据报表，而生成的数据报表则展示给用户，以便用户查看数据报表。

工作原理：数据采集模块根据定时模块设定的时间定时采集报表数据，从而保准报表数据的时效性，而数据采集模块在采集数据的过程中，可以通过防干扰模块对自身对可能或者以及产生的干扰进行处理，先通过判断模块来判断干扰信号产生的源头，并快速找寻出干扰的源头和路径，从而可以结合情况对干扰进行处理，从而提高了数据采集模块抗干扰的能力，而采集到的报表数据则通过数据处理模块进行处理，首先，数据清洗模块会根据预先配置的数据清洗规则对采集的报表数据进行清洗操作，从而可以去除重复、缺失以及异常的无效数据，保证了报表数据的正确性，其次，数据转换模块会根据预设的标准格式，对清洗后的报表数据进行清洗操作，从而可将报表数据转换为统一的标准格式，统一标准格式有利于后续的处理，最后，数据聚合模块可以将经过清洗和转换的报表数据中不同类型数据集合在一起，从而形成一个整体，从而提高了数据处理工作的效率，为后续生成数据报表提供了便利，用户需要使用数据生成数据报表时，可从数据库中调用数据，并将调用的数据生成数据报表，并且用户每次调用均会被记录，以便管理人员查询调用数据的用户，而生成的数据则展示给用户，以便用户查看数据报表。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。