一种基于模板文件的数据采集方法、设备、存储介质

技术领域

本申请涉及数据采集领域，尤其涉及一种基于模板文件的数据采集方法、设 备、存储介质。

背景技术

在如今信息处理相当发达的社会，数据采集广泛的存在于各个领域中。传统 方式是大量的依靠人力和手工进行采集数据的情况。随着科技的发展，人们逐渐 使用了电子化工具，如电子表格软件等，但由于缺乏业务规划，数据格式不统一， 导致后期的数据汇总与处理异常困难。

特别是社区数据的采集工作，数据的形式与内容都具有多样性，需要采集、 整理、统计的数据非常繁多。目前社区仍然缺乏统一的数据采集系统，大部分情 况下使用电子表格软件。社区工作人员在长期的工作中已经养成了使用EXCEL、 WORD等办公软件的习惯，而且已经积累了一定数量的数据。这些以EXCEL、 TXT、CSV、DOC等形式存在的数据是不容忽视的，对于社区数据治理有着非常 重要的作用。

目前，社区治理工作中，对于任务下达、信息上报、走访排查等各项管理任 务，一般通过电话、即时通讯软件、桌面表格软件，甚至纸质文件完成，导致信 息格式多样化、存储地点分散化。因为缺乏有效信息管理系统的支持，社区工作 中存在数据反复采集的现象，而且人工采集、统计工作的效率低下、容易出错， 存放在各处的数据不一致，导致了不规则的多样化数据，无法提高社区工作效率。

发明内容

本申请提供了一种基于模板文件的数据采集方法、设备、存储介质，解决了 数据采集流程不规范、数据存储分散、数据处理速度效率不高的技术问题。

一种基于模板文件的数据采集方法，包括：

确定待处理业务，并获取根据所述待处理业务对应的模板类型；所述模板类 型是根据所述待处理业务进行分类得到的；

根据所述模板类型确定相应的模板文件；

将所述模板上传至文件服务器，以使数据采集员从所述文件服务器获取所述 模板，并根据所述模板文件完成数据采集工作；

根据数据采集工作获得数据文件，将所述数据文件上传至数据库中。

在本申请的一种实施例中，根据所述模板文件完成数据采集工作之后，所述 方法还包括：获取数字证书；接收数据采集员上传的数据文件；根据所述数字证 书对所述数据文件进行加密；将加密后的数据文件存储到文件服务器中。

在本申请的一种实施例中，将所述数据文件上传至数据库中，具体包括：从 第一数据库读取调度数据，所述调度数据至少包括以下一种：模板分类、更新方 式、数据周期、填报单位；根据所述数据周期将所述数据文件周期性的导入第二 数据库。

在本申请的一种实施例中，根据所述模板分类的目录、所述填报单位，将所 述数据文件分类存放；根据所述更新方式对第二数据库进行增量更新或全量更 新。

在本申请的一种实施例中，将所述数据文件上传至数据库中之前，所述方法 还包括：判断所述数据库中的所述数据文件对应的数据库表是否建立；若否，则 根据所述模板文件自动创建数据库表。

在本申请的一种实施例中，若要查找上传至所述数据库中的文件，所述方法 还包括：在所述数据库中，根据所述模板文件的类型对所述数据文件进行检索， 查找相应的数据文件发送至PC端。

在本申请的一种实施例中，所述方法还包括：根据所述模板文件自动创建数 据库表，将根据所述模板文件和所述模板元数据获得的数据文件存储到数据库表 中。

在本申请的一种实施例中，所述模板文件的类型至少包括以下一种：Excel 表格、CSV文件、Word文档。

一种基于模板文件的数据采集设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至 少一个处理器执行，以使所述至少一个处理器能够：

确定待处理业务，并获取根据所述待处理业务对应的模板类型；所述模板类 型是根据所述待处理业务进行分类得到的；

根据所述模板类型确定相应的模板文件；

将所述模板上传至文件服务器，以使数据采集员从所述文件服务器获取所述 模板，并根据所述模板文件完成数据采集工作；

根据数据采集工作获得数据文件，将所述数据文件上传至数据库中。

一种基于模板文件的数据采集存储介质，存储有计算机可执行指令，所述计 算机可执行指令设置为：

确定待处理业务，并获取根据所述待处理业务对应的模板类型；所述模板类 型是根据所述待处理业务进行分类得到的；

根据所述模板类型确定相应的模板文件；

将所述模板上传至文件服务器，以使数据采集员从所述文件服务器获取所述 模板，并根据所述模板文件完成数据采集工作；

根据数据采集工作获得数据文件，将所述数据文件上传至数据库中。

本申请提供了一种基于模板文件的数据采集方法、设备、存储介质，至少包 括以下有益效果：通过定义模板文件，可以定制数据模板，支持多种数据格式的 数据采集，具有非常高的灵活性，能够快速满足多变的数据采集需求，同时模板 文件可以共享，减少重复定义模板，提高工作效率。通过导入程序依据模板定义 自动创建数据库表，即使非计算机专业人员即可操作，节省人力与成本。通过基 于业务的模板分类管理，查找模板速度快，有利于理清工作思路，提高工作效率。 通过定义系统角色与权限，有利于依据实际业务分工协作，并保持数据安全。通 过数字证书加密传输，保证数据的隐私性、完整性、防止篡改行为与抵赖行为。 实现了系统角色与权限可定义、模板分类可定义、模板可定义，使数据采集系统 具有很强的适应性，社区、政府、机构、公司等各类数据采集场景均可使用。通 过类似于Excel、CSV等类型的模板文件，拥有强大的外部编辑工具支持，可以 极大的提高数据录入与采集的效率。通过基于模板文件的方法构建一种适应多种 数据采集场景的数据采集系统，梳理规整数据采集业务，规范数据采集的格式， 规范数据采集流程，加强数据治理安全，加快数据处理速度，提高数据利用效益。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分， 本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限 定。在附图中：

图1为本申请实施例提供的一种数据采集的业务流程示意图；

图2为本申请实施例提供的一种基于模板文件的数据采集方法的步骤示意 图；

图3为本申请实施例提供的数据采集系统的数据文件存储流程示意图；

图4为本申请实施例提供的一种基于模板文件的数据采集设备的结构示意 图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实 施例对本申请进行清楚、完整的描述。显然，所描述的实施例仅是本申请一部分 实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在 没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范 围。

社区工作的内容是复杂多变的，需要采集、整理、统计的数据非常多。目前， 社区治理工作中，对于任务下达、信息上报、走访排查等各项管理任务，一般通 过电话、即时通讯软件、桌面表格软件，甚至纸质文件完成，导致信息格式多样 化、存储地点分散化。因为缺乏有效信息管理系统的支持，社区工作中存在数据 反复采集的现象，而且通过人工采集、统计数据的效率低下、容易出错，也会使 存放在各处的数据不一致，形成不规则的多样化数据，导致社区工作效率无法提 高。

因此，寻找一种新的数据治理方法及工具，以使其能够适应多变的社区管理 工作，对于提高社区工作的效率，具有非常重要的价值。对于少量数据，采用移 动端的方式采集方便、快捷，随时随地填报，并能够及时掌控。对于数据项目多 的数据采集，采用PC端的方式录入数据，速度快、操作方便。但有时需要录入 大量的数据，并且需要重复相同的数据项目时，例如同一个小区人员的地址等， 便可以采用EXCEL的拖拽等功能批量编辑数据完成，使用EXCEL工具相比人 工采集具有极高的工作效率。如果能将EXCEL数据直接导入社区数据治理平台， 而不是逐条录入数据，会更加提高数据采集效率。

为了解决社区数据采集的问题，鉴于EXCEL等办公工具的强大功能、极高 的录入效率及灵活性，同时考虑到社区工作人员已养成的技能与习惯，本申请提 出一种基于模板文件的数据采集方法。为了保证数据采集工作的准确性，依据社 区数据的多样性及多变性等特点，基于模板文件的数据采集系统需要提供标准化 模板管理功能，包括模板上传、模板下载、分类管理等功能。基于模板文件的数 据采集系统还包括数据文件上传、文件数据入库等功能。使用模板文件可以提高 文件数据采集的效率，简化数据处理的难度，从而提高数据治理的效率。

本申请的方案可以解决上述问题，下面进行具体说明。

进行数据采集工作，首先要根据业务要求建立基于模板文件进行数据采集的 工作系统。从安全及分工协作的角度考虑，数据采集系统设置多个默认角色，至 少包括以下5个默认角色：超级管理员、用户管理员、模板分类管理员、模板管 理员、数据采集员。

如图1所示，为本申请实施例提供的一种数据采集的业务流程示意图。

超级管理员负责管理用户管理员、模板分类管理员、模板管理员、数据采集 员等其他角色的增加、修改、删除、查询等操作，同时建立角色与角色权限之间 的关系，包括对角色权限的增加、删除、修改、查询等操作。

用户管理员负责用户管理，具体操作内容包括：用户的增加、删除、修改、 查询等操作。

模板分类管理员负责依据待处理业务对模板文件的类型进行管理，具体操作 内容包括：模板分类的增加、删除、修改、查询等操作。

模板管理员负责模板文件管理，具体操作内容包括：依据待处理业务定义模 板元数据的增加、删除、修改、查询，以及定义模板文件和模板文件的上传等操 作。

数据管理员负责数据管理，具体操作内容包括：数据文件的上传、下载等操 作。为了保证数据文件的隐私性，在数据上传之前要导入数字证书对数据文件进 行加密处理，以保证数据文件的安全性。数据采集员依据相应的待处理业下载对 应的模板文件，将采集好的数据填入模板文件中形成数据文件，将数据文件上传 到文件服务器中，文件服务器根据相应的导入程序将数据文件导入数据库中。

图2为本申请实施例提供的一种基于模板文件的数据采集方法的步骤示意 图，可以包括以下步骤：

S101：确定待处理业务，并获取根据待处理业务对应的模板类型；模板类型 是根据待处理业务进行分类得到的。

在数据采集工作中，模板分类管理员根据待处理业务的分类设置模板类型， 并对应模板进行分级处理。模板分类的项目包括：分类名称、分类描述。根据模 板分类管理员的设置，数据采集系统默认初始化10个模板分类的类型为：基础 信息、社区团队建设、社区自治、社区综治、社区保障、社区民政、社区消防、 社区卫生、社区城管、社区商业。系统默认初始化的10个模板分类可以满足一 般社区治理场景的需求。

具体地，比如待处理业务为全国性人口普查，那么根据人口普查的形式由模 板分类管理员设置模板分类名称为人口普查类型的模板，分类描述对应描述人口 普查具体采集的数据。由于人口普查是全国性的数据采集，模板在全国使用，那 么人口普查类型的模板对应的分级可以是省级。再比如待处理业务仅是在某小区 内对各个单元楼对应多少住户，其中的住户有多少是租户进行排查，那么设置的 有关该小区人口数据排查的模板类型可设置为社区人口调查类型，所在的模板分 级为社区级。

S102：根据模板类型确定相应的模板文件。

不同的模板类型一般对应着不同格式的模板文件，比如通知类型文件适合采 用Word文件，统计类型的文件适合采用Excel文件。

具体地，模板文件的类型至少包括以下一种：Excel表格、CSV文件、Word 文档。模板文件一般是指Excel、CSV等类型的文件，由于系统具有可扩展性， 也支持其他格式的模板文件，比如Word文件、PPT文件等。模板文件在数据采 集系统之外制作完成。

S103：将模板上传至文件服务器，以使数据采集员从文件服务器获取模板， 并根据模板文件完成数据采集工作。

在本申请的一种实施例中，根据模板文件完成数据采集工作之后，获取数字 证书；接收数据采集员上传的数据文件；根据数字证书对数据文件进行加密；将 加密后的数据文件存储到文件服务器中。

数据采集员上传数据文件之前，需要导入数字证书；当数据采集员在PC端 上传数据文件时，数据文件经过加密处理后在WEB服务器、应用服务器与文件 服务器上传输，确保了数据文件的隐私性、完整性，并防止数据文件被篡改。

S104：根据数据采集工作获得数据文件，将数据文件上传至数据库中。

在本申请的一种实施例中，将数据文件上传至数据库中之前，方法还包括： 判断数据库中的数据文件对应的数据库表是否建立；若否，则根据模板文件自动 创建数据库表。

如图3所示，为本申请一种实施例提供的数据采集系统的数据文件存储流程 示意图。

在采集数据之前，数据采集系统要通过超级管理员定义系统角色以及角色权 限，通过用户管理员定义用户角色以及用户权限，通过模板管理员定义模板元数 据等。定义好的系统角色、权限、用户权限、模板元数据、数据文件元数据等调 度数据会存储到第一数据库中。模板元数据包括：模板分类、模板名称、适用范 围、更新方式、数据周期、填报单位、描述等。其中，适用范围是个表示行政区 划的有限集合，包括的项目有：省(自治区、特别行政区)、市(自治洲、盟)、 区(县)、街道(乡镇)、社区、小区等。

在本申请的一种实施例中，将数据文件上传至数据库中，具体包括：从第一 数据库读取调度数据，调度数据至少包括以下一种：模板分类、更新方式、数据 周期、填报单位；根据数据周期将数据文件周期性的导入第二数据库。

第一数据库接收到控制信息后，读取调度数据，调度数据包括至少以下一种： 模板分类、模板名称、适用范围、更新方式、数据周期、填报单位、文件名称等， 然后依据调度数据中的数据周期、模板分类等调度数据周期性调度相应的导入程 序。导入程序将更新方式、填报单位、文件名称等作为输入参数，将数据文件中 的数据自动导入对应的第二数据库中的数据表上。更新方式包括：增量更新、全 量更新。数据周期包括：年、季、月、周、日、随时等。填报单位也是个表示行 政区划的有限集合，包括的项目有：省(自治区、特别行政区)、市(自治洲、 盟)、区(县)、街道(乡镇)、社区、小区等。

适用范围表示模板的适用范围，比如，“以房管人模板”适用于某个区县， 整个区县的数据采集者都可以使用这个模板。填报单位是指数据采集并上传的单 位，比如，“以房管人模板”填报单位为社区，每个社区的工作人员负责采集本 社区的数据，并将数据文件上传到数据采集系统。

当数据采集员需要采集数据时，需要从文件服务器下载已经制作好的模板文 件，数据采集员将采集到的数据填入模板文件中形成数据文件，再将数据文件加 密处理，然后经过WEB服务器、应用服务器上传到文件服务器中。文件服务器 中的数据文件经过导入程序最终会存储到第二数据库中。在本申请的一种实施例 中，如果数据文件对应的模板类型是第一次导入，导入程序会根据模板类型对应 的模板文件自动创建数据库表，并将根据模板文件和模板元数据获得的数据文件 存储到数据库表中。

在本申请的一种实施例中，第二数据库中数据文件会分类存放方便查找，根 据模板分类的目录、填报单位，将数据文件分类存放；如果第二数据库中的数据 文件需要更新，则根据更新方式对第二数据库进行增量更新或全量更新。

在本申请的一种实施例中，若要查找上传至第二数据库中的文件，在第二数 据库中，根据模板文件的模板类型对数据文件进行检索，查找相应的数据文件发 送至PC端。

本申请提供了一种基于模板文件的数据采集方法、设备、存储介质，至少包 括以下有益效果：通过定义模板文件，可以定制数据模板，支持多种数据格式的 数据采集，具有非常高的灵活性，能够快速满足多变的数据采集需求，同时模板 文件可以共享，减少重复定义模板，提高工作效率。通过导入程序依据模板定义 自动创建数据库表，即使非计算机专业人员即可操作，节省人力与成本。通过基 于业务的模板分类管理，查找模板速度快，有利于理清工作思路，提高工作效率。 通过定义系统角色与权限，有利于依据实际业务分工协作，并保持数据安全。通 过数字证书加密传输，保证数据的隐私性、完整性、防止篡改行为与抵赖行为。 实现了系统角色与权限可定义、模板分类可定义、模板可定义，使数据采集系统 具有很强的适应性，社区、政府、机构、公司等各类数据采集场景均可使用。通 过类似于Excel、CSV等类型的模板文件，拥有强大的外部编辑工具支持，可以 极大的提高数据录入与采集的效率。通过基于模板文件的方法构建一种适应多种 数据采集场景的数据采集系统，梳理规整数据采集业务，规范数据采集的格式， 规范数据采集流程，加强数据治理安全，加快数据处理速度，提高数据利用效益。

以上为本申请实施例提供的一种基于模板文件的数据采集方法，基于同样的 发明思路，本申请实施例还提供了相应的一种基于模板文件的数据采集设备，如 图4所示。

本实施例提供了一种基于模板文件的数据采集设备，包括：

至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执 行，以使至少一个处理器能够：

确定待处理业务，并获取根据待处理业务对应的模板类型；模板类型是根据 待处理业务进行分类得到的；

根据模板类型确定相应的模板文件；

将模板上传至文件服务器，以使数据采集员从文件服务器获取模板，并根据 模板文件完成数据采集工作；

根据数据采集工作获得数据文件，将数据文件上传至数据库中。

基于同样的思路，本申请的一些实施例还提供了上述方法、设备对应的介质。

本申请的一些实施例提供的一种基于模板文件的数据采集存储介质，存储有 计算机可执行指令，计算机可执行指令设置为：

确定待处理业务，并获取根据待处理业务对应的模板类型；模板类型是根据 待处理业务进行分类得到的；

根据模板类型确定相应的模板文件；

将模板上传至文件服务器，以使数据采集员从文件服务器获取模板，并根据 模板文件完成数据采集工作；

根据数据采集工作获得数据文件，将数据文件上传至数据库中。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的 部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其， 对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简 单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也 具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果 进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他 性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些 要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、 商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……” 限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的 相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员 来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何 修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。