新数据信息构建方法、装置、计算机设备及存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及新数据信息构建方法、装置、计算机设备及存储介质。

背景技术

随着信息时代的高速发展，数据的处理量越来越大，新数据也越来越多。在对新数据进行信息生成时，往往会依照历史数据对新数据进行信息生成，以提高数据的处理效率，而不需要对新数据的信息从零开始采集最后生成。例如，在保险行业中，每个月都会有新的险种开发出来，这些新的险种为参与到现有的全流程中，则需要在保单汇总和dcs(分散控制系统)等阶段添加一些新的算法或者做一些修改。在对这些模块做出修改后，根据修改后的模块实现新险种对应的业务。

然而，由于这些新的险种在现有的自测环境中数据是不存在的，因此需要人工手动地制造这些新数据的记录。而由于每个月都会有较多的新产品需要测试，针对每一个新产品都需要人工地制造新的记录数，由此，最终导致在对新数据进行信息生成时效率低下的问题。

发明内容

本申请实施例的目的在于提出一种新数据信息构建方法、装置、计算机设备及存储介质，以解决新数据信息生成效率低下的技术问题。

为了解决上述技术问题，本申请实施例提供一种新数据信息构建方法，采用了如下所述的技术方案：

在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数；

获取预设的目标构建脚本，基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对，并将所述信息对存入预设的映射表中；

获取所述信息对中的参考数据标识，根据所述参考数据标识，从存储的预处理表中查找所述参考数据标识对应的历史信息记录；

在所述预处理表中构建新的分区表，并获取所述信息对对应的数据库循环语句，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息。

进一步的，所述在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数的步骤包括：

获取所述新数据的新数据标识，根据所述新数据标识确定所述新数据的业务类型；

获取存储的历史数据，基于所述业务类型匹配所述新数据和所述历史数据，将匹配度最高的历史数据作为所述新数据的参考数据；

获取所述参考数据的参考数据标识，根据所述新数据标识和所述参考数据标识，构建所述目标数据参数。

进一步的，所述基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对的步骤包括：

获取所述目标构建脚本中的预设正则匹配式；

根据所述预设正则匹配式提取所述目标数据参数中的新数据标识和参考数据标识，将所述新数据标识和所述参考数据标识组合为所述新数据的信息对。

进一步的，所述在所述预处理表中构建新的分区表的步骤包括：

获取所述目标数据参数中的日期信息和版本信息，根据所述日期信息和所述版本信息构建所述分区表。

进一步的，所述获取所述信息对对应的数据库循环语句的步骤包括：

获取所述映射表的表长度，根据所述表长度和所述信息对通过while语句构建所述数据库循环语句。

进一步的，所述在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息的步骤包括：

获取预设的数据仓库工具；

执行所述数据仓库工具和所述数据库循环语句，将所述数据库循环语句中写入的新数据标识替换为所述历史信息记录，得到所述新数据信息。进一步的，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息的步骤之后还包括：

获取所述新数据的关联功能，根据所述新数据信息生成所述关联功能的测试用例，基于所述测试用例对所述关联功能进行测试。

为了解决上述技术问题，本申请实施例还提供一种新数据信息构建装置，采用了如下所述的技术方案：

第一构建模块，用于在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数；

第二构建模块，用于获取预设的目标构建脚本，基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对，并将所述信息对存入预设的映射表中；

查找模块，用于获取所述信息对中的参考数据标识，根据所述参考数据标识，从存储的预处理表中查找所述参考数据标识对应的历史信息记录；

加载模块，用于在所述预处理表中构建新的分区表，并获取所述信息对对应的数据库循环语句，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数；

获取预设的目标构建脚本，基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对，并将所述信息对存入预设的映射表中；

获取所述信息对中的参考数据标识，根据所述参考数据标识，从存储的预处理表中查找所述参考数据标识对应的历史信息记录；

在所述预处理表中构建新的分区表，并获取所述信息对对应的数据库循环语句，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数；

获取预设的目标构建脚本，基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对，并将所述信息对存入预设的映射表中；

获取所述信息对中的参考数据标识，根据所述参考数据标识，从存储的预处理表中查找所述参考数据标识对应的历史信息记录；

在所述预处理表中构建新的分区表，并获取所述信息对对应的数据库循环语句，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息。

本申请通过在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数，根据该目标数据参数可以对新数据进行统一地批量管理；之后，获取预设的目标构建脚本，基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对，并将所述信息对存入预设的映射表中；而后，获取所述信息对中的参考数据标识，根据所述参考数据标识，从存储的预处理表中查找所述参考数据标识对应的历史信息记录；在所述预处理表中构建新的分区表，并获取所述信息对对应的数据库循环语句，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息，由此，实现了对无记录信息，即新数据信息的高效生成，并提高了在对大批量的新数据进行信息生成时信息生成效率和准确率，进一步节省了数据处理时长。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的新数据信息构建方法的一个实施例的流程图；

图3是根据本申请的新数据信息构建装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

附图标记：新数据信息构建装置300、第一构建模块301、第二构建模块302、查找模块303以及加载模块304。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的新数据信息构建方法一般由服务器/终端设备执行，相应地，新数据信息构建装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的新数据信息构建方法的一个实施例的流程图。所述的新数据信息构建方法，包括以下步骤：

步骤S201，在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数；

在本实施例中，新数据为接收到的在历史数据中不存在的数据，根据该新数据可获取到新数据标识和该新数据的业务类型，如各种保险种类的名称以及其对应的业务类型等。信息构建指令则为新数据对应新数据信息的构建指令，该新数据信息则包括与该新数据关联的所有功能信息，如某个险种下的保单数据名称和金额等，基于该新数据信息可以对该新数据进行功能测试。目标数据参数包括新数据标识、参考数据标识以及日期标签等参数，其中，新数据标识为该新数据的数据标识信息，参考数据标识则为该新数据对应的参考数据的数据标识信息，一个新数据对应一个参考数据。在接收到新数据的信息构建指令时，获取该新数据的新数据标识、以及与该新数据标识关联的参考数据的参考数据标识和日期信息等标签参数，根据该新数据的新数据标识、参考数据的参考数据标识和日期标签等参数，组合得到目标数据参数。

步骤S202，获取预设的目标构建脚本，基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对，并将所述信息对存入预设的映射表中；

在本实施例中，目标构建脚本为预先设定的shell脚本(shell script)，该目标构建脚本中包括了新数据对应的所有的构建逻辑。在得到目标数据参数和目标构建脚本时，根据该目标构建脚本识别该目标数据参数中的新数据标识和参考数据标识。将目标数据参数中的参考数据作标识为键(key),将目标数据参数中的新数据标识作为值(value)，根据该键和值组合得到键值信息对(即key-value信息对)，该键值信息对即为新数据对应的信息对。在得到该信息对时，将该新数据的信息对存入预设的映射表(map)中。

步骤S203，获取所述信息对中的参考数据标识，根据所述参考数据标识，从存储的预处理表中查找所述参考数据标识对应的历史信息记录；

在本实施例中，参考数据标识为信息对中的键，获取该信息对中的键，即得到参考数据标识；预处理表为存储所有参考数据标识对应所有历史信息记录的数据表，该历史信息记录即为参考数据标识对应的所有功能信息数据。具体地，在得到参考数据标识时，获取数据仓库工具(hive)，根据该数据仓库工具即可从预处理表中查找到参考数据标识对应的历史信息记录。

步骤S204，在所述预处理表中构建新的分区表，并获取所述信息对对应的数据库循环语句，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息。

在本实施例中，分区表为将大表的数据分成多个小的子集的分区，在预处理表中构建新的分区表，根据该新的分区表存储历史信息记录和新数据对应的新数据信息。具体地，在新的分区表创建完成时，获取新数据的信息对对应的数据库循环语句，该数据库循环语句可通过新数据的新数据标识和信息对创建得到；之后，将该信息对和新数据标识通过while循环语句连接起来，即得到该信息对对应的数据库循环语句。在得到该数据库循环语句时，在该分区表中将历史信息记录加载至该数据库循环语句，即得到该新数据的新数据信息。

需要强调的是，为进一步保证上述新数据信息的私密和安全性，上述新数据信息还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请实现了对无记录信息，即新数据信息的高效生成，并提高了在对大批量的新数据进行信息生成时信息生成效率和准确率，进一步节省了数据处理时长。

在本实施例的一些可选的实现方式中，上述在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数的步骤包括：

获取所述新数据的新数据标识，根据所述新数据标识确定所述新数据的业务类型；

获取存储的历史数据，基于所述业务类型匹配所述新数据和所述历史数据，将匹配度最高的历史数据作为所述新数据的参考数据；

获取所述参考数据的参考数据标识，根据所述新数据标识和所述参考数据标识，构建所述目标数据参数。

在本实施例中，新数据标识为新数据的标识信息，如该新数据的数据名称，或该新数据所属类别的名称。根据该新数据标识获取关联的业务类型，该业务类型即为新数据所属的业务类型；之后，获取存储的历史数据，以及该历史数据对应的业务类型，将该新数据的业务类型与历史数据的业务类型进行匹配，得到对应的匹配度；选取其中匹配度最高的历史数据作为新数据的参考数据。获取该参考数据的参考数据标识，将新数据的新数据标识和与该新数据匹配的参考数据的参考数据标识组合为一组参数，目标数据参数可以包括一组或多组参数。例如，该目标数据参数的格式为“[新数据标识1，参考数据标识1],[新数据标识2，参考数据标识2],…”，其中，新数据标识1为新数据1的新数据标识，参考数据标识1为与新数据1匹配的参考数据的数据标识。

本实施例通过将新数据与历史数据进行匹配，选取参考数据，根据该参考数据的参考数据标识和新数据的新数据标识，得到目标数据参数，实现了对新数据信息的高效获取和同一管理，进一步提高了在对大批量的新数据进行信息生成时的信息生成效率。

在本实施例的一些可选的实现方式中，上述基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对的步骤包括：

获取所述目标构建脚本中的预设正则匹配式；

根据所述预设正则匹配式提取所述目标数据参数中的新数据标识和参考数据标识，将所述新数据标识和所述参考数据标识组合为所述新数据的信息对。

在本实施例中，在根据目标构建脚本识别目标数据参数中新数据的信息对时，获取该目标构建脚本中的预设正则匹配式，将该预设正则匹配式与目标数据参数进行匹配，得到目标数据参数中的新数据标识和参考数据标识。该信息对即为由新数据标识和参考数据标识组合的信息对。

本实施例通过预设正则匹配式对新数据标识和参考数据标识进行提取，实现了对信息的精确获取，进一步提高了新数据信息生成的准确率。

在本实施例的一些可选的实现方式中，上述在所述预处理表中构建新的分区表的步骤包括：

获取所述目标数据参数中的日期信息和版本信息，根据所述日期信息和所述版本信息构建所述分区表。

在本实施例中，目标数据参数中包括预设的版本信息和日期信息。获取分区表的新建指令，根据该新建指令在预处理表中构建基础分区表，并对该目标数据参数进行解析，得到该目标数据参数中的版本信息和日期信息；而后，将该版本信息和日期信息作为该基础分区表的版本号和评估日期，即得到一个新的分区表。

本实施例通过在预处理表中构建新的分区表，实现了对新数据的高效存储。

在本实施例的一些可选的实现方式中，上述获取所述信息对对应的数据库循环语句的步骤包括：

获取所述映射表的表长度，根据所述表长度和所述信息对通过while语句构建所述数据库循环语句。

在本实施例中，映射表为新数据信息对的存储表，该映射表的表长度即反映了新数据对的长度。获取映射表的表长度，根据该表长度和新数据的信息对的键和值，通过while循环构建数据库语句，得到数据库循环语句。例如，该数据库循环语句为“case whenplan_code＝${key1}then${value1}when${key2}then${value2}…else plan_code end”，其中，key1和value1即为信息对中的键和值。

本实施例通过信息对构建数据库循环语句，使得根据该数据库循环语句能够对新数据的信息进行快速生成，提高了新数据信息的生成效率。

在本实施例的一些可选的实现方式中，上述在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息的步骤包括：

获取预设的数据仓库工具；

执行所述数据仓库工具和所述数据库循环语句，将所述数据库循环语句中写入的新数据标识替换为所述历史信息记录，得到所述新数据信息。

在本实施例中，数据仓库工具为hive工具，hive是基于Hadoop(分布式系统基础架构)的一个数据仓库工具，用来对数据进行提取、转化和加载。在得到新数据的信息对对应的数据库循环语句时，获取预设的数据仓库工具，并在分区表中执行该数据仓库工具和数据库循环语句，将数据库循环语句中的新数据标识替换为历史信息记录，由此即得到新数据对应的新数据信息。而后，在该分区表中对该新数据信息和该新数据对应的历史信息记录进行存储，根据该分区表即可同时得到新数据信息和历史信息记录。

本实施例通过数据库循环语句对新数据对应的信息对进行加载，实现了新数据信息的高效生成，提高了新数据信息的生成效率和准确率。

在本实施例的一些可选的实现方式中，在上述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息的步骤之后还包括：

获取所述新数据的关联功能，根据所述新数据信息生成所述关联功能的测试用例，基于所述测试用例对所述关联功能进行测试。

在本实施例中，在得到新数据对应的新数据信息时，可以根据该新数据信息对该新数据对应的关联功能进行测试。具体地，在得到新数据信息时，获取新数据的关联功能，以及该新数据信息的字段信息，将该字段信息输入至该关联功能的预设测试模版中，得到该关联功能的测试用例。执行该测试用例，在所有测试用例均测试通过时，确定该关联功能测试通过；在测试用例中存在任意一个测试用例测试失败时，确定该关联功能测试失败，反馈测试失败信息。

本实施例通过新数据信息生成测试用例，实现了对与新数据信息关联的关联功能的高效测试，提高了数据测试效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种新数据信息构建装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的新数据信息构建装置300包括：第一构建模块301、第二构建模块302、查找模块303以及加载模块304。其中：

第一构建模块301，用于在接收到新数据的信息构建指令时，构建所述新数据对应的目标数据参数；

在本实施例中，新数据为接收到的在历史数据中不存在的数据，根据该新数据可获取到新数据标识和该新数据的业务类型，如各种保险种类的名称以及其对应的业务类型等。信息构建指令则为新数据对应新数据信息的构建指令，该新数据信息则包括与该新数据关联的所有功能信息，如某个险种下的保单数据名称和金额等，基于该新数据信息可以对该新数据进行功能测试。目标数据参数包括新数据标识、参考数据标识以及日期标签等参数，其中，新数据标识为该新数据的数据标识信息，参考数据标识则为该新数据对应的参考数据的数据标识信息，一个新数据对应一个参考数据。在接收到新数据的信息构建指令时，获取该新数据的新数据标识、以及与该新数据标识关联的参考数据的参考数据标识和日期信息等标签参数，根据该新数据的新数据标识、参考数据的参考数据标识和日期标签等参数，组合得到目标数据参数。

在本实施例的一些可选的实现方式中，第一构建模块301包括：

第一获取单元，用于获取所述新数据的新数据标识，根据所述新数据标识确定所述新数据的业务类型；

匹配单元，用于获取存储的历史数据，基于所述业务类型匹配所述新数据和所述历史数据，将匹配度最高的历史数据作为所述新数据的参考数据；

第一构建单元，用于获取所述参考数据的参考数据标识，根据所述新数据标识和所述参考数据标识，构建所述目标数据参数。

在本实施例中，新数据标识为新数据的标识信息，如该新数据的数据名称，或该新数据所属类别的名称。根据该新数据标识获取关联的业务类型，该业务类型即为新数据所属的业务类型；之后，获取存储的历史数据，以及该历史数据对应的业务类型，将该新数据的业务类型与历史数据的业务类型进行匹配，得到对应的匹配度；选取其中匹配度最高的历史数据作为新数据的参考数据。获取该参考数据的参考数据标识，将新数据的新数据标识和与该新数据匹配的参考数据的参考数据标识组合为一组参数，目标数据参数可以包括一组或多组参数。例如，该目标数据参数的格式为“[新数据标识1，参考数据标识1],[新数据标识2，参考数据标识2],…”，其中，新数据标识1为新数据1的新数据标识，参考数据标识1为与新数据1匹配的参考数据的数据标识。

第二构建模块302，用于获取预设的目标构建脚本，基于所述目标构建脚本和所述目标数据参数，构建所述新数据对应的信息对，并将所述信息对存入预设的映射表中；

在本实施例中，目标构建脚本为预先设定的shell脚本(shell script)，该目标构建脚本中包括了新数据对应的所有的构建逻辑。在得到目标数据参数和目标构建脚本时，根据该目标构建脚本识别该目标数据参数中的新数据标识和参考数据标识。将目标数据参数中的参考数据作标识为键(key),将目标数据参数中的新数据标识作为值(value)，根据该键和值组合得到键值信息对(即key-value信息对)，该键值信息对即为新数据对应的信息对。在得到该信息对时，将该新数据的信息对存入预设的映射表(map)中。

在本实施例的一些可选的实现方式中，第一构建模块301包括：

第二获取单元，用于获取所述目标构建脚本中的预设正则匹配式；

提取单元，用于根据所述预设正则匹配式提取所述目标数据参数中的新数据标识和参考数据标识，将所述新数据标识和所述参考数据标识组合为所述新数据的信息对。

在本实施例中，在根据目标构建脚本识别目标数据参数中新数据的信息对时，获取该目标构建脚本中的预设正则匹配式，将该预设正则匹配式与目标数据参数进行匹配，得到目标数据参数中的新数据标识和参考数据标识。该信息对即为由新数据标识和参考数据标识组合的信息对。

查找模块303，用于获取所述信息对中的参考数据标识，根据所述参考数据标识，从存储的预处理表中查找所述参考数据标识对应的历史信息记录；

在本实施例中，参考数据标识为信息对中的键，获取该信息对中的键，即得到参考数据标识；预处理表为存储所有参考数据标识对应所有历史信息记录的数据表，该历史信息记录即为参考数据标识对应的所有功能信息数据。具体地，在得到参考数据标识时，获取数据仓库工具(hive)，根据该数据仓库工具即可从预处理表中查找到参考数据标识对应的历史信息记录。

加载模块304，用于在所述预处理表中构建新的分区表，并获取所述信息对对应的数据库循环语句，在所述分区表中将所述历史信息记录加载至所述数据库循环语句，得到所述新数据的新数据信息。

在本实施例中，分区表为将大表的数据分成多个小的子集的分区，在预处理表中构建新的分区表，根据该新的分区表存储历史信息记录和新数据对应的新数据信息。具体地，在新的分区表创建完成时，获取新数据的信息对对应的数据库循环语句，该数据库循环语句可通过新数据的新数据标识和信息对创建得到；之后，将该信息对和新数据标识通过while循环语句连接起来，即得到该信息对对应的数据库循环语句。在得到该数据库循环语句时，在该分区表中将历史信息记录加载至该数据库循环语句，即得到该新数据的新数据信息。

需要强调的是，为进一步保证上述新数据信息的私密和安全性，上述新数据信息还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在本实施例的一些可选的实现方式中，加载模块304包括：

第二构建单元，用于获取所述目标数据参数中的日期信息和版本信息，根据所述日期信息和所述版本信息构建所述分区表。

在本实施例中，目标数据参数中包括预设的版本信息和日期信息。获取分区表的新建指令，根据该新建指令在预处理表中构建基础分区表，并对该目标数据参数进行解析，得到该目标数据参数中的版本信息和日期信息；而后，将该版本信息和日期信息作为该基础分区表的版本号和评估日期，即得到一个新的分区表。

在本实施例的一些可选的实现方式中，加载模块304还包括：

第三构建单元，用于获取所述映射表的表长度，根据所述表长度和所述信息对通过while语句构建所述数据库循环语句。

在本实施例中，映射表为新数据信息对的存储表，该映射表的表长度即反映了新数据对的长度。获取映射表的表长度，根据该表长度和新数据的信息对，通过while循环构建数据库语句，得到数据库循环语句。例如，该数据库循环语句为“case when plan_code＝${key1}then${value1}when${key2}then${value2}…else plan_code end”，其中，key1和value1即为信息对中的键和值。

在本实施例的一些可选的实现方式中，加载模块304还包括：

第三获取单元，用于获取预设的数据仓库工具；

执行单元，用于执行所述数据仓库工具和所述数据库循环语句，将所述数据库循环语句中写入的新数据标识替换为所述历史信息记录，得到所述新数据信息。

在本实施例中，数据仓库工具为hive工具，hive是基于Hadoop(分布式系统基础架构)的一个数据仓库工具，用来对数据进行提取、转化和加载。在得到新数据的信息对对应的数据库循环语句时，获取预设的数据仓库工具，并在分区表中执行该数据仓库工具和数据库循环语句，将数据库循环语句中的新数据标识替换为历史信息记录，由此即得到新数据对应的新数据信息。而后，还可以在该分区表中对该新数据信息和该新数据对应的历史信息记录进行存储，根据该分区表即可同时得到新数据信息和历史信息记录。

在本实施例的一些可选的实现方式中，上述新数据信息构建装置300还包括：

测试单元，用于获取所述新数据的关联功能，根据所述新数据信息生成所述关联功能的测试用例，基于所述测试用例对所述关联功能进行测试。

在本实施例中，在得到新数据对应的新数据信息时，可以根据该新数据信息对该新数据对应的关联功能进行测试。具体地，在得到新数据信息时，获取新数据的关联功能，以及该新数据信息的字段信息，将该字段信息输入至该关联功能的预设测试模版中，得到该关联功能的测试用例。执行该测试用例，在所有测试用例均测试通过时，确定该关联功能测试通过；在测试用例中存在任意一个测试用例测试失败时，确定该关联功能测试失败，反馈测试失败信息。

本实施例提出的新数据信息构建装置，实现了对无记录信息，即新数据信息的高效生成，并提高了在对大批量的新数据进行信息生成时信息生成效率和准确率，进一步节省了数据处理时长。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如新数据信息构建方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述新数据信息构建方法的计算机可读指令。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本实施例提出的计算机设备，实现了对无记录信息，即新数据信息的高效生成，并提高了在对大批量的新数据进行信息生成时信息生成效率和准确率，进一步节省了数据处理时长。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的新数据信息构建方法的步骤。

本实施例提出的计算机可读存储介质，实现了对无记录信息，即新数据信息的高效生成，并提高了在对大批量的新数据进行信息生成时信息生成效率和准确率，进一步节省了数据处理时长。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。