数据导入方法、装置、电子设备及存储介质

技术领域

本发明涉及数据管理领域，尤其涉及一种数据导入方法、装置、电子设备及存储介质。

背景技术

随着图像处理技术的发展，需要大量的图像数据来支持各种图像处理的场景，图像数据是通过摄像设备对不同场景进行抓拍得到，比如通过摄像头对人脸、车辆进行抓拍得到对应的图像数据。图像数据一般被存储在摄像头所有者的数据库中，并用于各种基于图像的服务，比如身份识别的落地需要用到身份数据和对应的落地服务，落地服务可以通过服务商的服务端来提供，但在这个过程中，需要将身份数据导入到服务端中来进行。而现有的服务端对于数据的导入支持较为单一，需要在服务端的前端进行导入，利用网关进行导入，导入过程不透明，而身份数据用于身份落地，需要解构成多种类型的静态数据，比如图片、文本和数字等类型，每次导入失败不知道具体的导入情况，只能将全部的身份数据重新进行导入，当导入的数据量过大时，导入失败后由于不知道是哪部分数据出现问题，需要通过服务端的前端重新导入的时间代价大，使得导入效率低。

发明内容

本发明实施例提供一种数据导入方法，可以通过第三方前台建立与服务端和资源端的连接，使得数据导入不依赖于服务端的前端来进行，在接收到原始数据后，对原始数据进行分解，根据不同的分解维度可以得到对应的分解数据，从而可以对分解数据在导入过程中进行追踪，从而获取到分解数据的导入情况，在导入失败的情况下，将对应的分解数据进行重新导入即可，进而提高了导入数据的效率。

第一方面，本发明实施例提供一种数据导入方法，所述方法包括：

基于第三方前台，建立与服务端和资源端的连接，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务；

接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；

根据预设的数据导入规则将所述分解数据录入待导入池；

通过所述待导入池将所述分解数据导入到所述服务端。

可选的，所述分解维度包括归类维度以及粒度维度，所述按预设的分解维度对所述原始数据进行分解，得到分解数据，包括：

根据所述归类维度对所述原始数据进行第一分解，得到归类数据；

根据所述粒度维度对所述归类数据进行第二分解，得到分解数据；

对所述第一分解与所述第二分解进行记录，得到所述分解数据的分解记录。

可选的，所述方法还包括：

将所述分解记录按所述预设的数据导入规则进行处理，得到分解记录表；

根据所述分解记录表，对所述分解数据的导入状态进行判断，得到导入结果表，所述导入结果表包括所述分解数据的导入成功信息和导入失败信息；

根据所述导入失败信息进行断点续导。

可选的，所述数据导入规则包括导入优先级，所述将所述分解记录按所述预设的数据导入规则进行处理，得到分解记录表，还包括：

根据所述分解数据的归类维度，确定所述分解数据的第一优先级；

根据所述分解数据的粒度维度，确定所述分解数据的第二优先级；

根据所述分解数据的第一优先级与所述分解数据的第二优先级，将所述分解记录进行排序处理，得到所述分解记录表。

可选的，所述根据所述导入失败信息进行断点续导，包括：

根据所述导入失败信息以及所述分解记录表，确定需要进行断点续导的待续导数据；

根据预先设定的续导策略，确定所述待续导数据的导入优先级；

根据所述待续导数据的导入优先级，开辟对应的续导池对所述待续导数据进行导入。

可选的，所述导入失败信息包括基于归类维度的第一导入失败原因以及基于粒度维度的第二导入失败原因，所述根据预先设定的续导策略，确定所述待续导数据的导入优先级，包括：

根据所述待续导数据对应的分解数据的第一优先级以及第一导入失败原因，确定所述待续导数据的第一优先级；

根据所述待续导数据对应的分解数据的第二优先级以及第二导入失败原因，确定所述待续导数据的第二优先级；

根据所述待续导数据的第一优先级与所述待续导数据的第二优先级，确定所述待续导数据的导入优先级。

可选的，所述根据所述待续导数据的导入优先级，开辟对应的续导池对所述待续导数据进行导入，包括：

根据所述待续导数据的导入优先级，分别开辟对应于所述服务端的第一续导池以及对应于本地存储端或移动存储端的第二续导池；

通过第一线程池将所述第一续导池中的待续导数据导入到所述服务端，并将所述服务端的续导结果更新到所述导入结果表；

通过第二线程池将所述第二续导池中的待续导数据导入到所述本地存储端或移动存储端，并将所述本地存储端或移动存储端的续导结果更新到所述导入结果表，所述本地存储端或移动存储端的续导结果包括存储地址。

第二方面，本发明实施例提供一种数据导入装置，所述装置包括：

连接模块，用于基于第三方前台，建立与服务端和资源端的连接，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务；

分解模块，用于接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；

录入模块，用于根据预设的数据导入规则将所述分解数据录入待导入池；

导入模块，用于通过所述待导入池将所述分解数据导入到所述服务端。

第三方面，本发明实施例提供一种数据导入系统，包括第三方前台、服务端、数据端以及本发明实施例中所述的数据导入装置；

其中，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务。

第四方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的数据导入方法中的步骤。

第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的数据导入方法中的步骤。

本发明实施例中，基于第三方前台，建立与服务端和资源端的连接，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务；接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；根据预设的数据导入规则将所述分解数据录入待导入池；通过所述待导入池将所述分解数据导入到所述服务端。本发明可以通过第三方前台建立与服务端和资源端的连接，使得数据导入不依赖于服务端的前端来进行，在接收到原始数据后，对原始数据进行分解，根据不同的分解维度可以得到对应的分解数据，从而可以对分解数据在导入过程中进行追踪，从而获取到分解数据的导入情况，在导入失败的情况下，将对应的分解数据进行重新导入即可，进而提高了导入数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种数据导入系统的架构图；

图2是本发明实施例提供的一种数据导入方法的流程图；

图3是本发明实施例提供的一种数据导入装置的结构示意图；

图4是本发明实施例提供的一种分解模块的结构示意图；

图5是本发明实施例提供的另一种数据导入装置的结构示意图；

图6是本发明实施例提供的一种处理模块的结构示意图；

图7是本发明实施例提供的一种续导模块的结构示意图；

图8是本发明实施例提供的一种第四确定单元的结构示意图；

图9是本发明实施例提供的一种开辟单元的结构示意图；

图10是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种数据导入系统的架构图，如图1所示，该数据导入系统包括：第三方前台1、服务端2、数据端3以及数据导入装置4。其中，上述资源端提供用于身份落地的原始数据，上述服务端2根据导入的原始数据提供身份落地服务。上述第三方前台1用于上述服务端2的临时前端，为上述服务端2提供界面支持。

上述服务端2可以是云服务端，上述数据端3可以是数据拥有者的数据库，上述的数据导入装置4可以是搭载了本发明实施例提供的数据导入方法的装置，上述数据导入装置4也可以是搭载了本发明实施例提供的数据导入方法的第三方前台1，还可以是搭载了本发明实施例提供的数据导入方法的电子设备或外接存储介质。进一步的，本发明实施例提供的数据导入方法可以被封装为数据导入工具、数据导入组件或数据导入软件在任意第三方前台1中进行加载。可选的，上述本发明实施例提供的数据导入方法可以基于springboot搭建的单体架构进行封装，从而可以基于jdk1.8环境独立运行，不依赖服务端2的服务可独立部署，可以支持：纯图片、txt、csv、excle多类型和多场景导入格式。

在一种可能的实施例中，在第三方前台1挂载了上述数据导入装置4后，上述数据导入装置4可以调用第三方前台1的通用接口协议，构建与数据端3连接的数据端3接口和与服务端2连接的服务端2接口。进一步的，第三方前台1通过加载登录组件将登录界面进行显示，通过第三方前台1显示的登录界面进行登录，从而通过通用接口协议使数据导入装置4分别与数据端3和服务端2连接。具体可以根据登录凭证及密钥key来获取令牌进行登录。

数据导入装置4接收资源端发送的上述原始数据，并按预设的分解维度对上述原始数据进行分解，得到分解数据；根据预设的数据导入规则将上述分解数据录入待导入池；通过上述待导入池将上述分解数据导入到上述服务端2。上述分解维度包括归类维度以及粒度维度，上述的归类维度可以是指数据的归类属性，比如按单位、区域、图像、文本、数字等进行归类；上述的粒度维度可以是指数据的导入量级，比如，将1个T数据分解为1024个1G的数据。

上述数据导入规则可以是数据的导入优先级，不同的归类属性对应不同的第一优先级，不同的导入量级对应的不同的第二优先级，可以根据第一优先级与第二优先级共同确定分解数据的导入优先级，按分解数据的导入优先级来进行导入。

本发明可以通过第三方前台建立与服务端和资源端的连接，使得数据导入不依赖于服务端的前端来进行，在接收到原始数据后，对原始数据进行分解，根据不同的分解维度可以得到对应的分解数据，从而可以对分解数据在导入过程中进行追踪，从而获取到分解数据的导入情况，在导入失败的情况下，将对应的分解数据进行重新导入即可，进而提高了导入数据的效率。

可选的，请参见图2，图2是本发明实施例提供的一种数据导入方法的流程图，数据导入方法运行于上述数据导入系统中，如图2所示，该数据导入方法包括以下步骤：

101、基于第三方前台，建立与服务端和资源端的连接。

在本发明实施例中，上述资源端提供用于身份落地的原始数据，上述服务端根据导入的原始数据提供身份落地服务。上述第三方前台为现场第三方前台，上述第三方前台用于上述服务端的临时前端，为上述服务端提供界面支持。上述服务端可以是云服务端，上述数据端可以是数据拥有者的数据库。

可以第三方前台的通用接口协议，构建与数据端连接的数据端接口和与服务端连接的服务端接口。进一步的，第三方前台通过加载登录组件将登录界面进行显示，通过第三方前台显示的登录界面进行登录，从而通过通用接口协议分别与数据端和服务端连接。具体可以根据登录凭证及密钥key来获取令牌进行登录。

102、接收资源端发送的原始数据，并按预设的分解维度对原始数据进行分解，得到分解数据。

在本发明实施例中，上述原始数据为数据拥有者的数据库中的数据，用户可以通过第三方前台的界面进行数据导入的请求和数据导入过程的查看。上述分解维度包括归类维度以及粒度维度，上述的归类维度可以是指数据的归类属性，比如按单位、区域、图像、文本、数字等进行归类属性；上述的粒度维度可以是指数据的导入量级，比如，将1个1T数据分解为1024个1G的数据。

进一步的，不同的归类属性可以对应不同的导入量级，具体的，可以根据不同归类属性对应的数据的数据量来确定不同的导入量级，上述数据的数据量由数据的结构来进行判定，比如，图像数据的结构一般为矩阵数据，所占的数据量较大，其导入量级对应的也较大。

具体的，可以根据上述归类维度对上述原始数据进行第一分解，得到归类数据；根据上述粒度维度对上述归类数据进行第二分解，得到分解数据；对上述第一分解与上述第二分解进行记录，得到上述分解数据的分解记录。上述的分解记录用于记录各个分解数据的具体情况，包括记录各个分解数据对应的归类属性以及导入量级。这样，可以根据分解记录，找到对应的分解数据，在导入失败的情况下，也可以将导入失败的数据量限制在导入量级之内，可以根据分解记录快速找到导入失败的分解数据。

103、根据预设的数据导入规则将分解数据录入待导入池。

在本发明实施例中，上述导入规则包括导入优先级，上述待导入池用于临时存储上述分解数据。可以根据导入优先级分配不同的导入线程或导入时序，比如，为导入优先级高的分解数据分配导入速度高的导入线程，为导入优先级低的分解数据分配导入速度低的导入线程，或者比如，将导入优先级高的分解数据在导入时序上优先进行导入，将导入优先级低的分解数据在导入时序上靠后进行导入。可以理解的是，在多线程的情况下，可以根据导入优先级分配不同的导入线程，在单线程的情况下，可以根据导入优先级分配不同的导入时序。多线程与单线程可以根据第三方前台的具体配置来进行确定，当第三方前台支持多线程时，则可以根据导入优先级分配不同的导入线程，当第三方前台的只支持多线程时，则可以根据导入优先级分配不同的导入时序。

可选的，可以将上述分解记录按上述预设的数据导入规则进行处理，得到分解记录表；根据上述分解记录表，对上述分解数据的导入状态进行判断，得到导入结果表，上述导入结果表包括上述分解数据的导入成功信息和导入失败信息；根据上述导入失败信息进行断点续导。这样，可以根据导入优先级确定导入顺序，确保重要的分解数据优先导入，同时还可以将分解记录表与分解数据的导入顺序进行同步，在发生导入失败的情况下，可以根据导入顺序，直接在分解记录表中找到对应的分解数据。

具体的，可以根据上述分解数据的归类维度，确定上述分解数据的第一优先级；根据上述分解数据的粒度维度，确定上述分解数据的第二优先级；根据上述分解数据的第一优先级与上述分解数据的第二优先级，将上述分解记录进行排序处理，得到上述分解记录表。

上述的归类维度可以是指数据的归类属性，比如按单位、区域、图像、文本、数字等进行归类属性；可以根据归类属性的数据量和归类属性的权重来确定分解数据的第一优先级，归类属性的数据量越大，归类属性的权重越高，则该归类属性的第一优先级越高。上述的粒度维度可以是指数据的导入量级，可以根据分解的导入量级来确定分解数据的第二优先级，导入量级越大，则第二优先级越高。

在本发明实施例中，上述的待导入池是根据第三方前台的硬件资源进行开辟，用于临时存储分解数据，上述临时存储的分解数据是根据预设的数据导入规则将分解数据录入的。

104、通过待导入池将分解数据导入到服务端。

在本发明实施例中，可以通过上述待导入池将上述分解数据按导入规则导入到所述服务端。

本发明实施例中，基于第三方前台，建立与服务端和资源端的连接，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务；接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；根据预设的数据导入规则将所述分解数据录入待导入池；通过所述待导入池将所述分解数据导入到所述服务端。本发明可以通过第三方前台建立与服务端和资源端的连接，使得数据导入不依赖于服务端的前端来进行，在接收到原始数据后，对原始数据进行分解，根据不同的分解维度可以得到对应的分解数据，从而可以对分解数据在导入过程中进行追踪，从而获取到分解数据的导入情况，在导入失败的情况下，将对应的分解数据进行重新导入即可。

可选的，在本发明实施例中，可以根据上述导入失败信息以及上述分解记录表，确定需要进行断点续导的待续导数据；根据预先设定的续导策略，确定上述待续导数据的导入优先级；根据上述待续导数据的导入优先级，开辟对应的续导池对上述待续导数据进行导入。上述断点续导指的是从断开的点开始重新导入数据。由于可以从分解记录表快速查找到对应的分解数据，可以及时进行续导，由于分解数据的导入量级限定，因此可以将导入失败的数据量限制在导入量级之内，可以根据分解记录快速找到导入失败的分解数据并快速进行续导。

可选的，在本发明实施例中，上述导入失败信息包括基于归类维度的第一导入失败原因以及基于粒度维度的第二导入失败原因，预先设定的续导策略可以是：根据上述待续导数据对应的分解数据的第一优先级以及第一导入失败原因，确定上述待续导数据的第一优先级；根据上述待续导数据对应的分解数据的第二优先级以及第二导入失败原因，确定上述待续导数据的第二优先级；根据上述待续导数据的第一优先级与上述待续导数据的第二优先级，确定上述待续导数据的导入优先级。

进一步的，第一导入失败原因可以是该归类属性的常规失败原因和非常规失败原因，上述常规失败原因为已经出现过的失败原因，上述非常规原因为末出现过的失败原因，对于常规失败原因设置一个第一权重来对上述第一优先级进行加权，对于非常规失败原因设置一个第二权重来对上述第一优先级进行加权，得到待续导数据的第二优先级，上述第一权重大于上述第二权重，具体的，上述第一权重为0.8－1，上述第一权重随着常规失败原因的次数增加而增加，因为常规失败原因的出现次数越多，代表其被快速解决的概率越大，上述第二权重为0.5。同样的，第二导入失败原因可以是导入量级的常规失败和非常规失败原因，对于常规失败原因设置一个第三权重来对上述第二优先级进行加权，对于非常规失败原因设置一个第四权重来对上述第二优先级进行加权，得到待续导数据的第二优先级，上述第三权重大于上述第四权重，具体的，上述第三权重为0.8－1，上述第三权重随着常规失败原因的次数增加而增加，因为常规失败原因的出现次数越多，代表其被快速解决的概率越大，上述第四权重为0.5。待续导数据的导入优先级可以是上述待续导数据的第一优先级与上述待续导数据的第二优先级之和。

可选的，在本发明实施例中，可以根据上述待续导数据的导入优先级，分别开辟对应于上述服务端的第一续导池以及对应于本地存储端或移动存储端的第二续导池；通过第一线程池将上述第一续导池中的待续导数据导入到上述服务端，并将上述服务端的续导结果更新到上述导入结果表；通过第二线程池将上述第二续导池中的待续导数据导入到上述本地存储端或移动存储端，并将上述本地存储端或移动存储端的续导结果更新到上述导入结果表，上述本地存储端或移动存储端的续导结果包括存储地址。

现场导入失败的分解数据在间隔预设时间后可以通过本地存储端、移动存储端或服务端进行提示，从而提示用户在预设的时间内上传到服务端，方便在现场驻留时间紧张的情况下，通过本地存储端或移动存储端的分解数据进行断点续导，也能使服务端获取完整的数据端的数据。由于将原始数据被拆分为分解数据，单个分解数据属于数据量小的情况，当未导入数据的数量达到一定数量或比例时，则提示工作人员对导入系统或导入装置进行检查和维护，或者匹配自动检查和维护方案，自动检查和维护方案为预设配置在方案池中的。

可选的，在本发明实施例中，可以根据不同的归类属性对应的导入效率来确定各个归类属性的导入量级，上述导入效率可以根据导入速度和导入成功率来进行确定，具体的，导入速度与导入线程相关，每个导入线程用于导入一个归类属性的分解数据，导入失败率可以根据历史导入数据的失败率来进行估计，这样，可以最优化导入的时间，从而提高导入的效率。在本发明实施例中，以导入时间最小为目标函数，建立导入量级优化模型如下述式子所示：

T≤T

q

v

在上述导入量级优化模型中，minT表示导入时间最小，T

需要说明的是，本发明实施例提供的数据导入方法可以应用于可以进行数据导入的智能手机、电脑、服务器等设备。

可选的，请参见图3，图3是本发明实施例提供的一种数据导入装置的结构示意图，如图3所示，所述装置包括：

连接模块301，用于基于第三方前台，建立与服务端和资源端的连接，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务；

分解模块302，用于接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；

录入模块303，用于根据预设的数据导入规则将所述分解数据录入待导入池；

导入模块304，用于通过所述待导入池将所述分解数据导入到所述服务端。

可选的，如图4所示，所述分解模块302，包括：

第一分解单元3021，用于根据所述归类维度对所述原始数据进行第一分解，得到归类数据；

第二分解单元3022，用于根据所述粒度维度对所述归类数据进行第二分解，得到分解数据；

记录单元3023，用于对所述第一分解与所述第二分解进行记录，得到所述分解数据的分解记录。

可选的，如图5所示，所述装置还包括：

处理模块305，用于将所述分解记录按所述预设的数据导入规则进行处理，得到分解记录表；

判断模块306，用于根据所述分解记录表，对所述分解数据的导入状态进行判断，得到导入结果表，所述导入结果表包括所述分解数据的导入成功信息和导入失败信息；

续导模块307，用于根据所述导入失败信息进行断点续导。

可选的，如图6所示，所述处理模块305，包括：

第一确定单元3051，用于根据所述分解数据的归类维度，确定所述分解数据的第一优先级；

第二确定单元3052，用于根据所述分解数据的粒度维度，确定所述分解数据的第二优先级；

排序单元3053，用于根据所述分解数据的第一优先级与所述分解数据的第二优先级，将所述分解记录进行排序处理，得到所述分解记录表。

可选的，如图7所述，所述续导模块307，包括：

第三确定单元3071，用于根据所述导入失败信息以及所述分解记录表，确定需要进行断点续导的待续导数据；

第四确定单元3072，用于根据预先设定的续导策略，确定所述待续导数据的导入优先级；

开辟单元3073，用于根据所述待续导数据的导入优先级，开辟对应的续导池对所述待续导数据进行导入。

可选的，如图8所述，所述第四确定单元3072，包括：

第一确定子单元30721，用于根据所述待续导数据对应的分解数据的第一优先级以及第一导入失败原因，确定所述待续导数据的第一优先级；

第二确定子单元30722，用于根据所述待续导数据对应的分解数据的第二优先级以及第二导入失败原因，确定所述待续导数据的第二优先级；

第三确定子单元30723，用于根据所述待续导数据的第一优先级与所述待续导数据的第二优先级，确定所述待续导数据的导入优先级。

可选的，如图9所示，所述开辟单元3073，包括：

开辟子单元30731，用于根据所述待续导数据的导入优先级，分别开辟对应于所述服务端的第一续导池以及对应于本地存储端或移动存储端的第二续导池；

第一更新子单元30732，用于通过第一线程池将所述第一续导池中的待续导数据导入到所述服务端，并将所述服务端的续导结果更新到所述导入结果表；

第二更新子单元30733，用于通过第二线程池将所述第二续导池中的待续导数据导入到所述本地存储端或移动存储端，并将所述本地存储端或移动存储端的续导结果更新到所述导入结果表，所述本地存储端或移动存储端的续导结果包括存储地址。

需要说明的是，本发明实施例提供的数据导入装置可以应用于可以进行图层级的业务分析的智能手机、电脑、服务器等设备。

本发明实施例提供的数据导入装置能够实现上述方法实施例中数据导入方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图10，图10是本发明实施例提供的一种电子设备的结构示意图，如图10所示，包括：存储器1002、处理器1001及存储在所述存储器1002上并可在所述处理器1001上运行的数据导入方法的计算机程序，其中：

处理器1001用于调用存储器1002存储的计算机程序，执行如下步骤：

基于第三方前台，建立与服务端和资源端的连接，所述资源端提供用于身份落地的原始数据，所述服务端根据导入的原始数据提供身份落地服务；

接收资源端发送的所述原始数据，并按预设的分解维度对所述原始数据进行分解，得到分解数据；

根据预设的数据导入规则将所述分解数据录入待导入池；

通过所述待导入池将所述分解数据导入到所述服务端。

可选的，所述分解维度包括归类维度以及粒度维度，处理器1001执行的所述按预设的分解维度对所述原始数据进行分解，得到分解数据，包括：

根据所述归类维度对所述原始数据进行第一分解，得到归类数据；

根据所述粒度维度对所述归类数据进行第二分解，得到分解数据；

对所述第一分解与所述第二分解进行记录，得到所述分解数据的分解记录。

可选的，所述处理器1001执行方法还包括：

将所述分解记录按所述预设的数据导入规则进行处理，得到分解记录表；

根据所述分解记录表，对所述分解数据的导入状态进行判断，得到导入结果表，所述导入结果表包括所述分解数据的导入成功信息和导入失败信息；

根据所述导入失败信息进行断点续导。

可选的，所述数据导入规则包括导入优先级，处理器1001执行的所述将所述分解记录按所述预设的数据导入规则进行处理，得到分解记录表，还包括：

根据所述分解数据的归类维度，确定所述分解数据的第一优先级；

根据所述分解数据的粒度维度，确定所述分解数据的第二优先级；

根据所述分解数据的第一优先级与所述分解数据的第二优先级，将所述分解记录进行排序处理，得到所述分解记录表。

可选的，处理器1001执行的所述根据所述导入失败信息进行断点续导，包括：

根据所述导入失败信息以及所述分解记录表，确定需要进行断点续导的待续导数据；

根据预先设定的续导策略，确定所述待续导数据的导入优先级；

根据所述待续导数据的导入优先级，开辟对应的续导池对所述待续导数据进行导入。

可选的，所述导入失败信息包括基于归类维度的第一导入失败原因以及基于粒度维度的第二导入失败原因，处理器1001执行的所述根据预先设定的续导策略，确定所述待续导数据的导入优先级，包括：

根据所述待续导数据对应的分解数据的第一优先级以及第一导入失败原因，确定所述待续导数据的第一优先级；

根据所述待续导数据对应的分解数据的第二优先级以及第二导入失败原因，确定所述待续导数据的第二优先级；

根据所述待续导数据的第一优先级与所述待续导数据的第二优先级，确定所述待续导数据的导入优先级。

可选的，处理器1001执行的所述根据所述待续导数据的导入优先级，开辟对应的续导池对所述待续导数据进行导入，包括：

根据所述待续导数据的导入优先级，分别开辟对应于所述服务端的第一续导池以及对应于本地存储端或移动存储端的第二续导池；

通过第一线程池将所述第一续导池中的待续导数据导入到所述服务端，并将所述服务端的续导结果更新到所述导入结果表；

通过第二线程池将所述第二续导池中的待续导数据导入到所述本地存储端或移动存储端，并将所述本地存储端或移动存储端的续导结果更新到所述导入结果表，所述本地存储端或移动存储端的续导结果包括存储地址。

需要说明的是，本发明实施例提供的电子设备可以应用于可以进行数据导入的智能手机、电脑、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中数据导入方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的数据导入方法或应用端数据导入方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。