掌桥专利:专业的专利平台
掌桥专利
首页

一种数据同步方法及装置

文献发布时间:2023-06-19 10:24:22


一种数据同步方法及装置

技术领域

本申请涉及安防数据处理相关技术领域,尤其是涉及一种数据同步方法及装置。

背景技术

现在的网络很发达,这也导致了网络中存在各种黑客攻击的不安全因素,而数据是企业、用户的核心内容,为了保护数据的安全,不被攻击和各种非法窃取泄露,会使用一些网络策略以及物理隔离等方式以规避外部攻击。在安防系统中,安防系统的内网和诸如互联网等外网是隔离的,一些相关的信息数据是通过外网进行采集,然后通过边界设备传送到安防系统的内网中。

目前,针对不同类型的信息数据需要多次设置边界设备转移策略,最后转移到安防系统的内网对文件以及对应的业务数据进行处理,不同业务类型的业务数据需要重复执行上述步骤造成资源的浪费,出现问题进行排查也比较困难,此外,边界设备及边界设备转移策略的设置都是由外部厂家开发制作,每增加新的业务类型的业务数据时,就需要外部厂家设置边界设备转移策略,过程繁琐。

发明内容

本申请实施例提供一种数据同步方法及装置,用于解决针对不同类型的信息数据需要多次设置边界设备转移策略,过程繁琐,造成资源浪费的技术问题。

本申请实施例提供一种数据同步方法,包括:

获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识;

处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;

将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;

处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;

根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。

在本实施例所提供的数据同步方法中,所述获取至少两种业务用途的待同步数据的步骤之前,还包括:

配置位于所述第一网络的第一文件夹和位于所述第二网络的第二文件夹,并绑定所述第一文件夹与所述第二文件夹。

在本申请实施例所提供的的数据同步方法中,所述处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹的步骤,包括:

根据所述待同步数据的用途标识和数据内容将所述待同步数据按照预设内容格式写入到所述待同步文件;

根据所述待同步数据的用途标识生成所述待同步文件的文件标识;

将所述待同步文件存储至位于第一网络的第一文件夹。

在本申请实施例所提供的的数据同步方法中,所述将所述待同步文件存储至位于所述第一网络的第一文件夹的步骤,包括:

将所述待同步文件加入到缓存队列;

设置第一绝对时间节点和第一周期,判断所述第一绝对时间节点与当前时间节点的差值是否为所述第一周期的整数倍;

当所述第一绝对时间节点与当前时间节点的差值为所述第一周期的整数倍时,将所述缓存队列中的待同步文件,复制至位于所述第一网络的第一文件夹,并将所述缓存队列中的待同步文件删除。

在本申请实施例所提供的的数据同步方法中,在所述判断所述第一绝对时间节点与当前时间节点的差值是否为所述第一周期的整数倍的步骤之前,还包括:

判断所述缓存队列中的所述待同步文件的文件大小是否大于一设定阈值;

当所述缓存队列中的所述待同步文件的文件大小大于所述设定阈值时,将所述缓存队列中的待同步文件,复制至位于所述第一网络的第一文件夹,并将所述缓存队列中的待同步文件删除。

在本申请实施例所提供的的数据同步方法中,所述将所述待同步文件加入到缓存队列的步骤,包括:

按照各所述待同步文件生成的时间顺序将所述待同步文件加入到缓存队列,其中,不同待同步文件对应不同的文件标识。

在本申请实施例所提供的的数据同步方法中,所述将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件的步骤,包括:

设置第二绝对时间节点和第二周期,判断所述第二绝对时间节点与当前时间节点的差值是否为所述第二周期的整数倍;

当所述第二绝对时间节点与当前时间节点的差值为所述第二周期的整数倍时,将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件,并将所述第一文件夹内的待同步文件删除。

在本申请实施例所提供的的数据同步方法中,所述处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据的步骤,包括:

设置第三绝对时间节点和第三周期,判断所述第三绝对时间节点与当前时间节点的差值是否为所述第三周期的整数倍;

当所述第三绝对时间节点与当前时间节点的差值为所述第三周期的整数倍时,解析所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配。

本申请还提供一种数据同步装置,包括:

数据获取单元,用于获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识;

数据预处理单元,用于处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;

边界数据转移单元,用于将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;

数据解析单元,用于处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;

业务分配单元,用于根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。

在本申请实施例所提供的数据同步装置中,所述边界数据转移单元还用于配置位于所述第一网络的第一文件夹和位于所述第二网络的第二文件夹,并绑定所述第一文件夹与所述第二文件夹。

本申请还提供一种电子设备,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行上述任一项所述的前端设备控制方法中的操作。

有益效果:本申请实施例提供一种数据同步方法及装置,所述数据同步方法先获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识;然后处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;然后将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;然后处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;最后根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。本申请实施例通过处理携带不同用途标识的待同步数据得到待同步文件,并通过使所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配,使得不同的待同步数据对应统一格式的待同步文件,只需配置一次边界设备转移策略,即可使不同文件标识的待同步文件由第一网络的第一文件夹转移至第二网络的第二文件夹,并且,通过处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,实现了对不同待处理数据很好的区分和处理。

附图说明

下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的安防系统的组网示意图。

图2为本申请实施例提供的数据同步方法的流程示意图。

图3为本申请实施例提供的数据同步方法中的不同待同步数据携带不同用途标识对应的映射关系示意图。

图4为本申请实施例提供的数据同步方法中的待同步数据与待同步文件标识和内容的映射关系示意图。

图5为本申请实施例提供的数据同步方法中的将缓存列队中待同步文件复制至第一文件夹的逻辑框图。

图6为本申请实施例提供的数据同步方法中根据待处理数据的用途标识将待处理数据存储到对应业务用途的业务数据文件夹的示意图。

图7为本申请实施例提供的数据同步方法的另一种流程示意图。

图8为本申请实施例提供的数据同步装置的结构示意图。

图9为本申请实施例提供的数据服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

请参阅图1,图1为本申请实施例提供的安防系统的组网示意图,该系统可以包括设备和服务器,设备与服务器之间可以通过各种网关组成的互联网等方式连接通信,其中,设备包括前端设备11等,服务器包括数据服务器12以及通信服务器,图1中未示出通信服务器等,其中:

前端设备11可以应用于智慧小区的场景中,包括但不局限于嵌入式高清摄像机、工控机、高清相机等,用于对通过前端设备的车辆、行人进行数据采集,数据采集包括但不局限于对车辆的车牌号码(号码可以是假牌或者套牌)、车牌类型(私家车的蓝底车牌、货车的黄底车牌等)、行人的人脸数据、小区信息、楼栋信息、设备信息、住户信息、网约车、出租等信息。

服务器包括本地服务器和/或远程服务器等。数据服务器12以及通信服务器都可以部署在本地服务器,也可以部分或者全部部署在远程服务器上。

数据服务器12可以获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识;处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。

需要说明的是,图1所示的系统场景示意图仅仅是一个示例,本申请实施例描述的服务器以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。

图2是本申请实施例提供的数据同步方法的流程示意图,请参阅图2,该数据同步方法包括以下步骤:

201:获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识。

在一种实施例中,获取至少两种业务用途的待同步数据包括数据服务器接收至少一个前端设备上传的诸如视频流或图片等包含多种业务用途的待同步数据,具体获取待同步数据的方式还可以通过互联网数据采集的方式,数据服务器提供一http接口,前端设备可以定时将不同业务用途的数据推送到所述http 接口,数据服务器可以通过http主动拉取模式获取所述待同步数据,当然,具体获取待同步数据的方式还可以是通过其它信息交互的方式,在此不再赘述。

在一种实施例中,不同所述待同步数据采用统一设定的数据格式,在获取所述待同步数据的过程中,还包括对诸如前端设备所获取的不同用途的原始业务数据进行处理的步骤,以获取所述待同步数据,所述原始业务数据携带用途标识,不同业务用途的原始业务数据对应不同的用途标识,所述原始业务数据和所述待同步数据的用途标识和数据内容相匹配,具体的,对原始业务数据进行处理,以获取所述待同步数据的步骤,包括:将所述原始业务数据封装成诸如json格式的统一格式,以获取为json格式的待同步数据,并且,呈json格式的所述待同步数据的key值至少包含所述原始业务数据的用途标识,呈json 格式的所述待同步数据的value值可以包含所述原始业务数据的数据内容,所述待同步数据可以以该key值作为所述待同步数据的用途标识,所述待同步数据可以以该value值作为所述待同步数据的数据内容,显然,不同待同步数据的用途标识不同,可以理解的是,json(JavaScript Object Notation,JS对象简谱) 是一种轻量级的数据交换格式,所述对原始业务数据进行处理以获取所述待同步数据的步骤可以是在前端设备中完成,也可以是在数据服务器中完成,在此不做限制。

在一实施例中,如图3所示,在智慧小区等具体的应用场景中,按照业务用途划分,所述待同步数据可以至少包括功能业务数据和基础业务数据,所述功能业务数据的用途标识和所述基础业务数据的用途标识可以包含不同的数据分类编码以作为区分,例如:所述功能业务数据可以是诸如人脸信息和机动车信息等可进一步用于识别或分析的信息,对应的所述数据分类编码可以包含 face或vechile等标识,所述基础业务数据可以是小区信息、楼栋信息、设备信息、住户信息等常规信息,对应的所述数据分类编码可以是包含base等标识,进一步的,多个所述功能业务数据或多个所述基础业务数据的用途标识还可以包含不同的单位编码以进行区分,例如,所述功能业务数据的用途标识和基础业务数据的用途标识还可以包含不同厂家、设备、小区、社区或时间段等区分单元特征,可以具备不同的单位编码;当然,也可以是其它区分形式,在此不再赘述。

需要说明的是,在获取至少两种业务用途的待同步数据的步骤之后,还包括将获取的待同步数据加入到数据缓存队列中,具体的,数据缓存队列是通过ConcurrentHashMap来实现,其中,ConcurrentHashMap是一个并发散列映射表, 它允许完全并发的读取,并且支持给定数量的并发更新,保证线程的安全和实时性,防止数据量过多的时候,接收数据和消费数据不同步,进一步的,还可以周期性的遍历所述数据缓存队列,处理所述数据缓存队列中的待同步数据得到待同步文件。

本申请实施例中所采用的数据获取方式和数据处理方式均为了说明本申请的方案实现过程,其设置方式不用于限定本申请的具体实现方式,在实际数据获取和处理的过程中,根据实际使用情况可选择数据获取和处理的方式。

202:处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配。

在一种实施例中,可以理解的是,处理所述待同步数据得到待同步文件,每一所述待同步数据对应一所述待同步文件,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配,可以理解的是,所述待同步文件的文件标识至少包括所述用途标识中的数据分类编码,具体的,所述数据分类编码可以是前述实施例中的face、vechile、base 等字段,显然,通过将所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配,以便于通过各所述待同步文件的文件标识区分不同文件的业务用途,不用考虑对不同业务用途的待同步数据或待同步文件进行区分的问题,从而可以将不同的待同步文件统一存储至位于第一网络的第一文件夹。

在一种实施例中,具体处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配的步骤中,可以根据所述待同步数据的用途标识和数据内容将所述待同步数据按照预设内容格式写入到所述待同步文件,并根据所述待同步数据的用途标识生成所述待同步文件的文件标识,以使所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;以使得不同所述待同步文件具备统一的文件标识和文件内容格式。

承上,如图4所示,需要说明的是,基于前述将所述待同步数据统一封装成json格式的基础上,首先,根据所述待同步数据的用途标识生成所述待同步文件的文件标识,也即可以理解为是根据所述待同步数据的key值生成所述待同步文件的文件标识,例如,所述待同步文件的文件标识的格式可以是“key_ 时间戳.txt”,其中,时间戳可以是所述待同步文件生成的时间;其次,根据所述待同步数据的用途标识和数据内容将所述待同步数据按照预设内容格式写入到所述待同步文件,也即可以理解为是根据所述待同步数据的key值和value 值将所述待同步数据按照预设内容格式写入到所述待同步文件,所述预设内容格式可以是key值和value值的组合,例如,所述预设内容格式为第一行为所述key值,第二行为value值,具体还可以是其它组合形式,在此不做限制。

在一实施例中,如图5所示,所述将所述待同步文件存储至位于所述第一网络的第一文件夹的步骤,包括:将所述待同步文件加入到缓存队列;设置第一绝对时间节点和第一周期,判断所述第一绝对时间节点与当前时间节点的差值是否为所述第一周期的整数倍;当所述第一绝对时间节点与当前时间节点的差值为所述第一周期的整数倍时,将所述缓存队列中的待同步文件,复制至位于所述第一网络的第一文件夹,并将所述缓存队列中的待同步文件删除;通过将所述待同步文件加入到缓存队列再定时写入到所述第一网络的第一文件夹的方式,可以将一个所述第一周期内生成的所有所述待同步文件一次性的写入到所述第一网络的第一文件夹,避免每生成一所述述待同步文件就写入一次到所述第一网络的第一文件夹,可以极大的减少重复写入的操作次数。

需要说明的是,当前时间节点为服务器的本地时间,例如服务器设置在采用北京时间的地点,则当前时间为北京时间,服务器可以通过北斗系统周期性的更新本地时间以保证时间准确性。

在一实施例中,所述将所述待同步文件加入到缓存队列的步骤,包括按照各所述待同步文件生成的时间顺序将所述待同步文件加入到缓存队列,其中,不同待同步文件对应不同的文件标识;可以理解的是,如前述实施例所述,不同业务用途的所述待同步文件可以通过所述文件标识内的数据分类编码进去业务用途的区分,相同业务用途的所述待同步文件也可以通过所述文件标识内的单位编码进一步区分。

在一实施例中,如图5所示,所述判断所述第一绝对时间节点与当前时间节点的差值是否为所述第一周期的整数倍的步骤之前,还包括判断所述缓存队列中的所述待同步文件的文件大小是否大于一设定阈值;当所述缓存队列中的所述待同步文件的文件大小大于所述设定阈值时,将所述缓存队列中的待同步文件,复制至位于所述第一网络的第一文件夹,并将所述缓存队列中的待同步文件删除;可以理解的是,当所述缓存队列中的所述待同步文件的文件大小小于等于所述设定阈值时,则进一步判断所述第一绝对时间节点与当前时间节点的差值是否为所述第一周期的整数倍;通过在所述缓存队列中的所述待同步文件的文件大小大于所述设定阈值时,直接将所述缓存队列中的待同步文件,复制至位于所述第一网络的第一文件夹,避免一次写入到所述第一网络的第一文件夹的所述待同步文件过大造成数据堵塞或者出现文件丢失。

203:将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;

在一实施例中,所述第一网络的第一文件夹与所述第二网络的第二文件夹通过边界设备转移策略的配置相互关联,本实施例中,所述第一网络可以是互联网,所述第二网络可以是安防系统内的视频网,将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件,在本实施例中,也即是将所述待同步文件由互联网转移至视频网。

在一实施例中,所述将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件的步骤,包括设置第二绝对时间节点和第二周期,判断所述第二绝对时间节点与当前时间节点的差值是否为所述第二周期的整数倍;当所述第二绝对时间节点与当前时间节点的差值为所述第二周期的整数倍时,将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件,并将所述第一文件夹内的待同步文件删除。也即是以所述第二周期为一个周期时间,周期性的遍历所述第一网络的第一文件夹,将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件,并将所述第一文件夹内的待同步文件删除。

204:处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;

需要说明的是,本实施例中,可以是通过解析的方式处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配,可以理解的是,解析后得到的所述待处理数据可以为前述封装的json格式,并且,呈json格式的所述待处理数据与呈json格式的所述待同步数据的用途标识和数据内容相匹配,也即是所述待同步数据的key值与所述待处理数据的key值至少包括相同的用途标识,并且,所述待同步数据的value值与所述待处理数据的value值至少包含相同的数据内容。

在一实施例中,所述处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据的步骤,包括设置第三绝对时间节点和第三周期,判断所述第三绝对时间节点与当前时间节点的差值是否为所述第三周期的整数倍;当所述第三绝对时间节点与当前时间节点的差值为所述第三周期的整数倍时,解析所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配。可以理解的是,以所述第三周期为周期,周期性的处理所述第二文件夹内的待处理文件,具体的,可以是周期性的下载所述第二文件夹内的待处理文件,然后对各所述待处理文件解析以获得对应的待处理数据。

205:根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。

可以理解的是,根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,也即是根据所述待处理数据的key值识别所述待处理数据的业务用途,并将所述待处理数据存储到对应的业务数据文件夹,值得说明的是,不同业务数据对应不同的业务数据文件夹,从而将不同业务用途的待处理数据分类存储在对应业务用途的业务数据文件夹。

在一实施例中,如图6所示,当所述待处理数据的key值中包含诸如face 或vechile等字段的数据分类编码时,可以判断所述待处理数据为功能业务数据,并且,所述待处理数据的功能种类为人脸数据或车辆数据,此类数据可用于进一步的信息识别或其它功能用途,此时,可将所述待处理数据储存到功能业务数据文件夹,例如,可以将所述待处理数据封装后发送到kafka消息队列中,便于提供给其它业务系统使用。此外,当所述待处理数据的key值中包含诸如base等字段的数据分类编码时,可以判断所述待处理数据为基础业务数据,此时,可将所述待处理数据储存到基础业务数据文件夹,进一步的,还可以根据所述待处理数据的key值中包含的单位编码,判断所述待处理数据具体属于哪一类的基础数据,然后将所述待处理数据插入到基础业务数据文件夹中对应的基础业务数据子文件夹。

本实施例提供了一种数据同步方法,通过处理携带不同用途标识的待同步数据得到待同步文件,并通过使所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配,使得不同的待同步数据对应统一格式的待同步文件,只需配置一次边界设备转移策略,即可使不同文件标识的待同步文件由第一网络的第一文件夹转移至第二网络的第二文件夹,并且,通过处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,实现了对不同待处理数据很好的区分和处理。

值得注意的是,如图7所示,在一实施例中,在所述获取至少两种业务用途的待同步数据的步骤之前,还包括:

200:配置位于所述第一网络的第一文件夹和位于所述第二网络的第二文件夹,并绑定所述第一文件夹与所述第二文件夹。

需要说明的是,具体配置所述所述第一网络的第一文件夹和位于所述第二网络的第二文件夹,使所述第一文件夹与所述第二文件夹相互关联的步骤,也即是配置边界设备转移策略,该步骤可以包括:配置服务器与所述第一网络的访问端口,然后配置位于所述第一网络的第一文件夹和位于所述第二网络的第二文件夹,所述第一文件夹与所述第二文件夹相互关联,也即是,所述第一网络与所述第二网络进行交互,只能通过配置好的相互关联的所述第一文件夹和所述第二文件夹;即实现第一网络与第二网络的物理隔离,具体的,配置位于所述第一网络的第一文件夹和位于所述第二网络的第二文件夹,并绑定所述第一文件夹与所述第二文件夹的步骤位于获取至少两种业务用途的待同步数据之前,本申请仅需配置一次边界设备转移策略,无需根据数据的不同业务配置进行多次重复配置边界设备转移策略,在增加新的不同业务用途的数据时,也无需再重复配置边界设备转移策略,所述第一网络可以是互联网,所述第二网络可以是安防系统内的视频网,将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件,在本实施例中,也即是将所述待同步文件由互联网转移至视频网。

相应的,本申请还提供一种数据同步装置,图8为本申请实施例提供的数据同步装置的结构示意图;请参阅图8,该数据同步装置包括以下模块:

数据获取单元801,用于获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识;

数据预处理单元802,用于处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;

边界数据转移单元803,用于将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;

数据解析单元804,用于处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;

业务分配单元805,用于根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。

在一实施例中,所述边界数据转移单元803还用于配置位于所述第一网络的第一文件夹和位于所述第二网络的第二文件夹,并绑定所述第一文件夹与所述第二文件夹。

在一实施例中,所述数据预处理单元802包括数据转换单元、缓存单元、第一定时单元、检测单元,所述数据转换单元用于根据所述待同步数据的用途标识和数据内容将所述待同步数据按照预设内容格式写入到所述待同步文件,并根据所述待同步数据的用途标识生成所述待同步文件的文件标识,以使所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;所述缓存单元用于将所述待同步文件加入到缓存队列;所述第一定时单元用于设置第一绝对时间节点和第一周期,判断所述第一绝对时间节点与当前时间节点的差值是否为所述第一周期的整数倍;当所述第一绝对时间节点与当前时间节点的差值为所述第一周期的整数倍时,将所述缓存队列中的待同步文件,复制至位于所述第一网络的第一文件夹,并将所述缓存队列中的待同步文件删除。所述检测单元用于判断所述缓存队列中的所述待同步文件的文件大小是否大于一设定阈值;当所述缓存队列中的所述待同步文件的文件大小大于所述设定阈值时,将所述缓存队列中的待同步文件,复制至位于所述第一网络的第一文件夹,并将所述缓存队列中的待同步文件删除。

在一实施例中,所述缓存单元用于按照各所述待同步文件生成的时间顺序将所述待同步文件加入到缓存队列,其中,不同待同步文件对应不同的文件标识。

所述数据同步装置还包括第二定时单元和第三定时单元,所述第二定时单元用于设置第二绝对时间节点和第二周期,判断所述第二绝对时间节点与当前时间节点的差值是否为所述第二周期的整数倍;当所述第二绝对时间节点与当前时间节点的差值为所述第二周期的整数倍时,将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件,并将所述第一文件夹内的待同步文件删除。所述第三定时单元用于设置第三绝对时间节点和第三周期,判断所述第三绝对时间节点与当前时间节点的差值是否为所述第三周期的整数倍;当所述第三绝对时间节点与当前时间节点的差值为所述第三周期的整数倍时,解析所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配。

相应的,本申请实施例还提供一种数据服务器,如图9所示,该数据服务器可以包括射频(RF,Radio Frequency)电路901、包括有一个或一个以上计算机可读存储介质的存储器902、输入单元903、显示单元904、传感器905、音频电路906、无线保真(WiFi,WirelessFidelity)模块907、包括有一个或者一个以上处理核心的处理器908、以及电源909等部件。本领域技术人员可以理解,图9中示出的数据服务器结构并不构成对数据服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部分,或者不同的部件布置。其中:

RF电路901可用于收发信息或通话过程中,信号的接受和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器908处理;另外,将涉及上行的数据发送给基站。存储器902可用于存储软件程序以及模块,处理器908通过运行存储在存储器902的软件程序以及模块,从而执行各种功能应用以及数据处理。输入单元903可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

显示单元904可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

数据服务器还可包括至少一种传感器905,比如光传感器、运动传感器以及其他传感器。音频电路906包括扬声器,扬声器可提供用户与数据服务器之间的音频接口。

WiFi属于短距离无线传输技术,数据服务器通过WiFi模块907可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块907,但是可以理解的是,其并不属于数据服务器的必须构成,完全可以根据需要在不改变申请的本质的范围内而省略。

处理器908是数据服务器的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器902内的软件程序和/或模块,以及调用存储在存储器902内的数据,执行数据服务器的各种功能和处理数据,从而对手机进行整体监控。

数据服务器还包括给各个部件供电的电源909(比如电池),优选的,电源可以通过电源管理系统与处理器908逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出,数据服务器还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,数据服务器中的处理器908会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中,并由处理器908来运行存储在存储器902中的应用程序,从而实现以下功能:

获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识;处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文的详细描述,此处不再赘述。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以实现以下功能:

获取至少两种业务用途的待同步数据,所述待同步数据携带用途标识,不同业务用途的待同步数据对应不同的用途标识;处理所述待同步数据得到待同步文件并存储至位于第一网络的第一文件夹,所述待同步文件的文件标识与所述用途标识相匹配,所述待同步文件的文件内容与所述待同步数据相匹配;将所述第一文件夹内的待同步文件,复制至位于第二网络的第二文件夹,得到待处理文件;处理所述第二文件夹内的待处理文件,得到各待处理文件对应的待处理数据,所述待处理数据与所述待同步数据的用途标识和数据内容相匹配;根据所述待处理数据的用途标识将所述待处理数据存储到对应业务用途的业务数据文件夹,不同业务数据对应不同的业务数据文件夹。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种方法中的步骤,因此,可以实现本申请实施例所提供的任一种方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种数据同步方法及装置、数据服务器及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

相关技术
  • 时间同步方法、数据同步方法、装置、系统、设备和介质
  • 数据同步方法、数据同步装置、数据同步设备及存储介质
技术分类

06120112533356