一种基于多通道的同步分道存储方法

技术领域

本发明涉及内存存储技术领域，特别涉及一种基于多通道的同步分道存储方法。

背景技术

目前，随着人工智能技术的发展，现有的存储设备为了适应具象化的场景，需要满足多数据同时传输的要求，会设计一些多数据接口的存储设备。多数据同时传输的时候，例如：在加油场景中，会通过监控设备获取加油的场景数据，通过加油箱的控制器获取加油的加油数据，通过支付软件获取用户的支付数据，这些数据都存在需要同步存储的情况，但是现有技术中，数据的存储无法做到时刻相同的同步存储。

发明内容

本发明提供一种基于多通道的同步分道存储方法，用以解决的情况。

一种基于多通道的同步分道存储方法，包括：

预先在存储设备中设置数据传输通道和数据分析驱动程序；

当接收到存储请求时，通过所述数据分析驱动确定待存储数据的数据源；

根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间；

根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量；

根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量；

根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备。

作为本发明的一种实施例：所述预先在存储设备中设置数据传输通道和数据分析驱动，包括：

根据所述存储设备，确定所述存储设备的数据接口的接口信息；其中，

所述接口信息包括：接口数量和接口协议；

将所述存储设备划分为通道层和存储层；

根据所述接口数量，在通道层设置对应数量的数据传输通道；

根据所述数据传输通道，将所述存储层和数据接口连通；

根据所述接口协议，在所述数据接口上设置数据分析驱动程序。

作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，包括：

根据所述存储请求，确定所述存储请求的请求内容；

根据所述请求内容，确定待传输数据的传输路径；

将所述数据分析驱动程序通过所述传输路径传输至所述待传输数据的数据源，并获取数据源信息；其中，

所述数据源信息包括数据源地址、数据源数量和数据源内的待传输数据的数据容量。

作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，还包括：

根据所述数据分析驱动程序，在所述待存储数据的传输路径上设置逻辑地址；其中，

所述逻辑地址为所述待存储数据在传输过程中的迁移节点地址；

根据所述逻辑地址在所述存储设备中设置对应的物理地址；

将所述逻辑地址和物理地址进行绑定，确定绑定关系；

在所述绑定关系确定后，将数据源与所述逻辑地址进行绑定。

作为本发明的一种实施例：所述根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间，包括：

获取所述数据源的数据采集方式，确定所述数据源的待存储数据的采集日志；

根据所述采集日志，判断所述数据源的待存储数据是否采集完成；

当所述数据源的待存储数据采集完成时，确定所述待存储数据的占用空间，将所述占用空间作为所述待存储数据的数据容量。并根据所述采集日志记录所述待存储数据的数据采集时间；

当所述数据源的待存储数据没有采集完成时，监控所述数据源的数据采集状态，直至数据采集完成。

作为本发明的一种实施例：所述根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量，包括：

将所述数据采集时间按照时刻进行划分，确定时刻划分信息；

根据所述时刻划分信息，确定每一时刻采集的待存储数据；

根据预设的数据打包功能，将所述待存储数据按照时刻进行打包，并将打包后的待存储数据作为一个存储文件；

根据所述存储文件，确定所述存储文件的文件字节数；

根据所述文件字节数，确定所述待存储文件的存储容量。

作为本发明的一种实施例：所述根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量，包括：

获取每个数据传输通道的通道信息，并确定带宽；

根据所述带宽，确定所有数据传输通道的带宽总和；

根据所述带宽总和带宽，确定每个数据传输通道的带宽占比；

根据所述带宽占比和总容量，确定每个数据传输通道的必要传输容量，并将所述必要传输容量作为可传输容量。

作为本发明的一种实施例：所述根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备，包括：

获取所述数据传输通道、逻辑地址和可传输容量，确定传输通道的通道传输规则；

获取所述存储文件的存储容量和数据源地址，确定存储文件的传输规则；

根据所述存储设备的存储接口，将所述通道传输规则和传输规则相匹配，对应所述存储文件和数据传输通道；

在所述存储文件和数据传输通道匹配后，通过所述数据传输通道将所述待存储文件传输至存储设备。

作为本发明的一种实施例：所述将所述通道传输规则和传输规则相匹配，包括以下步骤：

步骤1：检测所述通道传输规则，构建通道传输规则内容筛选函数A(i)：

其中，N表示数据传输通道的数量；δ

步骤2：检测所述存储文件的传输规则，构建数据源的数据传输函数B(j)：

其中，m表示数据源中存储文件的数量；∝

步骤3：根据所述通道传输规则内容筛选函数和数据源的数据传输函数，进行匹配，确定匹配参数μ(A|B)：

其中，

当所述匹配参数μ(A(i)|B(j))≤0时，表示匹配失败，表示第j个存储文件不能够从第i个数据传输通道进行传输；

当所述匹配参数μ(A(i)|B(j))＞0时，表示匹配成功，表示第j个存储文件能够从第i个数据传输通道进行传输。

本发明的有益效果在于：本发明符合在场景具象化时进行数据存储的要求，而在进行多设备进行数据传输的时候，也开始实现多设备不同通道的同步数据传输方便了多个数采集装置的高校数据存储需求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于多通道的同步分道存储方法的方法流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如附图1所示，本发明为一种基于多通道的同步分道存储方法，包括：

预先在存储设备中设置数据传输通道(数据传输通道用于进行数据传输，现有技术中，因为存储设备需要存储的数据的类型越来越多，在虚拟现实中现有技术中多是通过网络构建网络链路传输不同的数据，但是，通过硬件进行数据传输相对于网络传输其不受网速的影响，因此，会设计一些具有多个数据接收接口的存储设备，当然还有一些存储设备需要同时存储多个设备的也会设计多个数据传输接口，其相当于固定在硬盘上的扩展坞，本发明的数据传输通道是在存储硬盘上电后，会自动根据预设的程序构建数据传输通道，属于一种基于程序通过协议进行划分的数据传输通道)和数据分析驱动程序；本发明中数据传输通道根据接口数量进行设置，有多少接口，就有多少数据传输通道，数据分析驱动程序在接口连接到设备时，自动将数据分析驱动程序传输至待存储数据的数据源处。

当接收到存储请求时，通过所述数据分析驱动确定待存储数据的数据源；由数据分析驱动程序的反馈信息确定数据源，就是通过数据分析驱动程序对数据源进行追踪，确定需要进行数据传输的数据地址。

根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间(存在一些数据源的数据一直在进行数据采集，因此通过存储的数据的采集时间可以确定数据源的数据是否存储完全，而通过采集时间，可以将同一时间段获取的数据进行同步传输，也便于数据进行分析)；待存储数据的总容量是一定的，获取采集时间是为了实现同步传输。

根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量；将每个时刻的数据打包成一个存储文件(数据包)的时候，便于按照时间划分数据。因为同一时刻的数据方便进行划分，在传输之后也能够通过时间便于进行数据整合。

根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量；可传输容量是每个数据传输通道需要进行数据传输的数据容量。

根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应(即可以根据每个数据传输通道的数据传输容量大小和存储文件的大小，两个相对应，其也和数据传输通道的带宽是相关的带宽限制了传输速率。硬盘的带宽靠硬盘的控制器进行分配，数据传输通道在存储设备中和硬盘的数据传输总线相关。)，并同步传输至所述存储设备。时间确定、数据通道确定、数据在传输是每个通道的容量确定，就可以按照时间实现同步传输。

本发明的有益效果在于：本发明符合在场景具象化时进行数据存储的要求，而在进行多设备进行数据传输的时候，也开始实现多设备不同通道的同步数据传输方便了多个数采集装置的高校数据存储需求。

作为本发明的一种实施例：所述预先在存储设备中设置数据传输通道和数据分析驱动，包括：

根据所述存储设备，确定所述存储设备的数据接口的接口信息；其中，

所述接口信息包括：接口数量和接口协议；

将所述存储设备划分为通道层和存储层；通道层属于存储设备内部的数据中转层，用于划分数据传输通道，而存储层属于存储设备内部进行实际存储的区域。

根据所述接口数量(存储硬盘自带的数据接口)，在通道层设置对应数量的数据传输通道；接口数量和数据传输通道数量相同，因此，通道层设置的数据传输通道的数量就是接口数量。数据通道的设置是为了实现多通道的同步存储。

根据所述数据传输通道，将所述存储层和数据接口连通，就是将数据传输通道和存储层对接，数据传输通道和数据接口对接，实现同步数据传输；存储层和数据接口连通，实现了存储和传输的高效结合。

根据所述接口协议，在所述数据接口上设置数据分析驱动程序，数据分析驱动程序设置与数据接口，便于数据在连接外界数据存储设备时，可以第一时间启动数据分析驱动程序。接口协议确定了数据接口上的规则，因此，数据分析驱动程序也需要符合这些数据协议规则，将数据源的数据传输值存储设备中。

作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，包括：

根据所述存储请求，确定所述存储请求的请求内容；请求内容就是请求存储的待存储数据的信息，属于用户下发的存储指令。

根据所述请求内容，确定待传输数据的传输路径；即数据源的数据传输路径，请求内容中附带着数据源的数据存储地址，进而确定数据源，实现和数据源连通。

将所述数据分析驱动程序通过所述传输路径传输至所述待传输数据的数据源，并获取数据源信息；其中，

所述数据源信息包括数据源地址、数据源数量和数据源内的待传输数据的数据容量。数据源信息的目的是为了更高效，更精确的获得数据。

作为本发明的一种实施例：所述通过所述数据分析驱动程序确定待存储数据的数据源，还包括：

根据所述数据分析驱动程序，在所述待存储数据的传输路径上设置逻辑地址；其中，

所述逻辑地址为所述待存储数据在传输过程中的迁移节点地址；逻辑地址是中转过程中的地址，及数据传输通道的地址。逻辑地址的作用是在数据分析驱动程序将数据源的数据打包后，增高直接通过已经确定的数据传输通道进行数据传输。

根据所述逻辑地址在所述存储设备中设置对应的物理地址；物理地址就是存储设备中，存储层内的地址，就是最终存储地点的地址。其作用是建立多条能够直接进行数据传输的数据传输通道，进而四号线数据的同步传输。

将所述逻辑地址和物理地址进行绑定，确定绑定关系，绑定关系就是将数据传输通道和存储层的存储区域绑定，便于数据分析驱动程序分析后的数据能够快速传输，如果需要进行数据调取的时候也是可以根据分析分类后的数据进行快速调取。

在所述绑定关系确定后，将数据源与所述逻辑地址进行绑定。建立的绑定关系是为了实现更加精确的通过数据传输通道将数据传输至存储区域。

作为本发明的一种实施例：所述根据所述数据源，确定所述待存储数据的总容量，并获取所述待存储数据的采集时间，包括：

获取所述数据源的数据采集方式(采集方式很多，例如摄像采集、传感器采集，这些主要是为了便于确定数据源数据的获取时间、数据的大小、数据的类型，进而便于在进行数据传输的时候，更方便的进行数据打包)，确定所述数据源的待存储数据的采集日志；采集日志中包括待存储数据的数据容量、采集时间和具体的采集方式。

根据所述采集日志(采集日志中如果日志不是一直存在数据进入，那就说明数据已经采集完成，而一直有数据更新，就表示数据没有采集完成，进而防止数据在传输的时候具有缺失或者数据传输顺序絮乱)，判断所述数据源的待存储数据是否采集完成；因为本发明需要提前计算数据存储容量，因此需要判断采集日志是否完成。

当所述数据源的待存储数据采集完成时，确定所述待存储数据的占用空间，将所述占用空间作为所述待存储数据的数据容量。并根据所述采集日志记录所述待存储数据的数据采集时间；

当所述数据源的待存储数据没有采集完成时，监控所述数据源的数据采集状态，直至数据采集完成。监控数据源的数据采集状态，就是为了确定待存储数据的数据已经确定了带存储数据的全部数据信息。

作为本发明的一种实施例：所述根据所述采集时间，依次确定每一时刻的数据，并将每一时刻的数据打包为一个存储文件，确定每个存储文件的存储容量，包括：

将所述数据采集时间按照时刻进行划分，确定时刻划分信息；时刻可以实用户设定的时刻，也可以是每一瞬间的数据传输采集量。便于通过时间确定不同的数据包中包含什么数据。

根据所述时刻划分信息，确定每一时刻采集的待存储数据；就是确定每一时刻采集待存储数据的数据容量。

根据预设的数据打包功能，将所述待存储数据按照时刻进行打包，并将打包后的待存储数据作为一个存储文件；数据打包功能是为了实现更高效的数据传输，还能够实现数据的防丢包功能。

根据所述存储文件，确定所述存储文件的文件字节数；

根据所述文件字节数，确定所述待存储文件的存储容量。确定存储文件的数据容量是为了实现数据能够合理的划分给不同的数据传输通道。

作为本发明的一种实施例：所述根据所述总容量和数据传输通道的数量，确定每个数据传输通道的可传输容量，包括：

获取每个数据传输通道的通道信息，并确定带宽；带宽确定了每个数据传输通道的数据传输能力，因此通过每个数据传输通道的带宽，可以判断总的数据传输能力。

根据所述带宽，确定所有数据传输通道的带宽总和；即同一时间内所有数据传输通道同步进行数据传输时的数据传输量。

根据所述带宽总和带宽，确定每个数据传输通道的带宽占比；

根据所述带宽占比和总容量，确定每个数据传输通道的必要传输容量，并将所述必要传输容量作为可传输容量。带宽占比是为了确定每个数据传输通道的数据传输能力，是在总的数据传输能力中的占比，用于对每个数据传输通道划分合理的数据传输量，防止数据传输时存在因为通道的数据传输量无法传输或者提高漏包率。

作为本发明的一种实施例：所述根据所述可传输容量和每个存储文件的存储容量，将所述存储文件与数据传输通道相对应，并同步传输至所述存储设备，包括：

获取所述数据传输通道、逻辑地址和可传输容量，确定传输通道的通道传输规则；通道传输规则即数据传输通道的逻辑地址确定专属的中转规则和可传输容量确定，数据传输的能力规则。

获取所述存储文件的存储容量和数据源地址，确定存储文件的传输规则；传输规则确定的是存储文件的原始地点和在进行传输是的总的容量。

根据所述存储设备的存储接口，将所述通道传输规则和传输规则相匹配，对应所述存储文件和数据传输通道；匹配是为了实现数据的精准和高效的传输。

在所述存储文件和数据传输通道匹配后，通过所述数据传输通道将所述待存储文件传输至存储设备。

作为本发明的一种实施例：所述将所述通道传输规则和传输规则相匹配，包括以下步骤：

步骤1：检测所述通道传输规则，构建通道传输规则内容筛选函数A(i)：

其中，N表示数据传输通道的数量；δ

数据传输通道的数据传输规则确定这每时每刻数据的传输容量和能够传输那些数据，不能传输哪些数据，以及传输数据的时速，本发明在计算每个通道的数据传输筛选函数的时候，因为其是为了判断哪些数据可以传输，哪些数据不能传输，防止损坏硬盘，本发明基于数据传输通道的数量、数据传输通道的权重(确定不同数据传输通道的重要性，也决定着数据传输的能力)，数据传输通道的能力参数决定这不同数据传输通道的每时每刻的数据传输能力，可以作为数据大小的筛选规则，接口的协议参数确定这数据在筛选的时候数据的类型和数据要遵守那些协议进行数据筛选。数据传输通道的带宽决定了进行数据传输的速率，高斯混合模型中第i个数据传输通道的数据接口的数据筛选规则函数，确定了数据在进行传输的时候不仅要符合高斯混合模型中数据进行筛选的模型规则，还要符合其它必要的其它数据筛选规则。

步骤2：检测所述存储文件的传输规则，构建数据源的数据传输函数B(j)：

其中，m表示数据源中存储文件的数量；∝

步骤2计算的是单一的一个存储文件的数据传输函数，因为其要符合内容特征、文件的文件类型特征、文件压缩时的压缩函数，以及压缩的时候的压缩系数，进而可以判断在传输的时候，每个存储文件的数据量，因为其要符合不同通道的数据筛选规则，因此，内容特征和文件类型是为了符合不同通道的内容，即通道协议，而打包压缩由数据容量决定。

步骤3：根据所述通道传输规则内容筛选函数和数据源的数据传输函数，进行匹配，确定匹配参数μ(A|B)：

其中，

当所述匹配参数μ(A(i)|B(j))≤0时，表示匹配失败，表示第j个存储文件不能够从第i个数据传输通道进行传输；

当所述匹配参数μ(A(i)|B(j))＞0时，表示匹配成功，表示第j个存储文件能够从第i个数据传输通道进行传输。

在步骤3中，本发明基于通道传输规则内容筛选函数和数据源的数据传输函数，通过基于指数的匹配函数，判断是否能够进行数据传输，根据上述公式，本发明最终是将存储文件一个一个的和筛选函数进行匹配，确定是否能够匹配，因此能够京确定的确定每个个通道可以进行传输的待存储数据，如果，有一个数据不符合所有的数据传输通道，也就表明了数据是存在问题的，也能对数据是否异常进行判断。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。