一种数据处理方法、系统及存储介质

技术领域

本申请涉及数据压缩与解压缩处理技术领域，特别涉及一种数据处理方法、系统及存储介质。

背景技术

毫米波雷达的发展趋势从2D雷达到3D雷达再到现在流行的4D高分辨点云雷达，随着分辨能力的提升，必然需要更多回波的数据量，也就是对芯片存储量的需求越来越大。虽然已有的雷达芯片，有一些已经自带有压缩方法，但是实际使用过程中发现其压缩能力有限，且压缩选项固化，并不能满足工程化的需求。在实际应用项目中，往往会遇到因为运算量过大或者存储量不够而引发的工程化的问题。在目前的技术中，雷达数据量增大而芯片内存资源有限；并且，芯片自带的压缩方法也不能满足实际工程化的需求。

发明内容

本申请旨在提供一种数据处理方法、系统及存储介质，通过利用雷达回波信号进行傅里叶变换后的数据在相邻点上是相同的数量级的特征来提取公用的压缩系数，将压缩系数和各数组中原数据的有效部分压缩成一个数据，从而达到压缩的效果，解决了毫米波雷达芯片内存不足的问题，大大降低了雷达压缩算法的存储需求。

在第一方面中，本发明提供了一种数据处理方法，应用于压缩雷达立方体数据，从而降低存储需求，以及同时也能利用压缩处理的逆过程实现数据解压缩。其中，所述数据处理方法包括：

S1：响应于第一指令，分别提取数据源中不同数组内的原数据；其中，任一所述数组内包含有N个原数据。

S2：分别计算不同数组中N个原数据的统一有效位数，并对所述统一有效位数进行量化处理，以获得第不同数组的压缩系数T；其中，T包括T1、T2、...、Tk，且k为不大于数组个数的整数。

S3：根据所述压缩系数T对所述数据源进行一次压缩处理，以获得压缩数据并进行储存。

S4：待响应于第二指令，提取所述压缩数据，根据所述压缩系数T对所述压缩数据进行一次解压缩处理，以获取目标数据源。

在本申请中，在所述步骤S1之前，还包括：

获取目标设备的采样数据。

在本申请中，目标设备可以是雷达系统、通信系统、测试设备、传感器，以及模拟数字转换系统等等，其中，所以雷达回波信号可以作为采样数据；而无线通信系统在传输过程中也会采集信号样本；各种电子测试设备例如示波器、逻辑分析仪等都会采集测试信号；不同类型的传感器例如图像传感器、声音传感器等都会采集大量样本数据，这些数据也可作为该方法的处理对象。另外，任何将模拟信号转换为数字信号采样的系统，其数字化后的样本数据都可以作为该方法的输入。

需要说明的是，所有可以提供大量数字信号采样的数据源，都可以作为该方法的目标设备。但关键是信号具有一定的相关性，适合进行此类压缩及解压缩处理。

在本申请中，将雷达立方体数据划分为三个方向维度：距离维、速度维和角度维；对其距离维度进行傅里叶变换称为1DFFT，对1DFFT的结果在速度维度进行傅里叶变换称为2DFFT。

对所述采样数据进行距离维上的傅里叶变换，以获得数据源。

在本申请中，该数据源是雷达距离维傅里叶域信号序列。

在本申请中，在所述步骤S2之前，还包括：

分别在不同数组中对所述N个原数据进行bit位转换，并计算得N个原数据的有效位数。

其中，该数据源以一定的固定间隔划分成多个数组，同一个数组中的N个数据在相邻点上具有相同的数量级。bit位转换可以是二进制转换，即将N个原数据转换成二进制表示。

在本申请中，所述分别计算不同数组中N个原数据的统一有效位数，具体为：

对不同数组中N个原数据的有效位数进行统计，并分别提取每个数组中有效位数的最大值M和最小值m。

将所述最大值M和最小值m代入预设第一公式，以分别计算出所述不同数组中N个原数据的统一有效位数。

可选地，预设第一公式为：U=M-α(M-m)，α是介于0和1之间的经验系数。

对每个数组内的原数据，提取其高U位作为统一的有效位数。其中，U代表了统一的有效位数，是根据所有原数据统计得到的。原数据的二进制表示中，从最高位开始数，最左边的U位就是最高的U位。对所有原数据都提取它们对应的最高的U位。这U位就是该原数据作为统一有效位数的选择。

需要说明的是，最高位包含了该数据的量级信息，是数字的关键特征。高位不受小数点位置影响，可以统一表示。高位变化更能反映数据变化，是保留有效信息的优先选择。U的取值在每个数组内可变，但对一个数组内的所有原数据是统一的。

通过上述过程就可以得到每个数组内N个原数据的统一有效位数。

需要说明的是，具体思路是在保证有效信息的前提下，根据原数据的统计特性，选择一个相对优化的统一有效位数。其中，α的设置可以平衡压缩比和误差。

在本申请中，所述量化处理，具体为：

根据所述统一有效位数设定量化参数。

根据所述量化参数计算出量化区间；其中，所述量化区间包括最大量化值、预设间隔范围的量化值和最小量化值，所有量化值通过bit位来表示。

依据所述N个原数据在量化区间中的位置，将对应的量化值替代所述原数据；其中，通过调整所述量化参数来调控量化处理。

可选地，定义量化参数：量化比特数B (如B=3)；量化步长S (如S=4)。

计算量化区间：

最小量化值 = 原数据最小值向下取接S的整数倍；最大量化值 = 原数据最大值向上取接S的整数倍；其中，间隔为S的均匀量化区间。

定义量化映射表：

每个量化区间对应一个量化值，表中的量化值用B比特表示。

进行量化映射：

计算原数据值在量化区间中的位置，根据映射表找到对应的量化值，接着用该量化值替代原始值，最后用量化值替换原始值即完成了该数据点的量化。用量化值替代原有效位数即完成了量化。

需要说明的是，可以通过调整B和S来控制量化精度。

在本申请中，所述一次压缩处理，还包括：

对所述N个原数据的有效位数进行一次量化处理。

所述一次压缩处理具体为：

分别将所述压缩系数T和所述不同数组中N个原数据的有效位数按照预设组合规则进行压缩。

在本申请中，对每个数组中的每个原数据：用其对应的压缩系数替代原有效位数的高位；接着与量化后的有效位数组合得到压缩后的表示；重复这个过程，即可得到所有数组中所有原数据的压缩表示。再将所有的压缩表示组合起来，就组成了整体的数据压缩结果。

压缩后的表示既包含了原数据的量级信息，也保留了必要的有效信息。

上述数据处理过程使用较少的bit表示了原始数据，实现了压缩。

进一步地，所述一次解压缩处理，具体为：

根据所述压缩系数T分别对所述压缩数据中任一距离维上的压缩数据Z在速度维上进行解压。

在本申请中，可选地，首先提取出第1个距离维度上的压缩数据Z1，其中，Z1为压缩后的数据，需要依据压缩系数T1进行解压。

对Z1的每个数据点z：根据T1分离出压缩系数部分和有效位部分，接着对有效位部分进行反量化，恢复有效位数；最后将压缩系数和有效位数组合，得到解压后的数据。

重复上述过程，对每个压缩数据点进行解压，最终恢复第1个距离维度上所有数据点的原始值。

最终完成一次解压缩过程，获得目标数据源。

可选地，解压后的数据可继续进行后续的数据处理，例如：计算2DFFT。

在本申请中，一次解压缩处理过程就是一次压缩处理的逆过程。

在第二方面中，本发明还提供了一种数据处理系统，所述数据处理系统包括：数据提取单元、计算单元、第一处理单元和第二处理单元。

其中，所述数据提取单元用于分别提取数据源中不同数组内的原数据；其中，任一所述数组内包含有N个原数据。

所述计算单元用于分别计算不同数组中N个原数据的统一有效位数，并对所述统一有效位数进行量化处理，以获得第不同数组的压缩系数T；其中，T包括T1、T2、...、Tk,且k为不大于数组个数的整数。

所述第一处理单元用于根据所述压缩系数T对所述数据源进行一次压缩处理，以获得压缩数据并进行储存。

以及，所述第二处理单元用于提取所述压缩数据，根据所述压缩系数T对所述压缩数据进行一次解压缩处理，以获取目标数据源。

进一步地，所述计算单元还用于分别在不同数组中对所述N个原数据进行bit位转换，并计算N个原数据的有效位数。

在第三方面中，本发明还提供了一种存储介质，为计算机可读存储介质中的一种，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一所述的一种数据处理方法。所述计算机可读存储介质上存储有用压缩数据和解压缩数据处理的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现如上所述的方法。

与现有技术相比，本申请至少存在以下有益效果：

本申请通过利用雷达回波信号进行傅里叶变换后的数据在相邻点上是相同的数量级的特征来提取公用的压缩系数，将压缩系数和各数组中原数据的有效部分压缩成一个数据，从而达到压缩的效果，本申请解决了毫米波雷达芯片内存不足的问题，大大降低了雷达压缩算法的存储需求，另外，还可以根据压缩系数对已压缩储存的压缩数据进行解压缩处理，一次解压缩处理过程就是一次压缩处理的逆过程，便利于快速获取目标数据源进行后续的数据处理。

附图说明

图1为本申请示出的数据处理方法的流程示意图。

图2为本申请示出的数据处理系统结的构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一：

请参照图1，图1为本申请实施例提供的一种数据处理方法的流程示意图。本申请实施例的数据处理中采用的数据压缩和数据解压缩处理方法可应用于雷达立方体数据，还可以应用于通信系统、测试设备、传感器，以及模拟数字转换系统等设备，均不限于此。

如图1所示，本实施例的一种数据处理方法包括：

S1：响应于第一指令，分别提取数据源中不同数组内的原数据；其中，任一所述数组内包含有N个原数据。

S2：分别计算不同数组中N个原数据的统一有效位数，并对所述统一有效位数进行量化处理，以获得第不同数组的压缩系数T；其中，T包括T1、T2、...、Tk,且k为不大于数组个数的整数。

S3：根据所述压缩系数T对所述数据源进行一次压缩处理，以获得压缩数据并进行储存。

S4：待响应于第二指令，提取所述压缩数据，根据所述压缩系数T对所述压缩数据进行一次解压缩处理，以获取目标数据源。

在本申请中，在所述步骤S1之前，还包括：

获取目标设备的采样数据。

在本申请中，目标设备可以是雷达系统、通信系统、测试设备、传感器，以及模拟数字转换系统等等，其中，所以雷达回波信号可以作为采样数据；而无线通信系统在传输过程中也会采集信号样本；各种电子测试设备例如示波器、逻辑分析仪等都会采集测试信号；不同类型的传感器例如图像传感器、声音传感器等都会采集大量样本数据，这些数据也可作为该方法的处理对象。另外，任何将模拟信号转换为数字信号采样的系统，其数字化后的样本数据都可以作为该方法的输入。

需要说明的是，所有可以提供大量数字信号采样的数据源，都可以作为该方法的目标设备。但关键是信号具有一定的相关性，适合进行此类压缩及解压缩处理。

在本申请中，将雷达立方体数据划分为三个方向维度：距离维、速度维和角度维；对其距离维度进行傅里叶变换称为1DFFT，对1DFFT的结果在速度维度进行傅里叶变换称为2DFFT。

对所述采样数据进行距离维上的傅里叶变换，以获得数据源。

在本申请中，该数据源是雷达距离维傅里叶域信号序列。

在本申请中，在所述步骤S2之前，还包括：

分别在不同数组中对所述N个原数据进行bit位转换，并计算得N个原数据的有效位数。

其中，该数据源以一定的固定间隔划分成多个数组，同一个数组中的N个数据在相邻点上具有相同的数量级。bit位转换可以是二进制转换，即将N个原数据转换成二进制表示。

在本申请中，所述分别计算不同数组中N个原数据的统一有效位数，具体为：

对不同数组中N个原数据的有效位数进行统计，并分别提取每个数组中有效位数的最大值M和最小值m。

将所述最大值M和最小值m代入预设第一公式，以分别计算出所述不同数组中N个原数据的统一有效位数。

可选地，预设第一公式为：U=M-α(M-m)，α是介于0和1之间的经验系数。

优选地，假设有两个数组，每个数组中有4个原数据，有效位数如下：

数组1：

数据1：3位；数据2：5位；数据3：4位；数据4：4位；

数组2：

数据1：4位；数据2：2位；数据3：3位；数据4：5位。

接着统计每个数组中所有数据的有效位数：

数组1：3-5位；数组2：2-5位，再求出每个数组的最大与最小有效位数：

数组1：最大5位，最小3位；数组2：最大5位，最小2位。

然后，计算统一有效位数：

取α=0.5，数组1：U = 5 - 0.5*(5-3) = 4位；数组2：U = 5 - 0.5*(5-2) = 3位；

对每个数组中的所有数据，提取其高U位作为统一有效位数：

数组1：每个数据取高4位；数组2：每个数据取高3位。

综上，通过统计有效位数范围，计算统一的U，再提取高U位，可以得到每个数组内所有数据的统一有效位数。α的取值会影响最后的U，需要根据实际情况调整。

对每个数组内的原数据，提取其高U位作为统一的有效位数。其中，U代表了统一的有效位数，是根据所有原数据统计得到的。原数据的二进制表示中，从最高位开始数，最左边的U位就是最高的U位。对所有原数据都提取它们对应的最高的U位。这U位就是该原数据作为统一有效位数的选择。

需要说明的是，最高位包含了该数据的量级信息，是数字的关键特征。高位不受小数点位置影响，可以统一表示。高位变化更能反映数据变化，是保留有效信息的优先选择。U的取值在每个数组内可变，但对一个数组内的所有原数据是统一的。

通过上述过程就可以得到每个数组内N个原数据的统一有效位数。

需要说明的是，具体思路是在保证有效信息的前提下，根据原数据的统计特性，选择一个相对优化的统一有效位数。其中，α的设置可以平衡压缩比和误差。

在本申请中，所述量化处理，具体为：

根据所述统一有效位数设定量化参数。

根据所述量化参数计算出量化区间；其中，所述量化区间包括最大量化值、预设间隔范围的量化值和最小量化值，所有量化值通过bit位来表示。

依据所述N个原数据在量化区间中的位置，将对应的量化值替代所述原数据；其中，通过调整所述量化参数来调控量化处理。

可选地，定义量化参数：量化比特数B，例如：B=3；量化步长S，例如S=4。

计算量化区间：

最小量化值 = 原数据最小值向下取接S的整数倍；最大量化值 = 原数据最大值向上取接S的整数倍；其中，间隔为S的均匀量化区间。

定义量化映射表：

每个量化区间对应一个量化值，表中的量化值用B比特表示。

进行量化映射：

优选地，假设定义量化参数为：B=3，bit为：S=10。

那么，计算量化区间具体为：

假设原数据范围为0-100，最小量化值=0，向下取接10的整数倍；最大量化值=100，向上取接10的整数倍；量化区间为:0,10,20...100。

其中，假设定义量化映射表为：0-9映射到0；10-19映射到10；20-29映射到20；...90-100映射到100。

那么，进行量化映射为：假设原数据值=25，而25在量化区间20-29内，根据映射表,量化值为20，则用量化值20替代原始值25 完成量化处理。

通过上述这个例子可以看出：

量化区间和映射表的设计是关键，其中，B和S决定了量化的粒度。找到原值对应的量化区间，用区间代表值替代。该量化过程可以通过调整B和S来平衡压缩率和误差，均不限于此。

计算原数据值在量化区间中的位置，根据映射表找到对应的量化值，接着用该量化值替代原始值，最后用量化值替换原始值即完成了该数据点的量化。用量化值替代原有效位数即完成了量化。

需要说明的是，可以通过调整B和S来控制量化精度。

在本申请中，所述一次压缩处理，还包括：

对所述N个原数据的有效位数进行一次量化处理。

所述一次压缩处理具体为：

分别将所述压缩系数T和所述不同数组中N个原数据的有效位数按照预设组合规则进行压缩。

在本申请中，对每个数组中的每个原数据：用其对应的压缩系数替代原有效位数的高位；接着与量化后的有效位数组合得到压缩后的表示；重复这个过程，即可得到所有数组中所有原数据的压缩表示。再将所有的压缩表示组合起来，就组成了整体的数据压缩结果。

压缩后的表示既包含了原数据的量级信息，也保留了必要的有效信息。

上述数据处理过程使用较少的bit表示了原始数据，实现了压缩。

进一步地，所述一次解压缩处理，具体为：

根据所述压缩系数T分别对所述压缩数据中任一距离维上的压缩数据Z在速度维上进行解压。

在本申请中，可选地，首先提取出第1个距离维度上的压缩数据Z1，其中，Z1为压缩后的数据，需要依据压缩系数T1进行解压。

对Z1的每个数据点z：根据T1分离出压缩系数部分和有效位部分，接着对有效位部分进行反量化，恢复有效位数；最后将压缩系数和有效位数组合，得到解压后的数据。

重复上述过程，对每个压缩数据点进行解压，最终恢复第1个距离维度上所有数据点的原始值。

最终完成一次解压缩过程，获得目标数据源。

优选地，假设压缩数据包含2个距离维度，每个距离上的数据为：

Z1 = {z1, z2, z3}，Z2 = {z4, z5, z6}。

现在以Z1的数据z1为例进行解压：

其中，z1包含压缩系数T和有效位两部分，分离出：T = "101"，有效位 = "110"。

接着，有效位"110"经反量化恢复为"01110"，将T和有效位组合，得到解压后数据："10101110"。

再重复上述过程，依次解压z2、z3；最终恢复距离1上全部3个数据点的解压结果。

通过分离、反量化和组合3个关键步骤即可实现解压缩。

可选地，解压后的数据可继续进行后续的数据处理，例如：计算2DFFT。

在本申请中，一次解压缩处理过程就是一次压缩处理的逆过程。

综上，本申请利用采样数据的相关性进行压缩以减少数据量。分段处理，提高处理效率,降低量化误差。通过计算统一有效位数，可以有效保留数据关键信息。量化处理可以大幅减少表示数据所需的比特数。组合压缩系数和量化数据实现高比压缩。解压时只需处理部分关键数据，减少计算。压缩解压过程参数化，可以根据需求自定义。提高了存储效率，降低了数据表示成本。保留了数据主要特征，可根据需要控制精度。本申请整体提供了一套可自定义、可控的压缩解压方案。本申请还适用于采样数据量大且相关性强的场景。

实施例二：

请参照图2，本发明还提供了一种数据处理系统，所述数据处理系统包括：

数据提取单元、计算单元、第一处理单元和第二处理单元。

其中，所述数据提取单元用于分别提取数据源中不同数组内的原数据；其中，任一所述数组内包含有N个原数据。

所述计算单元用于分别计算不同数组中N个原数据的统一有效位数，并对所述统一有效位数进行量化处理，以获得第不同数组的压缩系数T；其中，T包括T1、T2、...、Tk,且k为不大于数组个数的整数。

所述第一处理单元用于根据所述压缩系数T对所述数据源进行一次压缩处理，以获得压缩数据并进行储存。

以及，所述第二处理单元用于提取所述压缩数据，根据所述压缩系数T对所述压缩数据进行一次解压缩处理，以获取目标数据源。

进一步地，所述计算单元还用于分别在不同数组中对所述N个原数据进行bit位转换，并计算N个原数据的有效位数。

综上，通过本申请提出的数据处理系统充分利用了数据特性，提供了一整套灵活可控、比率可调的压缩解压方案，能够有效降低存储成本，提高处理效率。

实施例三：

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于数据压缩处理和解压缩处理的计算机可读指令，该计算机可读指令被一个或多个处理器执行时实现如上所述的方法。

所述计算机可读存储介质可为配置于任意计算机设备，可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备，还以可以是车载终端或控制系统，例如还可以包括输入输出设备、网络接入设备等。

所称处理器可以是中央处理单元(CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DSP)、专用集成电路 (ASIC)、现成可编程门阵列 (FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

在本申请所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围。特别指出，对于本领域技术人员来说，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。