一种用于阵列传感器的二维卷积降噪方法
文献发布时间:2023-06-19 09:46:20
技术领域
本发明涉及阵列式传感器降噪技术领域,尤其涉及一种用于阵列传感器的二维卷积降噪方法。
背景技术
采用阵列传感器已经成为现代光谱仪器设计和制造的重要选项。由于阵列式传感可以一次完成全波段的信号采集,目前的微小型光谱仪、3D荧光光谱仪、小型至部分大型拉曼光谱仪,一次阵列采集已经是主要的设计形式。而阵列传感器包括最初的PDA,目前主流的CCD,以及正在进入实用的CMOS等各个类型,阵列形式也有线阵和面阵等不同类型。
阵列式传感器也存在信噪比不高的限制。为了提高信噪比,除了改进元件制造水平外,普遍采用的手段还有制冷、面阵加和平均等,随之而来的是成本、仪器复杂度的提升。
算法和滤波降噪也是设计时惯常采用的手段,制造商和研发人员在此方面也在持续努力。算法和滤波面临的挑战是信号失真和运行效率问题。
为了解决上述采用阵列传感器的现代光谱仪器的信噪比问题,本发明提供了一种降噪方法。
目前微小型光谱仪选择阵列式元件,从阵列构造上有线阵和面阵两种。低成本、低性能仪器常采用线阵,为了更高信噪比,仪器往往会选择面阵传感器。但是在面阵数据采集方式上,基本采用的都是将每一行加和平均,利用最基础的平均降噪方法;而线阵式传感器,为了获取高信噪比,普遍的方式也是将多次采集光谱平均的方法。
除了直接的平均降噪,有的仪器上也会选择增加一维的移动、S-G滤波平滑等选项,在操作软件上帮助用户改善输出的单一谱线的信噪比。对每一个谱线逐次降噪,是一种低效率方法,对于多根谱线,必须采用多次循环处理,增加计算时间,对计算资源有较高要求,难以在仪器本身自带的数据处理器上完成,势必限制仪器的移动和在线等模块化应用。因此,有必要提出一种计算和存储资源需求更少,降噪效果更好的新的算法。
发明内容
为了解决上述相关领域中的不足和问题,本发明提供一种用于阵列传感器的二维(2D)卷积降噪方法,构造适用于阵列传感器的滤波矩阵,仅通过单次卷积计算后,累积平均就能实现光谱的降噪和低失真输出。
本发明的二维卷积降噪方法是通过以下技术方案实现的:
一种用于阵列传感器的二维卷积降噪方法,包括以下步骤:
步骤1,数据采集:获取阵列传感器的响应值,所述响应值包括反映光谱波长或波数的数据h和波长所对应的光谱响应值g;以反映光谱波长或波数的数据h的方向为横向,以波长所对应的光谱响应值g的方向为纵向,得到尺寸为g×h的面阵数据矩阵,即矩阵A;所述阵列传感器包括线阵列传感器和面阵列传感器;
步骤2,构造二维的卷积矩阵:分别选择所述横向的横向滤波向量HB和所述纵向的纵向滤波向量ZB,将所述横向滤波向量HB和纵向滤波向量ZB相乘,得到卷积矩阵B;
步骤3,卷积计算:根据步骤1得到的矩阵A,将矩阵A扩展处理为矩阵AE,然后计算矩阵AE和步骤2得到的矩阵B的二维卷积,得到矩阵C;所述矩阵C的计算公式为:C=conv2(AE,B);
步骤4,数据输出:将矩阵C的横向和纵向进行切除处理保留余下的g×h个元素,作为降噪处理结果。
进一步地,步骤3中所述矩阵AE是将矩阵A的面阵数据在纵向上重复排列三次得到的,所述AE=[A’A’A’]’。
进一步地,步骤2中所述横向滤波向量HB是通过SG滤波函数或逆傅里叶卷积函数生成得到的。
进一步地,步骤1中当所述阵列传感器为线阵列传感器时,所述矩阵A是由h个波长以及连续采集的h个波长响应值的g次重复测量累积构成的;当所述阵列传感器为面阵列传感器时,所述矩阵A是由h个波长及对应h个波长下的g个响应值构成的。
进一步地,所述卷积矩阵B为由n个元素的HB与m个元素的ZB构成的有n×m个元素的矩阵。
进一步地,所述矩阵C是将矩阵A中的j行k列与矩阵B的p行q列元素相乘得到的值进行累加得到的,所述矩阵C的具体计算公式为:C(j,k)=∑
进一步地,所述切除处理是将矩阵C的横向前后的(n-1)/2列,和纵向的[(n-1)/2+g]行切除,保留余下的g×h个元素,作为降噪处理结果输出。
进一步地,步骤4中将g行数据平均,即得到含有h个元素的一个光谱序列作为输出结果。
进一步地,n和m均取奇数。
进一步地,步骤2所述横向滤波向量HB的降噪强度较低;所述的纵向滤波向量ZB的降噪强度较高,横向降噪与纵向降噪相比,横向需要保证光谱分辨率不会受到显著损失,纵向受分辨率损失的限制较小,降噪强度可以比横向大1-2倍。
本发明的有益效果:
现有采用卷积的光谱仪滤波,基本上选用的都是1维的SG完成,即利用光谱序列的前后点进行卷积计算,其公式为:w(k)=∑
而二维面阵传感器的数据点远大于一维序列,传统操作采用了低效的平均处理,对于可利用的数据冗余是一种浪费。
本发明采用的二维卷积,其公式为:C(j,k)=∑
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为多个不同宽度的高斯峰模拟的仿真光谱在面阵上包含白噪声的100行响应情况;
图2是仿真光谱其中一行光谱、100行平均值以及不含噪声的真实值的情况;
图3是选择SG参数,其中行参数为8阶35,列参数为2阶13,构造的二维卷积矩阵;
图4是其中一行原始光谱、100行平均值、二维卷积降噪结果以及不含噪声的真实值的情况;
图5是其中一行原始光谱、100行平均值、二维卷积降噪结果与真实值的残差情况;
图6是采用面阵传感器采集到的40×4096的对乙酰氨基酚(AR)拉曼光谱响应(采集时间1s,785nm激光功率500mW);
图7是面阵中其中一行光谱的原始响应、直接40行光谱的均值、二维卷积降噪后均值的效果对比图;
图8(a)是面阵中其中一行光谱的原始响应、直接40行光谱的均值、二维卷积降噪后均值三种结果的基线对比,图8(b)为8(a)的局部放大情况;
图9(a)是这三种结果的峰型比较,图9(b)为9(a)的局部放大情况。
图10是本发明与直接平均结果、逐行SG降噪(逐行横向滤波)后平均的结果对比。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。本发明中未详细说明的结构或工作原理属于现有技术和本领域的公知常识,本技术领域的技术人员应当知晓。
一种用于阵列传感器的二维卷积降噪方法,包括以下步骤:
步骤1,数据采集:获取阵列传感器的响应值,所述响应值包括反映光谱波长或波数的数据h和波长所对应的光谱响应值g;以反映光谱波长或波数的数据h的方向为横向,以波长所对应的光谱响应值g的方向为纵向,得到尺寸为g×h的面阵数据矩阵A;所述阵列传感器包括线阵列传感器和面阵列传感器;
步骤2,构造二维的卷积矩阵:分别选择所述横向的横向滤波向量HB和所述纵向的纵向滤波向量ZB,将所述横向滤波向量HB和纵向滤波向量ZB相乘,得到卷积矩阵B;
步骤3,卷积计算:根据步骤1得到的矩阵A,将矩阵A扩展处理为矩阵AE,然后计算矩阵AE和步骤2得到的矩阵B的二维卷积,得到矩阵C;所述矩阵C的计算公式为:C=conv2(AE,B);
步骤4,数据输出:将矩阵C的横向和纵向进行切除处理保留余下的g×h个元素,作为降噪处理结果。
进一步地,步骤3中所述矩阵AE是将矩阵A的面阵数据在纵向上重复排列三次得到的,所述AE=[A’A’A’]’。
进一步地,步骤2中所述横向滤波向量HB是通过SG滤波函数或逆傅里叶卷积函数生成得到的,本发明所述的SG滤波函数算法采用现有技术的方法,所述逆傅里叶卷积函数是根据申请号为202010323253.8的专利文献中的方法。
进一步地,步骤1中当所述阵列传感器为线阵列传感器时,所述矩阵A是由h个波长以及连续采集的h个波长响应值的g次重复测量累积构成的;当所述阵列传感器为面阵列传感器时,所述矩阵A是由h个波长及对应h个波长下的g个响应值构成的。
进一步地,所述切除处理是将矩阵C的横向前后的(n-1)/2列,和纵向的[(n-1)/2+g]行切除,保留余下的g×h个元素,作为降噪处理结果输出。
进一步地,所述卷积矩阵B为由n个元素的HB与m个元素的ZB构成的有n×m个元素的矩阵。
进一步地,所述矩阵C是将矩阵A中的j行k列与矩阵B的p行q列元素相乘得到的值进行累加得到的,所述矩阵C的具体计算公式为:C(j,k)=∑
进一步地,所述切除处理是将矩阵C的横向前后的(n-1)/2列,和纵向的[(n-1)/2+g]行切除,保留余下的g×h个元素,作为降噪处理结果输出。
进一步地,步骤4中将g行数据平均,即得到含有h个元素的一个光谱序列作为输出结果。
进一步地,n和m均取奇数。
进一步地,步骤2所述横向滤波向量HB的降噪强度较低;所述的纵向滤波向量ZB的降噪强度较高,横向降噪与纵向降噪相比,横向需要保证光谱分辨率不会受到显著损失,纵向受分辨率损失的限制较小,降噪强度可以比横向大1-2倍。
实施例1
本实施例提供一种用于阵列传感器的二维卷积降噪方法,本实施例通过构造一个已知真实值的面阵光谱数据集,作为模拟案例,对本发明的执行过程进行说明,如图1,图2所示,图1为将多个不同宽度的高斯峰并列模拟的仿真光谱,在面阵上包含白噪声的100行响应情况,目的是考察不同频率下的降噪前后差异。
选择SG参数,其中行参数为8阶35,列参数为2阶13,根据上述方法构造二维卷积矩阵,如图3所示。
经过卷积计算,得到降噪处理结果。图4是其中一行原始光谱、100行平均值、二维卷积降噪结果以及不含噪声的真实值的情况。
其中一行原始光谱、100行平均值、二维卷积降噪结果与真实值的残差情况如图5。
从图4、图5可以看出,采用本降噪方法更好地保证输出信号的真实性,显著减小失真。
实施例2
采用本发明二维卷积降噪方法处理对乙酰氨基酚拉曼光谱。
图6是采用面阵传感器采集到的40×4096的对乙酰氨基酚(AR)拉曼光谱响应(采集时间1s,785nm激光功率500mW)。
采用8阶,窗宽为27的SG滤波参数构造横向卷积向量;采用2阶,窗宽21的SG参数作为纵向卷积向量,根据上述方法构造卷积矩阵。并根据上述方法经过卷积计算,得到降噪处理结果。
图7是面阵中其中一行光谱的原始响应、直接40行光谱的均值、二维卷积降噪后均值的效果对比图。图8是这三种结果的基线对比,可以看出采用本发明的二维卷积降噪效果明显。图9(a)是这三种结果的峰型比较,图9(b)为局部放大情况,从图可以看出经过二维卷积降噪的峰型未出现失真。图10是本发明与直接平均、逐行SG降噪(逐行横向滤波)后平均的结果对比。
从图10可以看出,直接平均并未完全平滑掉噪声的干扰,而逐次降噪平均后,虽然实现了平滑,但是细节出现了失真。
在AMD-3900X CPU,16G-2666内存,windows 10操作系统PC机的matlab2019a平台上,完成40次逐行降噪平均所需时间为0.2秒;同样条件下,完成10次二维卷积计算时间为0.21秒,即,本发明所提方法可以节约大约90%的计算能力。
本发明未具体说明的计算公式或原理均属于现有技术,本领域技术人员在本发明及现有技术的基础上,应当知晓。
- 一种用于阵列传感器的二维卷积降噪方法
- 一种二维卷积脉动阵列结构及实现方法