一种基于机器学习的气溶胶成分检测方法
文献发布时间:2024-04-18 19:59:31
技术领域
本发明涉及对测定气溶胶成分领域,尤其涉及一种基于机器学习的气溶胶成分检测方法。
背景技术
在细颗粒污染物(PM2.5)中,碳质气溶胶为主要成分,其可能对空气质量、人类健康和全球气候变化产生重大影响。元素碳(EC)和有机碳(OC)是两大类大气碳质气溶胶,由于碳质气溶胶在整个波长区域的光吸收特性,EC和OC在大气中的含量是气候变化的核心驱动因素。因此准确测量碳质气溶胶(EC和OC)的含量对于评估健康影响和气候影响至关重要。
在现有技术中,一般在通过采样膜对大气成分进行采样后,使用热光学法或溶剂萃取法分析测定采样膜中EC和OC的含量,从而确定气溶胶成分。但这种方法会破坏采样膜样品,导致每次测试都需要更换采样膜,并在专门的实验室中进行检测,导致检测气溶胶成分的过程成本高、时间长,无法推广应用。
因此,现有技术仍需要改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种基于机器学习的气溶胶成分检测方法,以解决现有技术中检测气溶胶成分时需要破坏采样膜样品,导致检测气溶胶成分的过程成本高、时间长,无法推广应用的问题。
本发明的技术方案如下:
一种基于机器学习的气溶胶成分检测方法,所述方法包括:
基于收集了气溶胶的采样膜,获取采样膜气溶胶数据;
根据所述采样膜气溶胶数据,获取所述气溶胶的吸收光谱斜率和训练成分数据;
基于所述吸收光谱斜率和所述训练成分数据建立训练数据集和测试数据集;
基于所述训练数据集对机器学习模型进行训练,并基于所述测试数据集对所述机器学习模型进行性能评估,得到气溶胶成分检测模型;
将所述采样膜气溶胶数据输入所述气溶胶成分检测模型,得到所述气溶胶的成分。
在一种实施方式中,基于收集了气溶胶的采样膜,获取采样膜气溶胶数据,包括:
选择若干采样膜对所述气溶胶进行采样;
基于表征实验要求,对所述采样膜分别进行表征,得到所述采样膜气溶胶数据,所述采样膜气溶胶数据包括预估气溶胶成分数据和气溶胶吸收光谱。
在一种实施方式中,根据所述采样膜气溶胶数据,获取所述气溶胶的吸收光谱斜率和训练成分数据,包括:
将所述预估气溶胶成分数据作为所述训练成分数据;
将所述气溶胶吸收光谱分割为若干片段;
计算各所述片段中连接起点和终点的线的斜率,得到所述气溶胶的所述吸收光谱斜率。
在一种实施方式中,计算各所述片段中连接起点和终点的线的斜率时,应用公式:
其中,λ
在一种实施方式中,基于表征实验要求,对所述采样膜分别进行表征,得到所述采样膜气溶胶数据,包括:
在固定温度和湿度条件下,在采样前后对所述采样膜进行称重,获取所述气溶胶的质量成分;
通过热-光透射分析仪检测所述采样膜,获取所述气溶胶的浓度;
通过数字色度计检测所述采样膜,获取所述采样膜的颜色空间分量;
基于所述质量成分、所述浓度和所述颜色空间分量,拟合获得所述预估气溶胶成分数据;
通过固态紫外可见分光光度计检测所述采样膜,获取所述气溶胶的所述吸收光谱。
在一种实施方式中,基于所述吸收光谱斜率和所述训练成分数据建立训练数据集和测试数据集,包括:
将所述吸收光谱斜率与所述训练成分数据对应,得到训练数据库;
将所述训练数据库内的数据按照9:1的比例随机划分形成所述训练数据集和所述测试数据集。
在一种实施方式中,基于所述训练数据集对机器学习模型进行训练,并基于所述测试数据集对所述机器学习模型进行性能评估,得到气溶胶成分检测模型,包括:
基于所述训练数据集,对所述机器学习模型应用10次十倍交叉验证,得到训练后的机器学习模型;
基于所述测试数据集,评估所述训练后的机器学习模型的性能,当所述训练后的机器学习模型满足预设指标,得到所述气溶胶成分检测模型。
在一种实施方式中,所述气溶胶为碳质气溶胶,所述碳质气溶胶包括元素碳气溶胶和有机碳气溶胶。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任意一项所述的基于机器学习的气溶胶成分检测方法中的步骤。
本发明实施例还提供一种终端设备,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如上任意一项所述的基于机器学习的气溶胶成分检测方法中的步骤。
综上所述,本发明公开了一种基于机器学习的气溶胶成分检测方法,所述方法包括步骤:基于收集了气溶胶的采样膜,获取采样膜气溶胶数据;根据所述采样膜气溶胶数据,获取所述气溶胶的吸收光谱斜率和训练成分数据;基于所述吸收光谱斜率和所述训练成分数据建立训练数据集和测试数据集;基于所述训练数据集对机器学习模型进行训练,并基于所述测试数据集对所述机器学习模型进行性能评估,得到气溶胶成分检测模型;将所述采样膜气溶胶数据输入所述气溶胶成分检测模型,得到所述气溶胶的成分。通过将气溶胶的吸收光谱斜率与气溶胶成分线性拟合,可以在不损坏采样膜的情况下,快速且精准地测量气溶胶成分,效率高、成本低,有利于大规模推广。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员而言,在不符创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所述基于机器学习的气溶胶成分检测方法的流程图。
图2为本发明所述气基于机器学习的溶胶成分检测方法的流程示意图。
图3为本发明所述基于机器学习的气溶胶成分检测装置的示意图。
具体实施方式
本申请提供一种基于机器学习的气溶胶成分检测方法,为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
应理解,本实施例中各步骤的序号和大小并不意味着执行顺序的先后,各过程的执行顺序以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在现有技术中,为了测定空气中的气溶胶成分,一般通过热光学反射率(TOR)分析测量有机碳(OC)和元素碳(EC)的含量,以及通过溶剂萃取法测量OC的含量。但TOR和溶剂萃取法均会在分析过程中破坏采样膜样品,而且TOR需要保存滤光片并将其运送到专门实验室进行分析检测,成本高、耗时久,导致检测碳质气溶胶的方法适用性差,不利于大规模部署。
随着颜色传感器技术的普及,在过去几年里,研究人员开始提出应用无损和光学方法,如使用扫描仪、相机和数字色度计等多种设备来定量测量OC和EC的含量。应用数字色度计和数字摄影获得的颜色传感方法来估计XYZ颜色或CIELab颜色,通过颜色分量,以产生多参数参考校准系统来估计不同采样膜上的EC负载和OC负载,从而测定EC和OC的含量。
通过扫描仪、相机和数字色度计等多种设备可以以较低成本无损测量EC和OC的含量,但数码相机和扫描仪在使用过程中会产生噪声,干扰滤光片负载的准确颜色。而且按参数模型汇总完整的颜色并不包括有关真实颜色的所有嵌入信息,往往局限于可见光波长区域,只能通过组合不同的参数来获得增量信息。在这种情况下,对于空气中EC和OC含量的检测精度低,且测量范围局限于可见光波长区域内,不能充分考虑在短波长和紫外线光谱中可能存在的强吸收。
因此本发明实施例公开了一种基于机器学习的气溶胶成分检测方法,以解决现有技术中检测气溶胶成分时需要破坏采样膜样品,导致检测气溶胶成分的过程成本高、时间长,而且精度无法保障,导致无法推广应用的问题。
如图1所示,所述方法包括步骤:
S100、基于收集了气溶胶的采样膜,获取采样膜气溶胶数据。
具体地,基于表征实验要求,选择若干采样膜分别对气溶胶进行采样,其中所述采样膜根据具体的表征实验要求选择特定材质,以保证能通过多种表征方式得到采样膜气溶胶数据,其中所述采样膜气溶胶数据包括预估气溶胶成分数据和气溶胶吸收光谱。进一步地,在固定温度和湿度条件下,在采样前后对所述采样膜进行称重,获取所述气溶胶的质量成分;通过热-光透射分析仪检测所述采样膜,获取所述气溶胶的浓度;以及通过数字色度计检测所述采样膜,获取所述采样膜的颜色空间分量。这样基于所述质量成分、所述浓度和所述颜色空间分量,即可拟合并预估得到对应所述气溶胶中各成分含量的所述预估气溶胶成分数据。进一步地,通过固态紫外可见分光光度计检测所述采样膜,获取所述气溶胶的所述吸收光谱,以完成对所述采样膜气溶胶数据的获取。
在一种实施方式中,所述采样膜包括聚四氟乙烯采样膜和石英采样膜,其中首先将所述采样膜加载至空气采样器中对特定区域的空气采样,经过预设时间后收回所述采样膜,从而得到收集了气溶胶的采样膜。通过在控制温度和湿度的情况下,在采样前后使用高精度(±0.001mg)天平对聚四氟乙烯采样膜进行称重即可获得气溶胶的质量成分,通过对石英采样膜使用固态紫外可见分光光度计分析,即可以获取吸收系数,从而得到所述气溶胶的吸收光谱。具体地,所述空气采样器为低容量PM2.5空气采样器,以针对大气中的PM2.5细颗粒物进行检测;所述固态紫外分光光度计使用双积分球布置测量辐射强度,波长范围为200-2000nm,以在石英采样膜上反射或透射。
进一步地,获取采样膜上的气溶胶成分还包括通过热-光透射分析仪,按照标准方法分析检测所述训练气溶胶的浓度。可选地,使用Sunset热光学碳分析仪,以NIOSH法对适应采样膜中的OC和EC进行定量分析,从而获取所述气溶胶的浓度。进一步地,通过数字色度计测量所述训练采样膜的颜色空间分量,包括L*、a*和b*值(CIELab模式),然后利用获得的颜色分量拟合多元线性回归模型来估计所述采样膜上收集的气溶胶(如EC气溶胶和OC气溶胶)含量,以获得所述采样膜上所述气溶胶的成分信息。结合所述气溶胶的所述浓度、所述气溶胶的所述质量成分,以及拟合得到的所述气溶胶的所述成分信息,即可获得所述预估气溶胶成分数据。
通过所述采样膜收集气溶胶,则可利用所述采样膜的变化来对应所述气溶胶的不同成分,从而检测得到所述气溶胶的成分信息。具体地,由于碳质气溶胶在整个波长区域的光吸收特性,元素碳(EC)和有机碳(OC)在大气中的含量是气候变化的核心驱动因素。因此准确测量碳质气溶胶(EC气溶胶和OC气溶胶)的含量对于评估健康影响和气候影响至关重要。在一种实施方式中,所述采样膜收集的所述气溶胶为碳质气溶胶,所述碳质气溶胶包括EC气溶胶和OC气溶胶。
进一步地,如图2所示,将所述采样膜放入光谱仪中以获取所述采样膜上样品的吸收光谱,并计算对应所述吸收光谱的吸收光谱斜率。所述气溶胶的吸收光谱斜率(SAAS)是指单位波长下吸收系数对波长的导数,通过SAAS可以反应所述采样膜上的气溶胶在不同波长下的吸收强度变化率,从而确定所述气溶胶的成分。所述吸收光谱包括红外光谱、紫外光谱、拉曼光谱等,根据实际需要检测的气溶胶成分切换所用光谱种类。检测得到吸收光谱后再计算对应吸收光谱的吸收光谱斜率。具体地,如图2中左上方图所示,所述采样膜吸附的气溶胶浓度越高则颜色越深,同时对应在光谱仪中检测得到的数据见图2左下方的光谱图,气溶胶浓度越高则吸光度越强,对应的吸收光谱处于整个光谱的更上方。
本发明一实施例中,采用UV-3600iPlus紫外可见近红外分光光度计作为固态UV/VIS光谱仪,以检测采样膜上收集的OC和EC的吸收光谱。所述UV-3600iPlus紫外可见近红外分光光度计的参数如表1所示,其具有双光栅单色器的设计,标配覆盖紫外-可见-近红外区的三检测器,以保证全波长检测的灵敏度。并且可以通过丰富可选的附件满足各类样品的测试。所述光谱仪的特点如下:
(1)配置有三个检测器,包括一个检测紫外及可见区域的PMT检测器,以及检测近红外区域的InGaAs和PbS检测器。InGaAs检测器弥补了PMT和PbS转换波长灵敏度低的特点,从而保证了在整个检测波长范围内高灵敏度测定。在1500nm波长检测时噪声小于0.00003Abs,达到超低的噪声水平。
(2)采用高性能双光栅单色器,实现高分辨率(分辨率高达0.1nm)和超低杂散光(340nm处杂散光0.00005%以下)。测定波长范围为185nm-3300nm,可在紫外、可见及近红外的宽波段范围进行测定,应对不同领域的测定要求。
(3)使用多功能大样品室和积分球附件以测定固体样品,使用保证测定精度的绝对反射测定装置ASR系列以进行高精度的绝对反射测定。此外,还安装有电子冷热式恒温池架和超微量池架等附件,以适应广泛的应用测定。
(4)匹配的LabSolutions UV-Vis软件包括光谱模块、光度模块、动力学及报告编辑模块等功能。具有自动光谱评价、自动Excel数据传输、自动样品测试等功能,可升级为DB或者CS版实现更强大的数据管理,以确保数据完整性和可信度。
表1UV-3600i Plus紫外可见近红外分光光度计规格参数表
需要说明的是,紫外可见近红外分光光度计仅为本发明作为解释说明的实施例,本领域技术人员可以根据所需要检测的光谱数据选择具体的光谱仪进行检测。
进一步地,如图1所示,在步骤S100后,所述方法包括:
S200、根据所述采样膜气溶胶数据,获取所述气溶胶的吸收光谱斜率和训练成分数据。
具体地,首先将所述预估气溶胶成分数据作为所述训练成分数据,以在后续输入机器学习模型进行训练。进一步地,通过光谱仪检测得到所述气溶胶的所述吸收光谱后,计算吸收光谱斜率包括:
将所述吸收光谱分割为若干片段;
计算各所述片段中连接起点和终点的线的斜率,得到所述气溶胶的所述吸收光谱斜率。
具体地,通过分割法计算所述吸收光谱在不同片段上的斜率,以逼近真实的吸收光谱斜率。其中,各所述片段包括相同波长,即将所述吸收光谱均匀分割为不同片段;所述片段中至少包括2个波长,以计算所述片段中吸收系数随波长变化的变化率,所述片段汇总最多包括20个波长,以保证计算精度,避免所述吸收光谱斜率误差过大。
具体地,计算各所述片段中连接起点和终点的线的斜率时,应用公式:
其中,λ
进一步地,如图1所示,在步骤S200之后,包括步骤:
S300、基于所述吸收光谱斜率和所述训练成分数据建立训练数据集和测试数据集。
具体地,首先将所述吸收光谱斜率与所述训练成分数据对应,得到训练数据库,然后将所述训练数据库内的数据按照9:1的比例随机划分形成所述训练数据集和所述测试数据集。这样在所述训练数据集和所述测试数据集中,将所述吸收光谱斜率与所述气溶胶成分对应,从而简化不同环境参数之间的非线性拟合关系,以实现足够精度的光学非破坏性方法。
进一步地,如图1所示,在步骤S300之后,包括步骤:
S400、基于所述训练数据集对机器学习模型进行训练,并基于所述测试数据集对所述机器学习模型进行性能评估,得到气溶胶成分检测模型。
具体地,通过所述训练数据集和所述测试数据集对机器学习模型进行训练,得到吸收光谱斜率与气溶胶(EC/OC)成分的拟合线性关系,从而得到对应的气溶胶成分检测模型,则将待检测气溶胶的相关数据输入所述气溶胶成分检测模型后,即可得到所述待检测气溶胶内的成分情况,完成快速且精确的成分检测,成本低、效率高,有利于大规模推广。
具体地,所述机器学习模型中包括多种不同机器学习算法,以估计所述训练气溶胶中EC气溶胶和OC气溶胶的成分。可选地,所述机器学习模型中应用的算法包括随机森林算法(RF)、支持向量机算法(SVM)和消除MLR算法等。所述机器学习模型中实际应用的算法可根据需要选择,在此不做限定。
进一步地,在基于所述训练数据集对所述机器学习模型的训练过程中,具体包括:基于所述训练数据集,对所述机器学习模型应用10次十倍交叉验证,得到训练后的机器学习模型。其中,将所述训练数据集的数据分为十份,然后将每一份作为验证集,其他作为训练集进行训练和验证。这样获得十个模型并衡量各模型对应超参数的好坏,最后取得最佳超参数后使用所述训练数据集中的全部数据作为训练集,使用所述最佳超参数训练获得训练后的机器学习模型。可选地,所述十倍交叉验证按照需要选择重复次数。
进一步地,得到所述训练后的机器学习模型后,再基于所述测试数据集,评估所述训练后的机器学习模型的性能,当所述训练后的机器学习模型满足预设指标,得到所述气溶胶成分检测模型。具体地,所述预设指标包括平均确定系数和均方根误差。可选地,所述预设指标可以根据需要以及对应的机器学习算法确定,在此不做限定。
具体地,如图2所示为以石墨采样膜采样气溶胶后,利用所述机器学习模型训练得到的所述气溶胶成分检测模型,包括无损EC估计模型和无损OC估计模型,其中浅色点为所述训练数据集中的对应数据,实线为基于所述训练数据集拟合得到的拟合结果;深色点为所述测试数据集中的对应数据,此数据未应用于相应气溶胶成分检测模型的训练过程中,虚线为所述测试数据集拟合得到的拟合结果,可以看出所述无损EC估计模型和所述无损OC估计模型中训练数据集和测试数据集的拟合结果相近,所述气溶胶成分检测模型的性能优秀。
进一步地,如图1所示,步骤S400之后,包括:
S500、将所述采样膜气溶胶数据输入所述气溶胶成分检测模型,得到所述气溶胶的成分。
需要说明的是,本发明实施例中使用碳质气溶胶如EC气溶胶和OC气溶胶作为气溶胶的示例,但其他气溶胶污染物成分同样可以利用本发明所述方法进行测试以确定对应气溶胶的成分。
基于上述基于机器学习的气溶胶成分检测方法,本实施例提供了一种气溶胶成分检测装置,如图3所示,所述装置包括:
获取模块100,用于基于收集了气溶胶的采样膜,获取采样膜气溶胶数据;
测量模块200,根据所述采样膜气溶胶数据,获取所述气溶胶的吸收光谱斜率和训练成分数据;
数据筛选与分类模块300,用于基于所述吸收光谱斜率和所述训练成分数据建立训练数据集和测试数据集;
模型建立模块400,用于基于所述训练数据集对机器学习模型进行训练,并基于所述测试数据集对所述机器学习模型进行性能评估,得到气溶胶成分检测模型;
气溶胶成分检测执行模块500,用于将所述采样膜气溶胶数据输入所述气溶胶成分检测模型,得到所述气溶胶的成分。
基于上述基于机器学习的气溶胶成分检测方法,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的基于机器学习的气溶胶成分检测方法中的步骤。
基于上述基于机器学习的气溶胶成分检测方法,本申请还提供了一种终端设备,所述终端设备包括处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如上所述的基于机器学习的气溶胶成分检测方法中的步骤。
此外,上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
综上所述,本发明公开了一种基于机器学习的气溶胶成分检测方法、装置、存储介质及终端设备,所述方法包括步骤:基于收集了气溶胶的采样膜,获取采样膜气溶胶数据;根据所述采样膜气溶胶数据,获取所述气溶胶的吸收光谱斜率和训练成分数据;基于所述吸收光谱斜率和所述训练成分数据建立训练数据集和测试数据集;基于所述训练数据集对机器学习模型进行训练,并基于所述测试数据集对所述机器学习模型进行性能评估,得到气溶胶成分检测模型;将所述采样膜气溶胶数据输入所述气溶胶成分检测模型,得到所述气溶胶的成分。通过将气溶胶的吸收光谱斜率与气溶胶成分线性拟合,可以在不损坏采样膜的情况下,快速且精准地测量气溶胶成分,效率高、成本低,有利于大规模推广。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
- 小龙虾品质无损检测方法及装置
- 小龙虾品质无损检测方法及装置