一种基于机器学习模型的微生物电化学传感器的综合毒物监测方法
文献发布时间:2023-06-19 13:48:08
技术领域
本发明属于环境检测技术领域,特别涉及一种基于机器学习进行数据分析的复杂毒物检测方法和实现所述方法微生物电化学传感器及使用方法。
背景技术
随着城市化和工业化进程的加快,水体污染问题变得日益严重。为了应对种类复杂的污染物,发展高精度的快速水质检测手段成为需要亟待解决的问题。现有的包括物理、化学方法在内的水质检测手段存在成本高、检测时间长、需要在实验室进行非原位分析等问题。因此,在实现高精度、高准确性的综合毒物水质检测的基础上,发展可在线的低成本、原位的实时检测技术显得尤为重要。近些年来,以微生物电化学系统(Microbialelectrochemical system,MES)为核心的微生物电化学毒性传感器由于其可实现低成本的广谱毒物实时监测而受到广泛研究。MES传感器一般以阳极电活性生物膜作为传感单元,当受到毒物冲击时,电活性微生物代谢收到影响,电子传递速率降低,系统产生的电信号相应地发生变化。然而,由于电活性生物膜会将所有的毒物冲击全部响应为电信号的变化,在应对污染物复杂的实际水体时,研究人员很难通过分析单一的电信号直接得到各个毒物的信息,这阻碍了MES传感器对于实际水体的毒性早期预警和水质监测的进一步应用。
机器学习是一个通过数据挖掘深层次规律的过程,近年来已经广泛应用于水处理和环境监测中。在机器学习的框架中,通过选择合适的算法和参数,一部分数据集作为样本数据(训练集)构建出合理的统计学模型,另一部分数据集作为验证集检验模型的准确性,最终可实现对新输入的数据做出准确的预测和决策。通过回归建模,机器学习可以实现对不同种类毒物和响应电信号关系的深入分析,最终实现MES传感器对多种毒物的定量。
发明内容
本发明的目的是在于克服现有技术的不足,提供一种基于机器学习进行数据分析的微生物电化学传感器的综合毒物监测系统的方法,以阳极电活性生物膜为传感元件构建微生物电解池(MEC)传感器,结合不同的机器学习算法和电信号特征数据,在同一批次MEC中实现对于多种毒物的快速、准确的监测。
本发明的技术方案是一种基于机器学习进行数据分析的微生物电化学传感器的综合毒物监测系统的方法,具体包括以下步骤:
1.一种基于机器学习模型的微生物电化学传感器的综合毒物监测方法,通过以下步骤实现:1)对采集得到的微生物电化学传感器收到毒性冲击前后的电信号数据进行数据处理,最终得到每一个微生物电化学传感器按照时间顺序排布的电信号数据;
2)对于每一个反应器,通过对实验数据和采集的电信号数据的处理,得到描述性电信号的特征值和响应毒物冲击的特征值;
3)训练机器学习模型,根据毒物的类型选取特定的算法,选取特定的描述性电信号特征值和响应毒物冲击特征值作为输入,以毒物的浓度作为输出进行回归模型训练,将处理完成的电信号数据集的一部分作为训练集,另一部分作为验证集,通过模型对验证集样本的毒物浓度进行预测;
4)机器学习模型评估
对机器学习模型精度进行评估,在模型足够精确后,预测值可以作为其实际的毒物浓度,从而实现对综合毒物浓度的检测。
2.可选地,所述描述性电信号的特征值,主要是MEC反应器运行期间产生的最大电流(I_max)、反应器中生物膜驯化成熟,系统达到稳定状态的稳态电流(I_stable)以及达到稳态所需的时间(t_stable)、注射毒物的时间点(t_inject)。
3.可选地,所述响应毒物冲击特征值,主要是受到毒物冲击后每6个小时的电流及电流下降率,即6个小时的电流(I_6h)以及电流下降率(DropRatio_6h)、12个小时的电流(I_12h)以及电流下降率(DropRatio_12h)、18个小时的电流(I_18h)以及电流下降率(DropRatio_18h)、24个小时的电流(I_24h)以及电流下降率(DropRatio_24h)。
4.可选地,应器运行期间产生的最大电流(I_max)为该反应器电信号数据中第三高的电流值,以排除运行期间可能的测量偏差和意外断连导致的离群值;反应器电流达到I_max的90%为进入稳定状态,这个时间点为达到稳态所需的时间(t_stable),进入稳态后到受到毒物冲击的平均电流为稳态电流(I_stable);从注射毒物的时间开始算起,反应器受到毒物冲击;电流下降率(DropRatio)公式为:
其中,DropRatio为DropRatio_6h、DropRatio_12h、DropRatio_18h、DropRatio_24h,相应地,I
5.可选地用于训练氯化锰定量模型的特征组为I_max、I_stable、t_stable、DropRatio_12h;用于训练亚硝酸钠定量模型的特征组为I_max、I_stable、t_stable、DropRatio_24h;用于训练盐酸四环素定量模型的特征组为I_max、I_stable、t_stable、DropRatio_6h、DropRatio_12h。
6.可选地,90%的数据用于训练集,20%的数据用于验证集。
7.可选地,用于训练氯化锰、亚硝酸钠、盐酸四环素的机器学习模型分别为偏最小二乘算法(PLS)、K最近邻算法(KNN)、神经网络算法(NNET)。
有益效果
本发明与现有技术相比,将前端的微生物电化学水质监测与后端的机器学习数据分析相结合,通过同一批次的反应器的运行和毒物冲击,克服了传统微生物电化学传感器无法同时识别综合毒物的缺点,实现了同时对多种毒物浓度定量,为微生物电化学传感器进一步应用于复杂污染物水体的水质检测和毒性预警提供了新的技术。机器学习的模型由定量每一种具体毒物的模型组装而成,这些模型针对每一种毒物均使用了不同的算法和特征集,为针对具体水体定制模型以及建立广谱毒物分析数据库提供了可能性。无线数据采集系统的使用为微生物电化学在线水质监测预警系统的智能化、物联化提供了广阔的应用前景。
附图说明
图1为本发明基于机器学习进行数据分析的微生物电化学传感器水质检测流程图。
图2为氯化锰浓度为9mg/L、亚硝酸钠浓度为9mg/L、盐酸四环素浓度为6mg/L的MEC反应器的时间电流曲线图。
图3为电信号数据特征值定义示意图
图4为机器学习模型对验证集反应器中三种毒物浓度预测结果图。
具体实施方式
实施例1:基于机器学习进行数据分析的微生物电化学传感器同时检测氯化锰、亚硝酸钠、盐酸四环素
一、构建以阳极电活性生物膜为传感元件的微生物电解池反应器并进行综合毒物监测
1)以阳极电活性生物膜为传感元件的微生物电解池反应器的构建
电活性生物膜由两电极MEC系统富集。反应器的主体为100mL的蓝盖试剂瓶(不仅限于该尺寸);1.5×1.5cm
2)以阳极电活性生物膜为传感元件的微生物电解池传感器用于毒性监测
如图2所示,在所有反应器达到其稳定电流后,向反应器中加入毒物。添加氯化锰、亚硝酸钠、和盐酸四环素以模拟包含重金属、亚硝酸盐、抗生素的综合毒物对电活性生物膜的影响。为了保证电信号数据作为机器学习模型的样本数据具有足够的代表性和普遍性,三种毒物的浓度范围均在1~10mg/L,每一个反应器的每一种毒物浓度均随机生成而且不完全相同。将三种毒物与50mmol/L的磷酸缓冲溶液(PBS)配置成为总量为1mL的毒物混合溶液注射入反应器中,在保证反应器pH和底物浓度不受影响的条件下,继续监测受到毒物冲击后反应器电流的变化。最终得到23个由不同浓度毒物冲击过后MEC反应器及其电信号的数据。二、对收集到的样本数据进行数据处理以及机器学习建模
1)对采集得到的电信号数据进行数据清洗处理
计算机保存的电信号数据带有采样的时间戳、数据采集系统的IP地址、以及设备编号等标签,将这些数据进行处理成为每个反应器按照时间顺序排布的电信号数据样式,以便后续特征值提取和机器学习建模。
2)对于电信号数据进行特征组提取以及特征值选择
使用经过数据整理后的23个反应器的电信号数据作为数据库。如图3,对于每一个MEC反应器,通过对实验数据和采集的电信号数据的处理,得到一系列特征值:描述性电信号的特征值,包括MEC反应器运行期间产生的最大电流(I_max)、反应器中生物膜驯化成熟,系统达到稳定状态的稳态电流(I_stable)以及达到稳态所需的时间(t_stable)、注射毒物的时间点(t_inject);响应毒物冲击特征值,包括受到毒物冲击后6个小时的电流(Drop_6h)以及电流下降率(DropRatio_6h)、受到毒物冲击后12个小时的电流(Drop_12h)以及电流下降率(DropRatio_12h)、受到毒物冲击后18个小时的电流(Drop_18h)以及电流下降率(DropRatio_18h)、受到毒物冲击后24个小时的电流(Drop_24h)以及电流下降率(DropRatio_24h),特征值的定义以及计算方法与前述无异。
对所有的特征值数据进行归一化处理,将每一个特征值数据集映射到(0,1)区间。归一化处理公式如下:
随机选取20个反应器的数据集作为训练集来训练机器学习模型,其他3个作为训练集,用于验证模型可实现浓度预测以及评估模型的预测精确程度。
用于训练氯化锰浓度模型的特征组为I_max、I_stable、t_stable、DropRatio_12h;用于训练亚硝酸钠浓度模型的特征组为I_max、I_stable、t_stable、DropRatio_24h;用于训练盐酸四环素浓度模型的特征组为I_max、I_stable、t stable、DropRatio_6h、DropRatio_12h。
3)针对不同毒物使用不同的算法进行机器学习建模
用于训练氯化锰、亚硝酸钠、盐酸四环素的机器学习模型分别为偏最小二乘算法(PLS)、K最近邻算法(KNN)、神经网络算法(NNET)。由于毒物浓度的值为连续变量,因此基于训练集电信号特征值数据建立回归模型进行有监督机器学习,将验证集中电信号特征值数据输入模型中,得到用于预测连续变量各个毒物的浓度。
偏最小二乘回归分析是针对多特征值和多输出值的回归分析方法,实现了结合典型相关分析进行变量相关性分析和主成分分析进行数据简化的多元回归方法。通过对电信号调整数据的信息整合和筛选,PLS算法可以从整个特征组中提取对于毒物浓度有最佳解释能力的新综合变量进行回归建模。K最近邻方法是从训练的电信号数据样本中找到与新点在距离(标准欧几里得距离)上最近的预定数量(k)的几个点,然后根据这些点进行预测。基于连续标签的电信号数据特征组,KNN可实现回归模型的训练。在回归模型中,神经网络的训练依靠通过多层感知器(Multi-layer Perceptron,MLP)进行。NNET框架下多层感知器包括一个输入层和一个输出层,和一个非线性的隐藏层。最开始一层输入层由一组代表输入特征的神经元{x_i|x_1,x_2,…,x_m}组成,即用于建模的一系列电信号特征值;隐藏层中的神经元将前一层的值进行加权线性求和转换w
在通过相应的算法和特征组进行训练出针对氯化锰、亚硝酸钠和盐酸四环素的回归模型后,将验证集中每个反应器的特征值组输入到模型中,得到预测的不同毒物的浓度,如图4所示。可以看到,由模型预测得到的浓度与实际注射的毒物浓度差异很小,初步说明三种毒物的定量模型是有足够的准确性的。
通过计算模型的均方根误差(Root Mean Square0 Error,RMSE)和平均绝对误差(Mean Absolute Error,MAE)进一步对模型精确性进行评估。
MAE测量预测过程中所有误差的平均值,其计算方法如下:
其中,
RMSE测量预测过程中,预测错误的标准偏差,其计算方法如下:
其中,
经过验证集的验证,氯化锰、亚硝酸钠、盐酸四环素的浓度定量模型的MAE能够降到0.20、0.18、0.26,RMSE能够降到0.21、0.20、0.23。
证明通过大量反应毒性监测的电信号数据,并通过不同的机器学习算法构建可在同一批次微生物电化学传感器上实现同时对多种毒物的定量检测,为微生物电化学的进一步推广奠定了基础。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
- 一种基于机器学习模型的微生物电化学传感器的综合毒物监测方法
- 一种基于模糊宽度自适应学习模型的污水处理过程故障监测方法