一种数据采集处理方法

技术领域

本发明涉及一种数据采集处理方法。

背景技术

在案件发生后，相关行动人员一般会根据从现场得到的信息反馈，确定行动方向和范围。但通常在这个范围内的对象很多且毫无头绪，需要相关行动人员对所有目标人员进行询问，以进一步排除目标人员，缩小范围。即使能够锁定目标人员，有时因为缺乏关键证据，也需要从询问的过程中，挖掘线索，确定行动方向。然而，无论是目标人员还是被害人亦或是证人，为了自己的利益都可能做出与事实有偏差甚至完全相悖的内容。而且这些内容没有第三方作证明或者辅助的证据，孰是孰非难以决断，这无疑增加了行动的难度。

通常，上述情况需要调动专业的心理生理测试专家，通过对目标人员采用心理检测技术，找到可疑之处并重点测试，有助于起到快速排查出目标人员，及时调整行动方向，以及突破重点目标的心理防线，促使目标人员交代事实的作用。但是，专业的心理生理测试专家和部门资源很稀少，能够接收和处理的案件十分有限，案件处理需要排期等待，容易错过最佳行动时间。

传统的心理测试一般采用多导测试仪进行。通过在目标人员身上安装各种传感器，按照事先设计的问题测试目标人员，同时观察目标人员在供述时的各项生理信号，根据信号变化情况判断目标人员供述的真实性。

传统的多导测试仪应用在测试过程中，会存在如下的明显局限：

1、缺乏“隐形”感知设备：在使用多导测试仪时，在将传感器施加到目标人员身上之前，需要向目标人员介绍测试原理，并解释测试的安全性，在征得目标人员同意后，方可连接测试设备的传感器。在测试过程中，如若目标人员不配合，则很难实施。此外，容易使目标人员产生紧张情绪，干扰测试结果。如何能在目标人员无感知的情况下，完成“隐性”测试，是急需的技术之一。而在生物医学工程技术蓬勃发展的今天，如何通过非接触(或少接触)形式来检测人体各种生理信号，还是一个非常大的挑战，这也是国际上的热点研究领域。

2、欠缺智能化实时分析能力：多导测试仪仅仅输出各类传感器的原始信号，要由心理生理测试专业人员根据个人经验，从原始信号的波动上，分析出目标人员是否说谎，容易引入人为主观因素的干扰。为了让非专业心理测试人员也能借由心理测试技术，提高工作效率，提升处理能力，唯一的途径就是结合人工智能的方法，实现实时的智能化分析。

3、欠缺多模式心理检测技术的融合：目标人员在说谎时，除生理指标会发生波动外，语音和表情也会发生微小的变化，这些稍纵即逝的微妙变化恰恰暴露了目标人员的真实内心世界。而且，眼睛常被称为人类心灵的窗户。现实生活中，一个受过训练的FBI探员可以在动态过程中抓住被观察对象一个面部微小表情、眼神或行为举止，可以感知到被观察对象在一定上下文场景中的真实内心世界是否存在欺骗。同时，心理检测又是一项复杂的技术，间接性强并且容易受到其他各类误差因素的影响，因此需要综合运用多种模式感知和识别技术，才能够相互印证来判定目标人员，这种多模式心理检测技术才能有助于提高测试准确度和复杂干扰下的鲁棒性。

4、欠缺最新心理学和深度机器学习的研发成果结合：正如人工智能发展的瓶颈是如何让机器学习人类的情感计算能力，在这其中，如何结合研究人心理学相关的研究成果推动人工智能的发展是人类未解的世界难题。如心理学认为，一个有意欺骗的人认知负担会比较重。而最新的研究成果认为一个欺骗的人为了圆谎，他要努力保持说话不能自相矛盾，在保持长短程记忆的协同方面会有平衡性矛盾。

5、缺乏根据口供信息直接查询和推送信息的功能：相关部门有庞大的数据资源，除了自身的业务系统外，还有大量来自于社会各个职能部门，单位，企业，乃至互联网的数据，如何在测试过程中，根据目标人员的口供，实时检索相关信息，并把信息实时推送给出来，对于判断数据的真伪，可以提供有力的物证，最大化数据价值。

发明内容

本发明的目的在于提供一种数据采集处理方法，测试过程无感获取目标人员的心率、呼吸率、语音等生理数据，提取频谱特征，自动检测分析目标人员生理心理状态，实时掌握其心理异常波动及情感变化，协助相关行动人员判断目标人员回答询问时的可信度，帮助相关行动人员确定行动方向和范围，在强化行动力度、调整行动策略等方面发挥了积极作用。

为了达到上述目的，本发明提供一种数据采集处理方法，通过生理数据采集器采集目标人员的心冲击图信号BCG，并通过音视频数据采集器采集目标人员的光电容积描记信号PPG，根据所述心冲击图信号BCG或所述光电容积描记信号PPG计算得到生理信号，基于支持向量机SVM机器学习模型根据生理信号计算得到心理异动指标，基于非线性动力学特征HVG根据生理信号计算得到可信度指标。

所述采集心冲击图信号BCG的方法包含：

获取BCG原始信号BCG

通过不同频段的第一带通滤波器f

S

S

所述采集光电容积描记信号PPG的方法包含：

利用人脸识别算法从人脸图像序列中提取输入图像特征；

利用人脸跟踪算法实现人脸跟踪；

采用Dlib-64点位的人脸标志点进行ROI区域标注；

进行基于ROI色度的PPG信号提取：

构建原始RGB信号矩阵

其中，P

令

使用第二带通滤波器f

S

对获取的所述心冲击图信号BCG或所述光电容积描记信号PPG进行预处理，所述预处理方法包含：

使用基于最大重叠离散小波分析方法对心冲击图信号BCG或光电容积描记信号PPG进行分解，得到分解信号

使用自动峰值检测器f

所述生理信号至少包含：呼吸速率值RR，心率值HR，心率变异性指标，样本熵SampEn；所述心率变异性指标至少包含：总体标准差SDNN，峰峰间隔，低频功率LF，高频功率HF。

计算呼吸速率值RR的方法包含：

假设有两个相邻的呼吸波峰坐标值，可以计算即时呼吸率R

计算心率值HR的方法包含：

假设有两个相邻的心脏脉冲波峰坐标值，则即时心率H

计算心率变异性指标的方法包含：

根据相邻的心脏脉冲波峰坐标值，定义峰峰间隔：

总体标准差SDNN计算公式如下：

其中，

将25秒的峰峰间隔序列IBI进行快速傅里叶变换，得到频率谱F(IBI)；

某一频段上的功率计算为：

其中，低频功率LF的i

通过庞加莱散点图中短半轴指标SD2表示对于一段连续的心跳间隔IBI

庞加莱散点图中短半轴SD2的计算公式为：

其中，x，y表示所有横轴，纵轴坐标值，std(·)表示计算标准差；

计算样本熵SampEn的方法包含：

对于由N个数据组成的序列{IBI

d[X

对于给定的X

定义B

增加维数到m+1，计算X

定义A

样本熵定义为：

所述计算心理异动指标的方法包含：

将所有生理信号以向量的形式输入到支持向量机中，支持向量机通过对已收集的标签数据训练学习得到一个输出是0～1的数值，将这个数值乘以100 向下取整得到异常情绪分数值y：

输出的y值一般靠近数值0或者100，当数值处在50附近时，表示训练器目标人员处于临界状态。

所述计算可信度指标的方法包含：

目标人员保持静息状态30秒内的平均HVG值即为基线HVG：

HVG

之后每秒计算信号的HVG值，其HVG的偏离值作为心理异常值输出，使用指数函数进行映射，得到最后的经验公式：

本发明在测试过程中，无感获取目标人员的心率、呼吸率、语音等生理数据，提取频谱特征，自动检测分析目标人员生理心理状态，实时掌握其心理异常波动及情感变化，协助相关行动人员判断目标人员回答询问时的可信度，帮助相关行动人员确定行动方向和范围，在强化行动力度、调整行动策略等方面发挥了积极作用。

附图说明

图1是本发明实施例中提供的一种数据采集处理系统的示意图。

图2是本发明实施例中的心冲击图。

图3是本发明实施例中的心率变异性示意图。

图4是本发明实施例中提供的一种数据采集处理方法的流程图。

图5是本发明实施例中连续50个IBI数据分布图。

具体实施方式

以下根据图1～图5，具体说明本发明的较佳实施例。

本发明旨在结合前沿的生物心理学和人工智能等技术，为相关行动人员提供一套适用于基层工作的现场辅助系统，其中，生物心理学是重要的理论基础之一。

生物心理学中的最具代表性的指标之一是情绪，情绪是一系列主观认知经验的总和，它代表由多种感觉，思想和外显行为产生的复杂心理和身体状态。欺骗行为是一种典型的外显行为。在个体实施欺骗过程中，常常伴有紧张，焦虑的情绪。情绪的唤醒会引起外周生理指标的变化。通过监测生理指标的变化，可以判断个体产生何种特异的情绪(紧张，焦虑，恐惧)，从而判断个体是否存在对某些事项的回避。另外，自主神经系统一般指周围神经系统中控制内脏运动的传出部分，分为交感神经系统和副交感神经系统。它们向所有的心肌、平滑肌、和腺体发放神经冲动，引起它们的兴奋和工作。这类活动通常不被人的意识或意志控制，并且可以通过外界的生理监测设备探测到它们的活动情况。

一般认为，交感与副交感神经系统对内脏系统实施双重支配，在不同的情绪状态下以拮抗的方式控制调节生理活动。当个体处于紧张状态(被询问事实)出现紧张反应(应激)时，交感神经兴奋导致心跳加快、血流量增加、血压升高、呼吸加深，以便迅速地调用生理的机能；相反，副交感神经在身体安静时处于优势，维持正常的生理平衡。

本发明通过采集目标人员的心率和脉搏容积计算目标人员心率变异性 (HRV)，结合呼吸率及语音变化，实时监测目标人员在测试过程中的心理状态。

如图1所示，本发明提供了一种数据采集处理系统，其包含生理数据采集器1、音视频数据采集器2和主机3，通过生理数据采集器1采集目标人员的生理数据，通过音视频数据采集器2采集目标人员的音频和视频数据，所述主机3根据目标人员的生理数据和音频和视频数据实时计算得到心理异动指标和可信度指标，以协助相关行动人员判断目标人员回答询问时的可信度。

所述生理数据采集器1内置心冲击信号传感器，心脏跳动将血液喷射入全身血管会引起身体振动，心冲击信号传感器内的光纤探测器通过自适应地感知细小光强变化来检测这种微弱振动，进而提取目标人员的血流速度、呼吸率、心率变异性等信息。所述生理数据采集器1具备蓝牙传输功能，将目标人员的生理数据通过蓝牙无线传输方式发送至主机3。

所述音视频数据采集器2中包含光电容积信息获取模块，用于在由摄像头采集的人脸图像序列中提取感兴趣区域，基于所述感兴趣区域计算远程光电容积信号。

所述主机3对目标人员的生理数据和音频和视频数据进行处理，分析心率变异(HRV)波动、心率(HR)波动、生理心理复杂度和语音情感，监测目标人员生理、心理及情感状态变化，将结果同步反馈给相关行动人员，并提供多种辅助工具。

所述数据采集处理系统进行无感知生理数据采集，采集的生理数据包括目标人员的心冲击信号、心率、心率变异性信号、呼吸率、血容量脉冲信号等数据，同时在测试过程中能够实时采集目标人员的语音信息和面部视频信息。

所述数据采集处理系统根据采集到的目标人员的生理数据和音频和视频数据，实时监测目标人员在测试过程中的生理状态并在系统中反馈，辅助相关行动人员及时了解目标人员在测试过程中的生理状态变化。

所述数据采集处理系统实时监测目标人员的心理状态，根据目标人员在测试过程中各项生理数据变化计算分析其心理压力变化，以图形方式显示并划分异常程度，如正常、波动和异常等，数值越高表示心理压力越大，以此辅助相关行动人员确定行动方向和范围。通过对目标人员的语音数据进行分析，区分目标人员在测试过程中不同的压力类型、认知过程和情感反应，实时判断目标人员兴奋、压力、可疑和声音操控等9种情感，帮助相关行动人员掌握目标人员的情感变化，增加目标人员的心理压力，突破其心理防线，促使目标人员交代事实。在目标人员的生理、心理状态和情感分析结果的基础之上，对目标人员的每句供述进行可信度研判，辅助相关行动人员判断目标人员的供述是否真实。当目标人员在测试过程中出现异常的心理活动和情感变化时，系统能够立即给出醒目的告警提醒。

所述数据采集处理系统借助语音转写功能，将音频数据实时转换成文字并形成测试记录。所述数据采集处理系统与外部数据库联网，在测试过程中根据目标人员提供的身份证号等关键字搜索有价值的线索信息，包括人员信息、相关案件、住宿信息和铁路购票信息等，并即时向相关行动人员推送。所述数据采集处理系统能够全程保存音视频记录并标注关键时间段，同时具备测试记录的回放功能，能够迅速定位到关键时间段的测试实况。所述数据采集处理系统支持将测试记录上传至测试大数据中心，支持对测试记录进行大数据建模分析和机器学习，帮助积累经验和优化策略。

在本发明一个实施例中，所述数据采集处理系统采用的硬件型号和技术参数设定如下：

1、生理数据采集器：

心率采集范围：40～200bpm，静息15秒后数值稳定输出，更新频率1次 /秒；

呼吸率采集范围：6～45rpm，静息20秒后数值稳定输出，更新频率1 次/秒；

HRV数值监测：0～100，2分钟后数值稳定输出，更新频率1次/秒；

发射功率：4dBm；

蓝牙传输速率：2Mbps；

蓝牙传输频段：2.4G；

工作湿度：10％～90％；

参考传输距离：10米(为保证信号传输稳定性，建议不超过4米)；

供电电源：5V/2A移动电源；

环境温度范围：-20～60℃；

2、音视频数据采集器：

图像传感器：1/2.8”200万像素逐行扫描CMOS；

最大分辨率：1920(H)×1080(V)；

最大帧率：60帧；

图像编码：H.265高压缩编码技术；

摄影特性：120dB超宽动态；

定向音频响应频率：50Hz～16KHz(心形)/60Hz～14KHz(超心形)；

定向音频灵敏度：-45dB/-30dB±3dB；

定向拾音距离：距离目标人员1～2米，最大不超过2.5米；

定向拾音角度：±30°；

全向拾音响应频率：20Hz～20kHz；

全向拾音灵敏度：-30dB；

全向拾音信噪比：80dB(1米40dB音源)，50dB(10米40dB音源)；

全向监听范围：10㎡～150㎡(为保证语音质量，建议不超过30㎡)；

动态范围：104dB(1KHz at Max dB SPL)；

输出信号幅度：2.5Vpp/-25db；

供电电源：12V/2A电源适配器；

兼容操作系统：Win7、Win10；

环境温度范围：-20～60℃；

3、主机：

CPU：Intel i7处理器；

内存：16G；

硬盘：SSD 256G；

数据传输器：1.4GHz四核ARM处理器，蓝牙4.2；

操作系统：Win7。

本发明还提供了一种数据采集处理方法，以连续数值和离散标签的结果形式来展现的，共提供四大类指标值，分别为：1、基础生理数据；2、心理异动；3、情感识别数据；4、“可信度”。

其中，“基础生理数据”涵盖了心率和呼吸率，心率即人每分钟心脏搏动次数。呼吸率即人每分钟呼吸次数。由于该类指标是实时采集实时计算的，数值的动态变化反应了目标人员员的生理变化过程和变化幅度。心率和呼吸率的输出指标参数请参见以下表格。

表1心率和呼吸率输出指标

“心理异动”是利用“基础生理数据”计算得到的，心率变异性(HRV) 为该类指标提供了理论依据。以上两类是连续数值型指标，而由音视频采集器采集到的音频信号被加工成9种“情感识别数据”分类标签结果展现在了系统中。最后，“可信度”是利用信号系统动力学(水平可视图，HVG)等方法，对数据进行学习、表示、推断，旨在以高度概括的数值结果来表示系统的综合分析判断。

开始测试后进入“实时监测”模式，动态显示最近1分钟内的目标人员的心理异动、语音情感和可信度动态变化过程。

生理数据采集器1内含心冲击信号传感器，隐蔽地采集人体的生理信号：心冲击图(Ballistocardiogram，BCG)，从而进行实时的可信度分析。进一步通过音视频数据采集器2采集光电容积描记(PPG)信号的方式进行遥感心率估计，两种生理测量技术融合构成了一个准无接触生理测量及可信度分析系统。在被观察对象运动幅度不大时，运用BCG采集心率和心率变异信号的精度比较高，而在被观察对象运动幅度较大时，切换为遥感PPG测量心率和心率变异信号。

当目标人员坐在生理数据采集器坐垫上时，人体体重对坐垫的压迫会导致坐垫内的光纤发生微小弯曲，这种弯曲导致了光电探测器接收到的光量减少，检测到的光量将会被转化成电流量，进一步通过放大器转化成电压信号。心脏搏动与肺部呼吸等运动会影响身体对坐垫的施压，继而表现为电压信号的周期性变化，如图2所示，这类与时间相关的电压信号曲线便是心冲击图。从图2中可以看到，心冲击图BCG与大众所熟知的心电图ECG有着高度的相关性。ECG中的R峰与R峰之间的间隔以及BCG中J峰与J峰的间隔都可以用来计算被测量者的心率。此外，BCG除了可以用来记录被测量者的心率，还能用来记录被测量者的呼吸率以及呼吸幅度。通常情况下，当人处于紧张状态时，心率往往会上升，而呼吸率会下降，同时呼吸的幅度会加深。

心率变异性(HRV)是指连续心跳周期之间的波动，通常用从心电图 (ECG)数据中收集到的RR间隔(由心动周期的两个相邻R波峰组成的间隔)的变化来表示。心理学和神经科学研究已经证实，交感神经系统和副交感神经系统之间的持续相互作用会诱发心率的周期性变化，这可以通过HRV 测量来反映。因此，HRV被认为是心脏适应环境变化的指标，并被用作自主神经功能评估的主要非侵入性方法之一。越来越多的心理学研究证明了HRV 与情绪反应之间的联系。在过去30年中，有关HRV的研究层出不穷，HRV 分析方法得到了广泛的发展。心率变异性(HRV)指标可以用来指导对个体情绪的识别，其示例如图3所示。根据心电图信号中连续的RR间隔(A) 构造HRV系列的示例，以及健康受试者在平静(B)，恐惧(C)，幸福(D)，愤怒(E)和悲伤(F)下的HRV示例。

表2常用的HRV特征

通常，情绪识别工作中提取的HRV相关特征分为时域特征、频域特征以及非线性特征。时域特征用来量化连续心跳间隔中可变性的量，这类值一般用原始时间单位表示，有时也会采用原始时间单位的自然对数表示以使其更贴近正态分布。频域特征用于估计绝对功率或相对功率在不同频段中的分布。非线性特征则用于量化时间序列的不可预测性。其具体指标及其含义见表2。这些指数已被广泛用作情感识别的显着特征。例如：低频功率与高频功率之比可以估计在受控条件下交感神经系统和副交感神经系统活动之间的比率，是情绪识别工作中一个重要的HRV特征。基于这些指标，使用一个支持向量机的机器学习模型可以对人的情绪进行鉴别。

所述数据采集处理方法进行心理异动分析，使用心率变异性(HRV)四项指标(RR间期标准差：SDNN，低频功率高频功率比：LF/HF，相邻RR 间隔差标准差：SD2，采样熵：SampEn)进行分类训练。这四项指标分别涵盖了心率变异性的时域、频域以及非线性特征。为了准确地测量这些心率变异性指标，首先使用频段为0.5Hz～4Hz的带通滤波器提取与心脏脉冲相关的成分。为了降低与脉冲信号无关的运动对信号带来的负面干扰，使用基于最大重叠离散小波分析方法对滤波后的信号进行分解，通过分解的信号确定 BCG中的J峰坐标。

根据心率，呼吸率，心率变异性这类指标与个体情绪之间的关系，系统建立了一个监督学习模型，使用支持向量机作为训练模型，支持向量机使用铰链损失函数计算经验风险，是一个具有稀疏性和稳健性的分类器。通过实验采集的数据与标签放入分类器中进行训练，最后得到一个情绪检测模型。该模型集成在系统功能软件中，对目标人员每段供述输出一个0～100的整数数值，模型输出的数值越高，情绪异常度越高。

心理异动的输出指标参数请参见表格3，心理异动以曲线图的方式显示目标人员的心理压力变化，并分为“正常”、“波动”和“异常”三种程度。当心理异动达到“波动”或“异常”状态时，说明目标人员接受或出现较大的刺激和反应，此时相关行动人员需要密切关注。

表3心理异动输出指标

所述数据采集处理方法进行情感识别分析，目标人员在进行供述时的情绪状态是判定其供词可信度的一个重要指标。语音情感分析技术根据基础样本数据和贝叶斯最小错误率决策理论等算法来区分不同的压力类型、认知过程和情感反应。使用129个音频参数精确地发现和测量声波中无意识的变化，并创建一个基调以便标示谈话者的情绪图谱。

人类的发音机制是一个非常复杂的处理过程，为了做到这一点，需要相当数量的肌肉和身体器官参与，并且采用一定的方式将其在精确的时间内同步。首先，大脑会理解一个给定的情景并且评估由于说话而带来的影响。然后，如果决定要发言，空气会从肺部被挤压向上到声带，这会导致声带在一个特定的频率振动，产生声音。振动的空气继续流向大脑操纵的舌头、牙齿和嘴唇产生声音流，成为人类能理解的单词或词组。大脑会严密监测这个处理过程，以保证所发出的声音表达了唯一意图，能够被理解以及能够被倾听者听到。由于这种不间断的大脑监测，大脑活动的每一个“事件”都会通过语言流反映出来。语音情感分析技术忽略一个对象说什么(即具体内容)，只关注通过语音反映出来的大脑活动。

语音情感分析技术核心源于信息生成的算法精确地监测从高频率 (RHFR)和较低频率(RLFR)内的微小的变化。绝大部分人类能理解的、听到的以及能够分析的声音都处于这两个范围之内。

较高频率范围(RHFR)：这个值可以反映兴奋值很高或强烈的情绪状态。

较低频率范围(RLFR)：这个值可以反映压力状态，思考水平以及其他的认知过程(例如大脑对影像的处理)。

SPT：情绪水平(Emotional Level)：普通男性大约100到300；普通女性大约200到400。

SPJ：认知程度(Cognitive Level)：普通男性和女性大约100到300，认知是了解、思考、学习和判断的心理过程。

从SPT及SPJ这两个原始参数可以看出被测试对象是感性思维的人 (HeartPerson)还是属于理性思维的人(Head Person)。SPT越高感性度越强，SPJ越高理性度越强。

SPT与EMO水平(情绪压力水平)关联在一起，EMO是基于SPT进行计算的。

SPJ与COG水平(认知压力水平)关联在一起，COG是基于SPJ进行计算的。

Fmain：关系到集中注意力、紧张和拒绝(Associated With concentration,tension and rejection)：非常高的Fmain值表明了集中注意力。非常低的Fmain 值表明了羞愧、困窘和不愿意谈论该主题。

FX–“同步思维”指数(“Parallel thoughts”indicator)：关于注意力水平，这个指数应结合Fmain指数。数值越高思维越分散。

Fmain与FX是表现被测者注意力集中程度的参数，Fmain与FX成反比， Fmain越高FX越低，反之亦然。FX＝1时表明注意力集中在一件主要的思考内容上。

错误率(False rate)：描述偏离基准水平的总体情绪变化。

错误可能性(False probability)：高风险可疑内容的可能性，以百分比数值显示。

False rate与False probability结合表现了存在隐瞒事项可能性，False rate的正常值一般在100左右，False probability百分比范围是5％～95％，数值越高，存在隐瞒事项的可能性越高。

语音情感的输出指标参数请参见表4。

表4语音情感输出指标

语音情感监测目标人员的9种情感状态，分别是“正常”、“激动”、“感到压力”、“感到极度压力”、“感到困惑”、“伪装语调”、“可疑”、“犹豫”和“高度可疑”。

所述数据采集处理方法进行可信度分析，根据认知测试实验中心率和呼吸率的变化情况，追踪心率与呼吸率的变化，当心率与呼吸率的变化符合实验中测试对象接收相关性刺激时的生理指标变化特征时，给出生理信号异常的输出。系统对心率和呼吸率分别进行跟踪，使用峰值检测技术检测波峰波谷，并计算波峰波谷的相对距离判断信号变化幅度。曲线变化模式与实验中描述的曲线变化规律越匹配，给出的指标数值就越大。另一方面，水平可视图(HVG)是一种描述系统复杂度的非线性方法，它计算效率高、容易分析处理，能够从时间序列中揭示出真实复杂系统的有效信息。基于以上，系统每秒计算出一个0～100的整数数值，按可信度概念对数值进行取反，数值越低，代表其异常度越高。

可信度分析的输出指标参数请参见以下表5。

表5可信度分析输出指标

如图4所示，在本发明的一个实施例中，提供一种数据采集处理方法，包含以下步骤：

步骤S1、采集生理信号。

通过生理数据采集器采集目标人员的心冲击图信号BCG，并通过音视频数据采集器采集目标人员的光电容积描记信号PPG。

所述通过生理数据采集器采集心冲击图信号的方法包含：

1、获取BCG原始信号BCG

2、通过带通滤波器进行滤波；

通过两个不同频段的带通滤波器f

S

S

所述通过音视频数据采集器采集目标人员的光电容积描记信号的方法包含：

1、人脸识别算法：利用opencv的人脸识别库，对所述音视频数据采集器提取的人脸图像序列中的第一帧图像进行目标人脸的识别及标记，提取输入图像特征；

2、人脸跟踪算法：由于人脸在视频信号内属于唯一的、明显的，故而采用CSRT算法来满足人脸跟踪需要；

3、基于Landmark的ROI区域标记：采用Dlib-64点位的人脸标志点进行标注，同时，对得到的人脸标志点进行卡尔曼滤波，实现运动校正效果；

4、基于ROI色度的PPG信号的提取：色度是由RGB三色通道构建的，求取所述感兴趣区域的空间平均，构建原始RGB信号矩阵

对所述矩阵

其中，P

令

p(t)＝S

S

步骤S2、信号预处理，获得生理信号指标。

在获得生理信号后，进入“信号预处理”阶段——对多种实时监测得到的生理信号进行计算，计算得出被监测者的“心率(HeartRate，HR)”，“呼吸率(RespiratoryRate，RR)”等一系列生理指标。从情绪识别技术实践来说，生理信号更具有真实性、客观性且不受主观意识操控，可以更好地用来表达“生理-情绪心理”的映射规律，是计算出“情绪异常值”的必要信息。其中，生理信号指标包含：心率值，呼吸速率值，样本熵，心率变异性(总体标准差SDNN，峰峰间隔，低频功率LF，高频功率HF)等。

使用基于最大重叠离散小波分析方法(MODWT)对滤波后的信号进行分解；

为方便表示，将BCG

使用自动峰值检测器从分解的信号中确定J峰坐标；

使用自动峰值检测器f

通过自动峰值检测器得到的峰值坐标T

1、呼吸速率值RR

假设有两个相邻的呼吸波峰坐标值

2、心率值HR

同理，假设有两个相邻的心脏脉冲波峰坐标值

3、心率变异性指标

根据相邻的心脏脉冲波峰坐标值，定义峰峰间隔

根据计算得到的峰峰间隔，可以计算个体的心率变异性指标。

总体标准差SDNN计算公式如下：

其中，

低频功率LF和高频功率HF的计算需要将一段时间的峰峰间隔序列IBI(Interbeats interval，缩写IBI，是呼吸的峰峰间隔，心跳的峰峰间隔的统称，学界对以上节律性生理信号的节拍间隔统称)进行快速傅里叶变换，得到频率谱F(IBI)。

某一频段上的功率计算为：

其中，低频功率LF的i

4、样本熵

相邻RR间隔差标准差可以通过指标SD2表示对于一段连续的心跳间隔 IBI

短半轴SD2的计算公式为：

其中，x，y表示所有横轴，纵轴坐标值，std(·)表示计算标准差。

样本熵SampEn的计算方法如下：对于由N个数据组成的序列{IBI

定义向量X

d[X

对于给定的X

定义B

增加维数到m+1，计算X

定义A

样本熵定义为：

步骤S3、计算心理异动指标。

基于支持向量机(SVM)机器学习模型获取心理异动。

心理异动是将一段时间内的所有生理指标(心率HR，呼吸率RR，SDNN， SD2，LF/HF，SampEn)以向量的形式输入到支持向量机中，支持向量机通过对已收集的标签数据训练学习得到一个输出是0～1的数值，将这个数值乘以100向下取整得到异常情绪分数值y：

输出的y值一般靠近数值0或者100，当数值处在50附近时，表示训练器目标人员处于临界状态。

生理异常值的计算主要依托于对瞬时心率H

表6生理异常值输出对应表

其中，

其中，w1和w2是权重，exp是将整个数值映射在【0，1】区间。

步骤S4、计算可信度指标。

基于非线性动力学特征(HVG)计算出“可信度指标”。可信度的计算依赖于HVG值的变化。由于个体之间存在差异，输出心理异常值首先需要确定每个个体的HVG基线。在系统启动后30秒内，目标人员保持静息状态，这段时间内的平均HVG值即为基线HVG：

HVG

之后每秒计算信号的HVG值，其HVG的偏离值作为心理异常值输出。根据现实的需求，将1.1倍的HVG基线值对应心理异常值：30；1.2倍的HVG 基线值对应心理异常值：60。使用指数函数进行映射，通过实验设置公式中的常系数，得到最后的经验公式：

本发明测试的目标用户为各基层单位的相关行动人员，用于各类案件的目标人员测试，在测试过程中便于相关行动人员实时掌握目标人员的心理活动。安装部署环境需满足以下条件：

1、提供2个三脚电源接口；

2、提供2个图像网接入网口和IP地址；

3、测试场所无强烈的电磁干扰，附近无机房场所；

4、为确保数据传输稳定，生理数据采集器与主机的直线距离建议不超过 3米；

5、音视频数据采集器指向目标人员方向，安置距离与目标人员在1.5～ 2.5米范围内，与目标人员越近效果越好。采集器尽可能远离相关行动人员，并调节至能够清晰显示目标人员的面部。为保障数据准确性，测试过程中尽量采集目标人员正面面部图像。

6、测试环境中需部署已安装智能测试笔录软件的电脑，并且配备语音转写麦克风。电脑的系统时间必需与主机的系统时间保持一致。

本发明实现了在测试过程中，无感获取目标人员的心率、呼吸率、语音等生理数据，提取频谱特征，自动检测分析目标人员生理心理状态，实时掌握其心理异常波动及情感变化，协助相关行动人员判断目标人员回答询问时的可信度，帮助相关行动人员确定行动方向和范围，在强化行动力度、调整行动策略等方面发挥了积极作用。

同时，本发明在测试过程中借助智能测试笔录系统的语音转写功能将语音信息实时转录为测试记录。对目标人员供述的关键信息与系统数据平台进行检索比对并实时反馈结果，在帮助相关行动人员及时获取案件相关信息的同时，能够对目标人员施加心理压力，加快进度。

需要说明的是，在本发明的实施例中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述实施例，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。