一种数据采集系统及方法

技术领域

本发明涉及数据采集技术领域，特别是涉及一种数据采集系统及方法。

背景技术

数据采集通常有两种解释：一种是从数据源收集、识别和选取数据的过程。另一种是数字化、电子扫描系统的记录过程以及内容和属性的编码过程。

数据采集系统包括了：可视化的报表定义、审核关系的定义、报表的审批和发布、数据填报、数据预处理、数据评审、综合查询统计等功能模块。通过信息采集网络化和数字化，扩大数据采集的覆盖范围，提高审核工作的全面性、及时性和准确性；最终实现相关业务工作管理现代化、程序规范化、决策科学化，服务网络化。

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。

被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间(称采样周期)对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据量测方法有接触式和非接触式，检测元件多种多样。不论哪种方法和元件，均以不影响被测对象状态和测量环境为前提，以保证数据的正确性。数据采集含义很广，包括对面状连续物理量的采集。在计算机辅助制图、测图、设计中，对图形或图像数字化过程也可称为数据采集，此时被采集的是几何量(或包括物理量，如灰度)数据。

在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，数据采集领域已经发生了重要的变化。首先，分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次，总线兼容型数据采集插件的数量不断增大，与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集机先后问世，将数据采集带入了一个全新的时代。

对于大部分制造业企业，测量仪器的自动数据采集一直是个令人烦恼的事情，即使仪器已经具有RS232/485等接口，但仍然在使用一边测量，一边手工记录到纸张，最后再输入到PC中处理的方式，不但工作繁重，同时也无法保证数据的准确性，常常管理人员得到的数据已经是滞后了一两天的数据；而对于现场的不良产品信息及相关的产量数据，如何实现高效率、简洁、实时的数据采集更是一大难题。

发明内容

鉴于此，本发明的目的是提供一种数据采集系统及方法，具有数据采集效率高和采集数据的有效率高的优点。

为了实现上述目的，本发明采用如下技术方案：

一种数据采集系统，所述系统包括：部署在云计算系统节点的数据采集节点系统、数据采集单元、通信管理单元和数据处理单元；所述数据采集节点系统与所述数据处理单元连接；所述数据采集单元节于数据处理单元信号连接；所述节点系统经由所述通信管理单元与云端服务器连接；所述数据采集节点系统包括接收器和发送器，所述接收器与所述发送器连接；所述接收器与所述数据处理单元连接；所述发送器与所述通信管理单元连接；所述通信管理单元包括电源系统，所述电源系统包括电源管理芯片和电源功率控制模块；所述电源功率控制模块包括POE功率变压器和光电耦合器，所述电源管理芯片的输出端与所述POE功率变压器输入端连接；所述光电耦合器的输出端与所述电源管理芯片的反馈端连接；所述数据采集单元包括信息采集器和信息发送器，所述信息采集器与所述信息发送器连接，所述信息发送器用于将所述信息采集器采集的信息发送给所述数据处理单元。

进一步的，所述数据处理单元包括：数据预处理单元、数据规约单元和数据标准化单元；所述数据预处理对数据信息依次进行去除唯一属性、处理缺失值和异常值检测处理；所述数据规约单元，用于将数据预处理后的数据进行规约处理，使得规约处理后的数据两两不相干，但能尽可能保持原有的信息；所述数据标准化单元，将规约处理后的数据按比例缩放，使之落入一个小的特定区间。

进一步的，所述数据采集单元为生物特征识别设备；所述生物特征识别设备具体为指纹模块，或者，虹膜监测模块，或者，人脸识别模块，或者，声纹识别模块。

进一步的，所述声纹识别模块包括：声谱图转换子单元、CNN声纹特征提取子单元、CNN参数子单元、用户声纹特征模型库子单元和声纹特征谱匹配解码子单元，外部声音输入所述声谱图转换子单元，所述声谱图转换子单元将所述外部声音进行转换并将转换结果输入所述CNN声纹特征提取子单元，所述CNN声纹特征提取子单元从所述CNN参数子单元中提取CNN参数结合所述转换结果进行声纹特征提取并将提取结果输入所述声纹特征谱匹配解码子单元，在所述声纹特征谱匹配解码子单元中，将所述提取结果与所述用户声纹特征模型库中的用户声纹特征进行匹配解码识别，识别结果输出即为身份识别结果。

进一步的，所述通信管理单元与云端服务器的连接方式至少包括如下方式中的一种:GSM，GPRS，3G，4G，WIFI，蓝牙，NFC,或有线连接通信方式。

一种数据采集方法，所述方法执行以下步骤：步骤1：进行数据采集，将采集到的数据进行数据处理；步骤2：将处理后的数据进行发送；所述数据处理包括：依次进行去除唯一属性、处理缺失值和异常值检测处理；将数据预处理后的数据进行规约处理，使得规约处理后的数据两两不相干，但能保持原有的信息；将规约处理后的数据按比例缩放，使之落入特定的区间。

进一步的，所述进行数据采集时，采集到的数据为：指纹数据信息或声纹数据信息或虹膜数据信息或人脸信息；所述采集声纹数据信息的方法包括：将外部声音进行短时分帧，并按帧读入语音数据；检测所述语音数据，判断所述语音数据是语音帧还是非语音帧，是则进入下一步骤，否则结束流程；将所述语音帧进行频率转换，即进行快速傅立叶变换(FFT)，形成语音频谱数据；将所述语音频谱数据按照矩阵方式进行存放，所述矩阵的行是时间帧序列，所述矩阵的列是频率序列，所述矩阵就是二维的时间-频率声谱图；所述时间-频率声谱图在CNN中进行声纹特征提取获得声纹特征；将所述声纹特征与用户声纹特征进行声纹特征匹配识别；识别结果输出。

与现有技术相比，本发明实现的有益效果：本发明的数据采集系统效率高。对采集到的数据进行预处理后，保证了采集到的数据的有效性。

附图说明

以下结合附图和具体实施方式来进一步详细说明本发明：

图1为本发明实施例公开的数据采集系统的系统结构示意图。

图2为本发明实施例公开的数据采集方法的方法流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用于配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用于限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用于限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

一种数据采集系统，所述系统包括：部署在云计算系统节点的数据采集节点系统、数据采集单元、通信管理单元和数据处理单元；所述数据采集节点系统与所述数据处理单元连接；所述数据采集单元节于数据处理单元信号连接；所述节点系统经由所述通信管理单元与云端服务器连接；所述数据采集节点系统包括接收器和发送器，所述接收器与所述发送器连接；所述接收器与所述数据处理单元连接；所述发送器与所述通信管理单元连接；所述通信管理单元包括电源系统，所述电源系统包括电源管理芯片和电源功率控制模块；所述电源功率控制模块包括POE功率变压器和光电耦合器，所述电源管理芯片的输出端与所述POE功率变压器输入端连接；所述光电耦合器的输出端与所述电源管理芯片的反馈端连接；所述数据采集单元包括信息采集器和信息发送器，所述信息采集器与所述信息发送器连接，所述信息发送器用于将所述信息采集器采集的信息发送给所述数据处理单元。

具体的，数据采集，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。数据采集系统是结合基于计算机的测量软硬件产品来实现灵活的、用户自定义的测量系统。

数据采集的目的是为了测量电压、电流、温度、压力或声音等物理现象。基于PC的数据采集，通过模块化硬件、应用软件和计算机的结合，进行测量。尽管数据采集系统根据不同的应用需求有不同的定义，但各个系统采集、分析和显示信息的目的却都相同。数据采集系统整合了信号、传感器、激励器、信号调理、数据采集设备和应用软件。

实施例2

在上一实施例的基础上，所述数据处理单元包括：数据预处理单元、数据规约单元和数据标准化单元；所述数据预处理对数据信息依次进行去除唯一属性、处理缺失值和异常值检测处理；所述数据规约单元，用于将数据预处理后的数据进行规约处理，使得规约处理后的数据两两不相干，但能尽可能保持原有的信息；所述数据标准化单元，将规约处理后的数据按比例缩放，使之落入一个小的特定区间。

实施例3

在上一实施例的基础上，所述数据采集单元为生物特征识别设备；所述生物特征识别设备具体为指纹模块，或者，虹膜监测模块，或者，人脸识别模块，或者，声纹识别模块。

数据预处理(data preprocessing)是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。另外，对于一些剖面测量数据，如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。

实施例4

在上一实施例的基础上，所述声纹识别模块包括：声谱图转换子单元、CNN声纹特征提取子单元、CNN参数子单元、用户声纹特征模型库子单元和声纹特征谱匹配解码子单元，外部声音输入所述声谱图转换子单元，所述声谱图转换子单元将所述外部声音进行转换并将转换结果输入所述CNN声纹特征提取子单元，所述CNN声纹特征提取子单元从所述CNN参数子单元中提取CNN参数结合所述转换结果进行声纹特征提取并将提取结果输入所述声纹特征谱匹配解码子单元，在所述声纹特征谱匹配解码子单元中，将所述提取结果与所述用户声纹特征模型库中的用户声纹特征进行匹配解码识别，识别结果输出即为身份识别结果。

实施例5

在上一实施例的基础上，所述通信管理单元与云端服务器的连接方式至少包括如下方式中的一种:GSM，GPRS，3G，4G，WIFI，蓝牙，NFC,或有线连接通信方式。

实施例6

一种数据采集方法，所述方法执行以下步骤：步骤1：进行数据采集，将采集到的数据进行数据处理；步骤2：将处理后的数据进行发送；所述数据处理包括：依次进行去除唯一属性、处理缺失值和异常值检测处理；将数据预处理后的数据进行规约处理，使得规约处理后的数据两两不相干，但能保持原有的信息；将规约处理后的数据按比例缩放，使之落入特定的区间。

具体的，对于原始数据应主要从完整性和准确性两个方面去审核。完整性审核主要是检查应调查的单位或个体是否有遗漏，所有的调查项目或指标是否填写齐全。准确性审核主要是包括两个方面：一是检查数据资料是否真实地反映了客观实际情况，内容是否符合实际；二是检查数据是否有错误，计算是否正确等。审核数据准确性的方法主要有逻辑检查和计算检查。逻辑检查主要是审核数据是否符合逻辑，内容是否合理，各项目或数字之间有无相互矛盾的现象，此方法主要适合对定性(品质)数据的审核。计算检查是检查调查表中的各项数据在计算结果和计算方法上有无错误，主要用于对定量(数值型)数据的审核。

对于通过其他渠道取得的二手资料，除了对其完整性和准确性进行审核外，还应该着重审核数据的适用性和时效性。二手资料可以来自多种渠道，有些数据可能是为特定目的通过专门调查而获得的，或者是已经按照特定目的需要做了加工处理。对于使用者来说，首先应该弄清楚数据的来源、数据的口径以及有关的背景资料，以便确定这些资料是否符合自己分析研究的需要，是否需要重新加工整理等，不能盲目生搬硬套。此外，还要对数据的时效性进行审核，对于有些时效性较强的问题，如果取得的数据过于滞后，可能失去了研究的意义。一般来说，应尽可能使用最新的统计数据。数据经审核后，确认适合于实际需要，才有必要做进一步的加工整理。

实施例7

在上一实施例的基础上，所述进行数据采集时，采集到的数据为：指纹数据信息或声纹数据信息或虹膜数据信息或人脸信息；所述采集声纹数据信息的方法包括：将外部声音进行短时分帧，并按帧读入语音数据；检测所述语音数据，判断所述语音数据是语音帧还是非语音帧，是则进入下一步骤，否则结束流程；将所述语音帧进行频率转换，即进行快速傅立叶变换(FFT)，形成语音频谱数据；将所述语音频谱数据按照矩阵方式进行存放，所述矩阵的行是时间帧序列，所述矩阵的列是频率序列，所述矩阵就是二维的时间-频率声谱图；所述时间-频率声谱图在CNN中进行声纹特征提取获得声纹特征；将所述声纹特征与用户声纹特征进行声纹特征匹配识别；识别结果输出。

需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储单元、处理单元的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD～ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/单元不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/单元所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。