铝/铜板带材工业大数据平台人机交互系统

技术领域

本发明涉及大数据和数据可视化技术领域，尤其涉及一种铝/铜板带材工业大数据平台人机交互系统。

背景技术

高维动态多时空尺度铝/铜板带工业大数据可视分析人机交互技术主要依托于大数据平台基础上为用户提供可视化页面交互操作，它是面向CPS的铝/铜板带材生产全流程大数据采集及平台构建的重要实现环节，具体表现为大数据平台软件系统的设计与实现，然而目前暂未发现流行通用的铝/铜板带工业大数据处理软件系统。因此，结合大数据平台建设要求，采用可视化分析交互技术，设计并实现铝/铜板带工业大数据处理软件系统是意义深远的。

随着分布式储存、分布式计算、数据挖掘分析等新一代大数据信息技术的融合与突破,对于大批量数据的处理变得越来越简单，而数据可视化在整个大数据生态中扮演着越来越重要的作用。针对铝铜板带生产过程中产生的高维多时空数据处理，合理的展示和人机交互方法更是尤为重要。同时对于高噪声的工业现场数据来说清洗和分析也需要对应的可视化技术连接用户和系统平台，因此合理的可视化技术对于整个铝铜板带工业大数据平台极其重要。

在原始数据源中通常有大量过期数据、无效数据，如果在导入数据时将这些数据和有效数据一并导入数据库不仅费时费力，在后续的数据使用中也会给用户带来很多不必要的麻烦。同时由于没有集成平台所以不同工艺与不同设备间的数据之间的关联无法有效的进行利用，而且缺乏工具为工序人员提供直观的数据展示；其次历史数据中包含大量的缺失值、异常值和重复值等导致数据信息价值不高，所以需要为工作人员提供直观易操作的清洗分析工具使得现场数据可以发挥更大价值。

发明内容

针对上述问题，本发明的目的在于提供一种铝/铜板带材工业大数据平台人机交互系统，能够有效地解决生产数据分散、勾链性差和数据查询速度慢等问题。

本发明采用的技术方案如下：

本发明所提出的铝/铜板带材工业大数据平台人机交互系统，所述人机交互系统包括数据导入模块、数据查询模块、数据清洗模块和数据分析模块；

所述数据导入模块包括文件读取单元、数据上传单元和显示单元，用于将现场采集到的非结构化数据多线程高速导入到大数据平台上；

所述数据查询模块包括“产品号+时间”检索模块、“设备号+时间”检索模块和“工艺路径+时间”检索模块，用于将铝/铜板带材生产全流程多源结构化数据时空分层进行展示以及将非结构化数据进行图形展示；

所述数据清洗模块包括数据集选取模块、原始数据状态展示模块和清洗操作模块，用于构建适用于铝/铜板带材数据清洗系统的人机交互界面，对于选中数据源的重复值、异常值、单一值和缺失值等统计信息进行展示并设计用户清洗操作逻辑；

所述数据分析模块包括分类模块、聚类模块和回归模块，用于面向铝/铜板带材生产全流程的数据分析展示，根据不同数据分析方法设计不同人机交互系统，提供不同接口对应于后端数据分析功能。

进一步的，所述文件读取单元，用于读取本地存储好的IBA文件并将文件名提供给用户进行选择，同时导入前将文件提供给数据上传单元以便进行导入操作；

所述数据上传单元，用于进行本地数据向大数据平台数据导入以及反馈结果的主模块；获取文件读取单元的文件数据后将文件进行打包压缩传输、在服务器端进行解压存储到HDFS中并且通过WebSocket通信返回实时状态提供给显示单元；

所述显示单元，用于给用户提供可选择的文件以及可执行的操作；包括时间选择、文件路径选择和导入进度显示。

进一步的，所述“产品号+时间”检索模块，根据时间段进行索引查找当前时间段所有卷号信息再进行具体卷号数据查询；

所述“设备号+时间”检索模块，根据设备划分数据对于不同设备上不同时间段产生数据进行分类展示；

所述“工艺路径+时间”检索模块，根据熔铸、热轧、冷轧等工艺作为一级索引对于不同工艺不同时间生产产品进行展示，当选定其中某一具体产品后可以进行其对应L2-L3数据和IBA数据的展示。

进一步的，所述数据集选择模块，用于给用户提供可选择数据，以及在获取到用户选择后，分别提供给单一值检测单元、重复值检测单元、异常值监测单元和缺失值监测单元；其中用户选择包括数据选取单元和异常值判断单元；

所述原始数据状态展示模块，包括单一值监测单元、重复值监测单元、缺失值监测单元和异常值监测单元；用于提供对原始数据清洗前状态展示功能，在人机交互页面直观体现原始数据单一值、重复值、异常值和缺失值的基本状态，为数据清洗操作提供依据；获取数据集选择模块提供的用户选择的数据后进行处理并将为数据清洗模块提供数据；

所述清洗操作模块，包括缺失值处理单元、异常值处理单元和默认处理单元；用于获取到原始数据状态展示模块处理后的字段名提供给用户进行清洗操作选择，主要针对于缺失值和异常值，并提供对于重复值和单一值的默认处理功能和自定义文件名功能方便用户查找。

进一步的，所述数据选取单元，用于选取数据源，提供本地下载好的源数据文件让用户进行选择，同时支持用户指定文件路径；

所述异常值判断单元用于选取异常值判断方法，主要用于清洗时判断异常值，包括箱型图、拉依达准则和绝对中位差三种方法。

进一步的，所述单一值监测单元，用于监测数据中一列重复值超过90％的字段名并进行展示；

所述重复值监测单元，用于监测数据中上下两行完全重复的数据，由于现场数据中重复值一般较多且数据量大，因此只显示其重复行数以及重复卷号；

所述缺失值监测单元，用于监测数据中缺失、无意义的数据；展示缺失值个数以及其所在的具体字段，对应字段的缺失比例等统计信息；

所述异常值监测单元，用于根据用户选择的异常值判断方法监测数据中异常值，展示异常值字段名以及对应异常值位置；

进一步的，所述缺失值处理单元，针对于上一模块中检测出的缺失值进行处理；提供删除、填充中位数、填充众数、填充平均数四种方式供用户选择；

所述异常值处理单元，针对于上一模块中检测出的异常值进行处理；提供删除、不进行处理、填充中位数、填充众数、填充平均数五种方式供用户选择；

所述默认处理单元，针对于重复值和单一值进行处理，由于其对于数据分析和数据可视化均意义不大属于现场生成的噪声或者人为操作失误数据，因此后端清洗时直接默认将其删除。

进一步的，所述分类模块、聚类模块和回归模块分别对应于不同的数据特性以及不同的工艺背景；针对这一特点构建针对不同方法不同界面的人机交互系统，其中每个模块包括具体单元如下：

选择数据单元，对于分类和回归算法前端为用户提供数据源选择、自变量选择、因变量选择以及参数设置等算法的输入参数设置，同时支持默认传递方式；对于聚类方法前端提供数据集选择、列选择以及算法参数设置；

数据处理单元，当选择数据单元获取到用户输入后传输给java后端，后端将数据传给Python程序后进行分析，生成分析结果后再将其通过java端传给分析结果可视化单元；

分析结果可视化单元，针对于算法处理单元返回结果将其以表格+图形方式展示给用户，直观展示分析结果。

本发明与现有技术相比具有以下有益效果：

1、数据导入模块利用压缩和解压缩方式加快了数据导入速度，同时利用WebSocket全双工通信保证了显示模块可以实时获取到数据导入进度以及导入异常中断时可以及时捕获并报给用户，大大提升了数据导入系统鲁棒性；

2、数据查询模块设计三种不同查询方式实现了对于铝\铜板带材多源异构数据的详细展示，同时提供了对于现场结构化数据和非结构化数据联合查询方式；

3、数据清洗模块设计了集成选择、展示、清洗于一体的人机交互系统使得用户在最少操作的情况下可以快速清洗好一套工业数据用于分析，并可为用户提供直观的展示及清洗操作选择。

附图说明

图1为本发明铝/铜板带材工业大数据平台人机交互系统的模块组成示意图；

图2为本发明铝/铜板带材工业大数据平台人机交互系统的数据清洗模块组成示意图；

图3为本发明铝/铜板带材工业大数据平台人机交互系统的数据清洗操作流程示意图；

图4-6为本发明铝/铜板带材工业大数据平台人机交互系统的数据导入模块系统界面示意图；

图7-8为本发明铝/铜板带材工业大数据平台人机交互系统的卷号索引的数据查询模块界面示意图；

图9为本发明铝/铜板带材工业大数据平台人机交互系统的设备索引数据查询模块界面示意图；

图10-11为本发明铝/铜板带材工业大数据平台人机交互系统的工艺索引数据查询模块界面；

图12为本发明铝/铜板带材工业大数据平台人机交互系统的数据清洗系统界面示意图；

图13为本发明铝/铜板带材工业大数据平台人机交互系统的数据分析系统界面示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

本发明所提出的一种铝/铜板带材工业大数据平台人机交互系统，如图1所示，所述交互系统整体包括数据导入模块、数据查询模块、数据清洗模块和数据分析模块。

所述数据导入模块包括文件读取单元、数据上传单元和显示单元，针对于现场采集到的非结构化数据多线程高速导入到大数据平台上；如图4-6所示，

所述文件读取单元，用于读取本地存储好的IBA文件并将文件名提供给显示单元，同时导入前将文件提供给数据传输单元以便进行导入操作，为导入前的文件选取和导入时的数据读取提供帮助。具体功能包括：当用户指定时间后该单元会根据用户指定时间返回该时间段下的所有文件名称，以及当用户选择好文件名称后该模块会根据文件名将文件依次提供给数据上传单元做导入准备。同时为用户提供文件路径选择以及批量选择功能，同时对于用户选择次数较多的文件提供记忆功能再显示时会排在前面。界面体现在如图4所示用户首先指定好时间和存储文件路径，通过显示单元传输给文件读取单元，进行文件读取后返还给显示单元如图5所示为用户提供选项进行文件选择。

所述数据上传单元用于进行本地数据向大数据平台数据导入以及反馈结果的主模块。包括获取文件读取单元的文件数据后将多个IBA文件进行打包压缩，然后用多线程高速传输到服务器端、在服务器端用C#程序进行解压存储到HDFS中。同时在整个导入进程时java端提供和前端的WebSocket通信保持导入状态的实时返回，以及当导入受阻时及时提示给用户确保导入工作可以正常进行。

所述显示单元是连接数据上传单元、文件读取单元和用户之间的桥梁，用于给用户提供可选择的文件以及可执行的操作。包括如图6所示提供给用户时间选择和文件路径选择弹窗，同时如图6所示在导入时获取到数据传输单元返回的导入进度进行进度条显示，捕获异常当导入异常时弹窗提示用户。

所述数据查询模块包括“产品号+时间”检索模块、“设备号+时间”检索模块和“工艺路径+时间”检索模块，针对铝/铜板带材生产全流程多源结构化数据时空分层进行展示以及对于非结构化数据进行图形展示；

所述“产品号+时间”检索模块，即首先如图7所示，根据时间段进行索引查找当前时间段所有卷号信息，双击即可选择卷号；当用户指定卷号后跳转到如图8所示数据展示页面显示当前卷号经过所有设备，最后用户单击某一设备后再进行具体数据展示；此索引方法主要用于展示该卷号该设备该时间段的数据用于现场工作人员按照产品索引设备数据，同时支持设备联查当生产产品出问题时可以快速查找到其经过的所有设备。

所述“设备号+时间”检索模块，如图9所示，根据设备划分数据对于不同设备上不同时间段产生数据进行分类展示；指定设备后选择字段和时间后向后台请求数据，展示当前设备当前字段该时间内的生产信息，同时支持中英文字段切换。

所述“工艺路径+时间”检索模块，即根据熔铸、热轧、冷轧等工艺作为一级索引对于不同工艺不同时间生产产品进行展示；首先如图10所示，用户选择工艺和时间展示当前时间段当前工艺所生产的所有产品信息，包括生产日报和质检报表；当选定其中某一具体产品后可以进行其对应L2-L3结构化数据和如图11的IBA非结构化数据的展示，同时支持导出功能可以勾选表格中数据点击导出按钮进行自动导出。

所述数据清洗模块包括数据集选取模块、原始数据状态展示模块和清洗操作模块，构建适用于铝/铜板带材数据清洗系统的人机交互界面，对于选中数据源的重复值、异常值、单一值和缺失值等统计信息进行展示并提供用户清洗操作；如图12所示，

所述数据集选取模块，主要给用户提供可选择数据以及获取到用户选择后分别提供给单一值检测单元、重复值检测单元、异常值监测单元和缺失值监测单元；包括数据选取单元和异常值判断单元。

所述数据选取单元，主要如图12选择文件夹部分体现，会浏览用户电脑中所有以.xls和.csv名称结尾的文件。即提供本地下载好的源数据文件让用户进行选择，同时支持用户指定文件路径。

所述异常值判断单元，界面提供选项供用户选择具体异常值判断方法，包括箱型图、拉依达准则和绝对中位差三种方法；分别对应于后端异常值监测单元的不同处理。

所述原始数据状态展示模块，包括单一值监测单元、重复值监测单元、缺失值监测单元和异常值监测单元；提供对原始数据清洗前状态展示功能；接收数据集选择模块用户指定的数据，进行处理后在人机交互页面直观体现原始数据单一值、重复值、异常值、缺失值的基本状态，以便为清洗操作模块提供数据，是连接数据集选择模块和清洗操作模块的中间件；

所述单一值监测单元，体现在图12单一值展示栏，通过循环数据每一个特征的所有数据点，监测数据中一列重复值超过90％的字段名并进行统计展示。

所述重复值监测单元，体现在图12重复值展示栏，主要监测数据中上下两行完全重复的数据，由于现场数据中重复值一般较多且数据量大因此只显示其重复行数以及重复卷号。

所述缺失值监测单元，体现在图12缺失值展示栏，主要监测数据中缺失、无意义的数据。主要展示缺失值个数以及其所在的具体字段，对应字段的缺失比例等统计信息。

所述异常值监测单元，体现在图12异常值展示栏，根据数据集选取模块异常值判断单元中用户选择的异常值检测方法监测数据中离群点、噪声点等，主要展示异常值字段名以及对应异常值位置。

所述清洗操作模块，主要体现在图12功能区对应的前后端程序，包括缺失值处理单元、异常值处理单元和默认处理单元；主要获取到原始状态展示模块处理后的字段名针对于缺失值和异常值提供给用户进行清洗操作选择，其余检测出的异常数据由默认处理单元进行删除。同时并提供自定义文件名功能方便用户后续查找。

所述缺失值处理单元，体现在图12所示缺失值处理部分，针对于原始状态展示模块中缺失值单元检测出的缺失值进行处理；获取原始状态展示模块中缺失值监测单元生成的字段，提供删除、填充中位数、填充众数、填充平均数四种方式供用户选择，获取用户选择后将字段以及对应选择以Map形式批量提交给后端进行处理。

所述异常值处理单元，体现在图12所示异常值处理部分，针对于上一模块中检测出的异常值进行处理。获取原始状态展示模块中异常值监测单元生成的字段，提供删除、不进行处理、填充中位数、填充众数、填充平均数五种方式供用户选择。

所述默认处理单元，针对于重复值和单一值进行处理，由于其对于数据分析和数据可视化均意义不大属于现场生成的噪声或者人为操作失误数据因此后端清洗时直接默认将其删除。

所述数据分析模块包括分类模块、聚类模块和回归模块，面向铝/铜板带材生产全流程的数据分析展示，根据不同数据分析方法设计不同人机交互系统；提供不同接口对应于后端数据分析功能；并对于分析结果进行合理展示；其中分类模块效果如图13所示，

铝/铜板带材的数据分析主要包括分类、聚类、回归三种方法，分别对应于不同的数据特性以及不同工艺背景；针对这一特点构建针对不同方法不同界面的人机交互系统，包括具体单元如下：

选择数据单元，包括如图13中所示的数据选择、数据比例、自变量选择、因变量选择以及参数设置。对于分类和回归算法前端为用户提供数据源选择、自变量选择、因变量选择以及参数设置等算法的输入参数设置，同时支持默认传递方式。对于聚类方法前端提供数据集选择、列选择以及算法参数设置。

数据处理单元，包括分类、聚类、回归三种数据分析方法，当选择数据单元获取到用户输入后传输给java后端，后端将原数据信息、用户指定方法一并传给Python程序利用sklearn进行数据分析，生成分析结果后再将其通过java后端传给分析结果可视单元。

分析结果可视化单元，主要针对于算法处理单元返回结果将其以表格+图形方式展示给用户，直观展示分析结果，如图13底部即为随机森林分类形成的结果以及混淆矩阵。

本发明的使用主要分为数据导入、数据查询、数据清洗和数据分析四部分，其中数据导入阶段首先如图4所示，选择需要导入的数据所在时间段，当选好后点击确定如图5所示，显示当前时间段下所有文件，勾选好想导入数据后点击开始按钮如图6所示，会隐藏文件选择按钮同时展示导入文件名称和导入进度；

数据查询分为“产品号+时间”查询、“设备号+时间”查询和“工艺路径+时间”查询，其中“产品号+时间”查询首先如图7所示，选择时间后点击卷号选择按钮在卷号列表块会显示当前时间卷号，对于其中卷号双击会放入到当前选择框中，当选好后点击确认卷号按钮会跳转到图8所示界面，单击选好卷号后会其对应设备流程图设备会亮起，单击设备后即可显示底部数据；“设备号+时间”查询如图9所示，首先选择机台、选择信息种类、然后选择起始终止时间最后点击查询即可在底部显示数据；“工艺路径+时间”查询方式如图10所示，首先指定工艺和起始终止时间，点击查询后会在底部显示质检信息日报及生产信息，单击某一行即可进行复选框的选中，可选择其中一卷后点击IBA查询或者过程数据查询L2-L3或者IBA数据，如图11所示，也可选中多卷后点击导出导出到本地；

数据清洗如图12所示，首先单击浏览找到本地需要清洗数据，然后点击异常值判断方法下拉框指定异常值判断方法，点击确认后即可显示单一值、缺失值、异常值和重复值数据，最后在底部操作区下拉框指定字段和对应操作，在输入框定义清洗后文件名称后点击开始清洗按钮即可完成操作，最后清洗操作完成后会弹出提示清洗操作已完成；

数据分析功能如图13所示，首先在数据选择部分下拉框指定数据源，会在数据显示框中展示数据，然后依次进行训练集比例和因变量自变量设定，在参数设置部分设置模型参数后点击分析按钮即可进行分析并在底部返回框中以图表形式展示算法结果和模型。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。