一种语音交互的施工日志管理系统及实现方法

技术领域

本发明涉及施工日志管理技术领域，具体为一种语音交互的施工日志管理系统及实现方法。

背景技术

施工日志是对建筑工程整个施工阶段的施工组织管理、施工技术等有关施工活动和现场情况变化的真实的综合性记录，也是处理施工问题的备忘录和总结施工管理经验的基本素材。随着信息技术的发展，多数施工企业开始使用信息系统编制和管理施工日志。经调查，目前市场上常见的施工日志管理系统的录入均采用键盘录入的方式，录入方式较为不便，且录入信息量大。此外，由于施工日志管理系统多为单机应用，不具备联动告警、统计分析等功能，对施工生产辅助的支撑较差，使用者无法通过系统实时掌握工程管理情况。

基于此，本发明设计了一种语音交互的施工日志管理系统及实现方法，以解决上述问题。

发明内容

发明的目的在于提供一种语音交互的施工日志管理系统及实现方法，以解决上述技术问题。

为实现上述目的，发明提供如下技术方案：一种语音交互的施工日志管理系统，包括硬件设备和软件平台两部分，

所述硬件设备包括服务器端和客户端，所述服务器端由若干台数据库服务器和应用服务器构成，所述客户端包含若干台安装有移动应用软件的移动终端以及若干台能够访问互联网的计算机；所述数据库服务器上均安装MySql数据库软件，安装Nginx服务器软件、Keepalived服务程序，使用MyCat集群构建分片数据库，将同一数据库中的数据分散存放到若干个数据库服务器上，实现单台设备最佳负载的效果；所述应用服务器间采用Nginx+Keepalived实现双机热备，所有应用服务器上部署有JRE、JDK、Python开发环境，搭建Tomcat服务器，并安装施工日志管理系统服务器端程序；所述移动终端设备自带音频输入和输出模块、网络传输(4G/5G/WIFI)模块、摄像模块、显示模块；

所述软件平台包括信息数据库、施工日志录入子系统和统计分析子系统三部分；所述信息数据库包含用户信息数据库、工程信息数据库、知识库和模型库；所述施工日志录入子系统通过OpenCV 4.0实现操作者身份验证，使用GMM-HMM构建声学模型，结合语言模型实现对用户语音的识别和转换，再通过字典校对后将文字信息填写至电子版施工日志对应字段中；所述统计分析子系统包括统计施工日志录入情况、分析工程整体质量安全管理情况以及分析工程进度计划偏差情况三部分。

优选的，所述用户信息数据库主要存储内容包括用户个人情况、照片、电子签名信息；所述工程信息数据库存储内容包括工程项目名称、工程进度计划、检查问题清单信息；所述知识库中存储内容包括工程质量/安全管理情况判断规则、工程进度计划分段告警规则内容；所述模型库包含声学模型、语言模型、图像数据训练模型。

优选的，所述统计施工日志录入情况每月月末，系统自动统计本月施工日志录入情况，生成施工日志录入情况统计表，并推送至管理人员处；所述分析工程整体质量安全管理情况通过提取每日的施工日志中质量、安全检查情况数据，结合数据分析技术深入分析得出当前工程整体管理情况，提供给管理者参考；所述分析工程进度计划偏差情况通过提取近五日施工日志中的每日进度信息与存储在工程信息库中的工程进度计划进行比对，经数据分析计算得出当前进度与进度计划之间的差距，并反馈给全体项目管理人员，当进度偏差超过系统设定的阈值时，将向项目经理发出告警。

一种语音交互的施工日志管理系统的实现方法，包括施工日志录入流程，具体包括以下步骤：

步骤S1：系统于每日凌晨初始化生成本日施工日志空表，提取工程信息数据库的“检查问题”清单中的数据，以列表形式显示在“近期检查问题闭合情况”字段处，并标记日志状态为“未录入”；

步骤S2：用户通过移动应用访问系统，系统调用设备前置摄像头捕捉画面，通过OpenCV 4.0的DNN模块支持的人脸检测模型检测人脸，通过Openface的预训练模型提取人脸区域的128个特征向量值，基于余弦相似度与用户信息库中的人员照片进行特征值比对，若比对验证成功，则执行步骤S3，否则重复执行步骤S2；

步骤S3：移动应用显示欢迎界面，提供“录入本日施工日志”和“补录历史施工日志”选项供用户选择。若用户选择补录历史日志，则执行步骤S4；若用户选择录入本日施工日志，则执行步骤S5；

步骤S4：显示未录入施工日志的日期，引导用户选择并进入施工日志录入页面，按顺序执行步骤S5；

步骤S5：系统跳转至施工日志录入页面，并通过屏幕显示语音录入的规则，等待用户说话；

步骤S6：用户通过语音与系统进行交互，系统提取信息填充相应字段，并校验语法正确性后，提交施工日志；

步骤S7：系统存储施工日志记录，并修改当前施工日志状态为“已录入”。

优选的，所述施工日志录入流程的步骤S6的具体执行流程包括以下步骤：

步骤S6-1：用户通过语音输入：“开始录入”；

步骤S6-2：系统识别并验证语音内容后，通过语音向用户做出反馈：“请告知今日施工的部位”，并通过屏幕显示电子版施工日志表单，等待用户反馈；

步骤S6-3：系统接收用户反馈的语音，经过端点检测、降噪、特征提取后，利用GMM-HMM建立的声学模型和SRILM工具训练的语言模型对语音特征向量进行统计模式识别，得到文字信息，经校对后将文本信息填写至“施工部位”字段中，并继续通过语音向用户发出提示：“请告知本日工作内容及完成情况”，等待用户反馈；

...

重复步骤S6-3步骤，直至完成“本日工作内容及完成情况”、“现场有关会议内容”、“有关领导/检查组对工程的检查意见及决定”、“业主、监理意见执行情况”、“隐蔽工程验收情况”、“试验完成情况”、“材料进场及送检情况”、“质量检查问题”、“安全检查问题”、“其他检查问题”、“其他内容”字段，以及“近期检查问题闭合情况”中各项信息填写；

步骤S6-4：系统通过数据接口获取天气、风力、平均温度数据，分别填写至白天和夜间的“天气”、“风力”、“平均温度”字段中；

步骤S6-5：系统通过数据接口获取劳务实名制系统中今日出勤的工人种类和人数，填写至“工人考勤情况”字段中；

步骤S6-6：系统提取工程信息数据库中存储的工程名称填写至“工程名称”字段中；

步骤S6-7：系统按照规则“工程简称的首字母+年+月+日”计算得出本日施工日志编号，填写至“日志编号”字段中；

步骤S6-8：系统提取施工日志初始化日期填充至“记录日期”字段中；

步骤S6-9：系统提取用户信息数据库中操作者的电子签名填充“记录人”字段中；

步骤S6-10：系统向用户发出语音提示：“请核对录入的信息是否正确，如有错误请告知需要修改的字段及内容”，并等待用户回应。若用户回复“信息正确”，则执行步骤S6-11；若用户回复：“XXX字段填写错误”，执行步骤S6-17；

步骤S6-11：检查用户输入的“质量检查问题”字段内容是否为“无”，若为“无”，则执行步骤S6-12，若不为“无”，则执行步骤S6-14；

步骤S6-12：检查用户输入的“安全检查问题”字段内容是否为“无”，若为“无”，则执行步骤S6-13，若不为“无”，则执行步骤S6-14；

步骤S6-13：检查用户输入的“其他检查问题”字段内容是否为“无”，若为“无”，则执行步骤S6-15，若不为“无”，则执行步骤S6-14；

步骤S6-14：提取字段的具体内容，存储到工程信息数据库的“检查问题”清单中；

步骤S6-15：依次提取“近期检查问题闭合情况”中各项内容反馈情况，对于内容为“已完成”、“已整改”或“已闭合”等代表本项已完成整改的，将本条记录从工程信息数据库的“检查问题”清单中清除；

步骤S6-16：提交施工日志；

步骤S6-17：定位至该字段，根据用户新反馈的语音信息修正错误的内容，并重复执行步骤S6-10。

一种语音交互的施工日志管理系统的实现方法，包括质量安全管理分析执行流程，具体包括以下步骤：

步骤S1：提取工程信息数据库的“检查问题”清单记录的所有问题项；

步骤S2：统计问题项总条数；

步骤S3：通过关键词查找遍历所有问题项内容，查询“坍塌”、“倒塌”、“事故”、“亡”等代表存在严重问题的词语出现的次数，若严重性词语出现的次数大等于2或问题项总条数大等于20，则执行步骤S4；若严重性词语出现的次数为0，且问题项总条数小等于5，则执行步骤S5；剩余情况执行步骤S6；

步骤S4：反馈用户：当前工程管理存在较为严重的质量/安全问题，并推送存在严重性词语的问题项；

步骤S5：反馈用户：当前工程质量/安全管理情况良好；

步骤S6：反馈用户：当前工程质量/安全管理处于可控范围，并推送存在严重性词语的问题项。

与现有技术相比，发明的有益效果为：

本发明采用人脸识别的方式验证使用者身份，具有较高的安全性和可靠性；

本发明通过语音交互的方式录入施工日志，能够降低录入的复杂性，提高录入的效率；

本发明运用数据分析技术提取和分析施工日志中质量、安全检查内容及整改反馈数据，能够对工程质量、安全管理的整体情况作出判断，为管理决策提供支持；

本发明运用数据分析技术提取和分析近期施工日志中的计划工作内容及完成情况数据，结合存储在工程信息数据库中的工程进度计划，实现对进度滞后情况的判断，并通过设置的滞后分段告警阈值向管理者发出提醒，便于管理人员合理调整施工部署；

本发明使用Spring+SpringMVC+MyBatis+MyCat+Nginx+Keeplive搭建系统架构，灵活的服务器结构能够为软件系统提供较好的延展性，轻量级软件系统框架能够极大提升系统的可靠性和响应效率，为多用户并发操作提供支撑。

附图说明

为了更清楚地说明发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统硬件设备结构示意图；

图2为本发明系统软件平台结构示意图；

图3为本发明施工日志录入执行流程示意图；

图4为本发明施工日志录入流程的具体执行流程示意图；

图5为本发明电子版施工日志模板示意图；

图6为本发明质量/安全管理分析执行流程示意图。

具体实施方式

下面将结合发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于发明保护的范围。

请参阅图1-2，发明提供一种技术方案：一种语音交互的施工日志管理系统，是以自然语言处理技术为基础，其构成包含硬件设备和软件平台两部分；

硬件设备构成主要包含服务器端和客户端两部分，服务器端由若干台数据库服务器和应用服务器构成，客户端包含若干台安装有移动应用软件的移动终端，以及若干台能够访问互联网的计算机。

数据库服务器和应用服务器硬件选用配置不低于8核16线程CPU、8G内存、1TB存储空间、2个1000Mps以太网卡的机架服务器，品牌选择市场主流品牌。数据库服务器与应用服务器之间通过千兆交换机连接，实现不低于90MB/s的局域网数据传输。

所有数据库服务器上均安装MySql数据库软件，安装Nginx服务器软件、Keepalived服务程序，使用MyCat集群构建分片数据库，将同一数据库中的数据分散存放到若干个数据库服务器上，实现单台设备最佳负载的效果。

应用服务器间采用Nginx+Keepalived实现双机热备，所有应用服务器上部署有JRE、JDK、Python开发环境，搭建Tomcat服务器，并安装施工日志管理系统服务器端程序。

移动终端包含带有Android或iOS操作系统的平板电脑和手机，设备自带音频输入和输出模块、网络传输(4G/5G/WIFI)模块、摄像(前置、后置)模块、显示模块等。Android系统设备机身内存不应小于16GB，应搭载Android(或基于此系统的)8.0及以上版本的操作系统。iOS系统设备机身内存不应小于16GB，应搭载iOS 12.0及以上版本的操作系统。

选用的计算机配置不低于2核4线程CPU、2G内存、512GB存储空间，设备配置有符合IEEE802.3标准的以太网接口，并安装有Windows 7及以上版本操作系统。

软件平台采用J2EE SSM(Spring+SpringMVC+MyBatis)框架研发，配合Nginx+Keepalived+MyCat，实现了整体架构从上到下的高可靠性、高效率性和高稳定性。

平台采用语音交互的方式录入施工日志，实现施工日志录入情况统计、安全质量管理情况、工程进度滞后情况自动分析等功能。软件平台的结构大致分为信息数据库、施工日志录入子系统和统计分析子系统三部分。

1)信息数据库。包含用户信息数据库、工程信息数据库、知识库和模型库。其中，用户信息数据库主要存储用户个人情况、照片、电子签名等信息；工程信息数据库存储工程项目名称、工程进度计划、检查问题清单等信息；知识库中存储工程质量/安全管理情况判断规则、工程进度计划分段告警规则等内容；模型库包含声学模型、语言模型、图像数据训练模型等。

2)施工日志录入子系统。主要实现施工日志录入和录入提醒功能，通过OpenCV4.0实现操作者身份验证，使用GMM(混合高斯模型)-HMM(隐马尔可夫模型)构建声学模型，结合语言模型实现对用户语音的识别和转换，再通过字典校对后将文字信息填写至电子版施工日志对应字段中。若当日22:00仍未录入施工日志，系统将发送任务提醒给施工管理人员，若施工日志超期一天未录入，系统将推送告警消息给项目经理。

3)统计分析子系统。主要包含三部分功能：

一是统计施工日志录入情况。每月月末，系统自动统计本月施工日志录入情况，生成施工日志录入情况统计表，并推送至管理人员处。

二是分析工程整体质量安全管理情况。通过提取每日的施工日志中质量、安全检查情况数据，结合数据分析技术深入分析得出当前工程整体管理情况，提供给管理者参考。

三是分析工程进度计划偏差情况。通过提取近5日施工日志中的每日进度信息与存储在工程信息库中的工程进度计划进行比对，经数据分析计算得出当前进度与进度计划之间的差距，并反馈给全体项目管理人员，当进度偏差超过系统设定的阈值时，将向项目经理发出告警。

如图3，一种语音交互的施工日志管理系统的实现方法，包括施工日志录入流程，具体包括以下步骤：

步骤S1：系统于每日凌晨初始化生成本日施工日志空表，提取工程信息数据库的“检查问题”清单中的数据，以列表形式显示在“近期检查问题闭合情况”字段处，并标记日志状态为“未录入”；

步骤S2：用户通过移动应用访问系统，系统调用设备前置摄像头捕捉画面，通过OpenCV 4.0的DNN模块支持的人脸检测模型检测人脸，通过Openface的预训练模型提取人脸区域的128个特征向量值，基于余弦相似度与用户信息库中的人员照片进行特征值比对，若比对验证成功，则执行步骤S3，否则重复执行步骤S2；

步骤S3：移动应用显示欢迎界面，提供“录入本日施工日志”和“补录历史施工日志”选项供用户选择。若用户选择补录历史日志，则执行步骤S4；若用户选择录入本日施工日志，则执行步骤S5；

步骤S4：显示未录入施工日志的日期，引导用户选择并进入施工日志录入页面，按顺序执行步骤S5；

步骤S5：系统跳转至施工日志录入页面，并通过屏幕显示语音录入的规则，等待用户说话；

步骤S6：用户通过语音与系统进行交互，系统提取信息填充相应字段，并校验语法正确性后，提交施工日志；

步骤S7：系统存储施工日志记录，并修改当前施工日志状态为“已录入”。

如图4-5，其中，施工日志录入流程的步骤S6的具体执行流程包括以下步骤：

步骤S6-1：用户通过语音输入：“开始录入”；

步骤S6-2：系统识别并验证语音内容后，通过语音向用户做出反馈：“请告知今日施工的部位”，并通过屏幕显示电子版施工日志表单，等待用户反馈；

步骤S6-3：系统接收用户反馈的语音，经过端点检测、降噪、特征提取后，利用GMM-HMM建立的声学模型和SRILM工具训练的语言模型对语音特征向量进行统计模式识别，得到文字信息，经校对后将文本信息填写至“施工部位”字段中，并继续通过语音向用户发出提示：“请告知本日工作内容及完成情况”，等待用户反馈；

...

重复步骤S6-3步骤，直至完成“本日工作内容及完成情况”、“现场有关会议内容”、“有关领导/检查组对工程的检查意见及决定”、“业主、监理意见执行情况”、“隐蔽工程验收情况”、“试验完成情况”、“材料进场及送检情况”、“质量检查问题”、“安全检查问题”、“其他检查问题”、“其他内容”字段，以及“近期检查问题闭合情况”中各项信息填写；

步骤S6-4：系统通过数据接口获取天气、风力、平均温度数据，分别填写至白天和夜间的“天气”、“风力”、“平均温度”字段中；

步骤S6-5：系统通过数据接口获取劳务实名制系统中今日出勤的工人种类和人数，填写至“工人考勤情况”字段中；

步骤S6-6：系统提取工程信息数据库中存储的工程名称填写至“工程名称”字段中；

步骤S6-7：系统按照规则“工程简称的首字母+年+月+日”计算得出本日施工日志编号，填写至“日志编号”字段中；

步骤S6-8：系统提取施工日志初始化日期填充至“记录日期”字段中；

步骤S6-9：系统提取用户信息数据库中操作者的电子签名填充“记录人”字段中；

步骤S6-10：系统向用户发出语音提示：“请核对录入的信息是否正确，如有错误请告知需要修改的字段及内容”，并等待用户回应。若用户回复“信息正确”，则执行步骤S6-11；若用户回复：“XXX字段填写错误”，执行步骤S6-17；

步骤S6-11：检查用户输入的“质量检查问题”字段内容是否为“无”，若为“无”，则执行步骤S6-12，若不为“无”，则执行步骤S6-14；

步骤S6-12：检查用户输入的“安全检查问题”字段内容是否为“无”，若为“无”，则执行步骤S6-13，若不为“无”，则执行步骤S6-14；

步骤S6-13：检查用户输入的“其他检查问题”字段内容是否为“无”，若为“无”，则执行步骤S6-15，若不为“无”，则执行步骤S6-14；

步骤S6-14：提取字段的具体内容，存储到工程信息数据库的“检查问题”清单中；

步骤S6-15：依次提取“近期检查问题闭合情况”中各项内容反馈情况，对于内容为“已完成”、“已整改”或“已闭合”等代表本项已完成整改的，将本条记录从工程信息数据库的“检查问题”清单中清除；

步骤S6-16：提交施工日志；

步骤S6-17：定位至该字段，根据用户新反馈的语音信息修正错误的内容，并重复执行步骤S6-10。

如图6，一种语音交互的施工日志管理系统的实现方法，,包括质量安全管理分析执行流程，具体包括以下步骤：

步骤S1：提取工程信息数据库的“检查问题”清单记录的所有问题项；

步骤S2：统计问题项总条数；

步骤S3：通过关键词查找遍历所有问题项内容，查询“坍塌”、“倒塌”、“事故”、“亡”等代表存在严重问题的词语出现的次数，若严重性词语出现的次数大等于2或问题项总条数大等于20，则执行步骤S4；若严重性词语出现的次数为0，且问题项总条数小等于5，则执行步骤S5；剩余情况执行步骤S6；

步骤S4：反馈用户：当前工程管理存在较为严重的质量/安全问题，并推送存在严重性词语的问题项；

步骤S5：反馈用户：当前工程质量/安全管理情况良好；

步骤S6：反馈用户：当前工程质量/安全管理处于可控范围，并推送存在严重性词语的问题项。

在发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对发明的限制。

在发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在发明中的具体含义。

尽管已经示出和描述了发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，发明的范围由所附权利要求及其等同物限定。