一种视频会议监测系统

技术领域

本发明涉及视频会议监测技术领域，尤其涉及一种视频会议监测系统。

背景技术

视频会议是指两个或多个地点的使用者，以网络为媒介，突破时间地域的限制通过互联网实现面对面般的交流效果，根据参会地点数目的不同，将视频会议分为点对点会议和多点会议。视频会议系统由视频会议终端、视频会议服务器、网络管理系统和传输网络构成，采用先进的音视频编解码技术，保证产品清晰的语音和视频效果；强大的数据共享功能更为用户提供了电子白板、网页同步、程序共享、演讲稿同步、虚拟打印、文件传输等丰富的会议辅助功能，能够全面满足远程视频会议、资料共享、协同工作、异地商务、远程培训以及远程炒股等各种需求，从而为用户提供高效快捷的沟通新途径，有效降低公司的运营成本，提高企业的运作效率。

目前的视频会议系统大多把功能集中在举行视频会议实现远程交流这方面，缺少对视频会议的监测来保障会议的稳定进行，同时在出现故障时没有提供很好的处理解决措施，因此，提出的一种视频会议监测系统。

发明内容

本发明的目的是为了解决现有技术中存在缺少对视频会议的监测来保障会议的稳定进行，同时在出现故障时没有提供很好的处理解决措施的缺点，而提出的一种视频会议监测系统。

为了实现上述目的，本发明采用了如下技术方案：

一种视频会议监测系统，包括视频会议终端，用于进行视频会议并提供视频会议产生的视频及音频；网络服务器，用于提供数据传输的网络服务；视频会议监测平台，用于对视频会议进行监测并对异常进行处理；数据库，用于存储传输来的视频会议实时视频和音频、可视化字幕、记录内容以及监测分析出的数据；以及信息展示模块，用于展示对视频会议的监测内容及记录内容的展示；所述视频会议终端将数据传输到网络服务器，所述网络服务器将接收到的数据传输到视频会议监测平台，所述视频会议监测平台与数据库相连，所述数据库对视频会议监测平台产生的数据进行存储，并在视频会议监测平台需要数据时提供所需要的数据，所述视频会议监测平台将需要展示的数据进行可视化并传输到信息展示模块进行展示。

本发明的技术方案中，所述视频会议终端的数量根据视频会议的需求进行选择，所述系统可支持多个视频会议终端同时进行数据传输。

上述技术方案进一步包括：

所述视频会议监测平台包括视频提取模块、音频提取模块、数据收集整理模块和数据分析模块，所述视频提取模块和音频提取模块从视频会议终端传输来的视频会议相关信息进行视频和音频的分类提取，所述视频提取模块和音频提取模块将提取的视频信息和音频信息进行传输，传输到数据收集整理模块，对需要收集的数据进行收集并整理，所述数据收集整理模块将数据传输到数据分析模块；所述视频提取模块用于实时提取视频会议中用户在进行会议时产生的视频数据，所述音频提取模块用于实时在进行视频会议的时候对参会人员的语音信息进行提取，所述数据收集整理模块用于收集视频会议需要监测的信息并对其进行数据整理，所述数据分析模块用于对监测的数据进行分析并对其特征进行识别。

所述数据收集整理模块将数据传输到实时视频质量监测模块和音频识别转文字模块，所述实时视频质量监测模块和音频识别转文字模块将视频数据及音频传输到会议内容记录模块，所述会议内容记录模块将记录的内容传输到数据库中进行保存所述音频识别转文字模块将识别后的数据传输到字幕展示模块；所述实时视频质量监测模块用于对视频会议中展示的视频的质量实时进行监测，所述音频识别转文字模块用于将视频会议中参会人员的音频信息进行识别并转化成文字信息，所述会议内容记录模块用于对会议产生的数据内容进行整理并记录，所述字幕展示模块用于将音频转换成的文字以字幕的形式进行展示。

所述实时视频质量监测模块应用有基于模型质量分析算法，所述基于模型质量分析算法也就是深度学习方法，应用该方法首先建立图像特征与图像质量之间的统计概率模型，采用多变量高斯分布描述概率分布，对待评价图像，提取特征后根据概率模型计算最大后验概率的图像质量，或根据与概率模型的匹配程度估计图像质量，如特征间的距离；

评时计算待评价图像特征与无失真图像统计模型的距离作为图像质量评价度量，基于多变量高斯模型进行概率建模，将特征维度很高的表征图像质量进行降维处理，网络设计为一个卷积神经网络，先人工选择图像质量类别的数据，并对数据进行打分和分类，然后训练出一个回归模型，直接利用回归进行质量评价，输入一张待评价图像，然后输出一个类别和一个值。

所述视频质量监测模块在进行特征提取与降维时应用有主成分分析方法，将需要处理的数据设置为M个样本{X

首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，各均值分别为

得到协方差矩阵后，根据Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，特征提取后获取的数据信息用更少的数据展示更多有效内容。

所述数据分析模块将数据传输到预警模块，所述预警模块将预警信息传输到处理风险模块，所述预警模块和处理风险模块将信息传输到信息展示模块，所述预警模块用于对视频质量不佳时进行提醒预警，预警的方式为在视频会议终端以文字的形式进行提醒，所述处理风险模块用于对预警模块预警的风险进行处理，处理的方式为当检测到视频质量不佳时，预警信息传输到处理风险模块，根据视频质量的情况进行不同程度的处理，例如，在质量极差的情况下将关闭视频，保证音频能够稳定传输，若质量一般但存在卡顿，将采用降低视频画质的方式进行处理。

所述信息展示模块与视频会议终端连接，所述信息展示模块将预警信息展示在视频会议终端上，所述信息展示模块还与会议内容记录模块连接，所述会议内容记录模块将数据传输到信息展示模块。

所述字幕展示模块与视频会议终端的视频会议同步进行，当视频会议进行的时候，主持人演讲时视频会议终端会进行演讲的字幕实时展示。

本发明的技术方案中，所述实时视频质量监测模块应用的回归模型采用大量的实际视频会议系统的视频作为训练样本，各种故障检测器均来源于实际系统，并经过大量实际系统的测试，因此检测准确率高。

本发明具备以下有益效果：

1、本发明中，设置有实时视频质量监测模块，对视频会议的监测从而保障会议的稳定进行，同时应用有深度学习的方法，对回归模型进行训练，采用大量的实际视频会议系统的视频作为训练样本，经过大量实际系统的测试，检测准确率高。

2、本发明中，设置有预警模块和处理风险模块，当视频质量不佳时进行提醒预警，并根据情况进行相应的处理，保证视频会议稳定畅通进行。

附图说明

图1为本发明提出的一种视频会议监测系统的系统框图；

图2为本发明中的视频会议监测平台的系统框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提出的一种视频会议监测系统，包括视频会议终端，用于进行视频会议并提供视频会议产生的视频及音频；网络服务器，用于提供数据传输的网络服务；视频会议监测平台，用于对视频会议进行监测并对异常进行处理；数据库，用于存储传输来的视频会议实时视频和音频、可视化字幕、记录内容以及监测分析出的数据；以及信息展示模块，用于展示对视频会议的监测内容及记录内容的展示；视频会议终端将数据传输到网络服务器，网络服务器将接收到的数据传输到视频会议监测平台，视频会议监测平台与数据库相连，数据库对视频会议监测平台产生的数据进行存储，并在视频会议监测平台需要数据时提供所需要的数据，视频会议监测平台将需要展示的数据进行可视化并传输到信息展示模块进行展示。

信息展示模块与视频会议终端连接，信息展示模块将预警信息展示在视频会议终端上，信息展示模块还与会议内容记录模块连接，会议内容记录模块将数据传输到信息展示模块。

本发明的实施例中，当进行视频会议的时候，参加会议的人员使用视频会议终端进行视频会议，各视频会议终端之间存在数据传输，各视频会议终端可以看见所有参会人员的视频信息，各视频会议终端将视频信息及音频信息传输到网络服务器，由网络服务器将这些数据传输到视频会议监测平台；视频会议终端通过摄像头对使用者进行视频拍摄并上传，同时在会议期间产生的音频信息也一并传送到网络服务器，网络服务器接收到视频流与音频流信息并将其传送到视频会议监测平台，对视频会议进行监测并对异常进行处理；监测的数据传输到数据库中进行存储，并在需要的时候从数据库中调取相应的数据，视频会议监测平台将监测数据传输到信息展示模块对预警信息及监测数据进行展示，信息展示模块与视频会议终端相连，视频会议的参与者在视频会议终端中可以实时了解到相关情况。

如图2所示，本发明的实施例中，视频会议监测平台包括视频提取模块、音频提取模块、数据收集整理模块和数据分析模块，视频提取模块和音频提取模块从视频会议终端传输来的视频会议相关信息进行视频和音频的分类提取，视频提取模块和音频提取模块将提取的视频信息和音频信息进行传输，传输到数据收集整理模块，对需要收集的数据进行收集并整理，数据收集整理模块将数据传输到数据分析模块；视频提取模块用于实时提取视频会议中用户在进行会议时产生的视频数据，音频提取模块用于实时在进行视频会议的时候对参会人员的语音信息进行提取，数据收集整理模块用于收集视频会议需要监测的信息并对其进行数据整理，数据分析模块用于对监测的数据进行分析并对其特征进行识别。

数据收集整理模块将数据传输到实时视频质量监测模块和音频识别转文字模块，实时视频质量监测模块和音频识别转文字模块将视频数据及音频传输到会议内容记录模块，会议内容记录模块将记录的内容传输到数据库中进行保存音频识别转文字模块将识别后的数据传输到字幕展示模块；实时视频质量监测模块用于对视频会议中展示的视频的质量实时进行监测，音频识别转文字模块用于将视频会议中参会人员的音频信息进行识别并转化成文字信息，会议内容记录模块用于对会议产生的数据内容进行整理并记录，字幕展示模块用于将音频转换成的文字以字幕的形式进行展示。

实时视频质量监测模块应用有基于模型质量分析算法，基于模型质量分析算法也就是深度学习方法，应用该方法首先建立图像特征与图像质量之间的统计概率模型，采用多变量高斯分布描述概率分布，对待评价图像，提取特征后根据概率模型计算最大后验概率的图像质量，或根据与概率模型的匹配程度估计图像质量，如特征间的距离。

评时计算待评价图像特征与无失真图像统计模型的距离作为图像质量评价度量，基于多变量高斯模型进行概率建模，将特征维度很高的表征图像质量进行降维处理，网络设计为一个卷积神经网络，先人工选择图像质量类别的数据，并对数据进行打分和分类，然后训练出一个回归模型，直接利用回归进行质量评价，输入一张待评价图像，然后输出一个类别和一个值。

视频质量监测模块在进行特征提取与降维时应用有主成分分析方法，将需要处理的数据设置为M个样本{X

首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，各均值分别为

得到协方差矩阵后，根据Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，特征提取后获取的数据信息用更少的数据展示更多有效内容。

数据分析模块将数据传输到预警模块，预警模块将预警信息传输到处理风险模块，预警模块和处理风险模块将信息传输到信息展示模块，预警模块用于对视频质量不佳时进行提醒预警，预警的方式为在视频会议终端以文字的形式进行提醒，处理风险模块用于对预警模块预警的风险进行处理，处理的方式为当检测到视频质量不佳时，预警信息传输到处理风险模块，根据视频质量的情况进行不同程度的处理，例如，在质量极差的情况下将关闭视频，保证音频能够稳定传输，若质量一般但存在卡顿，将采用降低视频画质的方式进行处理。

字幕展示模块与视频会议终端的视频会议同步进行，当视频会议进行的时候，主持人演讲时视频会议终端会进行演讲的字幕实时展示。

网络服务器将数据传输到视频会议监测平台，视频会议监测平台包含有视频提取模块、音频提取模块、数据收集整理模块、实时视频质量监测模块、音频识别转文字模块、字幕展示模块、会议内容记录模块、数据分析模块、预警模块和处理风险模块，视频会议终端产生视频与音频数据，通过网络服务器传输到视频会议监测平台，视频会议监测平台的视频提取模块将传输来的数据信息进行分类将视频信息进行提取，提取的信息将传输到数据整理模块收集视频会议需要监测的信息并对其进行数据整理；视频会议监测平台的音频提取模块将传输来的数据信息进行分类将音频信息进行提取，提取的信息将传输到数据整理模块收集视频会议需要监测的信息并对其进行数据整理；数据收集整理模块将数据传输到实时视频质量监测模块和音频识别转文字模块。

实时视频质量监测模块首先建立图像特征与图像质量之间的统计概率模型，采用多变量高斯分布描述概率分布，对待评价图像，提取特征后根据概率模型计算最大后验概率的图像质量，或根据与概率模型的匹配程度估计图像质量，如特征间的距离，评时计算待评价图像特征与无失真图像统计模型的距离作为图像质量评价度量；基于多变量高斯模型进行概率建模，将特征维度很高的表征图像质量进行降维处理，网络设计为一个卷积神经网络，先人工选择图像质量类别的数据，并对数据进行打分和分类，然后训练出一个回归模型，直接利用回归进行质量评价，输入一张待评价图像，然后输出一个类别和一个值，根据这个值对视频质量进行监测。

在视频会议进行的时候，主讲者将视频信息分享给所有参会人员的视频会议终端，并将接收的音频通过音频识别转文字模块将音频转换成文字信息，并通过字幕展示模块进行可视化将其展示在视频会议终端的视频界面上，同时，实时视频质量监测模块和音频识别转文字模块将信息传输到会议内容记录模块对会议内容进行实时记录，方便后续对视频会议的内容进行回顾与汇总。

实时视频质量监测模块和音频识别转文字模块将数据传输到数据分析模块对监测的数据进行分析并对其特征进行识别，数据分析模块将数据传输到预警模块，预警模块将预警信息传输到处理风险模块，预警模块和处理风险模块将信息传输到信息展示模块，预警模块用于对视频质量不佳时进行提醒预警，预警的方式为在视频会议终端以文字的形式进行提醒，处理风险模块用于对预警模块预警的风险进行处理，处理的方式为当检测到视频质量不佳时，预警信息传输到处理风险模块，根据视频质量的情况进行不同程度的处理，例如，在质量极差的情况下将关闭视频，保证音频能够稳定传输，若质量一般但存在卡顿，将采用降低视频画质的方式进行处理。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。