一种基于平板电脑与摄像头的语音会议系统和方法

技术领域

本申请涉及会议系统技术领域，特别是涉及一种基于平板电脑与摄像头的语音会议系统和方法。

背景技术

现有的平板电脑与摄像头之间的语音通话，一般是平板电脑开发一个安卓应用软件，加载摄像头的SDK(Software Development Kit，软件开发工具包)，连接远程一个或者多个摄像头，从而进行语音数据接收和发送，连接摄像头的同时开启语音数据转换监听程序。应用程序接收一个摄像头语音数据，监听程序进行语音数据转发，转发语音数据到其他摄像头。应用程序内部需要处理摄像头发送的语音数据，进行格式转换，转换为应用程序可以识别的语音数据格式，并在应用程序进行播放。应用程序输入的语音数据，应用程序内部进行格式转换，转换为摄像头可以识别的语音数据，并给所有连接的摄像头发送语音数据，摄像头播放语音数据。

现有技术中，在平板电脑应用程序内处理摄像头数据转发，平板电脑通过SDK直接连接摄像头进行语音通话，摄像头或平板电脑发送的语音数据格式在应用程序内转换，平板电脑的处理能力有一个极限，当摄像头过多或者摄像头的数据过量，平板电脑处理不过来，将导致通话质量下降，出现卡顿或延迟长的缺点。

发明内容

基于此，有必要针对上述技术问题，提供一种基于平板电脑与摄像头的语音会议系统和方法。

一种基于平板电脑与摄像头的语音会议系统，所述语音会议系统包括：平板电脑、中心服务器、若干个摄像头。

所述平板电脑与所述中心服务器通过UDP协议通信，若干个所述摄像头与所述中心服务器连接。

所述平板电脑用于管理语音会议的启动与停止，开启语音会议后弹出语音会议界面，并同时与中心服务器进行连接；还用于管理摄像头的参会与退会，将所有摄像头信息存储在平板电脑中，并在语音会议开启后添加预设的摄像头参会或剔除已经添加进来的摄像头退出语音会议，并将添加与剔除摄像头的信息通过UDP协议通知中心服务器；还用于采集音频数据发送至中心服务器，接收并播放从中心服务器接收到的音频数据。

所述中心服务器用于根据接收到的参会与退会摄像头信息对摄像头进行控制；所述中心服务器还用于对接收到的平板电脑发送的语音数据在格式转换模块中进行格式转换，然后对转换结果进行混音处理，并将处理后的语音数据发送至摄像头，并且监听摄像头的语音输入，同时转发给其他摄像头播放，并将监听到的摄像头的语音数据进行格式转换后通过UDP协议发送至所述平板电脑。

进一步的，存放在所述平板电脑中的摄像头信息包括：摄像头IP地址和摄像头名称。

进一步的，在语音会议中，该摄像头可以与其他摄像头和平板电脑通过所述中心服务器进行语音通话；剔除摄像头后，该摄像头离开语音会议，则所述中心服务器收不到该摄像头的语音信息。

进一步的，所述平板电脑通过AudioRecord采集音频数据发送至中心服务器，通过AudioTrack进行语音的播放从中心服务器接收到的音频数据。

进一步的，所述语音会议界面包括添加预设的摄像头模块、参会成员显示与语音播放显示模块、添加摄像头模块以及剔除摄像头模块。

所述预设的摄像头模块用于在收到用户添加预设的摄像头指令后，弹出添加预设摄像头信息的窗口，在收到保存指令后，将用户输入的摄像头信息保存在所述平板电脑中。

所述参会成员显示与语音播放显示模块用于显示参会的所有摄像头，并当某个摄像头通话时，具有明显的语音播放显示，并播放语音。

所述添加摄像头模块用于在接收到用户的添加摄像头指令后，将用户从存储在平板电脑中的预设摄像头中选择的摄像头的信息发送至所述中心服务器。

所述剔除摄像头模块用于在接收到剔除摄像头指令后，将用户选择的要剔除的摄像头的信息发送至所述中心服务器。

进一步的，所述中心服务器用于根据接收到的参会与退会摄像头信息对摄像头进行控制，包括：

所述中心服务器用于根据接收到的参会与调用摄像头信息引用摄像头SDK对摄像头进行控制，调用摄像头初始化、登录进行连接，调用摄像头登出断开连接。

进一步的，所述中心服务器还用于对接收到的平板电脑发送的语音数据在格式转换模块中进行格式转换，然后对转换结果进行混音处理，并将处理后的语音数据发送至摄像头，并且监听摄像头的语音输入，同时转发给其他摄像头播放，并将监听到的摄像头的语音数据进行格式转换后通过UDP协议发送至所述平板电脑，包括：

所述中心服务器还用于将接收到的平板电脑发送的语音数据在格式转换模块中转换为摄像头可以识别的格式，同时对格式转换后的音频信号采用线性叠加后求平均方法进行混音处理，并将混音处理后的语音数据发送至摄像头，调用摄像头SDK的语音数据转发方法，监听摄像头的语音输入，将监听到的语音数据转发给其他摄像头进行播放，同时将监听到的摄像头的语音数据进行格式转换后通过UDP协议发送至所述平板电脑。

进一步的，所述摄像头为海康摄像头，摄像头播放G722格式语音数据。

所述平板电脑发送的所述中心服务器的语音数据为byte数据。

所述中心服务器中的格式转换模块用于将byte数据分割成一个一个80字节的数据，调用海康摄像头的SDK进行G722数据转换，调用SDK的发送数据接口，发送G722数据给摄像头；还用于将接收到的摄像头的G722格式的数据调用海康摄像头的SDK，将G722数据转换为byte数据，并通过UDP协议发送byte数据给所述平板电脑。

一种基于平板电脑与摄像头的语音会议方法，所述方法应用于上述基于平板电脑与摄像头的语音会议系统，实现基于平板电脑与摄像头的语音会议，包括：

平板电脑：

接收到语音会议请求指令后运行语音会议应用程序，将预设的摄像头信息存储在平板电脑中。

通过语音会议应用程序创建语音会议，添加参会和/或退会摄像头，并将参会和/或退会摄像头信息发送至中心服务器。

采集音频数据发送至中心服务器，同时接收并播放从中心服务器接收到的音频数据。

中心服务器：

根据接收到的摄像头信息调用摄像头SDK控制，调用摄像头初始化、登录进行连接，调用摄像头登出断开连接。

将接收的平板电脑发送的语音数据进行格式转换成与摄像头播放数据相同的格式，得到语音转换结果。

对语音转换结果进行混音处理后发送至摄像头进行播放。

调用摄像头SDK语音数据转发方法，监听摄像头的语音输入，将监听到的语音数据转发给其他摄像头进行播放，同时将监听到的摄像头的语音数据进行格式转换后通过UDP协议发送至所述平板电脑。

进一步的，所述摄像头为海康摄像头，摄像头播放G722格式语音数据；所述平板电脑发送到所述中心服务器的语音数据为byte数据。

将接收的平板电脑发送的语音数据进行格式转换成与摄像头播放数据相同的格式，得到语音转换结果，包括：

将byte数据分割成一个一个80字节的数据，调用海康摄像头的SDK进行G722数据转换，调用SDK的发送数据接口，发送G722数据给摄像头。

将接收到的摄像头的G722格式的数据调用海康摄像头的SDK，将G722数据转换为byte数据，并通过UDP协议发送byte数据给所述平板电脑。

上述一种基于平板电脑与摄像头的语音会议系统和方法，该语音会议系统包括：平板电脑、中心服务器、若干个摄像头；平板电脑与中心服务器通过UDP协议通信，若干个摄像头与中心服务器连接；中心服务器替代平板电脑进行连接摄像头、管理摄像头、音频转发、音频转换；并且在中心服务器中进行语音混音，释放平板电脑处理音频的压力；另外中心服务器处理能力比平板电脑的处理能力强，并且可以手动增加服务器配置，因此采用中心服务器处理大部分的逻辑运算，可降低摄像头运算，提高摄像头通话质量，减少通话延迟。

附图说明

图1为一个实施例中基于平板电脑与摄像头的语音会议系统组成框图；

图2为一个实施例中UDP通信；

图3为一个实施例中语音会议界面示意图；

图4为另一个实施例中基于平板电脑与摄像头的语音会议方法的流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于平板电脑与摄像头的语音会议系统，该语音会议系统包括：平板电脑10、中心服务器20、若干个摄像头30。

平板电脑10与中心服务器20通过UDP协议通信，若干个摄像头30与中心服务器20连接。

平板电脑10用于管理语音会议的启动与停止，开启语音会议后弹出语音会议界面，并同时与中心服务器进行连接；还用于管理摄像头30的参会与退会，将所有摄像头信息存储在平板电脑10中，并在语音会议开启后添加预设的摄像头参会或剔除已经添加进来的摄像头30退出语音会议，并将添加与剔除摄像头的信息通过UDP协议(User DatagramProtocol，用户数据报协议)通知中心服务器20；还用于采集音频数据发送至中心服务器20，接收并播放从中心服务器20接收到的音频数据。UDP通信如图2所示。

具体的，摄像头参会即连接摄像头，退会即断开摄像头连接。语音会议应用程序具有会议界面，会议界面上显示在线的摄像头，当某个摄像头通话时，具有明显的语音播放显示，并播放语音。

平板电脑10与中心服务器20之间采用传输速度很快，消耗很低，延迟小，数据传输效率高的UDP协议进行实时通信。平板电脑10作为UDP协议通信的客户端，发送数据到中心服务器20，同时监听中心服务器20发送过来的语音数据。

平板电脑10在会议系统中实现的功能是通过带有播放功能的语音会议应用程序实现的。平板电脑10运行带有播放功能的语音会议应用程序后，具备会议创建功能、存储预设的摄像头信息的功能、添加提出摄像头功能、语音播放功能、以及与服务器UDP通信功能。

会议创建功能是指可以开启或停止语音会议，开启语音会议后，弹出语音会议窗口界面，并同时与服务器进行连接。连接服务器成功则创建语音会议成功，连接失败，提示创建语音会议失败，并显示失败原因。

存储预设的摄像头信息的功能是指在添加摄像头之前，需要预设摄像头信息，存放在平板电脑中。摄像头信息由摄像头方面提供，包括摄像头IP地址、摄像头名称。

添加与剔除摄像头功能是指语音会议创建完成之后，可以添加预设好的摄像头，把摄像头作为一个语音对象拉入会议，还可以剔除已经添加进来的摄像头。摄像头在语音会议中时，可以与其他摄像头包括平板之内进行语音通话，剔除摄像头离开语音会议，则收不到摄像头语音信息。添加与剔除摄像头需要通过UDP通知服务器摄像头的IP。

语音播放功能是指：语音会议创建完成并启动后，在会议界面中具有语音输入输出功能，选择AudioRecord采集音频并发送到服务器进行转发，然后采用AudioTrack进行语音的播放。AudioRecord采集的音频数据直接用byte字节进行接收并转发。AudioTrack用于播放的是无压缩的PCM格式音频流。

与服务器UDP通信功能是指创建会议并开启，即与中心服务器建立UDP协议通信，停止会议，则销毁与服务器的UDP通信通道。UDP通信数据包含两种：一种是语音数据流，二种是摄像头的添加与剔除信息。

中心服务器20用于根据接收到的参会与退会摄像头信息对摄像头30进行控制；中心服务器20还用于对接收到的平板电脑10发送的语音数据在格式转换模块中进行格式转换，然后对转换结果进行混音处理，并将处理后的语音数据发送至摄像头30，并且监听摄像头30的语音输入，同时转发给其他摄像头30播放，并将监听到的摄像头30的语音数据进行格式转换后通过UDP协议发送至平板电脑10。通过增加一个中心服务器，释放平板电脑处理音频的压力。中心服务器处理能力比平板电脑的处理能力比较大，并且可以手动增加中心服务器配置。原来是平板电脑通过SDK连接摄像头，改为平板电脑连接中心服务器，中心服务器通过SDK连接摄像头。中心服务器可以替代平板电脑进行连接摄像头、管理摄像头、音频转发、音频转换。并且在中心服务器中进行语音混音。

上述一种基于平板电脑与摄像头的语音会议系统中，该语音会议系统包括：平板电脑、中心服务器、若干个摄像头；平板电脑与中心服务器通过UDP协议通信，若干个摄像头与中心服务器连接；中心服务器替代平板电脑进行连接摄像头、管理摄像头、音频转发、音频转换；并且在中心服务器中进行语音混音，释放平板电脑处理音频的压力；另外中心服务器处理能力比平板电脑的处理能力强，并且可以手动增加服务器配置，因此采用中心服务器处理大部分的逻辑运算，可降低摄像头运算，提高摄像头通话质量，减少通话延迟。

进一步的，存放在平板电脑中的摄像头信息包括：摄像头IP地址和摄像头名称。

进一步的，在语音会议中，该摄像头可以与其他摄像头和平板电脑通过中心服务器进行语音通话；剔除摄像头后，该摄像头离开语音会议，则中心服务器收不到该摄像头的语音信息。

进一步的，平板电脑通过AudioRecord采集音频数据发送至中心服务器，通过AudioTrack进行语音的播放从中心服务器接收到的音频数据。

进一步的，语音会议界面包括添加预设的摄像头模块、参会成员显示与语音播放显示模块、添加摄像头模块以及剔除摄像头模块；预设的摄像头模块用于在收到用户添加预设的摄像头指令后，弹出添加预设摄像头信息的窗口，在收到保存指令后，将用户输入的摄像头信息保存在平板电脑中；参会成员显示与语音播放显示模块用于显示参会的所有摄像头，并当某个摄像头通话时，具有明显的语音播放显示，并播放语音；添加摄像头模块用于在接收到用户的添加摄像头指令后，将用户从存储在平板电脑中的预设摄像头中选择的摄像头的信息发送至中心服务器；剔除摄像头模块用于在接收到剔除摄像头指令后，将用户选择的要剔除的摄像头的信息发送至中心服务器。语音会议界面如图3所示。图3中“预设”指的是预设摄像头的基本信息，比如摄像头的IP、名称，“+”表示拉摄像头入会，“-”表示从会议剔出摄像头，“自己”指创建会议的平板电脑。

进一步的，中心服务器用于根据接收到的参会与退会摄像头信息对摄像头进行控制，包括：中心服务器用于根据接收到的参会与调用摄像头信息引用摄像头SDK对摄像头进行控制，调用摄像头初始化、登录进行连接，调用摄像头登出断开连接。

进一步的，中心服务器还用于对接收到的平板电脑发送的语音数据在格式转换模块中进行格式转换，然后对转换结果进行混音处理，并将处理后的语音数据发送至摄像头，并且监听摄像头的语音输入，同时转发给其他摄像头播放，并将监听到的摄像头的语音数据进行格式转换后通过UDP协议发送至平板电脑，包括：中心服务器还用于将接收到的平板电脑发送的语音数据在格式转换模块中转换为摄像头可以识别的格式，同时对格式转换后的音频信号采用线性叠加后求平均方法进行混音处理，并将混音处理后的语音数据发送至摄像头，调用摄像头SDK的语音数据转发方法，监听摄像头的语音输入，将监听到的语音数据转发给其他摄像头进行播放，同时将监听到的摄像头的语音数据进行格式转换后通过UDP协议发送至平板电脑。其中，混音处理的核心算法为：

b[i]＝(byte)((bMax[i]+bMin[i])>>1)。

其中，b[]为最终获得的音频，bMax[]和bMin[]为两段音频，bMax[]表示长音频，bMin[]表示短音频，i表示音频的长度，i的取值为从0开始到音频长度。

进一步的，摄像头为海康摄像头，摄像头播放G722格式语音数据；平板电脑发送的中心服务器的语音数据为byte数据；中心服务器中的格式转换模块用于将byte数据分割成一个一个80字节的数据，调用海康摄像头的SDK进行G722数据转换，调用SDK的发送数据接口，发送G722数据给摄像头；还用于将接收到的摄像头的G722格式的数据调用海康摄像头的SDK，将G722数据转换为byte数据，并通过UDP协议发送byte数据给平板电脑。

在一个实施例中，如图4所示，提供了一种基于平板电脑与摄像头的语音会议方法，方法应用于上述基于平板电脑与摄像头的语音会议系统，实现基于平板电脑与摄像头的语音会议，包括：

平板电脑：

步骤400：接收到语音会议请求指令后运行语音会议应用程序，将预设的摄像头信息存储在平板电脑中。

步骤402：通过语音会议应用程序创建语音会议，添加参会和/或退会摄像头，并将参会和/或退会摄像头信息发送至中心服务器。

步骤404：采集音频数据发送至中心服务器，同时接收并播放从中心服务器接收到的音频数据。

中心服务器：

步骤406：根据接收到的摄像头信息调用摄像头SDK控制，调用摄像头初始化、登录进行连接，调用摄像头登出断开连接。

步骤408：将接收的平板电脑发送的语音数据进行格式转换成与摄像头播放数据相同的格式，得到语音转换结果。

步骤410：对语音转换结果进行混音处理后发送至摄像头进行播放。

步骤412：调用摄像头SDK语音数据转发方法，监听摄像头的语音输入，将监听到的语音数据转发给其他摄像头进行播放，同时将监听到的摄像头的语音数据进行格式转换后通过UDP协议发送至平板电脑。

进一步的，摄像头为海康摄像头，摄像头播放G722格式语音数据；平板电脑发送到中心服务器的语音数据为byte数据；步骤408包括：将byte数据分割成一个一个80字节的数据，调用海康摄像头的SDK进行G722数据转换，调用SDK的发送数据接口，发送G722数据给摄像头；将接收到的摄像头的G722格式的数据调用海康摄像头的SDK，将G722数据转换为byte数据，并通过UDP协议发送byte数据给平板电脑。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。