直播间视频的录制方法和设备

技术领域

本发明的实施方式涉及直播流媒体技术领域，更具体地，本发明的实施方式涉及一种直播间视频的录制方法和设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着互联网和数字媒体技术的飞速发展，直播流媒体已成为现代通信和信息分享的重要载体。

在现有技术中，已经出现一些直播视频录制方法，这种直播录制技术主要依赖于音视频服务器对直播视频进行录制，这种方法虽然可以获取到直播的音视频内容，但无法捕获到页面内的互动信息，如聊天室对话、红包、优惠券、弹幕等互动元素，导致直播间视频录制的内容不全面。

发明内容

但是，现有技术中直播间视频录制的内容不全面。

因此在现有技术中，直播间视频录制的内容不全面，导致用户无法通过互动元素深入理解直播内容并感受到直播的气氛，这是非常令人烦恼的过程。

为此，非常需要一种改进的直播间视频的录制方法和设备，以全面直播间视频录制的内容。

在本上下文中，本发明的实施方式期望提供一种直播间视频的录制方法和设备。

在本发明实施方式的第一方面中，提供了一种直播间视频的录制方法，包括通过调用接口启动无头浏览器，并通过所述无头浏览器访问直播间页面，通过所述调用接口和所述无头浏览器创建所述直播间视频的音频录制对象，其中，所述直播间视频中具有互动元素，所述调用接口用于模拟用户在所述无头浏览器中输入直播间地址；通过浏览器调试工具协议监听到所述无头浏览器的渲染事件时顺序保存屏幕截图，其中，所述渲染事件指从所述无头浏览器加载并渲染直播间视频流的每一帧触发的事件；获取所述音频录制对象录制的所述直播间视频中的音频数据；根据所述音频数据和顺序保存的所述屏幕截图，生成录制视频。

在本发明的一个实施例中，所述通过所述调用接口和所述无头浏览器创建所述直播间视频的音频录制对象包括：获取音频录制所依赖的页面视频元素；通过所述调用接口从所述页面视频元素分离出音轨；通过媒体流创建所述音轨的音频流；调用所述无头浏览器的音频录制接口创建所述音频流的音频录制对象。

在本发明的一个实施例中，通过浏览器调试工具协议监听到所述无头浏览器的渲染事件之前，所述方法还包括：通过所述浏览器调试工具协议创建连接会话，并通过所述连接会话建立与所述无头浏览器之间的通信；通过所述浏览器调试工具协议监听所述无头浏览器的渲染事件。

在本发明的一个实施例中，通过浏览器调试工具协议监听到所述无头浏览器的渲染事件时顺序保存屏幕截图包括：通过所述浏览器调试工具协议在监听到所述无头浏览器的渲染事件时获取屏幕截图，其中，所述屏幕截图为第一格式的图片；每隔第一时长，将所述屏幕截图按照对应的获取顺序保存为预设文件，得到携带有第一时间戳的多个预设文件，其中，所述第一时间戳为所述预设文件的创建时刻。

在本发明的一个实施例中，获取所述音频录制对象录制的所述直播间视频中的音频数据包括：获取所述音频录制对象录制的所述直播间视频中的音频数据；每隔第二时长，将所述音频数据保存为音频文件，得到携带有第二时间戳的多个音频文件，其中，所述第二时间戳为所述音频文件的创建时刻。

在本发明的一个实施例中，根据所述音频数据和顺序保存的所述屏幕截图，生成录制视频包括：通过解析多个所述预设文件，将所述预设文件中第一格式的图片转化为第二格式的图片；通过视频转换工具将所述第二格式的图片按照所述第一时间戳合成无声视频；按照所述第一时间戳和所述第二时间戳对齐的方式，将所述音频文件插入所述无声视频中，生成录制视频。

在本发明的一个实施例中，获取所述音频录制对象录制的所述直播间视频中的音频数据之后，所述方法还包括：在接收到所述直播间视频的播放结束指令时，清除所述音频录制对象。

在本发明实施方式的第二方面中，提供了一种直播间视频的录制装置，包括：创建模块，用于通过调用接口启动无头浏览器，并通过所述无头浏览器访问直播间页面，通过所述调用接口和所述无头浏览器创建所述直播间视频的音频录制对象，其中，所述直播间视频中具有互动元素，所述调用接口用于模拟用户在所述无头浏览器中输入直播间地址；保存模块，用于通过浏览器调试工具协议监听到所述无头浏览器的渲染事件时顺序保存屏幕截图，其中，所述渲染事件指从所述无头浏览器加载并渲染直播间视频流的每一帧触发的事件；获取模块，用于获取所述音频录制对象录制的所述直播间视频中的音频数据；生成模块，用于根据所述音频数据和顺序保存的所述屏幕截图，生成录制视频。

在本发明实施方式的第三方面中，提供了一种电子设备，包括：至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器。

在本发明实施方式的第四方面，还提供了一种计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本申请上述任一项所述的直播间视频的录制方法。

服务器端通过无头浏览器访问直播间页面，通过CDP顺序保存直播间视频的屏幕截图，还通过调用接口创建音频录制对象，采用音频录制对象录制的直播间视频中的音频数据，然后根据屏幕截图和音频数据生成录制视频。

本申请中，屏幕截图中记录直播页面上的所有元素，包括视频流以及所有互动信息，音频数据记录了音频流，本申请能够将直播间视频的音视频内容和页面的互动信息同时录制下来，更全面地记录和再现直播的全貌，提高了直播间视频录制的全面性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的一种直播间视频的录制方发流程图；

图2示意性地示出了根据本发明实施方式的一种直播间视频的录制流程示意图；

图3为本申请实施例提供的一种直播间视频的录制装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本发明人发现，现有技术中直播间视频录制的内容不全面，无法捕获到直播间视频中的互动元素，用户无法通过互动元素深入理解直播内容并感受到直播的气氛。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

本申请应用于服务器，用于录制在直播过程中设备上展示的全部内容，包括直播内容、互动元素和主播声音等，使直播间视频的录制视频和直播视频的内容完全一致。其中，展示直播的设备可以为电脑、手机、pad等。

下面结合上述应用场景，参考图1来描述根据本发明示例性实施方式的用于提高直播间视频录制全面性的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

本申请中用到的术语的定义如下所示。

Puppeteer：Puppeteer是一个Node库，它提供了一个高级API来通过DevTools协议控制Chromium或Chrome。Puppeteer默认以无头模式运行，但可以配置为运行全功能的浏览器。Puppeteer使开发者能够模拟浏览器用户行为，如点击、滚动、填写表单、截图等。

无头浏览器：无头浏览器是一种没有图形用户界面的Web浏览器。它可以自动控制网页，进行单元测试、网络爬虫或者其他服务器端行为。

Chrome DevTools Protocol(CDP)：CDP是一套Google Chrome浏览器提供的调试工具协议，它可以用来检查、调试和分析Chrome浏览器中运行的代码。开发者可以使用CDP来监控、修改和调试在浏览器中执行的网页。

FFmpeg：FFmpeg是一个开源计算机程序，用于处理多媒体数据。它包括一个用于音频和视频记录、转换和流处理的软件库和程序。

MediaStream：MediaStream API允许开发人员访问音视频流，并且能够在Web应用程序中以编程的形式操作音视频流。

MediaRecorder：MediaRecorder API使开发者能够从许多不同的输入中(如一个HTML5 MediaElement对象的音频或视频流)记录音频或视频。

DOM节点：DOM节点是HTML或XML文档中的对象。每个节点可以有子节点，并且自身也可以是其他节点的子节点。在Web开发中，常常需要操作DOM节点来改变网页的内容或样式。

本申请提供了一种直播间视频的录制方法，应用于服务器，如图1所示，方法包括：

步骤101：通过调用接口启动无头浏览器，并通过无头浏览器访问直播间页面，通过调用接口和无头浏览器创建直播间视频的音频录制对象。

其中，直播间视频中具有互动元素，调用接口用于模拟用户在无头浏览器中输入直播间地址。

直播界面具有很多互动元素，如聊天室对话、红包、优惠券、弹幕等，这些互动元素是直播间视频中非常重要的一环。

当主播开播时，在服务器启动录制任务，调用接口启动无头浏览器，并模拟用户行为在无头浏览器输入直播间地址，这样服务器采用无头浏览器访问直播间页面。与此同时，服务器还可以调用接口创建直播间视频的音频录制对象，音频录制对象用于进行音频录制。

示例性地，调用接口为puppeteer。

步骤102：通过浏览器调试工具协议监听到无头浏览器的渲染事件时顺序保存屏幕截图。

其中，渲染事件指从无头浏览器加载并渲染直播间视频流的每一帧触发的事件。

服务器通过浏览器调试工具协议创建连接会话，并通过连接会话建立与无头浏览器之间的通信；通过浏览器调试工具协议监听无头浏览器的渲染事件。

服务器通过CDP(Chrome DevTools Protocol，浏览器调试工具协议)创建连接会话，实现与无头浏览器之间的通信，并监听无头浏览器的渲染事件，渲染事件是指从无头浏览器加载并渲染直播间视频流的每一帧触发的事件。CDP每监听到一次渲染事件，则截屏一次直播间视频的内容，并对截屏后的屏幕截图进行顺序保存，这样就得到了整个直播间视频直播过程中的所有屏幕截图。

步骤103：获取音频录制对象录制的直播间视频中的音频数据。

无头浏览器打开直播间页面，在控制台执行js代码调用MediaRecorder创建音频录制对象，音频录制对象录制直播间视频中的音频数据，通过自定义的文件保存接口将视频数据存储到服务器。

步骤104：根据音频数据和顺序保存的屏幕截图，生成录制视频。

服务器根据顺序保存的屏幕截图，生成无声的录制视频，然后再将音频数据插入该无声的录制视频中，得到有声的录制视频

在本申请中，服务器端通过无头浏览器访问直播间页面，通过CDP顺序保存直播间视频的屏幕截图，还通过调用接口创建音频录制对象，采用音频录制对象录制的直播间视频中的音频数据，然后根据屏幕截图和音频数据生成录制视频。

屏幕截图中记录直播页面上的所有元素，包括视频流以及所有互动信息(例如聊天室信息、红包、优惠券、点赞等)，音频数据记录了音频流，本申请能够将直播间视频的音视频内容和页面的互动信息同时录制下来，更全面地记录和再现直播的全貌，提高了直播间视频录制的全面性。

由于录制的内容不仅包括音视频流，还包括直播页面的所有互动信息，这样得到更全面的直播内容，该全面的直播内容可以用于重大事件的回顾和分析，也可以用于分享直播的精彩瞬间，准确、全面地反映出原始直播的全貌，此外，带有互动元素的录制内容，还可以帮助用户回顾直播的内容，使他们再次体验直播过程中的互动元素，感受到当时直播的气氛。

本申请无需采用终端设备进行视频录制，避免了由于用户操作设备不当或者设备性能不足，造成录制失败的情况。也无须在录制完成后将录制内容上传至服务器，省去数据传输时间。

作为一种可选的实施方式，通过调用接口和无头浏览器创建直播间视频的音频录制对象包括：获取音频录制所依赖的页面视频元素；通过调用接口从页面视频元素分离出音轨；通过媒体流创建音轨的音频流；调用无头浏览器的音频录制接口创建音频流的音频录制对象。

服务器获取音频录制所依赖的页面视频元素，如video元素，然后通过puppeteer内置page对象的evaluate方法，从video元素中分离出音轨，再通过MediaStream创建音轨的音频流，最后通过MediaRecorder创建音频流的音频录制对象。

本申请使用MediaStream从视频流中分离出音频流，并通过MediaRecorder录制音频流，可以解决无头浏览器录制视频缺乏声音的问题，并且保留了音频的原始质量，提高录制视频的声音质量。

作为一种可选的实施方式，通过浏览器调试工具协议监听到无头浏览器的渲染事件时顺序保存屏幕截图包括：通过浏览器调试工具协议在监听到无头浏览器的渲染事件时获取屏幕截图，其中，屏幕截图为第一格式的图片；每隔第一时长，将屏幕截图按照对应的获取顺序保存为预设文件，得到携带有第一时间戳的多个预设文件，其中，第一时间戳为预设文件的创建时刻。

服务器通过CDP在每监听到无头浏览器的渲染事件时，获取第一格式的屏幕截图。服务器每隔第一时长，创建一个预设文件，然后将屏幕截图按照对应的获取顺序保存为预设文件，预设文件的命名为该预设文件的创建时刻。其中，屏幕截图的获取顺序可以是按照获取的时间顺序。

其中，第一格式可以为base64，也可以为其他格式，本申请对第一格式不做具体限定。

示例性地，服务器通过CDP在每监听到无头浏览器的渲染事件时，通过puppeteerPage.startScreencast方法让无头浏览器在渲染时发送base64格式的屏幕截图至服务器，然后将接收的base64图片与base64图片的获取时间戳信息以一行文本保存至txt文件，每一行一个图片，格式是：时间戳+空格+图片base64。设置定时器每隔10秒保存一次txt文件，防止文件过大造成中途出错丢失录制内容的情况发生。

本申请顺序保存图片，可以避免视频内容前后错乱，且定时保存屏幕截图至预设文件，可以避免中途出错，丢失大量录制内容的情况发生。

作为一种可选的实施方式，得到携带有第一时间戳的多个预设文件之后，该方法还包括：通过解析多个预设文件，将预设文件中第一格式的图片转化为第二格式的图片；通过视频转换工具将第二格式的图片按照第一时间戳合成无声视频。

服务器将保存的每个预设文件进行解析，并将文件中的每个第一格式的图片转化为第二格式的图片，并按照预设文件的获取时间戳，对该预设文件中第二格式的图片进行命名保存，这样每个预设文件中的图片格式和图片名称发生了转变。服务器使用ffmpeg对图片格式转变后的预设文件进行解析，然后按照图片的保存顺序和时间戳信息，将第二格式的图片合成无声视频。

示例性地，第二格式可以为JPG格式，也可以为png格式，本申请对第二格式不做具体限定。

示例性地，主播下播时，结束当前直播的录制，服务器对保存的每个txt文件进行解析，并将txt文件中的每个base64图片转化为jpg图片，然后按照txt文件的获取时间戳对该txt文件中的jpg图片进行命名保存，最后按照jpg图片的时间戳信息和保存顺序，通过视频转换工具将jpg图片合并成无声视频。

作为一种可选的实施方式，获取音频录制对象录制的直播间视频中的音频数据包括：获取音频录制对象录制的直播间视频中的音频数据；每隔第二时长，将音频数据保存为音频文件，得到携带有第二时间戳的多个音频文件，其中，第二时间戳为音频文件的创建时刻。

无头浏览器打开直播间页面，在控制台执行js代码调用MediaRecorder创建音频录制对象，音频录制对象监听直播间视频中的音频数据，设置定时器每隔一段时间保存一次音频wav文件，将音频wav文件保存到服务器。定时保存可以防止文件过大造成中途出错丢失录制内容的情况发生，音频文件的文件名称为音频文件的创建时刻。

其中，音频文件除wav格式，还可以为flac，ape等，本申请对音频文件的格式不做具体限定。

本申请定时保存音频数据至音频文件，可以避免中途出错，丢失大量音频数据的情况发生。

在得到无声视频和音频文件后，将第一时间戳和第二时间戳对齐，将音频文件插入无声视频中，这样保证音频和视频内容对齐，从而生成录制视频。

作为一种可选的实施方法，获取音频录制对象录制的直播间视频中的音频数据之后，方法还包括：在接收到直播间视频的播放结束指令时，清除音频录制对象和定时器。

本申请中，通过CDP记录直播过程中渲染事件对应的视频截图，然后根据视频截图合成无声视频，通过puppeteer分离出音轨，通过MediaStream创建音频流，通过MediaRecorder录制音频，用较小的成本保证音频和视频的同步性，不仅提高了录制的质量，也提高了用户观看录制直播时的体验。

此外，本申请能够在保证录制完整性的同时，优化资源使用，减少服务器端的数据处理量和存储需求，以提高录制效率。

基于相同的技术构思，本申请还提供了一种直播间视频的录制流程示意图，直播录制的流程分为三个阶段：录制准备、定时保存视频截图和音频文件以及合并音视频，如图2所示，具体包括以下步骤：

1.录制准备阶段。

步骤201：当主播开播时，在服务器启动录制任务，通过puppeteer启动无头浏览器，模拟用户输入直播间地址，无头浏览器访问直播间页面；

步骤202：获取音频录制依赖的页面video元素，通过puppeteer内置page对象的evaluate方法，从video节点获取音轨，通过MediaStream创建音频流，无头浏览器打开直播间页面，在控制台执行js代码调用MediaRecorder创建音频录制对象。

步骤203：通过Chrome DevTools Protocol(简称CDP)创建连接会话，与无头浏览器进行通信，监听无头浏览器渲染事件。

其中，步骤202和步骤203可以同时进行。

2.定时保存视频截图和音频文件阶段。

步骤204：保存浏览器渲染截图。

通过puppeteer Page.startScreencast方法让无头浏览器在渲染时发送base64格式的屏幕截图，然后将接收的base64图片与base64图片的获取时间戳信息以一行文本保存至txt文件，txt文件的文件名称为txt文件的创建时刻。设置定时器每隔10秒保存一次txt文件，防止文件过大造成中途出错丢失录制内容的情况发生。

步骤205：保存音频文件。

音频录制对象监听直播间视频中的音频数据，设置定时器每隔60秒保存一次音频wav文件，音频文件的文件名称为音频文件的创建时刻。

3.合并音视频阶段。

步骤206：主播下播时，结束当前直播的录制，服务器对保存的每个txt文件进行解析，并将txt文件中的每个base64图片转化为jpg图片，然后按照txt文件的获取时间戳对该txt文件中的jpg图片进行命名保存，最后按照jpg图片的时间戳信息和保存顺序，通过视频转换工具将jpg图片合并成无声视频。

步骤207：将音频文件插入无声视频中，这样保证音频和视频内容对齐，从而生成录制视频。

在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明示例性实施方式的录制设备进行详细介绍。

本申请提供了一种直播间视频的录制设备，应用于服务器，如图3所示，设备包括：

创建模块301，用于通过调用接口启动无头浏览器，并通过无头浏览器访问直播间页面，通过调用接口和无头浏览器创建直播间视频的音频录制对象，其中，直播间视频中具有互动元素，调用接口用于模拟用户在无头浏览器中输入直播间地址；

保存模块302，用于通过浏览器调试工具协议监听到无头浏览器的渲染事件时顺序保存屏幕截图，其中，渲染事件指从无头浏览器加载并渲染直播间视频流的每一帧触发的事件；

获取模块303，用于获取音频录制对象录制的直播间视频中的音频数据；

生成模块304，用于根据音频数据和顺序保存的屏幕截图，生成录制视频。

可选地，创建模块301用于：

获取音频录制所依赖的页面视频元素；

通过调用接口从页面视频元素分离出音轨；

通过媒体流创建音轨的音频流；

调用无头浏览器的音频录制接口创建音频流的音频录制对象。

可选地，该装置还用于：

通过浏览器调试工具协议创建连接会话，并通过连接会话建立与无头浏览器之间的通信；

通过浏览器调试工具协议监听无头浏览器的渲染事件。

可选地，保存模块302用于：

通过所述浏览器调试工具协议在监听到所述无头浏览器的渲染事件时获取屏幕截图，其中，所述屏幕截图为第一格式的图片；

每隔第一时长，将所述屏幕截图按照对应的获取顺序保存为预设文件，得到携带有第一时间戳的多个预设文件，其中，所述第一时间戳为所述预设文件的创建时刻。

可选地，获取模块303用于：

获取所述音频录制对象录制的所述直播间视频中的音频数据包括：

获取所述音频录制对象录制的所述直播间视频中的音频数据；

每隔第二时长，将所述音频数据保存为音频文件，得到携带有第二时间戳的多个音频文件，其中，所述第二时间戳为所述音频文件的创建时刻。

可选地，生成模块304用于：

通过解析多个预设文件，将预设文件中第一格式的图片转化为第二格式的图片；

通过视频转换工具将第二格式的图片按照第一时间戳合成无声视频；

按照第一时间戳和第二时间戳对齐的方式，将音频文件插入无声视频中，生成录制视频。

可选地，该装置还用于：

在接收到直播间视频的播放结束指令时，清除音频录制对象。

应当注意，尽管在上文详细描述中提及了直播间视频的录制设备的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

如图4所示，本申请实施例提供提供了一种电子设备，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。

存储器403，用于存放计算机程序。

在本申请一个实施例中，处理器401，用于执行存储器403上所存放的程序时，实现前述任意一个方法实施例提供的直播间视频的录制方法。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的直播间视频的录制方法的步骤。

应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的产品。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

申请文件中提及的动词“包括”、“包含”及其词形变化的使用不排除除了申请文件中记载的那些元素或步骤之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。