多媒体信息处理方法、装置、设备及存储介质

技术领域

本公开涉及信息技术领域，尤其涉及一种多媒体信息处理方法、装置、设备及存储介质。

背景技术

随着信息技术的不断发展，终端已经成为人们生活中不可或缺的电子设备。例如，用户可以通过终端观看各种多媒体信息，如音视频信息。

通常情况下，当终端接收到音视频信息时，需要对视频信息和音频信息分别进行解码。但是，视频信息的数据量一般大于音频信息的数据量，因此，对视频信息解码所需的时间大于对音频信息解码所需的时间，从而导致终端播放的音频比画面快。

现有技术采用丢弃部分视频帧而保留音频帧的方式来避免终端播放的音频比画面快，但是这种方式会导致画面卡顿，从而降低用户体验。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种多媒体信息处理方法、装置、设备及存储介质，以减少解码时间，提高解码效率，增加解码的视频画面，使得音视频输出同步，缓解画面卡顿。

第一方面，本公开实施例提供一种多媒体信息处理方法，包括：

接收由第一终端生成的多媒体信息；

当本地缓存的多媒体信息的数据量大于或等于第一预设值时，将所述本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，得到目标多媒体，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值；

将所述目标多媒体发送给第二终端。

第二方面，本公开实施例提供一种多媒体信息处理方法，包括：

接收服务器发送的目标多媒体，所述目标多媒体是当所述服务器缓存的多媒体信息的数据量大于或等于第一预设值时，所述服务器将其缓存的多媒体信息中的部分视频帧分别替换为预设视频帧后得到的，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值；

在对所述预设视频帧进行解码时，将所述预设视频帧的前一视频帧被解码后得到的图像信息作为所述预设视频帧被解码后得到的图像信息。

第三方面，本公开实施例提供一种多媒体信息处理装置，包括：

接收模块，用于接收由第一终端生成的多媒体信息；

替换模块，用于当本地缓存的多媒体信息的数据量大于或等于第一预设值时，将所述本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，得到目标多媒体，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值；

发送模块，用于将所述目标多媒体发送给第二终端。

第四方面，本公开实施例提供一种多媒体信息处理装置，包括：

接收模块，用于接收服务器发送的目标多媒体，所述目标多媒体是当所述服务器缓存的多媒体信息的数据量大于或等于第一预设值时，所述服务器将其缓存的多媒体信息中的部分视频帧分别替换为预设视频帧后得到的，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值；

解码模块，用于在对所述预设视频帧进行解码时，将所述预设视频帧的前一视频帧被解码后得到的图像信息作为所述预设视频帧被解码后得到的图像信息。

第五方面，本公开实施例提供一种服务器，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第六方面，本公开实施例提供一种电子设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第二方面所述的方法。

第七方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面或第二方面所述的方法。

第八方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行以实现第一方面或第二方面所述的方法。

本公开实施例提供的一种多媒体信息处理方法、装置、设备及存储介质，通过将本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，由于预设视频帧运动矢量为零，数据量小，因此，运算量减小，减少了解码时间，提高了解码效率，增加解码的视频画面，使得音视频输出同步，缓解画面卡顿，大大提升了用户观看体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的多媒体信息处理方法流程图；

图2为本公开实施例提供的一种应用场景的示意图；

图3为本公开实施例提供的另一种应用场景的示意图；

图4为本公开实施例提供的缓存队列的结构示意图；

图5为本公开实施例提供的多媒体信息处理方法流程图；

图6为本公开实施例提供的多媒体信息处理方法流程图；

图7为本公开实施例提供的多媒体信息处理的装置示意图；

图8为本公开另一实施例提供的多媒体信息处理的装置示意图；

图9为本公开实施例提供的服务器的结构示意图；

图10为本公开另一实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

视频直播是指利用互联网及流媒体技术进行直播，视频因融合了图像、声音等丰富元素，声形并茂，效果极佳，逐渐成为互联网的主流表达方式。在网络条件不理想的情况下，视频直播画面可能会出现卡顿，造成观众的体验不佳；现有技术中，为了改善观众端的视频质量，采用丢弃部分视频帧而保留音频帧的方式来降低数据的堆积，避免终端播放的音频比画面快，但是这种方式会导致画面卡顿，对视频质量影响较大，从而降低用户体验。针对该问题，本公开实施例提供了一种多媒体信息处理方法，下面结合具体的实施例对该方法进行介绍。

图1为本公开实施例提供的多媒体信息处理方法流程图。该方法可以应用于图2所示的应用场景，该图2应用场景中包括终端20、服务器21、终端22、终端23和终端24，其中，终端20可以是做直播的终端，服务器21可以是图1所示实施例所述方法的执行主体。终端20采集音频信息和视频信息，并分别对音频信息和视频信息进行编码，得到音频流和视频流，音频流由音频帧构成，视频流由视频帧(例如，I帧、P帧、B帧)构成。进一步，终端1将音频流和视频流发送给服务器21，服务器21接收到音频流和视频流之后，将音频流和视频流放入发送队列中，该发送队列可以是服务器21本地的一个缓冲区，终端22、23、24具体可以是智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。可以理解的是，本公开实施例提供的多媒体信息处理方法还可以应用在其他场景中。

下面结合图2所示的应用场景，对图1所示的多媒体信息处理方法进行介绍，该方法包括的具体步骤如下：

S101、接收第一终端生成的多媒体信息。

在本实施例中，第一终端可以是如图2所示的终端20。如图2所示的服务器21接收终端20生成的多媒体信息。

实际应用中，多媒体信息来源于终端20，终端20可以是拍摄设备，例如：摄像机、手机等，可以拍摄画面、视频、语音等信息。多媒体信息的数据量很大，终端20发送多媒体信息之前，可以对拍摄的视频信息和音频信息进行编码，得到音频流和视频流，音频流由音频帧构成，视频流由视频帧(例如，I帧、P帧、B帧)构成，将编码后的音频流和视频流发送到服务器21。

S102、当本地缓存的多媒体信息的数据量大于或等于第一预设值时，将所述本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，得到目标多媒体，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值。

当服务器21接收到终端20生成的多媒体信息后，服务器21可以将该多媒体信息存储到本地的缓存队列中，该缓存队列也可以记为发送队列。该多媒体信息具体可以包括音频帧和视频帧。音频帧和视频帧分别包括时间戳。服务器21可以按照音频帧和视频帧分别包括的时间戳，将音频帧和视频帧存储到本地的缓存队列中。或者，服务器21可以按照音频帧和视频帧的接收时间或接收顺序将音频帧和视频帧存储到本地的缓存队列中。

服务器21可以判断当前缓存队列中缓存的多媒体信息的数据量是否大于或等于第一预设值，当该发送队列中的数据量大于或等于预设值时，将本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，该预设视频帧运动矢量为零，意味着该预设视频帧对应的图像和它的前一个视频帧对应的图像没有差异即相同，减少了解码时间，提高了解码效率；该预设视频帧数据量小，所以服务器21发送的数据量小，减小了发送队列中视频帧的数据量，降低了对带宽的占用。

当该发送队列中的数据量小于预设值时，服务器21确定网络未发生拥塞，此时，服务器21可以将终端20发送的多媒体信息透传给终端22，分发过程中，服务器对多媒体信息是起到透传的作用。此处终端22也可以是终端23、终端24，后续不再赘述。

S103、将所述目标多媒体发送给第二终端。

服务器将上述得到的目标多媒体发送给第二终端22。

本公开实施例通过将本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，所述预设视频帧的运动矢量为零，即预设视频帧对应的图像和该预设视频帧的前一个视频帧对应的图像没有差异即相同，减少了解码时间，提高了解码效率；所述预设视频帧的数据量小于或等于第二预设值，即所述预设视频帧的数据量很小，所以替换预设视频帧后的得到的目标多媒体数据量也比未替换前的多媒体数据量小。因此，将所述目标多媒体发送到第二终端时，发送的数据量减小，运算量减小，使得第二终端有时间解码所有视频帧，即第二终端能接收到所有画面，视频帧与视频信息一一对应，音频信息和视频信息能够同步，解决了画面卡顿、音视频不同步等问题。提高了多媒体信息处理方法的效率，提高了视频播放的流畅性，提升了用户观看体验。

如图1所示的方法不仅可以应用于图2所示的应用场景，在其他实施例中，该方法还可以应用于图3所示的应用场景。如图3所示，该应用场景中包括终端30、服务器35、服务器31和终端32、33、34，同样的，终端30可以是做直播的终端，服务器35可以是应用程序对应的服务平台，服务器31是本案的执行主体，终端32、33、34具体可以是智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。例如，多媒体信息是终端30中的某一款应用程序(Application,APP)生成的，服务器35可以属于该应用程序对应的服务平台，其中服务器31和服务器35可以是属于相同的服务平台，也可以属于不同的服务平台。

在上述实施例的基础上，所述预设视频帧包括头部和数据部分，所述头部包括所述运动矢量，所述数据部分为零。

视频帧包括头部和数据部分，头部可以包括该视频帧对应的时间戳、类型信息(用于表示视频帧or音频帧)、该视频帧的运动矢量、该视频帧的大小等信息。其中，该视频帧的运动矢量表示该视频帧解码后对应的图像与前一个视频帧解码后对应的图像之间的差异。

预设视频帧头部中的运动矢量为零，即其对应的图像和其前一个视频帧对应的图像没有差异即相同，减少了解码时间；预设视频帧数据部分为零，运算量减小，降低了对宽带的占用，提高了多媒体信息处理方法的效率。

在上述实施例的基础上，所述本地缓存的多媒体信息中包括多个视频帧；将所述本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，包括：将本地缓存队列中包括的所述多个视频帧中靠近队尾的预设数量的视频帧分别替换为所述预设视频帧。

如图4所示，40表示发送队列，41表示的方向为进队列的方向，42表示的方向为出队列的方向。视频帧43表示该30个视频帧中的第一个视频帧，视频帧51-视频帧55表示该30个视频帧中的后面n个视频帧，进一步地，将这n个视频帧分别替换为预设视频帧，例如将视频帧51替换为预设视频帧56。可以理解的是，本实施例并不限定n的具体取值，n可以是1-29中任一数值，具体可以根据实时的网络情况、解码效率等具体判断。另外，图4所示的替换方式只是一种替换方式，还可以有其他的替换方式。预设视频帧的头部中的运动矢量为零，预设视频帧的数据部分为零，运动矢量为零意味着预设视频帧对应的图像和该预设视频帧的前一个视频帧对应的图像没有差异即相同。由于视频帧的数据量相对于音频帧的数据量大，因此，将部分视频帧替换为预设视频帧后，由于预设视频帧的数据部分为零，因此，可以大大减小发送队列中视频帧的数据量。当服务器21向终端22分发发送队列中的各个视频帧、预设视频帧或音频帧时，可以降低对带宽的占用，缓解服务器21和终端22之间的传输压力。使得终端22可以正常接收到服务器21发送的各个视频帧、预设视频帧或音频帧。

以终端22为例，当终端22接收到30个视频帧中的第一个视频帧例如I帧时，终端22中的播放器对I帧进行解码得到对应的图像，并播放该图像。以此类推，当终端22接收到第一个视频帧之后的音频帧或视频帧时，终端22中的播放器对第一个视频帧之后的音频帧或视频帧依次进行解码并播放。当播放器接收到第一个预设视频帧例如预设视频帧56时，由于预设视频帧56的头部中的运动矢量为零，意味着预设视频帧56被解码后得到的图像与预设视频帧56的前一个视频帧即视频帧50被解码后得到的图像之间的差异为零，即预设视频帧56被解码后得到的图像是视频帧50被解码后得到的图像，因此，播放器可以将视频帧50被解码后得到的图像直接作为预设视频帧56被解码后得到的图像，从而节省对预设视频帧56解码所需的时间和计算量。同理，当播放器接收到预设视频帧57时，将视频帧50被解码后得到的图像直接作为预设视频帧57被解码后得到的图像，以此类推。这样做的好处是，在网络发生拥塞的情况下，播放器可以正常的获取到服务器21分发的音频帧或视频帧。此外，若播放器接收到的视频帧是预设视频帧，那么可以节省播放器对预设视频帧的解码时间，并且预设视频帧也可以对应正常的图像，使得播放器可以正常的播放视频，音视频信息同步，有效缓解视频卡顿，提升用户体验。

图5为本公开实施例提供的另一种多媒体信息处理方法流程图。

如图5所示，该方法包括如下几个步骤：

S501、接收由第一终端实时生成的多媒体信息。

多媒体信息包括音频流和视频流，音频流由音频帧构成，视频流由视频帧(例如，I帧、P帧、B帧)构成。多媒体信息由第一终端实时生成，并且由第二终端实时接收。S502、当本地缓存的多媒体信息的数据量大于或等于第一预设值时，将所述本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，得到目标多媒体，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值。

S502和上述的S102的实现原理和具体方法是一致的，此处不再赘述。

S503、将所述目标多媒体发送给第二终端。

S503和上述的S103的实现原理和具体方法是一致的，此处不再赘述。

本实施例提出的多媒体信息处理方法，多媒体信息实时生成并且实时接收，应用场景更加灵活。例如，地震、洪涝、台风等自然灾害在被气象局预测到时，可以实时发送消息并且实时接收，极大的减少了人员伤亡。

图6为本公开实施例提供的多媒体信息处理方法流程图，该方法可以应用于图2所示的应用场景，该图2应用场景中包括终端20、服务器21、终端22、终端23和终端24。如图6所示，该方法包括如下几个步骤：

S601、接收服务器发送的目标多媒体，所述目标多媒体是当所述服务器缓存的多媒体信息的数据量大于或等于第一预设值时，所述服务器将其缓存的多媒体信息中的部分视频帧分别替换为预设视频帧后得到的，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值。

在本实施例中，终端20通过采集音频信息和视频信息生成多媒体信息，并分别对音频信息和视频信息进行编码，得到音频流和视频流，音频流由音频帧构成，视频流由视频帧(例如，I帧、P帧、B帧)构成。

终端22通过服务器21接收终端20发送的多媒体信息，服务器21可以判断当前缓存队列中缓存的多媒体信息的数据量是否大于或等于第一预设值，当该缓存队列中的数据量小于预设值时，服务器21确定网络未发生拥塞，此时，服务器21发送的多媒体信息透传到终端22，由终端22接收。此处终端22也可以是终端23、终端24，后续不再赘述。

当该缓存队列中的数据量大于或等于预设值时，将本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，该预设视频帧运动矢量为零，意味着该预设视频帧对应的图像和它的前一个视频帧对应的图像没有差异即相同；该预设视频帧数据量小，所以目标多媒体的数据量小，目标多媒体运算量小。终端22接收所述目标多媒体。

S602、在对所述预设视频帧进行解码时，将所述预设视频帧的前一视频帧被解码后得到的图像信息作为所述预设视频帧被解码后得到的图像信息。

预设视频帧的运动矢量为零，运动矢量为零意味着预设视频帧对应的图像和该预设视频帧的前一个视频帧对应的图像没有差异即相同。具体可参考图4实施例。

本公开实施例通过将缓存队列的多媒体信息中的部分视频帧分别替换为预设视频帧，所述预设视频帧的运动矢量为零，即预设视频帧对应的图像和该预设视频帧的前一个视频帧对应的图像没有差异即相同，减少了解码时间，提高了解码效率；所述预设视频帧的数据量小于或等于第二预设值，即所述预设视频帧的数据量很小，所以替换预设视频帧后的得到的目标多媒体数据量也比未替换前的多媒体数据量小。因此，第二终端接收所述目标多媒体时，接收的数据量减小，运算量减小，使得第二终端有时间解码所有视频帧，即第二终端能接收到所有画面，视频帧与视频信息一一对应，音频信息和视频信息能够同步，解决了画面卡顿、音视频不同步等问题。提高了多媒体信息处理方法的效率，提高了视频播放的流畅性，提升了用户观看体验。

图7为本公开实施例提供的多媒体信息处理装置的结构示意图。该多媒体信息处理装置可以是如上实施例所述的服务器，例如服务器21，或者该多媒体信息处理装置可以该服务器中的部件或组件。本公开实施例提供的多媒体信息处理装置可以执行多媒体信息处理方法实施例提供的处理流程，如图7所示，多媒体信息处理装置70包括：接收模块71、替换模块72和发送模块73，其中，接收模块71用于接收由第一终端生成的多媒体信息；替换模块72用于当本地缓存的多媒体信息的数据量大于或等于第一预设值时，将所述本地缓存的多媒体信息中的部分视频帧分别替换为预设视频帧，得到目标多媒体；发送模块73用于将所述目标多媒体发送给第二终端。

可选的，所述预设视频帧包括头部和数据部分，所述头部包括所述运动矢量，所述数据部分为零。

可选的，所述本地缓存的多媒体信息中包括多个视频帧；

所述替换模块具体用于：

将本地缓存队列中包括的所述多个视频帧中靠近队尾的预设数量的视频帧分别替换为所述预设视频帧。

可选的，所述接收模块71具体用于：

接收由第一终端实时生成的多媒体信息。

图7所示实施例的多媒体信息处理装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本公开另一实施例提供的多媒体信息处理装置的结构示意图。该多媒体信息处理装置可以是如上实施例所述的终端，例如第二终端，或者该多媒体信息处理装置可以该第二终端中的部件或组件。本公开实施例提供的多媒体信息处理装置可以执行多媒体信息处理方法实施例提供的处理流程，如图8所示，多媒体信息处理装置80包括：接收模块81和解码模块82；其中，接收模块81，用于接收服务器发送的目标多媒体，所述目标多媒体是当所述服务器缓存的多媒体信息的数据量大于或等于第一预设值时，所述服务器将其缓存的多媒体信息中的部分视频帧分别替换为预设视频帧后得到的，所述预设视频帧的运动矢量为零，且所述预设视频帧的数据量小于或等于第二预设值；解码模块82，用于在对所述预设视频帧进行解码时，将所述预设视频帧的前一视频帧被解码后得到的图像信息作为所述预设视频帧被解码后得到的图像信息。

图8所示实施例的多媒体信息处理装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9为本公开实施例提供的服务器的结构示意图。本公开实施例提供的服务器可以执行多媒体信息处理方法实施例提供的处理流程，如图9所示，服务器90包括：存储器91、处理器92、通讯接口93；其中，计算机程序存储在存储器91中，并被配置为由处理器92执行如上所述的多媒体信息处理方法。

图10为本公开另一实施例提供的电子设备的结构示意图。该电子设备可以是如上实施例所述的第二终端。本公开实施例提供的第二终端可以执行多媒体信息处理方法实施例提供的处理流程，如图10所示，电子设备1000包括：存储器1001、处理器1002、通讯接口1003；其中，计算机程序存储在存储器1001中，并被配置为由处理器1002执行如上所述的多媒体信息处理方法。

另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的多媒体信息处理方法。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

此外，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上所述的多媒体信息处理方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。