一种视频流传输方法、系统、电子设备及存储介质

技术领域

本发明涉及视频流传输技术领域，特别是涉及一种视频流传输方法、系统、电子设备及存储介质。

背景技术

近年来计算机技术的迅猛发展给矿业企业带来历史性的变革，使矿山安全生产技术大跨度发展。矿场智慧化的提升，使得对矿场对于网络环境的依赖日益增加，包括视频流数据、音频数据、报警数据等。正是由于这些数据的大量传输，使得人们坐到办公室中便可知道矿场中运行情况。但是，以内蒙古露天矿场为例，矿场位置常处于偏远地区，与城区相距甚远，这也就导致了网络环境是限制矿场智慧化的一大难题。其中，视频流类数据所需的网络带宽尤为突出，如何在网络情况差的同时还可以看到分辨率高时延性低的视频成为一个难题。

由于视频数据体积庞大，人们通常的解决办法是对视频数据进行压缩编码，通过主流的H264或者H265编码算法，视频可以大幅度的降低体积，减少了视频流传输所需要的网络带宽。但是视频压缩算法发展缓慢，2003发布的H264算法依旧是现在的主流压缩算法，而视频画面质量的要求却提升迅速，这也就导致了即使使用该算法对视频进行压缩了，视频体积依旧较大。经过测试，在矿场环境下，由于网络环境的不稳定与移动端算力的限制，单纯使用该视频算法已经无法满足低时延视频流的需求。

发明内容

本发明的目的是提供一种视频流传输方法、系统、电子设备及存储介质，降低了视频流传输的时延。

为实现上述目的，本发明提供了如下方案：

一种视频流传输方法，所述方法包括：

获取发送端发送的目标数据包；所述目标数据包是采用视频压缩技术对目标矿场的原始视频流编码并封装得到的；

确定所述发送端的网速；

判断所述网速是否大于第一预设值，得到第一判断结果；

若所述第一判断结果为是，则采用第一传输模式将所述目标数据包传送到接收端；所述接收端用于对所述目标数据包解码，得到所述原始视频流；所述第一传输模式为直接传送所述目标数据包的传输模式；

若所述第一判断结果为否，则判断所述网速是否大于第二预设值，得到第二判断结果；所述第二预设值小于所述第一预设值；

若所述第二判断结果为是，则采用第二传输模式将所述目标数据包传送到所述接收端；所述第二传输模式为对所述目标数据包依次进行整体解码、整体超分以及整体二次编码后，再传送的传输模式；

若所述第二判断结果为否，则采用第三传输模式将所述目标数据包传送到所述接收端；所述第三传输模式为对所述目标数据包依次进行关键帧解码、关键帧超分以及关键帧二次编码后，再传送的传输模式。

可选地，所述采用所述第一传输模式将数据包传送到接收端，具体包括：

将目标数据包划分为第一数据包和第二数据包；所述第一数据包是采用视频压缩技术对所述原始视频流的关键帧编码并封装得到的；所述第二数据包是采用视频压缩技术对所述原始视频流的非关键帧编码并封装得到的；

将所述第一数据包和所述第二数据包传送至所述接收端。

可选地，所述采用所述第二传输模式所述目标数据包传送到接收端，具体包括：

将目标数据包划分为第一数据包和第二数据包；所述第一数据包是采用视频压缩技术对原始视频流的关键帧编码并封装得到的；所述第二数据包是采用视频压缩技术对所述原始视频流的非关键帧编码并封装得到的；

将所述第一数据包解码，得到解码后的关键帧；

将所述第二数据包解码，得到解码后的非关键帧；

采用视频超分模型对所述解码后的关键帧进行超分处理，得到超分后的关键帧；

采用视频超分模型对所述解码后的非关键帧进行超分处理，得到超分后的非关键帧；

对所述超分后的关键帧编码，得到第三数据包；

对所述超分后的非关键帧编码，得到第四数据包；

将所述第三数据包和所述第四数据包传送至所述接收端。

可选地，所述采用所述第三传输模式将所述目标数据包传送到所述接收端，具体包括：

将目标数据包划分为第二数据包和第五数据包；所述第二数据包是采用视频压缩技术对所述原始视频流的非关键帧编码并封装得到的；所述第五数据包是对所述原始视频流的关键帧下采样后，采用视频压缩技术编码并封装得到的；

将所述第五数据包解码，得到解码后的关键帧；

对所述解码后的关键帧进行超分处理，得到超分后的关键帧；

对所述超分后的关键帧进行编码，得到第六数据包；

将所述第二数据包和所述第六数据包传送至所述接收端。

可选地，所述视频压缩技术为Libx264视频压缩技术。

可选地，所述视频超分模型为EGVSR模型。

一种视频流传输系统，所述系统包括：

目标数据包获取模块，用于获取发送端发送的目标数据包；所述目标数据包是采用视频压缩技术对目标矿场的原始视频流编码并封装得到的；

网速确定模块，用于确定所述发送端的网速；

第一判断模块，用于判断所述网速是否大于第一预设值，得到第一判断结果；

第一执行模块，用于若所述第一判断结果为是，则采用第一传输模式将所述目标数据包传送到接收端；所述接收端用于对所述目标数据包解码，得到所述原始视频流；所述第一传输模式为直接传送所述目标数据包的传输模式；

第二判断模块，用于若所述第一判断结果为否，则判断所述网速是否大于第二预设值，得到第二判断结果；所述第二预设值小于所述第一预设值；

第二执行模块，用于若所述第二判断结果为是，则将采用第二传输模式将所述目标数据包传送到所述接收端；所述第二传输模式为对所述目标数据包依次进行整体解码、整体超分以及整体二次编码后，再传送的传输模式；

第三执行模块，用于若所述第二判断结果为否，则采用第三传输模式将所述目标数据包传送到所述接收端；所述第三传输模式为对所述目标数据包依次进行关键帧解码、关键帧超分以及关键帧二次编码后，再传送的传输模式。

一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所述的方法。

一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述所述的方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开了一种视频流传输方法、系统、电子设备及存储介质，方法包括：获取发送端发送的目标数据包；目标数据包是采用视频压缩技术对目标矿场的原始视频流编码并封装得到的；判断发送端的网速是否大于第一预设值；若是，则采用第一传输模式将目标数据包传送到接收端；若否，则判断网速是否大于第二预设值；若是，则采用第二传输模式将目标数据包传送到接收端；若否，则采用第三传输模式将目标数据包传送到接收端。接收端对接收到的目标数据包解码，得到原始视频。第一传输模式为直接传送目标数据包的传输模式；第二传输模式为对目标数据包依次进行整体解码、整体超分以及整体二次编码后，再传送的传输模式；第三传输模式为对目标数据包依次进行关键帧解码、关键帧超分以及关键帧二次编码后，再传送的传输模式。本发明根据网速选择传输模式，可以最大限度的适配矿场环境的网络不稳定特性，降低了视频流传输的时延。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的视频流传输方法流程示意图；

图2为本发明实施例2提供的视频流传输系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种视频流传输方法、系统、电子设备及存储介质，旨在降低视频流传输的时延，可应用于视频流传输技术领域。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

图1为本发明实施例提供的视频流传输方法流程示意图。如图1所示，本实施例中的视频流传输方法，包括：

步骤101：获取发送端发送的目标数据包；目标数据包是采用视频压缩技术对目标矿场的原始视频流编码并封装得到的。具体的，目标数据包为采用视频压缩技术对目标矿场的原始视频流编码并封装得到的Nal包。

步骤102：确定发送端的网速。

具体的，步骤102具体包括：

(1)使用TrafficStats类获取当前秒的发送端(如手机)的发送的数据字节数和上一秒的移动端(如手机)的发送的数据字节数。

(2)根据当前秒的移动端(如手机)的发送的数据字节数和上一秒的移动端(如手机)的发送的数据字节数组差的绝对值，得到发送端的的网速。

步骤103：判断网速是否大于第一预设值，得到第一判断结果。

若第一判断结果为是，则执行步骤104，接收端用于对目标数据包解码，得到原始视频流。

步骤104，包括：采用第一传输模式将目标数据包传送到接收端。第一传输模式为直接传送目标数据包的传输模式。

若第一判断结果为否，则执行步骤105。

步骤105，具体包括：判断网速是否大于第二预设值，得到第二判断结果；第二预设值小于第一预设值。

若第二判断结果为是，则执行步骤106。

步骤106，包括：采用第二传输模式将目标数据包传送到接收端。第二传输模式为对目标数据包依次进行整体解码、整体超分以及整体二次编码后，再传送的传输模式。

若第二判断结果为否，则执行步骤107。

步骤107，包括：采用第三传输模式将目标数据包传送到接收端。第三传输模式为对目标数据包依次进行关键帧解码、关键帧超分以及关键帧二次编码后，再传送的传输模式。

具体的，视频流直播。若想要最终达到720P的视频，使用H264进行压缩，计算得上行网速需求约为2Mbps以上，那么第一预设值为2Mbps，第二预设值为1Mbps。以此类推，根据实际需求分辨率与矿场实际网速综合考虑得出第一预设值和第二预设值。

作为一种可选的实施方式，步骤104，具体包括：

将目标数据包划分为第一数据包和第二数据包；第一数据包是采用视频压缩技术对原始视频流的关键帧编码并封装得到的；第二数据包是采用视频压缩技术对原始视频流的非关键帧编码并封装得到的。

具体的，第一数据包为采用视频压缩技术对原始视频流的关键帧编码并封装得到的Nal包；第二数据包为采用视频压缩技术对原始视频流的非关键帧编码并封装得到的Nal包。

将第一数据包和第二数据包传送至接收端。

具体的，在传输模式一的情况下，将用于采集目标矿场的原始视频流的摄像头采集分辨率至二分之一，以满足降低带宽的需求。

作为一种可选的实施方式，步骤106，具体包括：

将目标数据包划分为第一数据包和第二数据包；第一数据包是采用视频压缩技术对原始视频流的关键帧编码并封装得到的；第二数据包是采用视频压缩技术对原始视频流的非关键帧编码并封装得到的。

将第一数据包解码，得到解码后的关键帧。

将第二数据包解码，得到解码后的非关键帧。

采用视频超分模型对解码后的关键帧进行超分处理，得到超分后的关键帧。具体的，在传输模式二的情况下，将用于采集目标矿场的原始视频流的摄像头采集分辨率至二分之一，以降低带宽的需求，超分处理，关键帧的分辨率进一步降低，以进一步满足降低带宽的需求。

采用视频超分模型对解码后的非关键帧进行超分处理，得到超分后的非关键帧。

对超分后的关键帧编码，得到第三数据包。

对超分后的非关键帧编码，得到第四数据包。

将第三数据包和第四数据包传送至接收端。

具体的，在传输模式二的情况下，实际上，将第一数据包替换为第四数据包，然后和第三数据包一起传送至接收端。

作为一种可选的实施方式，步骤107，具体包括：

将目标数据包划分为第二数据包和第五数据包；第二数据包是采用视频压缩技术对原始视频流的非关键帧编码并封装得到的；第五数据包是对原始视频流的关键帧下采样后，采用视频压缩技术编码并封装得到的。

将第五数据包解码，得到解码后的关键帧。

对解码后的关键帧进行超分处理，得到超分后的关键帧。

对超分后的关键帧进行编码，得到第六数据包。

将第二数据包和第六数据包传送至接收端。

具体的，下采样，采用的是DCT关键帧下采样法。在像素域中下采样后的每个像素都是原始图像中几个相邻像素的线性组合。例如：将16×16像素块下采样为8×8像素块的计算公式如下：

其中，i为像素块个数，B为像素块，H为垂直方向的下采样矩阵，W为水平方向的下采样。

作为一种可选的实施方式，视频压缩技术为Libx264视频压缩技术。

作为一种可选的实施方式，视频超分模型为EGVSR模型。

实施例2

图2为本发明实施例2提供的视频流传输系统结构示意图。如图2所示，本实施例中的视频流传输系统，包括：

目标数据包获取模块201，用于获取发送端发送的目标数据包；目标数据包是采用视频压缩技术对目标矿场的原始视频流编码并封装得到的。

网速确定模块202，用于确定所述发送端的网速。

第一判断模块203，用于判断网速是否大于第一预设值，得到第一判断结果。

第一执行模块204，用于若第一判断结果为是，则采用第一传输模式将目标数据包传送到接收端，接收端用于对目标数据包解码，得到原始视频流；第一传输模式为直接传送目标数据包的传输模式。

第二判断模块205，用于若第一判断结果为否，则判断网速是否大于第二预设值，得到第二判断结果；第二预设值小于第一预设值。

第二执行模块206，用于若第二判断结果为是，则将采用第二传输模式将目标数据包传送到接收端；第二传输模式为对目标数据包依次进行整体解码、整体超分以及整体二次编码后，再传送的传输模式。

第三执行模块207，用于若第二判断结果为否，则采用第三传输模式将目标数据包传送到接收端；第三传输模式为对目标数据包依次进行关键帧解码、关键帧超分以及关键帧二次编码后，再传送的传输模式。

实施例3

本发明还提供了一种电子设备，包括：

一个或多个处理器。

存储装置，其上存储有一个或多个程序。

当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如实施例1的方法。

实施例4

本发明还提供了一种存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如实施例1的方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。