传输型双人执法记录仪及其码流处理方法

技术领域

本发明涉及执法记录仪技术领域，尤其是涉及一种传输型双人执法记录仪及其码流处理方法。

背景技术

目前市面上的执法记录仪主要有两类，普通型执法记录仪和传输型执法记录仪。其中普通型执法记录仪无法联网，工作时采集的信息都只能保存在本地，缺少与平台互动的能力；而传输型执法记录仪可以联网，进而可以与平台建立互动协作关系，展现出强大的协同工作潜力，是执法记录仪领域发展的方向。

市场对传输型执法记录仪的需求已进入到第二代；而第二代传输型执法记录仪对文明工作和阳光工作有更高的要求，双人工作的模式进入到新的工作常态。因此要求第二代的传输型执法记录仪需要拉通的主体，除了指挥中心工作人员与工作现场工作人员的双方外，还要让第三方对象接入视音频中，实现三方的现场互动，达到工作过程多工作人员参与的阳光工作要求。

目前第一代传输型执法记录仪的主要缺陷有：

1、缺少对多人工作，阳光工作场景的适用性支持，在工作的过程中难以直接拉通现场工作人员、远程工作人员以及第三方对象的3方沟通渠道和现场证据保存应用。

2、产品对工作现场的证据收集和还原能力存在缺陷，难以多角度录制现场工作环境画面。

3、传输型双人执法记录仪终端缺乏与之配套的平台协同支持技术，不能充分发挥远程工作与现场工作同步的协同优势，也是现有执法记录仪不可回避的缺陷之一。

然而针对目前行业发展的现状，结合行业对多人工作，阳光工作的发展要求，现有的传输型执法记录仪的码流处理方法在应用中还存在以下的缺陷：无线传输带宽受限，在信号强度差或者网络拥堵时，容易产生联网卡顿、数据传输失效或者速率不稳定等问题；无法满足双人工作场景对网络传输的低时延，高速率，高可靠性的要求。以上的问题和不足，限制了传输型执法记录仪的使用场景和应用范围。

发明内容

本发明的目的在于解决传输型双人执法记录仪终端缺乏与之配套的平台协同支持技术的问题，提供一种传输型双人执法记录仪的码流处理方法。

为实现上述目的，本发明采用以下技术方案：

一种传输型双人执法记录仪的码流处理方法，，包括如下步骤：

S1:通过本地录制形成第一码流、第二码流；通过远程同步录制传输形成第三码流，所述第一码流是本地录像编码存储码流，所述第二码流是音视频录像文件动态编码上传码流，所述第三码流是远程录像文件下载解析码流；

S2:传输上述第二码流、第三码流，其中，第二码流是从传输型双人执法记录仪通过网络向平台端传输，第三码流是从平台端通过网络向执法记录仪传输；

所述第一、第二码流协同录制、共用编码规则、并同时传输，第三码流由平台端录制、编码和传输，在记录仪端异步接收和解码，所述第一、第二码流中的音视频信息能够通过主摄像头的旋转，实现捕捉不同方位和角度的拍摄目标音视频信息。

在一些实施例中，所述步骤S2包括以下步骤：

S21:使用自适应网络环境侦测选网算法选择符合要求的单一无线通信方式并实时检测网络状态；

S22：使用动态非线性双向视频数据量控制算法根据通信网络速率，动态地调整所述第二码流上传的视音频文件的编码参数，其中所述执法记录仪及所述平台端的视音频文件的编码和解码方式相同。

在一些实施例中，还包括以下步骤：

S23：在自适应网络环境侦测选网算法检测到网络通信质量差或网络堵塞且网络环境类型符合标准的情况下使用双网络并行传输算法传输所述第二码流及所述第三码流。

在一些实施例中，所述步骤S21包括以下步骤：

S211:通过检测系统网络状态，识别出可联网无线通信方式的类型并确定网络信号强度阈值；

S212：在当前环境存在多种无线通信网络类型时，先对每种无线通信网络的信号强度进行阈值判定，如果存在一种或多种无线通信网络的信号强度都满足联网要求时，按照资费最低原则、速率优先原则依次筛选最优的单一无线通信方式的网络进行联网；如果每一种单一网络都无法满足无线网络通信的信号强度要求时，则依据网络覆盖率优先原则选择网络覆盖率最完善的网络进行联网通信，以确保通信质量最稳定；

S213:使用已选择的网络传输所述第二码流及所述第三码流。

在一些实施例中，步骤212中，还包括：S214:时刻检测环境中的系统网络状态,当网络环境变化时，开始步骤S211重新选择网络，以便时刻选用最优的网络来提高通信体验。

在一些实施例中，所述步骤S22包括：

S221:监测当前网络的传输速率,每隔一段时间计算一次平均的传输速率V；；

S222：选择与当前平均网络速率V相匹配的编码方式进行编码传输。

在一些实施例中，步骤S212中，所述资费最低原则以WIFI为最优选择、速率优先原则以5G为最优选择、网络覆盖率优先原则以4G为最优选择。

在一些实施例中，步骤S222中，所述编码方式的选择标准为在码流编码数据量表中选择数据量小于或等于V*(0.6±0.2)的编码方式。

在一些实施例中，步骤S221中，所述每隔一段时间的时间间隔为3s。

在一些实施例中，步骤S23包括以下步骤：

S231:检测网络环境类型，判断是否存在WIFI与4G并存或者WIFI与 5G并存的网络组合；

S232：若存在步骤S231中的网络组合进行S233否则退出；

S233:判断目前最优通信状态及次优通信状态对应的网络组合是否是 4G与5G或者5G与4G，如果是则执行步骤S234，否则执行步骤S235；

S234：选择网络状态最优网络为主选网络，WIFI为副选网络；

S235：选择网络状态最优网络为主选网络，网络状态次优网络为副选网络；

S236：按照当前组合网络联网通信，选择主选网络传输所述第二码流，选择副选网络传输所述第三码流。

在一些实施例中，所述通信状态指标为信号强度、传输速率和网络堵塞情况。

本发明还提供一种传输型双人执法记录仪，包括通信模块、处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序能够被处理器执行以实现上述的传输型双人执法记录仪的码流传输方法。

本发明具有如下有益效果：本发明提出的传输型双人执法记录仪的码流处理方法通过第一、第二码流的协同录制、共用编码规则、并同时传输的和第三码流的同步下载和解析，实现三种码流同时共存、同步传输工作的目的，其中第一、第二码流中的音视频信息能够通过主摄像头的旋转，实现不同拍摄目标音视频信息的选择的设置，能够实现传输型双人执法记录仪终端与之配套的平台协同支持，使其在工作过程中发挥重要作用。

进一步地，本发明的双人执法记录仪比一般的传输型记录仪的通信效率提高20％，在通信流畅性和稳定性方面也更有保障。

附图说明

图1是本实施例中传输型双人执法记录仪的码流处理方法的流程图；

图2是本实施例中的视音频三码流传输示意图；

图3是本实施例中的动态非线性双向视频数据量控制算法流程图；

图4是本实施例中的自适应网络环境侦测选网算法流程图；

图5是本实施例中的双网络并行传输算法控制流程图。

附图标记说明如下：

1-与传输型双人执法记录仪配套的平台端，2-传输型双人执法记录仪， 3-终端储存卡，4-网络。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

使用传输型执法记录仪进行双人工作应用，都涉及到三种不同视音频码流，它们分别是：

第一码流:本地录像编码存储码流；

第二码流:音视频录像文件动态编码上传码流；

第三码流:远程录像文件下载解析码流；

这三种码流在双人工作应用场景中是协同录制、共用编码规则、并同时传输的，为此，如图1、图2所示，本实施例的传输型双人执法记录仪的码流处理方法如下：

S1:通过本地录制形成第一码流、第二码流，第三码流通过远程录制传输以供本地下载解析，所述第一码流是本地录像编码存储码流，将信息存储到终端储存卡3中，所述第二码流是音视频录像文件动态编码上传码流，所述第三码流是远程录像文件下载解析码流；

S2:传输上述第二码流、第三码流，其中，第二码流是从传输型双人执法记录仪2通过网络4向平台端即与传输型双人执法记录仪配套的平台端 1传输，第三码流是从传输型双人执法记录仪配套的平台端1通过网络4 向传输型双人执法记录仪2传输；

所述三个码流协同录制、共用编码规则、并同时传输，第三码流由平台端录制、编码和传输，在记录仪端异步接收和解码，第一、第二码流中的音视频信息能够通过主摄像头的旋转，实现捕捉不同方位和角度的拍摄目标音视频信息。

在此基础上本实施例方法包含了三套算法，来实现双人工作中三码流的流畅传输：

(1)动态非线性双向视频数据量控制算法

本算法的核心原理是：记录仪根据通信网络的通信状态即信号强度、网络通信速率和通信堵塞情况，动态地调整第二码流上传的视音频文件的编码参数(远程平台端的录制、编码和传输也采用相同方式)，以达到根据网络通信环境变化，动态控制上传和下载的视音频文件数据量的目的。

本算法的实现包含三个过程，第一是对记录仪的实时通信速率侦测，第二是对视音频码流编码策略的选取，第三是通信双方的信息交换。

记录仪的实时网络速率侦测：本实施例的传输型双人执法记录仪每隔一段时间，即以3S为一个时间间隔来计算其平均网络速率，并以此为基准，作为选取实时视音频编码策略的依据。

视音频码流的编码策略：本实施例分为4个方面的调整，分别是视频分辨率，视频帧速率、视频画面质量、文件压缩方式。其中视频分辨率由低到高包括480P、720P、1080P、1440P、2160P；视频帧速率包括25帧、 30帧、60帧等；视频画面质量包括精细画质、标准画质和普通画质；文件压缩方式包括H264、H265、H266等；这4个方面的不同组合，对应不同的编码方法和码流数据量。本算法在选取编码策略的时将参考当前的网络侦测速率，选择数据量与之匹配的视频分辨率，帧速率，画面质量和压缩方式来进行编码，使视频文件的上传、下载码流数据量与实测的传输网速相当，误差控制在±20％的波动空间。

双方信息交换：在视音频文件实时传输时，通知接收方当前视音频文件的分辨率，帧速率，压缩方式等信息，以方便接收方使用配套的方法对文件进行实时的解码播放。

在双人工作应用场景下，需要确保双方的视音频编码和解码方式同步，避免因兼容性问题导致的通信故障。

如图3所示，动态非线性双向视频数据量控制算法的控制流程如下：

A:本算法开始运行时，首先监测当前网络的传输速率，然后每隔3S 计算一次平均网速V，作为调整当前视音频码流编码方式的依据；

B:参对比平均网速V与码流编码数据量表，表1为码流编码数据量表，其中码流速率单位为Mb/s，选择与当前网速相匹配的编码方式进行编码传输，选择的标准是:编码方式的数据量≤V*(0.6±0.2)；此选择标准考虑到上下行速率分配的问题，在数据上传的过程中给下载链路保留了余量。

C:时刻检测网络传输的速率变化，当发现网络环境变化时，都需要重新选择新的编码方式，来适应网速变化，做到速率高时传输视频画面品质更高，清晰度更高，帧率更高的视频文件，提高使用体验；速率低时，适当降低画面品质，清晰度和帧率等，确保通信过程稳定可靠，传输流畅。

表1

(2)自研的自适应网络环境侦测选网算法

本算法的主要核心思想是自动侦测记录仪当前的联网请求类型和网络环境，并根据当前的网络特点选择合适的通信网络进行信息传输，从而达到确保网络稳定、通信顺畅的目的。

在本实施例中，双人执法记录仪使用到的无线通信方式分别有：WIFI 无线网络通信方式、4G无线网络通信方式、5G无线网络通信方式。

本实施例对三种无线通信方式的性能特点和使用场景等参数总结如表 2所示：

表2

本实施例根据三种无线通信方式的不同使用场景和性能特点，制定了如下的无线网络选取的优选原则：

a:资费最低原则；

b:网络覆盖率优先原则；

c:速率优先原则。

本实施例结合三种无线通信方式的性能特点和优先选网原则，制定了一套自适应网络环境侦测选网算法，此算法的工作原理和控制流程图如图 4所示：

A.当记录仪终端产生一个通信请求时，记录仪软件首先通过查询系统网络状态，识别出可联网无线通信方式的类型，然后搜索附近的WIFI 的可用网络，并对比相应网络的信号强度是否可以达到该网络预先设定的信号强度阈值(强度只有超过设定的信号强度阈值，才能确保通信过程稳定可靠)。如果检测到的WIFI网络信号强度大于其设定的信号强度阈值，则优先选用WIFI网络进行联网通信。这一过程体现了资费最低的优先选网原则，其中网络状态包括当前可以检测到的无线网络类型，各种不同网络类型的信号强度；当前本系统联网的无线网络类型和信号强度；当前网络通信的待发数据包的堵塞情况等状态信息。

B:如果发现WiFi网络强度不满足信号强度阈值，则对比5G网络的信号强度值是否满足稳定联网的要求，如果检测到的5G网络信号强度大于预设的信号强度阈值，则进行联网通信，传输第二码流及所述第三码流，否则只能采用4G网络进行联网通信，这一过程体现了速率优先的优先选网原则。

C:如果出现多种无线通信方式的信号强度都不满足通信要求时，则优先选择4G网络进行通信，因为4G网络的覆盖率最广，网络建设最完善，理论上可以提供最稳定的联网体验。这个体现了网络覆盖率优先的优先选网原则。

D:完成连接网络的选取之后，系统只需按照对应无线通信方式的网络通信协议建立连接链路，进行通信即可。如果在通信的过程中，检测到当前选择的网络出现信号强度掉落，或者网络通信拥堵，数据传输不畅，则系统会重新进入选网阶段，重新建立连接链路通信。

以上的过程是自适应网络环境侦测选网算法的基本工作和判断过程，最后选择符合要求的单一无线通信方式并实时检测网络状态，执法仪终端将根据本算法的侦测选网结果，选择合适的系统天线类型，与平台进行联网通信。

(3)双网络并行传输算法

双网络并行传输算法，其核心是当遭遇单一网络通信质量差，或网络堵塞情况时，可以让主选网络与副选网络按照WiFi+4G或者WiFi+5G的组合方式，让两种不同类型的网络同时联网工作，并行传输数据，以达到拓展传输带宽，平衡网络堵塞，保持联网通信稳定的目的；其中网络通信质量差是指记录仪接收到的某一网络的信号强度值<＝-105dbm；网络堵塞的评判标准是：通过检测自身待发数据包的队列长度来评判，如果系统软件检测到待发数据包的队列长度的数据量发送时间>0.5S，则判定当前网络出现拥堵。

传输型执法记录仪在双人工作应用场景下，大量视音频双向数据需要同时传输；此时选用单一网络通信，在信号弱或者网络堵塞时，可能存在通信速率不足，数据传输卡顿等问题，影响双人工作的正常进行，威胁到多人工作，阳光工作的政策正常执行。

为改善这个问题，本算法采用了双网络并行传输的方式，通过引入主选网络+副选网络这样的组合方式，来同时并行传输数据，通过这种使用双网络并行传输的方法来拓展记录仪的传输带宽，优化网络资源配置，提升通信时网络传输的效率和稳定性，避免网络堵塞和传输卡顿的情况出现。

使用本算法的前提是：记录仪周边的网络环境存在多种不同类型的网络，可以为记录仪提供多种组合联网传输方式选择。由于受到目前的技术水平限制，4G+5G两种独立组合同时并行数据的机制，目前是不可行的，所以可选用的双网络并行组合传输方案只有WIFI+4G网络组合或者 WiFi+5G网络组合。需要注意如果2.4G WiFi+5GWiFi网络同时存在，在实践中只能选用其中一种网络来与4G或者5G类型网络进行组合，来完成双网络并行传输的功能。

本算法的并行网络由主选网络+副选网络组成，这两个不同类型的网络既可以同时连接到同一个服务器进行通信传输，也可以分别连接到不同的网络服务器进行通信传输；同时记录仪使用这两个并行网络进行数据传输时，其数据传输方向可以是相同的，也可以是不同的；另外两个不同类型的组合并行网络，其总带宽为两种类型网络带宽之和，传输速率也是两个网络传输速率之和。

本算法的主选网络和副选网络并非一成不变的，在运行过程中系统会同步侦测两个网络的信号强度、传输速率和网络堵塞情况，优先把通信状态更最优的网络用作主选网络，次优网络用作副选网络；如果联网过程中网络环境发生变化，系统将使用自适应网络环境侦测选网算法来重新选择主选网络+副选网络的组合，以确保实际的通信质量。

在双人工作应用场景中，本算法使用主选网络来上传现场工作录像文件；使用副选网络来下载后台指挥中心的工作人员录像视频。

如图5所示，双网络并行传输算法控制流程如下：

A:本算法运行时，首先检测周边网络环境是否存在WiFi+4G或者 WiFi+5G这样的网络类型组合；如果存在这样的网络组合，则使用自适应网络环境侦测选网算法，选取合适的网络类型组合准备联网通信，否则本算法结束。

B:在确定网络组合后，需要判断当前组合类型是否是4G+5G的组合形态，如果是则需要调整组合状态，然后再进行联网通信；否则可以直接联网通信。具体地，判断目前最优通信状态及次优通信状态对应的网络是否是4G与5G或者5G与4G，如果是则选择网络状态最优网络为主选网络，WIFI为副选网络，否则选择网络状态最优网络为主选网络，网络状态次优网络为副选网络；按照当前网络组合联网通信，选择主选网络传输所述第二码流，选择副选网络传输所述第三码流。

在通信的过程中需要时刻监控网络状态，包括信号强度变化以及网络堵塞等情况，重新通过选网算法调整组合类型，或者是对调主选和副选网络类型，然后继续通信。

双网络并行传输的过程中，记录仪功耗比单网络传输方式，其整机功耗会相应提高，由于移动设备电池电量有限，一般情况下默认不开启双网络并行传输算法进行工作。

本实施例的传输型双人执法记录仪的码流处理方法通过上述三种算法的组合使用，在实际对比测试中，本方案的双人执法记录仪比一般的传输型记录仪的通信效率提高20％，在通信流畅性和稳定性方面也更有保障。

以下根据实际应用场景说明本实施例的方法：

一个工作人员目前正使用本发明的传输型执法记录仪进行工作录像，某一时刻突然发现状况，此时他开启双人工作功能连接指挥中心，并与指挥中心的远程工作人员一起开始进行双人工作过程，然后他手动把记录仪屏幕的那一面旋转到与主摄像头同面的状态，让主摄像头、屏幕和喇叭都正对着第三方对象，以方便拍摄第三方对象画面和周边环境，同时方便第三方对象查看到远程工作人员的画面图像，以方便三方沟通。

在开启双人工作功能之前，记录仪与指挥中心的数据传输是单向上传的，假设此时正在使用4G网络；当开启双人工作功能后，记录仪与指挥中心之间的数据传输变成双向传输(上传现场图像和录音；下载远程工作人员的图像和录音)，并且此时对信息时延的要求变高了，因此系统调用自适应网络环境侦测选网算法重新选择合适的网类型进行通信；侦测后发现当前5G网络的信号强度正好符合系统内置的5G信号强度要求，然后系统自动切换使用5G网络连接到指挥中心，同步地开始侦测当前的网络通信速率；接下来，系统通过动态非线性双向视频数据量控制算法选择适当的图像编码方式来给指挥中心传输质量更高的现场图像画面，同步下载远程图像，在这个过程中上传的图像数据量会根据实时网络速率变化，发生波动，同步地图像编码方式也会做相应的调整；

但是某一时刻开始，工作人员发现远程同步画面出现卡顿，同时指挥中心也提醒通话过程不顺畅；由于自适应网络环境侦测选网算法是一直在运行的，此时记录仪会发出提醒信息：“当前网络卡顿，附近存在WiFi网络，是否使用双网络并行传输方式？”如果工作人员选择确定，则双网络并行传输算法开始运行，记录仪使用5G+WiFi的双网络组合方式，同时连接到指挥中心进行数据传输，并且在传输的过程中分别侦测两个网络的信号传输速率，选择传输速率高的网络来上传现场画面和图像，选择速率较低的来传输指挥中心的画面和语音信号；在双网络并行传输的过程中，数据传输带宽显著提高了，并且单以网络的传输数据量显著变小了，加上上传和下载链路互不影响，信号传输效率提高到之前1.5倍以上，工作体验显著提高。

本实施例的方法融合了各种算法，第二码流中的音视频信息能够通过主摄像头的旋转，实现不同拍摄目标音视频信息的选择的设置，能够实现传输型双人执法记录仪终端与之配套的平台协同支持，使其在工作过程中发挥重要作用，且分别在自适应编码，信号侦测选网和双网络并传输方面取得突破，为改善传输型双人执法记录仪的信号传输质量和用户使用体验提供了更完美的解决方案。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。