一种智能车载侦测影像记录方法及装置

技术领域

本发明涉及车载侦测影像记录领域，具体涉及一种智能车载侦测影像记录方法及装置。

背景技术

目前，智能汽车大幅度运用影像侦测，例如某款汽车总共有前、后、左侧、右侧、左后、右后及车内驾驶监视等7组摄像头，每一组除了行车时的自动目标物影像辨识，还有行车安全记录及停车时的哨兵模式等功能。汽车在不驾驶的情况下，行车记录器可以作为家用监控使用，有效保护车内物品和车辆零件不被偷盗，使车主不会遭受不必要的损失。行车记录也被形象地称为汽车的黑匣子，可以将汽车行驶的时间速度和位置记录在影像中，但是行车记录仪的视频资料无法剪辑，一旦剪辑在发生交通事故时将无法作为证据使用。协助车主在发生意外的时后，给予各种回放记录的保障。

公开号为CN104735382A的专利申请公开一种实时记录分享系统及方法，系统至少包含三个部分：移动记录装置、手持通讯装置与云端服务器。而用户可立即利用具有移动影像传输功能的行车记录器所提供的移动影像，实时分享行车影像。需于使用前设定移动记录装置与手持通讯装置，按下记录装置的按钮后，即可立即额外纪录并储存事故发生前后一小段时间，并且可以通过云端伺服器协助报案跟影像处理。

然而现今行车记录器的镜头数量跟解析度都大幅度的提升，一台车若是有7组影像通道跟以往只有前镜头的场景已经大为不同，除了记录意外发生前后，多镜头常常被用来做环景侦测，车道识别，停车时的哨兵模式，光是存储就是一个影像通道跟七组影像的考验就大为不同，更何况要同步进行串流，在车辆移动的过程中也面临到网路状况不稳时的状态，传统架构容易造成影片不即时甚至遗失，并且云端服务器在收到此大量的资料若是一般的影像封包，相当容易被有心人士侧录甚至有隐私安全方面的问题。

发明内容

为解决上述问题，本发明提供一种智能车载侦测影像记录方法及装置，使用SRT影像串流技术，满足巨量影像通道的传送接收，大量降低影像网路封包的丢失的几率，并保持稳定，抗干扰性强，提高安全性，同时由行车记录终端直接发送给存储云端，免除手持终端预先载入的繁杂流程，提高传输效率。

第一方面，本发明的技术方案提供一种智能车载侦测影像记录方法，由行车记录终端执行，包括以下步骤：

实时采集多路影像；

将多路影像进行压缩；

将压缩后的多路影像转换为TS码流封包；

将TS码流封包进行SRT封包处理；

将SRT封包通过无线方式发送给存储云端。

进一步地，将TS码流封包进行SRT封包处理，具体包括：

每七个TS码流封包组成一个SRT封包。

进一步地，该方法还包括以下步骤：

发送握手请求至存储云端；

当接收到存储云端发送的握手回应时，进行能力释出，并等待能力回应；

当接收到存储云端发送的能力回应时，向存储云端发送SRT封包；

响应于存储云端接收到SRT封包，接收存储云端发送的控制回应。

第二方面，本发明的技术方案提供一种智能车载侦测影像记录方法，由存储云端执行，包括以下步骤：

实时接收SRT封包；

进行MAC封包解码；

进行UDP封包解码；

进行SRT封包解码；

将解码后的数据进行存储。

进一步地，将解码后的数据进行存储，具体包括：

将解码后的数据经NVMe协议存储到硬盘。

进一步地，该方法还包括以下步骤：

接收握手请求；

若握手请求满足要求，则反馈握手回应至行车记录终端；

接收能力释出；

反馈能力回应至行车记录终端；

接收SRT封包，并反馈控制回应。

第三方面，本发明的技术方案提供一种智能车载侦测影像记录装置，配置于行车记录终端，包括，

影像采集模块：包括多路，实时采集影像；

压缩模块：将多路影像进行压缩；

TS码流封装模块：将压缩后的多路影像转换为TS码流封包；

SRT封装模块：将TS码流封包进行SRT封包处理；

无线通信模块：将SRT封包通过无线方式发送给存储云端。

第四方面，本发明的技术方案提供一种智能车载侦测影像记录装置，配置于存储云端，包括，

封包接收模块：实时接收SRT封包；

MAC解码模块：进行MAC封包解码；

UDP解码模块：进行UDP封包解码；

SRT解码模块：进行SRT封包解码；

存储模块：将解码后的数据进行存储。

第五方面，本发明的技术方案提供一种智能车载侦测影像记录装置，包括现场可编程器件，现场可编程器件一端与网口连接，另一端与硬盘连接，网口接收行车记录终端发送来的SRT封包，现场可编程器件对SRT封包进行处理，将接收的数据直接写入硬盘；

现场可编程器件的架构包括：SRT接收引擎、SRT传送引擎、x组微控制器、共享记忆体、AXI Lite接口、SRT APB暂存器和SRT计数器；

AXI Lite接口与共享记忆体连接，共享记忆体与x组微控制器连接，x组微控制器分别与SRT接收引擎、SRT传送引擎、SRT APB暂存器连接，SRT计数器分别与SRT接收引擎、SRT传送引擎连接。

进一步地，SRT接收引擎的架构包括：SRT通道解多工器、SRT控制/资料解多工器、SRT/UDP接收多工器、计时器、控制封包BRAM、高动态范围BRAM、64位元转128位元转换器、AES解码模块、AXIS to AXI记忆体对应模块和自动重传请求模块；

SRT通道解多工器分别与SRT控制/资料解多工器、SRT/UDP接收多工器、高动态范围BRAM、每个微控制器的本地记忆体连接；

SRT控制/资料解多工器分别与SRT/UDP接收多工器、计时器、控制封包BRAM、高动态范围BRAM、自动重传请求模块连接；

控制封包BRAM、高动态范围BRAM还分别与x个微控制器连接；

SRT/UDP接收多工器、64位元转128位元转换器、AES解码模块、AXIS to AXI记忆体对应模块依次连接；

自动重传请求模块还与AXIS to AXI记忆体对应模块连接。

本发明提供的一种智能车载侦测影像记录方法及装置，相对于现有技术，具有以下有益效果：行车记录终端实时采集的影像通过SRT串流技术，直接将影像传输给存储云端，本发明使用SRT影像串流技术，满足巨量影像通道的传送接收，大量降低影像网路封包的丢失的几率，并保持稳定，抗干扰性强，提高安全性，同时由行车记录终端直接发送给存储云端，免除手持终端预先载入的繁杂流程，提高传输效率。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种智能车载侦测影像记录方法流程示意图。

图2是本发明实施例提供的一种智能车载侦测影像记录方法流程示意图。

图3是本发明实施例提供的一种智能车载侦测影像记录方法的一具体实施例流程示意图。

图4是拨号者与接听者沟通流程示意图。

图5是本发明实施例提供的一种智能车载侦测影像记录装置结构示意图。

图6是本发明实施例提供的一种智能车载侦测影像记录装置结构示意图。

图7是图6中现场可编程器件的架构结构示意图。

图8是图7中SRT接收引擎的架构结构示意图。

图9是本发明实施例提供的一种终端的结构示意图。

具体实施方式

以下对本发明涉及的部分术语进行解释。

SRT : 安全可靠传输协议(Secure Reliable Transport)的简称，是由Haivision公司所开发的串流协议（Streaming Protocol），SRT超低延迟直播体验，可以适用在MPEG-2、H.264或是HEVC等任一种影片Codec，三大特点：安全，可靠，低延迟。安全方面，SRT支持AES加密，保障端到端的视频传输安全。可靠性方面，SRT通过前向纠正技术(FEC)保证传输的稳定性。低延迟方面，由于SRT建立在UDP协议之上，解决了TCP协议传输延迟高的问题。SRT解决了复杂的传输时序问题，可以做到支持高吞吐量文件和超清视频的实时传输并且为开源免费的协议。

TS码流:是Transport Stream 的缩写，全称则是MPEG2-TS。MPEG2-TS主要应用于实时传送的节目，比如实时广播的电视节目。MPEG-2中规定TS传输包的长度为188 字节，包头为4个字节，负载为184个字节。但通信媒介会为包添加错误校验字节，从而有了不同于188字节的包长。

UDP协议:User Datagram Protocol，使用者数据报协议，是一个简单的面向数据报的通信协议，位于OSI模型的传输层。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的核心是提供一种智能车载侦测影像记录方案，由行车记录终端将影像直接传输至存储云端，提高快捷性，且使用SRT串流进行数据传输，提高安全性和稳定性。

图1是本发明实施例提供的一种智能车载侦测影像记录方法流程示意图，该方法由行车记录终端执行，如图1所示，该方法包括以下步骤。

S101，实时采集多路影像。

S102，将多路影像进行压缩。

S103，将压缩后的多路影像转换为TS码流封包。

S104，将TS码流封包进行SRT封包处理。

S105，将SRT封包通过无线方式发送给存储云端。

汽车上一般有多路影像采集设备，这些设备实时采用影像，先将影像进行压缩，然后转换成TS码流，再将TS码流组合成SRT封包，最后将SRT封包通过无线通信方式发送给存储云端。其中，无线通信方式可采用4G/5G通信技术。

在一些具体实施例中，在将TS码流封包进行SRT封包处理时，可将每七个TS码流封包组成一个SRT封包。具体地，加入了SRT影像串流的技术，需要将影像压缩成TS码流，并且每一个TS码流占188Bytes, 每七个TS码流组合成为1316Bytes组成一个SRT封包，并且给予其4G/5G模组让其能直连传送UDP至存储云端。

SRT的传送接收端有所谓的拨号者(Caller)跟接听者(Listener)的区别，通常SRT通道一组拨号者只会配对一组接听者。在本实施例中，行车记录终端为拨号者，作为拨号者的行车记录终端在将SRT封包发送之前还执行以下步骤。

步骤一，发送握手请求至存储云端；

步骤二，当接收到存储云端发送的握手回应时，进行能力释出，并等待能力回应；

步骤三，当接收到存储云端发送的能力回应时，向存储云端发送SRT封包；

步骤四，响应于存储云端接收到SRT封包，接收存储云端发送的控制回应。

行车记录终端发送握手请求至存储云端，两者正常握手后，进行能力释出和回应，之后再进行正常的SRT封包传送。

图2是本发明实施例提供的一种智能车载侦测影像记录方法流程示意图，该方法由存储云端执行，如图2所示，该方法包括以下步骤。

S201，实时接收SRT封包。

S202，进行MAC封包解码。

S203，进行UDP封包解码。

S204，进行SRT封包解码。

S205，将解码后的数据进行存储。

存储云端接收到SRT封包后，需要先进行封包解码处理，首先进行MAC封包解码，之后进行UDP封包解码，最后进行SRT封包解码，将解码后的数据进行存储。

为实现大量数据的存储，在一些具体实施例中，将数据存储到高带宽的NVMe硬盘。相应的，将解码后的数据经NVMe协议存储到硬盘。

与行车记录终端对应，在本实施例的SRT串流中，存储云端为接听者，相应的，作为接听者的存储云端在接收SRT封包之前，还执行以下步骤。

步骤一，接收握手请求；

步骤二，若握手请求满足要求，则反馈握手回应至行车记录终端；

步骤三，接收能力释出；

步骤四，反馈能力回应至行车记录终端；

步骤五，接收SRT封包，并反馈控制回应。

存储云端接收握手请求，在握手请求是正确的请求，且可回应时，向行车记录终端反馈握手回应，之后接收能力释出，反馈能力回应，行车记录终端和存储云端之间建立正常通信，存储云端接收SRT封包，并反馈控制回应。

为进一步理解本发明，以下提供一具体实施例对本发明的智能车载侦测影像记录进一下详细说明。

图3是该具体实施例流程示意图，如图3所示，该具体实施例包括以下步骤。

S1，行车记录终端实时采集多路影像；

S2，将多路影像进行压缩；

S3，将压缩后的多路影像转换为TS码流封包；

S4，将TS码流封包进行SRT封包处理；

S5，将SRT封包通过无线方式发送给存储云端；

S6，存储云端实时接收SRT封包；

S7，进行MAC封包解码；

S8，进行UDP封包解码；

S9，进行SRT封包解码；

S10，将解码后的数据进行存储。

该实施例的行车记录，由于一边录制一边传送备份，可以省去记忆卡的容量限制，由于在目前的多路影像的时时记录存储，不论多大的影像都会有额满的一天，而通过存储云端的存储并且利用存储云端的运算能力，可以将资料作智能整合，并且重新编辑压缩。能协助警察，保险公司等单位做后续的调研，但是过去的影像串流技术，最容易遇到的是封包被窃听，而造成隐私问题，所以通过SRT封包处理模块，我们可以这多路影像进行军用级别的加密，并且放入个人ID，此为传送端之URI范例:

“srt://172.16.160.73:5000 mode=caller&passphrase=abcd1234&pbkeylen=32”

将封包传送至172.16.160.73:5000之存储云端孔位，并且个人ID为abcd1234，用此ID作为AES256bits级别的通讯加密码(pbkeylen = 16 则为128bits)。即可达到端对端的安全影像传送，同时由于行车其间网路的不稳定性，一般的UDP封包很容易在通道之间就丢失，所以可在在SRT的基本架构中改良封包的序号内容，判断序号后Selective ARQ之机制可以针对丢失的封包在一定的时限内进行修复。在SRT的丢失封包的重新传送机制中，需要准备一块Ring Buffer在特定的时间内暂存在系统记忆体里面，并且将每7个TS码流(188Bytes)转换成1316的资料长度。

同时SRT的传送接收端有所谓的拨号者(Caller)跟接听者(Listener)的区别，通常SRT通道一组拨号者只会配对一组接听者，图4是拨号者与接听者沟通流程示意图。

拨号者发出握手请求（Handshake request）至接听者，接听者进行握手回应（Handshake response），之后拨号者进行能力释出（Capabilities Annouce），接听者进行能力回应（Capabilities response），拨号者与接听者之间建立起通道进行数据传输，将影像档案发送给接听者，接听者进行控制回应（Control）。当然当不需要传输数据时，两者之间关闭连线（Shutdown）。

上文中对于一种智能车载侦测影像记录的方法的实施例进行了详细描述，基于上述实施例描述的智能车载侦测影像记录的方法，本发明实施例还提供了一种与上述方法对应的智能车载侦测影像记录的装置。

图5是本发明实施例提供的一种智能车载侦测影像记录装置结构示意图，其中左侧部分配置与行车记录终端，右侧部分配置与存储云端。

配置于行车记录终端的部分包括：影像采集模块、压缩模块、TS码流封装模块、SRT封装模块和无线通信模块。

影像采集模块：包括多路，实时采集影像；

压缩模块：将多路影像进行压缩；

TS码流封装模块：将压缩后的多路影像转换为TS码流封包；

SRT封装模块：将TS码流封包进行SRT封包处理；

无线通信模块：将SRT封包通过无线方式发送给存储云端。

其中，SRT封装模块将每七个TS码流封包组成一个SRT封包。无线通信模块可以是4G/5G通信模块。

配置于存储云端的部分包括：封包接收模块、MAC解码模块、UDP解码模块、SRT解码模块和存储模块。

封包接收模块：实时接收SRT封包。

MAC解码模块：进行MAC封包解码。

UDP解码模块：进行UDP封包解码。

SRT解码模块：进行SRT封包解码。

存储模块：将解码后的数据进行存储。

其中，存储模块将解码后的数据经NVMe协议存储到硬盘。

本实施例的智能车载侦测影像记录装置用于实现前述的基智能车载侦测影像记录方法，因此该装置中的具体实施方式可见前文中的智能车载侦测影像记录方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的智能车载侦测影像记录装置用于实现前述的智能车载侦测影像记录方法，因此其作用与上述方法的作用相对应，这里不再赘述。

在一些实施中，可使用云端服务器作为存储云端，然而云端服务器运算成本和电耗较高，因此可在另一些实施例中，使用可编程器件来实现存储云端。

图6是本发明实施例提供的一种智能车载侦测影像记录装置结构示意图，如图6所示，该装置包括现场可编程器件，现场可编程器件一端与网口连接，另一端与硬盘连接，网口接收行车记录终端发送来的SRT封包，现场可编程器件对SRT封包进行处理，将接收的数据直接写入硬盘。

图7是现场可编程器件的架构结构示意图，如图7所述，该架构包括：SRT接收引擎、SRT传送引擎、x组微控制器、共享记忆体、AXI Lite接口、SRT APB暂存器和SRT计数器。

AXI Lite接口与共享记忆体连接，共享记忆体与x组微控制器连接，x组微控制器分别与SRT接收引擎、SRT传送引擎、SRT APB暂存器连接，SRT计数器分别与SRT接收引擎、SRT传送引擎连接。

图8是上述SRT接收引擎的架构结构示意图，如图8所示，该架构包括：SRT通道解多工器、SRT控制/资料解多工器、SRT/UDP接收多工器、计时器（Timer）、控制封包BRAM、高动态范围BRAM、64位元转128位元转换器、AES解码模块、AXIS to AXI记忆体对应模块和自动重传请求模块。

SRT通道解多工器分别与SRT控制/资料解多工器、SRT/UDP接收多工器、高动态范围BRAM、每个微控制器的本地记忆体连接。

SRT控制/资料解多工器分别与SRT/UDP接收多工器、计时器、控制封包BRAM、高动态范围BRAM、自动重传请求模块连接。

控制封包BRAM、高动态范围BRAM还分别与x个微控制器连接；

SRT/UDP接收多工器、64位元转128位元转换器、AES解码模块、AXIS to AXI记忆体对应模块依次连接。

自动重传请求模块还与AXIS to AXI记忆体对应模块连接。

SRT传送引擎是SRT接收引擎的反向。

在上述架构中，x组的microBlaze微控制器分担运算及分配其每路SRT的状态机，每一组microBlaze微控制器可以计算8组的SRT通道状态(传送跟接收加总共16组)，总共为16x组SRT通道,目前我们采用的microBlaze微控制器为4组，总共支援64路SRT通道。

在一些具体实施例中，现场可编程器件选用FPGA，FPGA的成本以及电压需求跟云算电路是可以在开机后就达到一个稳态，相当适合大量取代高成本的云端服务器。相对于云端服务器，同样是64路的，SRT通道影像在FPGA(U50)的版本功耗明显稳定<50W，并且不会因为各种CPU运算而有所影响，特别适合应用在智能车载监控的场景。

图9为本发明实施例提供的一种终端装置900的结构示意图，包括：处理器910、存储器920及通信单元930。处理器910用于实现存储器920中保存的智能车载侦测影像记录程序时实现以下步骤：

实时接收SRT封包；

进行MAC封包解码；

进行UDP封包解码；

进行SRT封包解码；

将解码后的数据进行存储。

本发明使用SRT影像串流技术，满足巨量影像通道的传送接收，大量降低影像网路封包的丢失的几率，并保持稳定，抗干扰性强，提高安全性，同时由行车记录终端直接发送给存储云端，免除手持终端预先载入的繁杂流程，提高传输效率。

该终端装置900包括处理器910、存储器920及通信单元930。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器920可以用于存储处理器910的执行指令，存储器920可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。当存储器920中的执行指令由处理器910执行时，使得终端900能够执行以下上述方法实施例中的部分或全部步骤。

处理器910为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器910可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元930，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，这里所说的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：random accessmemory，简称：RAM）等。

计算机存储介质存储有智能车载侦测影像记录程序，智能车载侦测影像记录程序被处理器执行时实现以下步骤：

实时接收SRT封包；

进行MAC封包解码；

进行UDP封包解码；

进行SRT封包解码；

将解码后的数据进行存储。

本发明使用SRT影像串流技术，满足巨量影像通道的传送接收，大量降低影像网路封包的丢失的几率，并保持稳定，抗干扰性强，提高安全性，同时由行车记录终端直接发送给存储云端，免除手持终端预先载入的繁杂流程，提高传输效率。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端（可以是个人计算机，服务器，或者第二终端、网络终端等）执行本发明各个实施例所述方法的全部或部分步骤。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。