串行解串器链路传输高带宽相机数据的方法

技术领域

本发明涉及自动驾驶领域，尤其涉及一种串行解串器链路传输高带宽相机数据的方法、智能控制设备及自动驾驶车辆。

背景技术

在自动驾驶车辆的应用中需要更大、更高分辨率的相机传感器，以实现对距离更远的车辆的检测和识别。在这些自动驾驶系统中需要低延迟来实现更快的系统反应。高分辨率相机传感器导致系统需要额外的带宽来传输高帧速率的图像数据。目前，传输更高分辨率的相机传感器的图像数据所需要的带宽超过了自动驾驶车辆上使用的最先进的串行解串器链路的带宽。在现有技术中，有一些用于带宽有限的链路传输高分辨率传感器的图像数据的方法，例如，对于具有集中处理单元的自动驾驶车辆系统，从更高分辨率的传感器进行获取图像数据然后进行数据传输需要以下几个步骤，(1)在将图像数据发送到集中式处理器之前压缩相机模块侧的图像数据(2)裁剪出图像数据的感兴趣区域，以满足串行解串器链路的带宽(3)降低摄像机传感器的帧速率。上述方法均不能充分利用高分辨率相机传感器，因为，压缩将导致潜在重要信息的丢失，使用整个图像数据的子集会导致“浪费”像素和计算单元看不到的信息，帧速率的降低会导致延迟和滚动快门产生的运动伪影增加。目前所有传输大型相机传感器数据的现有解决方案都需要减少传感器数据，以便数据适合串行解串器链路，从而导致信息丢失和/或增加延迟和运动伪影。

因此，如何实现高速传输高带宽相机的图像数据是亟需解决的问题。

发明内容

本发明提供一种串行解串器链路传输高带宽相机数据的方法、智能控制设备及自动驾驶车辆，可以实现快速完整的传输高带宽相机的图像数据。

第一方面，本发明实施例提供一种串行解串器链路传输高带宽相机数据的方法，串行解串器链路传输高带宽相机数据的方法包括：

计算传输图像数据所需的传输带宽，图像数据由高带宽相机获取；

确定多条串行解串器链路中每一条串行解串器链路的最大带宽容量；

根据传输带宽和每一条串行解串器链路的最大带宽容量将图像数据切割为多个子图像；

将每一个子图像分配至对应的串行解串器链路中的子图像传输区，每一条串行解串器链路包括子图像传输区和子图像接收区；

从对应的子图像接收区获取由多条串行解串器链路中传输的多个子图像；

将多个子图像拼接为图像数据。

第二方面，本发明实施例提供一种智能控制设备，智能控制设备包括：

存储器，用于存储程序指令；

处理器，用于执行程序指令以使智能控制设备实现上述的串行解串器链路传输高带宽相机数据的方法。

第三方面，本发明实施例提供一种自动驾驶车辆，自动驾驶车辆包括上述的智能控制设备，以使自动驾驶车辆实现如上述的串行解串器链路传输高带宽相机数据的方法。

上述串行解串器链路传输高带宽相机数据的方法通过计算传输图像数据所需的传输带宽，确定多条串行解串器链路中每一条串行解串器链路的最大带宽容量，并根据传输带宽和每一条串行解串器链路的最大带宽容量将图像数据切割为多个子图像，这样能够使得，多条串行解串器链路中每一条串行解串器链路得到充分利用，从而达到提升串行解串器链路传输的数据量，实现高带宽相机数据的快速传输。通过将每一个子图像分配至对应的串行解串器链路中的子图像传输区，每一条串行解串器链路包括子图像传输区和子图像接收区，从对应的子图像接收区获取由多条串行解串器链路中传输的多个子图像，将多个子图像拼接为图像数据。将每一条串行解串器链路的带宽充分利用，再根据子图像传输区和子图像接收区的对应特性完成图像的拼接，保持图像的完整性，提高了串行解串器链路的利用率，同时避免了现有技术中压缩和共享总线以传输多种类型的数据的方法导致的图像数据经过传输导致的信息丢失的问题。实现了用有限带宽的串行解串器链路传输高宽带的图像数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例提供的串行解串器链路传输高带宽相机数据的方法流程图。

图2为本发明实施例提供的串行解串器链路传输高带宽相机数据的方法子流程图。

图3为本发明实施例提供的串行解串器链路示意图。

图4为本发明实施例提供的图像获取以及分割单元示意图。

图5为本发明实施例提供的智能控制设备内部结构示意图。

图6为本发明实施例提供的自动驾驶车辆示意图。

图中各元件标号

900 智能控制设备 901 存储器

902 处理器 903 总线

904 显示组件 905 通信组件

200 串行解串器链路 210 第一子图像传输区

211 第一子图像接收区 220 第二子图像传输区

221 第二子图像接收区 300 图像接收以及拼接单元

100 图像获取以及分割单元 101 高带宽相机

102 图像处理管 800 自动驾驶车辆

1011 图像数据 2301 第一子图像

2311 第二子图像 230 第一MIPI接口

231 第二MIPI接口 800 自动驾驶车辆

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请结合参看图1，其为本发明实施例提供的串行解串器链路传输高带宽相机数据的方法的流程图。其中，实施例提供的串行解串器链路传输高带宽相机数据的方法具体包括下面步骤。

步骤S101，计算传输图像数据所需的传输带宽。图像数据由高带宽相机获取。高带宽相机是数字相机的一种，一般帧速在30帧/秒～100帧/秒之间。由于帧速快、曝光时间短、灵敏度高等特点，高速相机能够清晰拍摄到人眼或是普通数字相机无法观测到的瞬间过程，即将被测物的高速运动或是变化过程转化为时间间隔在毫秒级的图像数据。在自动驾驶领域这些图像数据利用传输线路传输至中央处理单元，以便自动驾驶车辆对图像数据中包含的信息进行识别，帮助自动驾驶车辆做出正确的反应。

传输带宽是在数字设备中单位时间能通过链路的数据量。通常以bps为单位来表示，即每秒可传输之位数，有时候也用Gbps来表示，即千兆位。在本实施例中，就是传输高带宽相机获取的图像数据所需要的带宽，具体地，以12.5MP、30FPS的相机为例，其中，每一个像素所需要的字节数24位(bit)，要求至少9千兆位(Gbps)的传输速度。传输带宽计算公式为：像素*每个像素的位*每秒的帧数＝每秒所需的传输带宽。其中，兆像素/百万像素(megapixel，MP)。每秒传输帧数(Frames Per Second，FPS)，FPS是图像领域中的定义，是指画面每秒传输帧数，通俗来讲就是指动画或视频的画面数。FPS是测量用于保存、显示动态视频的信息数量。每秒钟帧数越多，所显示的动作就会越流畅。通常，要避免动作不流畅的最低是30。交换带宽(Gbps)，是衡量交换机总的数据交换能力的单位，以太网是IEEE802.3以太网标准的扩展，传输速度为每秒1000兆位(即1Gbps)。具体请参照步骤S1011-步骤S1013。

步骤S102，确定多条串行解串器链路中每一条串行解串器链路的最大带宽容量。串行解串器是高速数据通信中的接口电路。串行解串器在高速数据通信领域已经非常常见，它们不但在光纤数据传播中起着重要作用，其重要性就如同双绞线之于网络一样，在短距离芯片互联中同样起着重要作用。主要结构有源同步接口结构、前置时钟结构、差分数据分组传输结构等。在本实施例中，串行解串器也称SERDES，SERDES是英文SERializer(串行器)/DESerializer(解串器)的简称。其中，串行器对应子图像传输区，解串器对应子图像接收区。它是一种主流的时分多路复用(TDM)、点对点(P2P)的串行通信技术。即在发送端多路低速并行信号被转换成高速串行信号，经过传输媒体(光缆或铜线)，最后在接收端高速串行信号重新转换成低速并行信号。这种点对点的串行通信技术充分利用传输媒体的信道容量，减少所需的传输信道和器件引脚数目，提升信号的传输速度，从而大大降低通信成本。具体地，确定多条串行解串器链路中每一条串行解串器链路的高传输速率是多少Gbps。例如，每一条串行解串器链路的高传输速率是6Gbps。

在一些可行的实施例中，串行解串器链路也可以是RF-SERDES，其中，RadioFrequency Identification(无线射频，RF)即，无线射频串行解串链路。

步骤S103，根据传输带宽和每一条串行解串器链路的最大带宽容量将图像数据切割为多个子图像。在本实施例中，可以通过垂直切割的方式对图像数据进行切割，也可以根据像素对图像数据进行切割。在实际应用中根据实际的需要对数据图像进行切割。若图像数据中没有复杂的图像信息可以进行直接垂直切割，若图像数据中有复杂的图像例如，树木形状等，可以根据像素中包含的信息对图像进行切割，以保证图像数据中包含的信息不会丢失。具体地，高宽带相机需要传输的数据为9Gbps时，可以直接将其切割为4.5Gbps的子图像，4.5Gbps小于6Gbps，可以保障图像数据完整快速的进行传输。

步骤S104，将每一个子图像分配至对应的串行解串器链路中的子图像传输区。每一条串行解串器链路包括子图像传输区和子图像接收区。请结合参看图3，图像获取以及分割单元100将切割好的2个子图像，放入串行解串器链路200中，并通过图像接收以及拼接单元300获取图像数据。其中每一条串行解串器链路包括子图像传输区和子图像接收区，例如第一串行解串器链路(图未示)包括子图像传输区210和子图像接收区211。第二串行解串器链路(图未示)包括子图像传输区220和子图像接收区221。子图像传输区和子图像接收区是一一对应的。子图像传输区通过串行器管理，子图像接收区通过解串器管理。

步骤S105，从对应的子图像接收区获取由多条串行解串器链路中传输的多个子图像。

步骤S106，将多个子图像拼接为图像数据。

上述实施例中，通过确定多条串行解串器链路中每一条串行解串器链路的最大带宽容量，并根据传输带宽和每一条串行解串器链路的最大带宽容量将图像数据切割为多个子图像，这样能够使得，多条串行解串器链路中每一条串行解串器链路得到充分利用，从而达到提升串行解串器链路传输的数据量，实现高带宽相机数据的快速传输。通过将每一个子图像分配至对应的串行解串器链路中的子图像传输区，每一条串行解串器链路包括子图像传输区和子图像接收区，从对应的子图像接收区获取由多条串行解串器链路中传输的多个子图像，将多个子图像拼接为图像数据。将每一条串行解串器链路的带宽充分利用，再根据子图像传输区和子图像接收区的对应特性完成图像的拼接，保持图像的完整性，提高了串行解串器链路的利用率，同时避免了现有技术中压缩和共享总线以传输多种类型的数据的方法导致的图像数据经过传输导致的信息丢失的问题。实现了用有限带宽的串行解串器链路传输高宽带的图像数据。

请结合参看图2，其为本发明实施例提供的步骤S101的子步骤流程图。步骤S101计算传输图像数据所需的传输带宽，具体包括下面步骤。

S1011，获取高带宽相机的分辨率。在本实施例中，采用的高速相机的分辨率为12.5MP。

S1012，获取高带宽相机的帧速率。在本实施例中，采用的高速相机的帧速率为30FPS。

S1013，根据分辨率和帧速率计算传输带宽。传输带宽计算公式为：像素*每个像素的位*每秒的帧数＝每秒所需的传输带宽。在本实施例中，每一个像素所需要的字节数24位(bit)。体地，12.5MP*30FPS*24bit＝9Gbps。要求至少9千兆位(Gbps)的传输速度。也就是传输带宽为9Gbps。

在一些优选的实施例中，利用ISP提取高带宽相机获取的图像数据，利用FPGA将多个子图像拼接为图像数据。图像信号处理(Image Signal Processing，ISP)。ISP是用来对前端图像传感器输出信号处理的单元，以匹配不同厂商的图象传感器。在另一些情况中，相机用图像处理器(Image Signal Processor，ISP)，被管道化的图像处理专用引擎可以高速处理图像信号。

请结合参看图4，在图像获取以及分割单元100中，高宽带相机101与图像处理管102电性连接，图像处理管102与不同的MIPI接口电性连接。MIPI接口电性连接与子图像传输区一一对应，MIPI接口电性连接与串行器一一对应。具体地，高宽带相机101获取图像数据1011，通过图像处理管102中存储的ISP对图像数据进行分割。得到第一子图像2301和二第子图像2311。将第一子图像2301，和第二子图像2311通过第一MIPI接口230和第二MIPI接口231传输至串行解串器链路中的第一图像接收区210和第二子图像接收区220。

现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)。FPGA件属于专用集成电路中的一种半定制电路。FPGA是在PAL、GAL等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。FPGA能够有效的解决原有的器件门电路数较少的问题。在本实施例中，利用图像信号处理单元(ISP)提取高带宽相机获取的图像数据，利用FPGA将多个子图像拼接为图像数据，并将图像数据传输至SoC。系统级芯片(System on Chip，SoC)也有称片上系统，SoC是一个产品，SoC是一个有专用目标的集成电路，其中包含完整系统并有嵌入软件的全部内容。

在一些优选的实施例中，根据传输带宽和每一条串行解串器链路的最大带宽容量将图像数据以直线切割的方式切割为多个子图像。

进一步地，每一个子图像可以独立的通过MIPI接口在串行解串器链路上传输。MIPI即MIPI联盟，移动产业处理器接口(Mobile Industry Processor Interface简称MIPI)联盟。MIPI接口(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。MIPI接口是符合MIPI联盟制定的规范的任意接口。具体地，每一个子图像可以独立的在符合MIPI规范的接口进入串行解串器链路，并通过串行解串器链路进行高宽带相机到芯片的传输，该芯片具有图像处理单元。

在一些优选的实施例中，根据传输带宽和每一条串行解串器链路的最大带宽容量将图像数据按像素大小切割为多个子图像。子图像可以是规则的长方形，也可以是不规则的其他图形。进一步地，每一个子图像可以独立的通过MIPI接口在串行解串器链路上传输。更进一步地，的每一个子图像存储于单行缓冲区和/或FIFO存储器上。单行缓冲区数据智能单方向传输的缓冲区，也就是从高宽带相机端到芯片端的单项传输。先进先出存储器(First Input First Output，FIFO)也就是指先进先出存储器。

上述实施例中，FIFO芯片具有容量大，体积小，价格便宜的优点。FIFO芯片作为一种新型大规模集成电路，以其灵活、方便、高效的特性，逐渐在高速数据采集、高速数据处理、高速数据传输以及多机处理系统中得到越来越广泛的应用。提升了图像数据的接收效率。

本发明还提供一种智能控制设备900，智能控制设备900至少包括，存储器901和处理器902。存储器901用于存储串行解串器链路传输高带宽相机数据的方法的程序指令。处理器902，用于执行程序指令以使智能控制设备实现上述的串行解串器链路传输高带宽相机数据的方法。请结合参看图5，其为本发明第一实施例提供的智能控制设备900的内部结构示意图。

其中，存储器901至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器901在一些实施例中可以是智能控制设备900的内部存储单元，例如智能控制设备900的硬盘。存储器901在另一些实施例中也可以是智能控制设备900的外部存储设备，例如智能控制设备900上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字卡(Secure Digital,SD)，闪存卡(Flash Card)等。进一步地，存储器901还可以既包括智能控制设备900的内部存储单元也包括外部存储设备。存储器901不仅可以用于存储安装于智能控制设备900的应用软件及各类数据，例如串行解串器链路传输高带宽相机数据的方法的程序指令等，还可以用于暂时地存储已经输出或者将要输出的数据，例如串行解串器链路传输高带宽相机数据的方法执行产生的数据等。

处理器902在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器901中存储的程序指令或处理数据。具体地，处理器902执行串行解串器链路传输高带宽相机数据的方法的程序指令以控制智能控制设备900实现串行解串器链路传输高带宽相机数据的方法。

进一步地，智能控制设备900还可以包括总线903可以是外设部件互连标准总线(peripheral component interconnect，简称PCI)或扩展工业标准结构总线(extendedindustry standard architecture，简称EISA)等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，智能控制设备900还可以包括显示组件904。显示组件904可以是LED(Light Emitting Diode，发光二极管)显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示组件904也可以适当的称为显示装置或显示单元，用于显示在智能控制设备900中处理的信息以及用于显示可视化的用户界面。

进一步地，智能控制设备900还可以包括通信组件905，通信组件905可选的可以包括有线通信组件和/或无线通信组件(如WI-FI通信组件、蓝牙通信组件等)，通常用于在智能控制设备900与其他智能控制设备之间建立通信连接。

图5仅示出了具有组件901-905以及实现串行解串器链路传输高带宽相机数据的方法的程序指令的智能控制设备900，本领域技术人员可以理解的是，图5示出的结构并不构成对智能控制设备900的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。由于智能控制设备900采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的串行解串器链路传输高带宽相机数据的方法实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本发明还提供了一种自动驾驶车辆100，能够实现上述的串行解串器链路传输高带宽相机数据的方法。请结合参看图6，自动驾驶车辆包括智能控制设备900、高带宽相机(图未示)以及串行解串器(图未示)。自动驾驶车辆100的具体工作方式参照上述实施例，由于自动驾驶车辆100采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。