基于MIPI CSI C-PHY协议的图像传输处理系统及处理方法

技术领域

本公开一般涉及通信技术领域，尤其涉及一种基于MIPI CSI C-PHY协议的图像传输处理系统及处理方法。

背景技术

随着社会对于手机等消费电子产品需求的日益提高以及各制造厂商能力的提高，手机摄像头的功能越来越强大。摄像头的主要参数包括光圈、视角、变焦、像素、分辨率等。这其中，尤其以像素数为各大厂商主打的最大亮点。根据目前的市场情况，单摄像头最高已达到1亿像素以上。图像采集能力的提升，无疑对图像数据的传输带来了挑战。

移动产业处理器接口(Mobile Industry Processor Interface简称为MIPI)是MIPI联盟为移动应用处理器制定的开放标准和规范，用于将移动设备内部的接口标准化为标准内部接口。标准内部接口包括摄像头接口(Camera Serial Interface，简称为CSI)。MIPI CSI是移动消费电子摄像头的通用传输接口。在MIPI目前公布的协议中，常用的是2类基于摄像头的物理层协议，一个是曾经大行其道的D-PHY协议，还有一个是C-PHY协议，在目前数据传输速率要求越来越高的前提下，传输速率更高的C-PHY逐渐成为了首选。然而，即使是C-PHY传输速度的更新能力，也无法跟上摄像头像素的增长速度，最新版本的C-PHY标准仍然无法使1亿像素的摄像头实现常规帧率的图像采集。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于MIPI CSI C-PHY协议的图像传输处理系统及处理方法。

第一方面，提供一种基于MIPI CSI C-PHY协议的图像传输处理系统，包括：N个低像素摄像头和第一接收设备；其中，N个所述低像素摄像头之间采用通讯接口连接，N个所述低像素摄像头利用同一组带有C-PHY协议的MIPI CSI接口与第一接收设备连接；N为2或3。

进一步的，该系统还包括：至少一个高像素摄像头和第二接收设备；其中，一个所述高像素摄像头至少采用两组带有C-PHY协议的MIPI CSI接口与所述第二接收设备连接。

第二方面，提供了一种基于MIPI CSI C-PHY协议的图像传输处理方法，包括：

获取N个低像素摄像头采集的图像数据，N为2或3；

利用同一组带有C-PHY协议的MIPI CSI接口将N个低像素摄像头采集的图像数据传输给第一接收设备；

第一接收设备对N个低像素摄像头采集的图像数据进行处理并传输至上层形成图像。

进一步的，该方法还包括：

获取每个高像素摄像头采集的图像数据；

利用至少两组带有C-PHY协议的MIPI CSI接口将每个高像素摄像头采集的图像数据传输给第二接收设备；

第二接收设备对至少两组带有C-PHY协议的MIPI CSI接口传输的图像数据进行处理并传输至上层形成图像。

第三方面，提供一种移动终端设备，移动终端设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述的基于MIPI CSI C-PHY协议的图像传输处理方法。

第四方面，提供一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行上述的基于MIPI CSI C-PHY协议的图像传输处理方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

基于目前接收设备(CPU)能够提供的MIPI通道资源有限的情况，本申请的某些实施例中利用传输速率更高、同时不受独立同步时钟约束的C-PHY协议，对MIPI CSI接口通道进行重新分配，采用多个低像素摄像头共用一组带有C-PHY协议的MIPI CSI接口的方式，同时配合CPU芯片架构的更新，在CPU芯片内部对低像素摄像头采集的图像数据进行分割等处理，可以实现低像素摄像头信号传输的通道共用，提升了通道整体传输的利用率。

进一步的，基于现有高像素摄像头采用1组MIPI接口的传输量不够用的技术问题，根据本申请的某些实施例，利用多组带有C-PHY协议的MIPI CSI接口连接到一个高像素摄像头上，同时配合CPU芯片架构的更新，在CPU芯片内部对高像素摄像头采集的图像数据进行糅合，以及图像间的对其排列等保护数据稳定性的处理，实现高像素摄像头的高帧率图像采集功能，提升手机等产品的摄像头效果有很大作用。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为现有手机等产品的摄像头采集图像传输处理架构图；

图2为本申请实施例提供的三个低像素摄像头共用一组带有C-PHY协议的MIPICSI接口的图像传输处理系统图；

图3为本申请实施例提供的一个高像素摄像头共用两组带有C-PHY协议的MIPICSI接口的图像传输处理系统图；

图4为本申请实施例提供的基于MIPI CSI C-PHY协议的多个低像素摄像头共用一组MIPI CSI接口的图像传输方法的示例性流程图；

图5为本申请实施例提供的基于MIPI CSI C-PHY协议的一个高像素摄像头共用多组MIPI CSI接口的图像传输处理方法的示例性流程图；

图6为本申请实施例提供了的一个高像素摄像头共用两组MIPI CSI接口的图像数据流；

图7为本申请实施例提供了一个高像素摄像头共用两组MIPI CSI接口的图像重新拼合的应用层处理流程图；

图8(a)为现有摄像头采集图像传输处理架构图；图8(b)为本申请实施例提供的基于MIPI CSI C-PHY协议的图像传输系统图；

图9为本申请实施例提供的一种移动终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1是现有手机等产品的摄像头采集图像传输处理架构。由于目前的设计为一组MIPI接口能且只能传输一个摄像头的采集数据，因此，一些功能性的低像素摄像头(深度TOF、景深、微距摄像头等)可能只利用了其MIPI接口数据线的一对或者部分对，或者只利用了数据线通道传输量的几分之一甚至更低。具体的计算如下：

假设使用的微距摄像头像素数为主流的200W，那么在30Hz下、Raw10 RGB格式下传输的数据量为：

2*10

目前速率最低的D-PHY 1.0的传输能力为4Gbps，则通道利用率为：

6*10

由此可见，现有技术中一组MIPI接口只传输一个低像素摄像头的采集数据，对通道的利用率非常低。

为了解决这一问题，本申请提供了一种基于MIPI CSI C-PHY协议的图像传输处理系统，采用多个低像素摄像头共用一组带有C-PHY协议的MIPI CSI接口的图像传输处理系统，具体包括：N个低像素摄像头和第一接收设备；其中，N个所述低像素摄像头之间采用通讯接口连接，N个所述低像素摄像头利用同一组带有C-PHY协议的MIPI CSI接口与第一接收设备连接；N为2或3。

具体的，将多个低像素摄像头(数量不超过MIPI最大支持数据对数量)进行一定的硬件架构修改，在多个低像素摄像头之间加入I2C或者线数更少的1单总线(Wire Bus)等通讯接口进行连接，多个低像素摄像头利用同一组带有C-PHY协议的MIPI CSI接口与第一接收设备连接。其中，C-PHY为MIPI的一种用于现实和摄像头的物理层协议，直译就是用于带宽受限的显示和摄像头信号传输通道。

具体的，每个所述低像素摄像头内设置有第一摄像头传感器和第一编码器；所述第一接收设备包含第一LP接收器、第一HS接收器、分割器、N个第一解码器和第一图像处理单元；

每个所述第一摄像头传感器用于采集自身的摄像头参数，并将采集的摄像头参数传递给其中的一个低像素摄像头；该低像素摄像头的第一编码器用于对N个第一摄像头传感器采集的摄像头参数进行编码，并将编码的摄像头参数于LP模式下在图像数据传输间隙传递给第一接收设备中的第一LP接收器；

每个所述第一摄像头传感器用于在HS模式下采集图像数据，并将采集的图像数据通过同一组带有C-PHY协议的MIPI CSI接口传递给第一HS接收器；

所述分割器用于根据所述第一LP接收器接收的编码的摄像头参数，对所述第一HS接收器接收的图像数据进行分组分割，得到N组图像数据；

每个所述第一解码器用于对每组图像数据进行解码处理，并将解码后的图像数据传送给第一图像处理单元；

所述第一图像处理单元用于对解码后的图像数据进行处理，并将处理后的图像数据传输至上层形成图像。

如图2所示，采用三个低像素摄像头，分别为摄像头1、2、3；其中，摄像头2、3将各自采集的自身的摄像头参数(如工作状态、像素、采集频率等)实时传递给连接MIPI Pair 0的摄像头1上。在这个组合中，摄像头1作为暂时的主机，将三个摄像头的摄像头参数进行整理编码，并将编码后的摄像头参数信息通过MIPI LP Mode(低功耗模式)在图像数据传输间隙通过Lane0 Data0传递给第一接收设备(CPU)中的第一LP接收器(低功耗接收器)。其中Lane为信号组，为一个完整的MIPI传输接口，包括几组信号lane(其中，D-PHY最多为1lane时钟，4lane数据；C-PHY为3lane数据)。lane为信号组，代表一个信号差分对(D-PHY)或者一个三相信号组(C-PHY)。

在图像传输时(MIPI HS Mode，高速模式)，三个摄像头采集的图像数据已根据数据量大小分配好的各自的MIPI Data Lane上传输到CPU中的第一HS接收器；如摄像头1采集的图像数据通过CSI0 Lane0传给第一HS接收器，摄像头2采集的图像数据通过CSI0 Lane1传给第一HS接收器，摄像头3采集的图像数据通过CSI0 Lane2传给第一HS接收器。CPU中的分割器根据之前第一LP接收器接收的编码后的摄像头参数，对第一HS接收器接收到的图像数据进行分组分割(Splitter)，并依次进行时钟恢复、数据均衡处理等操作，得到三组关于时钟和数据的图像数据，之后将三组图像数据传到各自独立的第一解码器中，进行解密、解码、解串、串行转并行，并通过7位符转16位符二进制解映射器进行解映射等常规处理，然后将处理后的图像数据传给第一图像处理单元(GPU)处理，GPU将处理好的图像数据传送给上层形成图像。具体的，上层可以是显示器、存储器。

利用上述技术方案，MIPI接口的利用率能够有效提高。例如，将目前主流的1300万像素超广角镜头、200万景深镜头、200万长焦镜头分别利用MIPI CSI0 C-PHY的Lane0、Lane1和Lane2传输其采集图像，由之前的计算可以预估，其传输量仍然有很大的富余，采用本申请的技术方案，不仅提升了CSI0的整体传输量利用率，更重要的是，与现有的设计相比，本申请的技术方案节省了2组的MIPI CSI通道，这能够节约CPU的资源，同时也能为更多的摄像头，或者可能需要多组MIPI CSI传输的高分辨率主摄像头预留出更多的资源。

另外一方面，现有技术中，一些高像素的摄像头(后置主摄像头等)，则可能1组MIPI接口的传输量根本就不够用。以目前的旗舰手机产品主摄像头—1.08亿像素为例计算数据量：

1.08*10

目前速率最高的C-PHY 1.2的传输能力为20.13Gbps，则通道利用率为：

3.24*10

一组MIPI接口根本就不够用，因此目前搭载1亿像素摄像头的手机在使用该摄像头是只支持10Hz的图像采集，而摄像功能更是远远无法实现。

因此，为了解决高像素摄像头采用1组MIPI接口的传输量不够用的技术问题，本申请的基于MIPI CSI C-PHY协议的图像传输处理系统中进一步还包括：

至少一个高像素摄像头和第二接收设备；其中，一个所述高像素摄像头至少采用两组带有C-PHY协议的MIPI CSI接口与所述第二接收设备连接。

具体的，每个所述高像素摄像内设置有第二摄像头传感器和第二编码器；所述第二接收设备包含第二LP接收器、第二HS接收器、糅合器、第二解码器和第二图像处理单元；

所述第二摄像头传感器用于采集自身的摄像头参数，所述第二编码器用于对所述第二摄像头传感器采集的摄像头参数进行编码，并将编码后的摄像头参数信息在LP模式下通过两组带有C-PHY协议的MIPI CSI接口分别传输给第二LP接收器；

所述第二摄像头传感器用于采集图像数据信息，并将采集的图像数据信息在HS模式下分别通过两组带有C-PHY协议的MIPI CSI接口传输给第二HS接收器；

所述糅合器用于根据所述第二LP接收器接收的编码后的摄像头参数信息，对所述第二HS接收器接收的两组带有C-PHY协议的MIPI CSI接口传输来的图像数据信息进行糅合，并将糅合的图像数据信息传递给第二解码器；

所述第二解码器用于对所述糅合的图像数据信息进行解码，并将解码后的图像数据信息传递给第二图像处理单元；

所述第二图像图像单元用于对所述解码后的图像数据信息进行处理，将处理后的图像数据传输至上层形成图像。

具体的，如图3所示，将两组带有C-PHY协议的MIPI CSI接口连接到一个高像素摄像头上，每组MIPI CSI接口负责一半高像素摄像头采集图像的传输工作。通过CSI0 Lane0传输LP Mode数据(或者CSI1 Lane0也同时传输相同的数据)给第二接收设备(CPU)中的第二LP接收器摄像头的实时参数。

在图像传输时(MIPI HS Mode)，2组MIPI CSI接口将各自负责的部分数据通过Data Pair传输到CPU中的第二HS接收器上。CPU的第二LP接收器根据之前LP模式下传输过来的摄像头参数信息，对图像数据进行识别(帧数，分辨率等)，同时第二HS接收器对2组MIPI CSI接口图像数据进行重新排列、糅合(Merger)、以及时钟恢复、数据均衡处理等操作。之后糅合后的图像数据传到第二解码器中进行解密、解码、解串、解映射等常规处理，并将处理好的图像数据传递给第二图像处理单元(GPU)，GPU传送给上层形成图像。

通过上述一个高像素摄像头共用两组带有C-PHY协议的MIPICSI接口的方式，以1.08亿像素、30Hz、Raw10 RGB摄像头举例来计算数据量：

1.08*10

目前速率最高的C-PHY 1.2的传输能力为20.13Gbps，则通道利用率为：

3.24*10

计算该传输量下的最高采集帧数为：

2.13*10

这个帧率完全能够实现全分辨率下的拍照及摄影功能。

需要说明的是，本申请实施例中提供的基于MIPI CSI C-PHY协议的图像传输处理系统实质上包含两种技术方案，即多个低像素摄像头共用一组带有C-PHY协议的MIPI CSI接口的图像传输处理架构，以及一个高像素摄像头共用多组带有C-PHY协议的MIPI CSI接口的图像传输处理架构；这两种技术方案可以以任一技术方案单独构成完整的技术方案，即本申请的MIPI CSI C-PHY协议的图像传输处理系统中可以只包含一个高像素摄像头共用多组带有C-PHY协议的MIPI CSI接口的图像传输处理架构。当然，上述两种技术方案也可以以组合的方式构成一个完整的技术方案，且二者的组合顺序并没有严格的限定，如本申请的基于MIPI CSI C-PHY协议的图像传输处理系统中可以先包含一个高像素摄像头共用多组带有C-PHY协议的MIPI CSI接口的图像传输处理架构，再包含多个低像素摄像头共用一组带有C-PHY协议的MIPI CSI接口的图像传输处理架构。

图4示出了根据本申请实施例提供的基于MIPI CSI C-PHY协议的图像传输处理方法，包括：

S101：获取N个低像素摄像头采集的图像数据，N为2或3；

S102：利用同一组带有C-PHY协议的MIPI CSI接口将N个低像素摄像头采集的图像数据传输给第一接收设备；

S103：第一接收设备对N个低像素摄像头采集的图像数据进行处理并传输至上层形成图像。

具体的，低像素摄像头和第一接收设备内部的设置以及对摄像头采集的图像数据的处理流程见上述相应系统结构中的描述，本申请不再赘述。

图5出了根据本申请实施例提供的基于MIPI CSI C-PHY协议的图像传输处理方法另一优选实施方式的示例性流程图，还包括：

S201：获取每个高像素摄像头采集的图像数据；

S202：利用至少两组带有C-PHY协议的MIPI CSI接口将每个高像素摄像头采集的图像数据传输给第二接收设备；

S203：第二接收设备对至少两组带有C-PHY协议的MIPI CSI接口传输的图像数据进行处理并传输至上层形成图像。

具体的，步骤S203具体包括：将每组带有C-PHY协议的MIPI CSI接口传输的图像数据的前后分别增加预设特征点；根据拼接处的每组带有C-PHY协议的MIPI CSI接口传输的图像数据的预设特征点的重复度确定是否为有效对齐拼接。当拼接处的每组带有C-PHY协议的MIPI CSI接口传输的图像数据的预设特征点的重复度超过95％，则为有效对齐拼接。

如图6所示，本申请实施例提供了的一个高像素摄像头共用两组MIPI CSI接口的图像数据流，包括：

高像素摄像头采集图像数据，并进行编码处理和数据分割后，通过各自的MIPICSI接口传输出来，为了保证图像的拼接识别效果，本申请中不是简单的用每个通道传输正好1/2的图像数据，而是在有效数据的前后增加预设特征点(如16列的冗余Dummy像素数据)，其中，位于图片拼接位置的16列像素为要拼接在一起的另一半图的16列有效数据，这样在拼接时，能够通过识别对方与自身重复的数据来精确找到拼接位置，保证数据能够有效对齐。其中，在拼接位置只需要保证从两组MIPI CSI接口传输出来的两幅图的16列Dummy像素数据保持95％以上重复，即认为二者能够有效对齐拼接。而位于非拼接位置的Dummy数据为与非本帧数据做间隔和时钟对齐用。

如图7所示，本申请实施例提供了一个高像素摄像头共用两组MIPI CSI接口的图像数据处理方法，包括：

第二解码器对糅合后的图像数据传到第二解码器中进行解密、解码、解串、解映射等常规处理，得到的两组MIPI CSI接口处理的数据到达GPU，GPU读取数据后会读取特征点(如读取Dummy数据，也可使用其他特征码标记)，找到对齐拼接位置，由于传输环境的不同(物理通道的特性等)，拼缝位置的数据难免会出现差异，GPU通过对读取的特征点数据进行比较和提取，提取适当参数进行亮度、微畸变等的补偿。如利用对图像的软件算法将图像数据与相邻数据进行对比计算，筛选出异常数据(如错排、传输损坏等原因造成)进行修改和补正(例如将图像数据修改成符合与相邻像素数据变化规律相符的数据)，减少图像的突兀感，从而使合成的图像没有明显拼接痕迹。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。例如，本申请的基于MIPI CSI C-PHY协议的图像传输处理方法中可以先执行步骤S201-S203，再执行步骤S101-S103。

图8(a)为现有摄像头采集图像传输处理架构图；图8(b)为本申请提供的基于MIPICSI C-PHY协议的图像传输系统结构图示例性举例。由图8可知，与现有设计相比，使用本申请实施例提供的的基于MIPI CSI C-PHY协议的图像传输系统仅用了3组MIPI CSI接口，节约了1组，这节约了CPU的资源量，同时也为后面可能进一步提升摄像头功能(增加其他功能的摄像头，或者继续增加摄像头的像素)做了预留，最主要的是本申请提高了主摄像头的图像采集能力，能够提供更高帧数的图像和影像，为实现高画质功能(HDR等)提供了素材基础。HDR为高动态范围图像(High-Dynamic Range，简称HDR)，相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-Dynamic Range，低动态范围图像)，并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，它能够更好的反映出真实环境中的视觉效果。

图9示出了根据本申请实施例提供的一种移动终端设备的结构示意图。

如图9所示，作为另一方面，本申请还提供了一种移动终端设备300，包括一个或多个中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地，根据本公开的实施例，上文参考图4-5描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行页面生成方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的页面生成方法。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。