一种长距离实时显示摄像通信系统及方法

技术领域

本发明涉及光通信和图像识别领域，具体涉及一种长距离实时显示摄像通信系统及方法。

背景技术

LED显示屏广泛应用于商业传媒、文化演出、体育场馆、新闻发布、证券交易等信息传播场所，可以满足多种环境的需要。如果可以将LED显示摄像通信技术与这些场所中的LED显示屏结合，将隐藏数据快速调制到LED发光芯片上，使其在正常显示图像/视频的同时，发出人眼无法察觉的高速闪烁信号并用图像传感器接收恢复，可以实现显示和通信的双重功能。

目前的LED显示摄像通信系统只能应用在近距离通信场景。通过增大发送端发光面积和增加接收端图像传感器分辨率的方法可以提高捕获到的光信号质量以延长通信距离，LED显示屏拥有的大规模发光芯片数量恰好可以用于增加显示通信两用区域的发光面积，与此同时，高分辨率摄像头产生的大量图像数据对移动设备接收端的实时图像处理速度提出了更高的要求，影响着系统的实时长距离通信能力。

发明内容

本发明的主要目的在于针对现有LED显示摄像通信技术传输距离短、图像处理接收算法复杂导致时延的问题，提出了一种长距离实时显示摄像通信系统及方法，本发明使用提出的LED显示摄像通信组团技术将隐形信息以较高显示刷新率调制到LED显示屏的多个相邻发光芯片上，使其在正常显示图像/视频的同时传输人眼无法察觉到的高速隐形信息，接收方通过成像帧率较低的图像传感器在较远的一定距离内捕获LED发光芯片发出的含有隐形信息的光信号，使用提出的轻量级往返式图像处理技术实时解码获取传输的隐形信息，从而实现了一种基于LED显示屏和图像传感器的长距离实时显示摄像通信系统。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种长距离实时显示摄像通信系统，包括隐藏信息输入模块、显示内容输入模块、LED显示通信组团式调制模块、LED显示屏驱动模块、LED显示屏和CMOS图像传感器、图像处理及信息解调模块；所述隐藏信息输入模块、显示内容输入模块分别与LED显示通信组团式调制模块相连，所述LED显示通信组团式调制模块又与LED显示屏驱动模块、LED显示屏相连，所述LED显示通信组团式调制模块将待发送信号以组团式方法调制到LED显示屏的多个相邻发光芯片上发出可见光信号，所述可见光信号在预设范围内被CMOS图像传感器捕获为图像信息，所述图像信息被发送到与所述CMOS图像传感器连接的图像处理及信息解调模块进行处理；

所述隐藏信息输入模块，用于输入需要传输的待隐藏信息；

所述显示内容输入模块，用于输入需要在LED显示屏上显示的图像/视频内容；

所述LED显示通信组团式调制模块，用于将需要传输的隐藏信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，并调制成适合在LED发光芯片上发送的高刷新率合成调制信号，所述高刷新率是指150fps及以上；

所述LED显示屏驱动模块，用于放大合成调制信号的功率，将放大后的调制信号输入LED显示屏并驱动其发光；

所述LED显示屏，用于高刷新率地显示图像/视频内容，并发出含有隐藏信息的光信号，所述高刷新率是指150fps及以上；

所述CMOS图像传感器，用于低成像帧率地捕获LED显示屏发出的含有隐藏信息的光信号并生成为图像信息，所述低成像帧率是指30fps及以下；

所述图像处理及信息解调模块，用于实时处理CMOS图像传感器生成的图像信息，使用轻量级往返式图像处理技术解调恢复其中的隐藏信息。

作为优选的技术方案，所述隐藏信息输入模块是将待隐藏数字信息处理成原始二进制“0”、“1”序列。

作为优选的技术方案，所述正反交替重复编码的规则如下：

假设接收端CMOS图像传感器成像帧率为n帧/秒，设定发送端LED显示屏的显示刷新帧率为m帧/秒，且满足m＝k×n，其中k为根据系统各模块性能上限选取的正整数；以k作为正反交替重复编码次数，对原始二进制序列进行正反交替重复编码，对于原始二进制序列中的“0”，按照“010101…”正反交替重复的方式编码为扩频码片，且扩频码片长度等于k；对于原始二进制序列中的“1”，按照“101010…”正反交替重复的方式编码为扩频码片，且扩频码片长度等于k，原始二进制序列经正反交替重复编码后的扩频码长变为原始码长的k倍，码字“1”或“0”连续相同长度不大于2。

作为优选的技术方案，所述将需要传输的隐藏信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，具体为：

在原始二进制序列前插入特定的取反指示比特串“00000010”用于指示图像处理及信息解调模块译码时是否进行取反码操作；将加入了取反指示比特串的原始二进制序列按照正反交替重复编码规则进行编码，得到扩频序列，选取LED显示屏中的N个相互相邻发光芯片作为组团调制区域，进行隐形信号的信息植入，信息植入方法用以下公式描述：

LED

其中，b(t)是随时间t变化的要进行信息植入的扩频序列，由原始二进制序列进行正反交替重复编码获得；N是组团调制区域的像素点/发光芯片总个数，且组团调制区域内的像素点/发光芯片相互相邻；p

作为优选的技术方案，所述LED显示屏在合成调制信号的控制下以m帧/秒的显示刷新率显示包含有隐藏信号的图像/视频内容，且隐藏信号的波特率与显示刷新率保持一致。

作为优选的技术方案，所述CMOS图像传感器工作状态设置为低感光模式，快门时间设置为

作为优选的技术方案，所述使用轻量级往返式图像处理技术解调恢复其中的隐藏信息，具体为：

所述CMOS图像传感器工作在低感光模式，在其捕获的图像信息中，除LED显示区域外的其余区域像素亮度值接近零，先使用像素采样的方法，采样步长为L

本发明另一方面提供了一种长距离实时显示摄像通信系统的通信方法，包括下述步骤：

通过隐藏信息输入模块输入待隐藏传输的待隐藏的数字信息；

通过显示内容输入模块输入需要在LED显示屏上显示的图像/视频内容；

利用LED显示通信组团式调制模块，将需要传输的隐藏数字信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，并调制成适合在LED发光芯片上发送的高刷新率合成调制信号，所述高刷新率是指150fps及以上；

利用CMOS图像传感器，低成像帧率地捕获LED显示屏发出的含有隐形信息的光信号并生成为图像信息，所述低成像帧率是指30fps及以下；

将CMOS图像传感器与图像处理及信息解调模块相连，用于实时处理CMOS图像传感器生成的图像信息，使用轻量级往返式图像处理技术解调恢复其中的隐藏信息。

作为优选的技术方案，所述将需要传输的隐藏数字信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，具体为：

将加入了取反指示比特串的原始二进制序列按照正反交替重复编码规则进行编码，得到扩频序列，选取LED显示屏中的N个相互相邻发光芯片作为组团调制区域，进行隐形信号的信息植入，信息植入方法用以下公式描述：

LED

其中，b(t)是随时间t变化的要进行信息植入的扩频序列，由原始二进制序列进行正反交替重复编码获得；N是组团调制区域的像素点/发光芯片总个数，且组团调制区域内的像素点/发光芯片相互相邻；p

作为优选的技术方案，所述使用轻量级往返式图像处理技术解调恢复其中的隐藏信息，具体为：

所述CMOS图像传感器工作在低感光模式，在其捕获的图像信息中，除LED显示区域外的其余区域像素亮度值接近零，先使用像素采样的方法，采样步长为L

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明中的LED显示摄像通信组团技术能够充分利用LED显示屏上大规模数量的发光芯片，用于增大显示通信两用区域的发光面积，以增加发射端LED显示屏发出的含有隐形信息的光信号的功率，进而提高接收端CMOS图像传感器捕获到的光信号质量以支持长距离通信，增强显示摄像通信系统的实用性。

(2)本发明中针对LED显示摄像通信系统提出了一种轻量级往返式图像处理技术，使用自适应可变步长采样的方法，在保证解调精度的同时可显著降低接收端实时图像处理解调算法的复杂度，减轻对接收端设备硬件性能的要求，降低接收端图像处理导致的时延，保障通信系统的实时性和可靠性，该技术可应用于如智能手机等移动设备，应用场景广阔，实用性强。

(3)本发明提出的LED显示摄像通信组团技术将隐形信息以较高显示刷新率(如150fps及以上)调制到LED显示屏的多个相邻发光芯片上，使其在正常显示图像/视频的同时传输人眼无法察觉到的高速隐形信息，接收方通过成像帧率较低(如30fps及以上)的图像传感器在较远的一定距离内捕获LED发光芯片发出的含有隐形信息的光信号，使用提出的轻量级往返式图像处理技术实时解码获取传输的隐形信息，从而实现了一种基于LED显示屏和图像传感器的长距离实时显示摄像通信系统。

附图说明

图1是本实施例中LED显示摄像通信系统的装置图；

图2是本实施例中LED显示通信点组团式调制的示意图；

图3是本实施例中轻量级往返式图像处理技术的示意图；

图4是本实施例中长距离实时LED显示摄像通信系统隐藏信息传输的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

请参阅图1，本实施例基于一种长距离实时显示摄像通信系统，包括隐藏信息输入模块、显示内容输入模块、LED显示通信组团式调制模块、LED显示屏驱动模块、LED显示屏、CMOS图像传感器和图像处理及信息解调模块，所述隐藏信息输入模块、显示内容输入模块分别与LED显示通信组团式调制模块相连，所述LED显示通信组团式调制模块又与LED显示屏驱动模块、LED显示屏相连，所述LED显示通信组团式调制模块将待发送信号以组团式方法调制到LED显示屏的多个相邻发光芯片上发出可见光信号，所述可见光信号在预设范围内被CMOS图像传感器捕获为图像信息，所述图像信息被发送到与所述CMOS图像传感器连接的图像处理及信息解调模块进行处理；

所述隐藏信息输入模块，用于输入需要传输的待隐藏信息；

所述显示内容输入模块，用于输入需要在LED显示屏上显示的图像/视频内容；

所述LED显示通信组团式调制模块，用于将需要传输的隐藏信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，并调制成适合在LED发光芯片上发送的高刷新率合成调制信号；

所述LED显示屏驱动模块，用于放大合成调制信号的功率，将放大后的调制信号输入LED显示屏并驱动其发光；

所述LED显示屏，用于高刷新率地显示图像/视频内容，并发出含有隐藏信息的光信号；

所述CMOS图像传感器，用于低成像帧率地捕获LED显示屏发出的含有隐信息的光信号并生成为图像信息；

所述图像处理及信息解调模块，用于实时处理CMOS图像传感器生成的图像信息，使用轻量级往返式图像处理技术解调恢复其中的隐藏信息。

进一步的，所述隐藏信息输入模块是将待隐藏数字信息处理成原始二进制“0”、“1”序列；所述LED显示通信组团式调制模块使用的正反交替重复编码规则如下：

假设接收端CMOS图像传感器成像帧率为n帧/秒，设定发送端LED显示屏的显示刷新帧率为m帧/秒，且满足m＝k×n，其中k为根据系统各模块性能上限选取的正整数；以k作为正反交替重复编码次数，对原始二进制序列进行正反交替重复编码，对于原始二进制序列中的“0”，按照“010101…”正反交替重复的方式编码为扩频码片，且扩频码片长度等于k；对于原始二进制序列中的“1”，按照“101010…”正反交替重复的方式编码为扩频码片，且扩频码片长度等于k，原始二进制序列经正反交替重复编码后的扩频码长变为原始码长的k倍，实现了对码字“1”或“0”连续相同长度不大于2的严格控制，避免了信息植入后显示屏对人眼造成可见频闪。

更进一步的，请参阅图2，所述LED显示通信组团式调制模块使用的LED显示摄像通信组团技术工作流程如下：

在原始二进制序列前插入特定的取反指示比特串“00000010”用于指示图像处理及信息解调模块译码时是否进行取反码操作；将加入了取反指示比特串的原始二进制序列按照正反交替重复编码规则进行编码，得到扩频序列，选取LED显示屏中的N个相互相邻发光芯片作为组团调制区域，进行隐形信号的信息植入，信息植入方法用以下公式描述：

LED

其中，b(t)是随时间t变化的要进行信息植入的扩频序列，由原始二进制序列进行正反交替重复编码获得；N是组团调制区域的像素点/发光芯片总个数，且组团调制区域内的像素点/发光芯片相互相邻；p

可以理解的是，所述LED显示屏在合成调制信号(LED

可以理解的是，所述CMOS图像传感器，通常情况下，成像帧率相对发送端LED显示屏显示刷新率较低，同时受限于电子卷帘快门的影响，因此只能对LED显示屏发出的含有隐形信息的光信号进行周期性采样，周期性采样意味着无法对传输数据中的每个符号进行采样，因此会破坏隐形信号的完整性，但由于隐形信号是按照正反交替重复编码规则进行编码，只需将CMOS图像传感器工作状态设置为低感光模式，快门时间设置为

请参阅图3，所述图像处理及信息解调模块使用的是轻量级往返式图像处理技术，在其捕获的图像信息中，除LED显示区域外的其余区域像素亮度值接近零，先使用像素采样的方法，采样步长为L

类似的，上精确边界和下精确边界也可以由可变步长进行往返式水平积分获得，适当增大L

请参阅图4，本在本申请的另一个实施例中还提出了一种长距离实时显示摄像通信系统的通信方法，包括下述步骤：

S1、通过隐藏信息输入模块输入待隐藏传输的待隐藏的数字信息；

S2、通过显示内容输入模块输入需要在LED显示屏上显示的图像/视频内容；

S3、利用LED显示通信组团式调制模块，将需要传输的隐藏数字信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，并调制成适合在LED发光芯片上发送的高刷新率合成调制信号；

进一步的，所述编码规则为：

假设接收端CMOS图像传感器成像帧率为n帧/秒，设定发送端LED显示屏的显示刷新帧率为m帧/秒，且满足m＝k×n，其中k为根据系统各模块性能上限选取的正整数；以k作为正反交替重复编码次数，对原始二进制序列进行正反交替重复编码，对于原始二进制序列中的“0”，按照“010101…”正反交替重复的方式编码为扩频码片，且扩频码片长度等于k；对于原始二进制序列中的“1”，按照“101010…”正反交替重复的方式编码为扩频码片，且扩频码片长度等于k，原始二进制序列经正反交替重复编码后的扩频码长变为原始码长的k倍，码字“1”或“0”连续相同长度不大于2。

更进一步的，所述将需要传输的隐藏信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，具体为：

在原始二进制序列前插入特定的取反指示比特串“00000010”用于指示图像处理及信息解调模块译码时是否进行取反码操作；将加入了取反指示比特串的原始二进制序列按照正反交替重复编码规则进行编码，得到扩频序列，选取LED显示屏中的N个相互相邻发光芯片作为组团调制区域，进行隐形信号的信息植入，信息植入方法用以下公式描述：

LED

其中，b(t)是随时间t变化的要进行信息植入的扩频序列，由原始二进制序列进行正反交替重复编码获得；N是组团调制区域的像素点/发光芯片总个数，且组团调制区域内的像素点/发光芯片相互相邻；p

S4、利用CMOS图像传感器，低成像帧率地捕获LED显示屏发出的含有隐形信息的光信号并生成为图像信息；

进一步的，所述使用轻量级往返式图像处理技术解调恢复其中的隐藏信息，具体为：

所述CMOS图像传感器工作在低感光模式，在其捕获的图像信息中，除LED显示区域外的其余区域像素亮度值接近零，先使用像素采样的方法，采样步长为L

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。