基于FPGA的视频实时音量柱显示系统、方法及设备

技术领域

本发明属于专业视听技术领域，具体涉及了一种基于FPGA的视频实时音量柱显示系统、方法及设备。

背景技术

在专业视听领域，随着系统的复杂度提高，节点数量增加至几百乃至上千个，不同节点期望在输出显示视频时实时显示对应音频的音量大小，现有技术方案普遍采用专用音频和视频设备，分别采集音频和视频并分别传输至接收端，显示视频和音量大小，如图1所示。

由于分开处理，接收端会出现声画不同步的问题，即使接收端进行声画同步处理，不仅增加了系统的复杂度，而且也不可能做到实时同步，而且随着音频的节点增加，设备成本增加，且现场实施复杂，后期维护成本也会相应增加。

因此，本领域还需要一种实时音量柱显示系统，在音视频源端进行视频音量柱叠加，以避免接收端声画不同步、无法实时显示音量柱等问题。

发明内容

为了解决现有技术中的上述问题，即音视频接收端声画不同步、无法实时显示音量柱的问题，本发明提供了一种基于FPGA的视频实时音量柱显示系统，所述系统包括：

音频采集处理模块，用于采集音视频源端的音频信号；

视频采集处理模块，用于采集音视频源端的视频信号；

参数配置模块，用于配置所述系统的音量柱叠加处理模块的参数；所述参数为音量柱的大小及显示位置；

音量柱叠加处理模块，加载所述参数配置模块配置的参数，并进行音频信号的分贝值转换，以及将转换后的分贝值对应的音量柱叠加到视频信号；

数据发送模块，通过音视频发送节点将叠加了音量柱的视频信号从音视频源端发送至音视频接收端。

在一些优选的实施例中，所述音量柱叠加处理模块为FPGA处理器。

在一些优选的实施例中，所述音频信号，其对应的分贝值范围基于所述FPGA处理器的RAM资源消耗量选择。

在一些优选的实施例中，所述音频信号，其对应的分贝值范围为音频信号采样转换位数的高16位。

本发明的另一方面，提出了一种基于FPGA的视频实时音量柱显示方法，基于上述的基于FPGA的视频实时音量柱显示系统，所述方法包括：

步骤S10，根据人耳对声音的感知关系，将采集的音视频源端的音频信号由声压转换为分贝，并根据音频信号对应的分贝值范围选取信号位；

步骤S20，将转换后的音频信号分贝值映射到设定数量的音量块组成的音量柱，并进行音量块初始颜色配置，获得待颜色调整音量柱；

步骤S30，通过AlphaBlend混合法为待颜色调整音量柱各音量块颜色，与采集的音视频源端的视频信号的颜色形成层次感；

步骤S40，将实时音频帧的颜色调整后的音量柱叠加到对应的视频帧上，获得声画同步的音视频信号。

在一些优选的实施例中，步骤S10中根据人耳对声音的感知关系，将采集的音视频源端的音频信号由声压转换为分贝，其方法为：

其中，

在一些优选的实施例中，步骤S20中将转换后的音频信号分贝值映射到设定数量的音量块，其方法为：

当音频信号对应的分贝值范围为音频信号采样转换位数的高16位时，转换后的音频信号分贝值范围为0~96dB；

以一个音量块对应3个dB值，将转换后的音频信号分贝值映射到32个音量块组成的音量柱，获得待颜色配置音量柱。

在一些优选的实施例中，步骤S30中通过AlphaBlend混合法为待颜色调整音量柱各音量块颜色，其方法为：

其中，

本发明的第三方面，提出了一种电子设备，包括：

至少一个处理器；

以及与至少一个所述处理器通信连接的存储器；

其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于FPGA的视频实时音量柱显示方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于FPGA的视频实时音量柱显示方法。

本发明的有益效果：

（1）本发明基于FPGA的视频实时音量柱显示系统，在现有音视频系统硬件环境下，通过升级FPGA固件及软件，解决了声画不同步问题，且音量大小可以在接收端实时显示，提升了使用者的使用体验感。

（2）本发明基于FPGA的视频实时音量柱显示系统，从成本上，减少了设备数量，从而进一步降低了实施难度和维护成本。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是现有采用音频和视频设备分别进行信号采集、传递，在接收端进行音视频叠加的示意图；

图2是本发明采用音频和视频设备分别进行信号采集，在音视频源端进行音视频叠加后，进行信号传递的示意图；

图3是本发明基于FPGA的视频实时音量柱显示系统的框架示意图；

图4是人耳对音量大小的听觉感知程度映射关系示意图；

图5是本发明基于FPGA的视频实时音量柱显示系统的音量柱初始颜色配置示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于FPGA的视频实时音量柱显示系统，不管是矩阵音视频系统还是坐席音视频系统，在音视频源端设备上将音频音量转换成音量柱并实时叠加到视频对应位置，然后通过线缆传输到接收端，这样就解决了声画不同步问题，且在接收端显示时音量柱是实时显示的，如图2所示。

本发明的一种基于FPGA的视频实时音量柱显示系统，所述系统包括：

音频采集处理模块，用于采集音视频源端的音频信号；

视频采集处理模块，用于采集音视频源端的视频信号；

参数配置模块，用于配置所述系统的音量柱叠加处理模块的参数；所述参数为音量柱的大小及显示位置；

音量柱叠加处理模块，加载所述参数配置模块配置的参数，并进行音频信号的分贝值转换，以及将转换后的分贝值对应的音量柱叠加到视频信号；

数据发送模块，通过音视频发送节点将叠加了音量柱的视频信号从音视频源端发送至音视频接收端。

为了更清晰地对本发明基于FPGA的视频实时音量柱显示系统进行说明，下面结合图3对本发明实施例中各模块展开详述。

本发明第一实施例的基于FPGA的视频实时音量柱显示系统，包括音频采集处理模块、视频采集处理模块、参数配置模块、音量柱叠加处理模块和数据发送模块，各模块详细描述如下：

音频采集处理模块，用于采集音视频源端的音频信号。

视频采集处理模块，用于采集音视频源端的视频信号。

参数配置模块，用于配置所述系统的音量柱叠加处理模块的参数；所述参数为音量柱的大小及显示位置。

音量柱叠加处理模块，加载所述参数配置模块配置的参数，并进行音频信号的分贝值转换，以及将转换后的分贝值对应的音量柱叠加到视频信号。

本发明一个实施例中，音量柱叠加处理模块为FPGA处理器。

音频信号，其对应的分贝值范围基于所述FPGA处理器的RAM资源消耗量选择，本发明选择的音频信号对应的分贝值范围为音频信号采样转换位数的高16位。

数据发送模块，通过音视频发送节点将叠加了音量柱的视频信号从音视频源端发送至音视频接收端。

本发明第二实施例的基于FPGA的视频实时音量柱显示方法，基于FPGA的视频实时音量柱显示方法，基于上述的基于FPGA的视频实时音量柱显示系统，所述方法包括：

步骤S10，根据人耳对声音的感知关系，将采集的音视频源端的音频信号由声压转换为分贝，并根据音频信号对应的分贝值范围选取信号位。

根据人耳的心理声学模型，人耳对声音感知程度是对数关系，而不是线性关系。人类的听觉反应是基于声音的相对变化而非绝对变化。对数标度正好能模仿人类耳朵对声音的反应，所以用分贝作单位描述声音强度更符合人类对声音强度的感知，如图4所示。

分贝（decibel）是量度两个相同单位之数量比例的单位，主要用于度量声音强度，常用dB表示。在声学中，声音的强度定义为声压，计算分贝值时采用2×10

声压是场量，因此使用声压计算分贝值，如式（1）所示：

其中，

在实际音视频系统中，音频信号是通过音频ADC芯片采集量化得到，得到的音频数据是量化成24位的数字量M，最高位M[23]为符号位，0表示正数，1表示负数，低23位M[22:0]表示声音的振幅，即音量大小，因此将信号由声压转换为分贝，如式（2）所示：

其中，

其中，

由于使用FPGA直接计算对数非常复杂且耗资源，因此采样查表的方式计算对数值。对于23位的音频采样结果，有(2

步骤S20，将转换后的音频信号分贝值映射到设定数量的音量块组成的音量柱，并进行音量块初始颜色配置，获得待颜色调整音量柱。

当音频信号对应的分贝值范围为音频信号采样转换位数的高16位时，转换后的音频信号分贝值范围为0~96dB；

以一个音量块对应3个dB值，将转换后的音频信号分贝值映射到32个音量块组成的音量柱，获得待颜色配置音量柱。

0~72dB对应1~24音量块，73~96db对应25~32音量块，可将音量块分成1~24和25~32两段，使用不同颜色表示。

如图5所示，为本发明基于FPGA的视频实时音量柱显示系统的音量柱初始颜色配置示意图，无声音时1~24显示为深绿色，25~32显示为深红色，有声音时1~24显示为绿色，25~32显示为红色，绿色表示音量正常，红色表示音量过大。

步骤S30，通过AlphaBlend混合法为待颜色调整音量柱各音量块颜色，与采集的音视频源端的视频信号的颜色形成层次感。

步骤S40，将实时音频帧的颜色调整后的音量柱叠加到对应的视频帧上，获得声画同步的音视频信号。

颜色设置后，将音量柱叠加在视频上即可，但是如果直接叠加可能会出现视频源的颜色与音量柱颜色相同时，导致音量柱被覆盖，显示效果不佳，因此需要使用一种混合算法，将音量柱和视频进行混合，这样即使视频源的颜色与音量柱颜色相同，混合后也能有比较明显的层次感。

本发明一个实施例中，通过AlphaBlend混合法为待颜色调整音量柱各音量块颜色，如式（4）所示：

其中

透明度

本发明基于FPGA的视频实时音量柱显示系统当音量柱遇到颜色相同的视频帧，在通过AlphaBlend混合法为待颜色调整音量柱各音量块颜色后，无论是无声音状态，还是有声音状态，叠加音量柱后层次感均较为明显。

由于FPGA是并行计算的，所以音频采集和视频采集都是实时并行进行的，因此叠加音量柱后的视频显示时，声画是同步的。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于FPGA的视频实时音量柱显示系统及显示方法，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；

以及与至少一个所述处理器通信连接的存储器；

其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于FPGA的视频实时音量柱显示方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于FPGA的视频实时音量柱显示方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。