基于分阶段优化的RBF神经网络的直接数字频率合成器

技术领域

本发明涉及直接数字频率合成器技术领域，特别涉及一种基于分阶段优化的RBF神经网络的直接数字频率合成器。

背景技术

直接数字频率合成器(Direct Digital Synthesizer，DDS)是一种利用数字信号处理技术产生高精度、高稳定度信号可编程的设备。DDS具有频率分辨率高、频率切换速度快、相位连续性好、抗干扰能力强等优点，被广泛应用于通信系统、雷达系统、测试仪器等领域。DDS主要有相位累加器、只读存储器(Read-Only Memory，ROM)查找表、数模(D/A)转换器和低通滤波器等四大结构组成。由于ROM的容量限制，传统DDS技术需要对输入相位进行截断处理，这就导致了相位截断误差，从而增加了频谱杂散。为了减小或消除截断杂散，有研究人员提出了基于反向传播神经网络(Backpropagation Neural Network，BP神经网络)技术的正弦信号发生器设计方案，具体通过采用BP神经网络来替换ROM查找表，克服了传统DDS正弦信号发生器截断误差带来的影响。但是BP神经网络算法存在一些具体问题，这些问题影响了其性能、硬件能力和精度。具体来说，BP神经网络算法的收敛速度较慢，这会影响硬件性能的提升。此外，BP神经网络算法对非线性函数的拟合能力较弱，这导致输出信号的精确度不足。最后，BP神经网络在权值调整过程中有容易陷入局部极值的问题，这样会使算法陷入局部极值，从而导致网络训练失败。

综上所述，如何在提升DDS输出信号精度的同时不增加硬件资源消耗，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明提供了一种基于分阶段优化的RBF神经网络的直接数字频率合成器，以解决提升DDS输出信号精度的同时不增加硬件资源消耗的问题。

为了实现上述目的，本发明提供了一种基于分阶段优化的RBF神经网络的直接数字频率合成器，包括：

相位累加器，用于生成相位信号；

RBF神经网络模块，用于将相位信号转换为振幅信号；

数模转换器，用于将数字振幅信息转换为低频锯齿信号；

低通滤波器，用于抑制来自数模转换器的锯齿波信号中的高频噪声，将锯齿波信号转换为光滑的模拟信号；

其中，所述RBF神经网络模块包括隐藏层和输出层，所述隐藏层包含多个节点，每个节点均有一个对应的径向基函数，对于每一个输入的相位信息，每个隐藏层节点都能将其映射为一个对应的特征值；所述输出层通过权重与所述隐藏层的节点相连，在每个节点的特征值与其对应的权重相乘后，将所有节点相乘后得到的值作和，得到一个对应所述相位信息的振幅值。

作为本发明的进一步改进，所述相位累加器包括全加器和累加寄存器，其中，所述全加器用于将输入频率字与上一个周期的累加结果作和，以得到新的累加结果，所述累加寄存器用于存储每个时钟周期内所述全加器的输出值，为下一个周期的全加器提供累加输入值。

作为本发明的进一步改进，所述径向基函数是一种反平方函数，具体形式为：

作为本发明的进一步改进，所述RBF神经网络模块的训练过程包括粗调和细调两个优化阶段。

作为本发明的进一步改进，所述粗调阶段包括：利用K-means++聚类算法选取所述隐藏层节点的中心值，并据所述中心值计算径向基函数的宽度，利用随机的方式初始化隐藏层权重后，采用伪逆算法更新这些权重。

作为本发明的进一步改进，所述细调阶段包括：利用有限内存Broyden–Fletcher–Goldfarb–Shanno带盒约束算法(Limited-memory Broyden–Fletcher–Goldfarb–Shannowith Box constraints，L-BFGS-B算法)调整粗调阶段的最优中心值，直至输出误差满足要求。

作为本发明的进一步改进，所述L-BFGS-B算法的调整范围为粗调阶段中心值±1。

作为本发明的进一步改进，所述数模转换器接收所述RBF神经网络模块输出的数字振幅信号，在经过内部的D/A转换过程后，将所述数字振幅信号转换为对应的模拟低频锯齿波信号，并传输至所述低通滤波器。

作为本发明的进一步改进，所述低通滤波器用于接收所述数模转换器输出的模拟低频锯齿波信号，通过低通滤波器的设计特性，抑制所述模拟低频锯齿波信号中的高频噪声分量，从而输出光滑的模拟信号。

有益效果：

1、本发明提供了一种全新的频率合成技术，通过引入和优化RBF神经网络，提供了一种新的、更加高效和灵活的频率合成方案，在处理复杂和非线性的频率合成任务时具有更强的可扩展性和适应性；

2、由于RBF神经网络训练效率和精度的提升，直接数字频率合成器的性能得到了显著优化。具体表现为，输出的正弦波形状更接近理想正弦波，频率精度更高，且对频率的调整更灵活快速。

附图说明

图1为本发明中的直接数字频率合成器架构图；

图2为本发明中分阶段优化RBF神经网络算法流程图；

图3为本发明中RBF神经网络结构图；

图4为本发明中BP神经网络训练图；

图5为本发明中BP神经网络预测图；

图6为本发明中传统RBF神经网络训练图；

图7为本发明中传统RBF神经网络预测图；

图8为本发明采用分阶段优化策略的RBF神经网络训练图；

图9为本发明采用分阶段优化策略的RBF神经网络预测图；

图10为本发明中的直接数字频率合成器输出仿真图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，结合以下具体实施例，并参照附图，对本发明进一步作详细说明，但不用来限制本发明的范围。

如图1至图10所示，本发明公开了一种基于分阶段优化的RBF神经网络的直接数字频率合成器。所述直接数字频率合成器包括相位累加器、RBF神经网络模块、数模转换器、和低通滤波器组成。其中，相位累加器负责生成相位信号，RBF神经网络模块负责将相位信号转换为数字振幅信号，数模转换器负责将数字振幅信号转换为低频锯齿信号，低通滤波器负责抑制来自数模转换器的锯齿波信号中的高频噪声，将锯齿波信号转换为光滑的模拟信号。本发明的创新之处在于，首次引入RBF神经网络到直接数字频率合成器中，提供了一种新的、更加高效和灵活的频率合成方案，在处理复杂和非线性的频率合成任务时具有更强的可扩展性和适应性。

所述相位累加器由一个N位全加器和一个N位累加寄存器构成，在每个时钟周期的上升沿，N位全加器将累加寄存器输出的相位数据与频率控制字K相加，相加的结果又输入到累加寄存器里，以使全加器在下一个时钟上升沿继续与频率控制字相加。这样，相位累加器在时钟作用下，不断对频率控制字进行线性相位累加。相位累加器的输出的数据就是RBF神经网络模块的输入数据，相位累加器的溢出频率，就是DDS的输出的信号频率，可以表示为：

其中，f

所述RBF神经网络模块包括输入接口、计算核心和输出接口。输入接口用于接收相位累加器的输出信号并作为RBF神经网络的输入；计算核心由径向基函数计算模块和神经元计算模块构成，用于处理输入信号并实现RBF神经网络的前向计算，其中，径向基函数计算模块负责计算输入信号与RBF神经网络中心值之间的径向基函数值，神经元计算模块则利用径向基函数值和隐藏层权重计算RBF神经网络的输出值；输出接口则将计算出的神经网络输出值，即数字振幅信号，输出到数模转换器。可以表示为：

其中，x

优选的，所述径向基函数为反平方函数，函数形式为：

其中，x是神经网络的输入，c是隐含层的中心值，R是径向基函数的宽度，其计算方式为：

其中，d

本发明针对RBF神经网络的训练过程提出了一种高效的分阶段优化策略。所述分阶段优化策略分为粗调和细调两个阶段。具体的，粗调阶段采用K-means++聚类算法选取RBF神经网络隐藏层节点的中心值，利用了K-means++算法随机性小，聚类速度快的特性，可以快速地找到合理的聚类中心。因此用K-means++算法确定神经网络隐藏层节点的中心值，可以提高RBF神经网络的泛化能力和逼近能力。在粗调阶段结束后，根据输出误差判断是否满足要求，如果不满足则进入细调阶段。在细调阶段，采用L-BFGS-B算法对粗调阶段的最优中心值进行调整。L-BFGS-B算法是一种改进型BFGS算法，它基于有限内存的方法用来处理带有边界限制的多元函数极小化问题，相比于BFGS算法大大减少了存储需求和计算量。为了保证调整过程的稳定性和效率，对每个中心值设定一个较为紧凑的搜索范围，作为中心值调整的边界。这样的设置基于一个思想：既然粗调阶段的中心值已经相当优良，那么完全可以在这些值的附近寻找更优解，无需对全局范围进行搜索。这种设置保证了L-BFGS-B算法的搜索效率，同时也避免了搜索过程跳出合理范围，导致解的质量下降。这种分阶段优化策略大大提高了RBF神经网络的训练效率和精度，从而显著提升了直接数字频率合成器的性能。

当处于所述粗调阶段时，使用K-means++聚类算法确定RBF神经网络隐藏层节点的中心值，K-means++算法是一种改进的K-means聚类算法，K-means++算法的基本步骤为：

(1).随机选择一个点作为第一个聚类中心；

(2).对数据集中的每一个点x，计算其到已选聚类中心的最短距离d(x)；

(3).选择一个新的聚类中心，选择的概率与d(x)的平方成正比；

(4).重复此过程直到选择了k个聚类中心。

当处于所述细调阶段时，利用有限内存Broyden–Fletcher–Goldfarb–Shanno带盒约束算法(Limited-memory Broyden–Fletcher–Goldfarb–Shanno with Boxconstraints，L-BFGS-B算法)调整粗调阶段的最优中心值，直至输出误差满足要求。L-BFGS-B算法是一种基于有限内存的方法用来处理带有边界限制的多元函数极小化问题的算法。L-BFGS-B算法基本步骤为：

(1).选择一个初始点，设置迭代次数和容忍度等参数；

(2).计算初始梯度(通常是目标函数在初始点的梯度)；

(3).使用有限内存BFGS方法计算Hessian矩阵的近似逆；

(4).使用线搜索方法找到满足Wolfe条件的步长；

(5).利用步长和近似的Hessian矩阵的逆，更新当前的参数。

(6).如达到最大迭代次数，或者目标函数值的改变或者梯度的大小小于预设的阈值，则停止迭代。否则，回到步骤2；

(7).在满足边界约束的情况下，进行参数的更新。

优选的，所述采用K-means++算法选取隐含层中心值的过程为：

(1).从输入数据集中随机选择一个点作为第一个中心值c

(2).对于每一个数据点x

其中，c

(3).选择一个新的中心值，选择的概率P(x

其中，n为所有输入数据点的个数。

(4).重复步骤2和步骤3直到选择了k个中心值。

优选的，所述采用L-BFGS-B算法对粗调阶段确定的最优中心值的调整过程为：

(1).设置初始点为粗调阶段的最优中心值，即：

x

(2).设置迭代次数T和容忍度δ。

(3).计算初始梯度g

目标函数形式为：

其中，N是训练样本数量，x

RBF神经网络的预测函数h(x)形式为：

其中，M是隐含层神经元数量，ω

(4).用有限内存BFGS方法计算Hessian矩阵的近似逆，初始化为单位矩阵，即：

H

(5).进行迭代步骤：对于每一个迭代步t＝0,1,2,…,T-1,执行以下步骤：

5.1.使用近似的Hessian矩阵的逆，计算搜索方向：

p

5.2.使用线搜索方法找到满足Wolfe条件的步长α

其中，Wolfe条件包括两部分，即Armijo条件(也称为足够下降条件)和曲率条件

Armijo条件：也被称为足够下降条件，它要求新的函数值相比原来至少下降了一部分。Armijo条件可以表示为：

其中α为步长，f是目标函数，x是当前点，p是搜索方向，c

曲率条件：要求新的导数值相比原来的导数值至少增加了一部分。具体地，对于同样的α，曲率条件可以写作：

其中c

5.3.利用步长和搜索方向，更新当前的参数：

x

x

5.4.计算新的梯度：

5.5.使用BFGS方法更新近似的Hessian矩阵的逆：

H

其中，BFGS(H,s,y)表示使用BFGS公式对Hessian矩阵的逆进行更新，其中，y＝x

(6).如果达到最大迭代次数T，或者目标函数值的改变或者梯度的大小小于预设的阈值，即：|f(x

(7).在满足边界约束的情况下，进行参数的更新。在此优化过程中边界约束为：

c-1≤x

这个边界条件可以防止优化过程中出现过拟合，保证了优化结果的稳定性和可靠性。换句话说，使用所述L-BFGS-B算法的调整范围为粗调阶段中心值±1。

在本实施例中，所述RBF神经网络的分阶段优化策略包括以下步骤：

步骤一：采用K-means++聚类算法选取RBF神经网络的隐含层节点中心；

K-means++算法的具体步骤如下：

S1从输入数据集中随机选择一个点作为第一个中心值c

S2对于每一个数据点x

其中，c

S3选择一个新的中心值，选择的概率P(x

其中，n为所有输入数据点的个数。

S4重复步骤2和步骤3直到选择了k个中心值。

步骤二，根据选择好的隐含层中心计算径向基函数的宽度，径向基函数记为G(x)；

其中，c

径向基函数的宽度计算公式如下：

其中，d

步骤三：随机初始化隐含层权值，然后采用伪逆算法更新RBF神经网络的权值；

RBF神经网络的输出为：

Y＝HW

其中，Y是RBF神经网络的输出，H是RBF神经网络隐含层的输出，W是RBF神经网络隐含层的权值。

其中，

用H的伪逆

步骤四：根据RBF神经网络的输出误差判断是否小于1e-6，如果小于1e-6则结束训练，否则进入细调阶段。

RBF神经网络的输出误差的大小用目标函数衡量，目标函数形式为：

其中，N是训练样本数量，x

RBF神经网络的预测函数h(x)形式为：

其中，N是训练样本数量，x

步骤五：若算法进行细调阶段，在该阶段采用L-BFGS-B算法调整粗调阶段的最优中心值，直至RBF神经网络输出误差小于1e-6或者达到最大迭代步数1000。

如此一来，克服了传统RBF神经网络训练过程中的精度不稳定性和大量计算资源消耗的问题，使得RBF神经网络能够更好地适用于直接数字频率合成器，从而提升了直接数字频率合成器的性能。

所述数模转换器接收来自RBF神经网络模块的数字振幅信号，在经过内部的D/A转换过程后，将接收到的数字振幅信号转换为对应的模拟低频锯齿波信号，并将所述模拟低频锯齿波信号传输至低通滤波器进行处理。

所述低通滤波器用于接收来自数模转换器的模拟低频锯齿波信号，通过低通滤波器的设计特性，有效地抑制信号中的高频噪声分量，只允许低频成分通过，从而输出光滑的模拟信号。

术语解释：

直接数字频率合成器(Direct Digital Synthesizer，DDS):DDS是一种利用数字信号处理技术产生高精度、高稳定度和可编程输出信号的设备，广泛应用于通信系统、雷达系统、测试仪器等领域。DDS主要由相位累加器、ROM查找表、数模(D/A)转换器和低通滤波器等四大结构组成。

ROM(Read-Only Memory)：只读存储器，是一种存储数据的硬件设备，其特点是存储的数据只能读取，不能修改。在本文中，ROM是DDS中用于存储预先计算的正弦波形的部分，但由于ROM的容量限制，传统的DDS技术需要对输入的相位进行截断处理，从而产生相位截断误差。

相位截断误差：由于ROM的容量限制，传统DDS技术需要对输入相位进行截断处理，因此导致的误差称为相位截断误差。

BP神经网络：(Back Propagation，BP)神经网络是一种前馈型神经网络，它使用反向传播算法进行训练。但是BP神经网络算法的收敛速度较慢，对非线性函数的拟合能力较弱，并且在权值调整过程中有容易陷入局部极值的问题。

RBF神经网络(Radial Basis Function,RBF)：RBF神经网络是一种特殊的神经网络，它以径向基函数作为激活函数，对于处理某些类型的问题，如函数逼近和模式识别，具有优于BP神经网络的性能。

K-means++聚类算法：一种改进的K-means聚类算法。该算法能够使聚类中心尽可能的分散，从而在粗调阶段高效地选取RBF神经网络隐藏层节点的中心值。

伪逆算法：也被称为Moore-Penrose逆或广义逆，是一种在原矩阵不可逆(或者说是奇异的)时，可以提供一种“最接近”逆矩阵的解决方案的数学技术。如果原矩阵是可逆的，伪逆矩阵就等于逆矩阵。在神经网络的训练中，伪逆算法常常被用于解决由于权重矩阵不可逆导致的问题。

L-BFGS-B算法：一种改进的BFGS算法，它基于有限内存的方法用来处理带有边界限制的多元函数极小化问题，相比于BFGS算法大大减少了存储和计算的需求。

综上所述，本发明的基于分阶段优化的RBF神经网络的直接数字频率合成器，通过将RBF神经网络引入到直接数字频率合成器中，使得系统在处理复杂和非线性的频率合成任务时具有更强的可扩展性和适应性；同时，在RBF神经网络的基础上引入了粗调和细调两个优化阶段，合理地利用了K-means++聚类算法和L-BFGS-B优化算法，对RBF神经网络的训练过程进行了深度优化，克服了传统RBF神经网络训练过程中的精度不稳定性和大量计算资源消耗的问题，大大提高了RBF神经网络的训练效率和精度。

以上实施例仅用于说明本发明的就似乎方案，而非对其限制；所属领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。