控制辐射元件

技术领域

示例实施例涉及用于控制一个或多个辐射元件(例如，可以形成天线阵列的一部分的一个或多个天线的辐射元件)的方法，系统和计算机程序。

背景技术

天线可以包括一个或多个辐射元件，它们被馈以相同的射频信号。天线阵列可以包括具有单独的射频链的多个这种天线。天线阵列用于各种目的，例如用于电信网络中的波束成形。辐射元件也可以用于接收射频能量。

发明内容

第一方面提供了一种装置，包括：用于接收包括多个辐射元件的天线阵列的性能度量的部件，性能度量基于与天线阵列相关的性能数据，天线阵列具有由配置参数表示的辐射配置；用于通过估计新的配置参数来根据所接收的性能度量来更新配置参数的部件，以用于将性能度量移向目标值；用于基于所更新的配置参数来重新配置天线阵列的辐射配置的部件，从而天线阵列的物理几何形状被改变。

重新配置部件被配置为通过基于重新配置的配置移动一个或多个辐射元件来改变物理几何形状。

更新部件还被配置为：根据所接收到的由所更新的配置参数产生的性能度量来迭代地更新配置参数，直到达到停止条件为止。

停止条件对应于固定数目的更新迭代。

停止条件对应于达到目标值的性能度量。停止条件对应于固定数目的更新迭代，在固定数目的更新迭代中性能度量不朝着目标值移动。

更新部件包括机器学习模型，机器学习模型被配置为基于存储的训练数据来估计可能使性能度量朝目标值移动的更新的配置参数。机器学习模型利用从初始连接质量导出并且随后基于由所更新的配置参数引起的结果进行更新的数据而被训练。机器学习模型利用初始配置参数被训练，并且随后基于由所更新的配置参数引起的重新配置的结果而被更新。机器学习模型是使用数字同级来训练的。

性能度量是从计算部件接收的，计算部件被配置为从天线阵列形成一部分的通信网络的至少一部分的物理节点接收性能数据。

计算部件与天线阵列形成一部分的蜂窝通信网络的至少一部分的基站相关联。

性能度量是从仿真部件接收的，仿真部件仿真天线阵列形成一部分的通信网络的至少一部分的物理节点。

仿真的物理节点与天线阵列形成一部分的蜂窝通信网络的至少一部分的基站相关联。

计算部件或仿真部件包括装置的一部分。

所接收的性能度量表示与天线阵列相关联的数据吞吐量、呼叫丢失率、中断概率和能量消耗中的一项或多项的测量或仿真值。

性能度量表示针对与天线阵列相关联的蜂窝通信系统的小区内的不同数目的用户设备中的每一个数目的测量或仿真值。

配置参数包括以下一项或多项：针对天线阵列的第i个天线的第j个辐射元件：

-位置

-方位角φi，j∈[0,2π]

-仰角θi，j∈[-π/2，π/2]

-模拟相移βi，j∈[-π，π]

-模拟信号增益αi，j∈[αmin，αmax]

以及用于重新配置天线阵列的辐射配置的部件被配置为更新配置参数中的一个或多个配置参数，以在天线阵列的辐射元件中的一个或多个辐射元件上产生相应的改变。

用于重新配置天线阵列的辐射配置的部件被配置为基于性能度量的最后接收值以基本实时或接近实时的方式执行重新配置。

另一方面提供了一种方法，包括：接收用于包括多个辐射元件的天线阵列的性能度量，天线阵列具有由配置参数表示的辐射配置；通过估计新的配置参数，根据所接收到的性能度量来更新配置参数，以用于将性能度量移向目标值；以及基于所更新的配置参数来重新配置天线阵列的辐射配置，从而天线阵列的物理几何形状被改变。

重新配置包括：通过基于重新配置的配置移动一个或多个辐射元件来改变物理几何形状。

方法还包括：根据所接收到的由所更新的配置参数产生的性能度量来迭代地更新配置参数，直到达到停止条件为止。

停止条件对应于固定数目的更新迭代。停止条件对应于达到目标值的性能度量。停止条件对应于固定数目的更新迭代，在固定数目的更新迭代中性能度量不朝着目标值移动。

更新包括使用机器学习模型，机器学习模型被配置为基于存储的训练数据来估计可能使性能度量朝目标值移动的更新的配置参数。

方法还包括：利用从初始连接质量导出并且随后基于由所更新的配置参数引起的结果进行更新的数据来训练机器学习模方法还包括：利用初始配置参数并且随后基于由所更新的配置参数引起的重新配置的结果进行更新的配置参数训练机器学习模型。

机器学习模型是根据数字同级来训练的。

性能度量是从计算部件接收的，计算部件被配置为从天线阵列形成一部分的通信网络的至少一部分的物理节点接收性能数据。

计算部件与天线阵列形成一部分的蜂窝通信网络的至少一部分的基站相关联。

从仿真部件接收性能度量，仿真部件仿真天线阵列形成一部分的通信网络的至少一部分的物理节点。

仿真的物理节点与天线阵列形成一部分的蜂窝通信网络的至少一部分的基站相关联。

计算部件或仿真部件包括装置的一部分。

所接收的性能度量表示与天线阵列相关联的数据吞吐量、呼叫丢失率、中断概率和能量消耗中的一项或多项的测量或仿真值。

性能度量表示针对与天线阵列相关联的蜂窝通信系统的小区内的不同数目的用户设备中的每一个数目的测量或模拟值。

配置参数包括以下一项或多项：针对天线阵列的第i个天线的第j个辐射元件：

-位置

-方位角φi，j∈[0,2π]

-仰角θi，j∈[-π/2，π/2]

-模拟相移βi，j∈[-π，π]

-模拟信号增益αi，j∈[αmin，αmax]

以及天线阵列的辐射配置的重新配置包括更新配置参数中的一个或多个配置参数，以在天线阵列的辐射元件中的一个或多个辐射元件上产生相应的改变。

天线阵列的辐射配置的重新配置包括：基于性能度量的最后接收的值以基本上实时或接近实时的方式执行重新配置。

另一方面提供了一种装置，包括：直接连接到至少一个处理器的至少一个存储器，至少一个存储器包括计算机程序代码；以及至少一个处理器，至少一个处理器与至少一个存储器和计算机程序代码一起被布置为执行以下方法：接收用于包括多个辐射元件的天线阵列的性能度量，天线阵列具有由配置参数表示的辐射配置；通过估计新的配置参数，根据所接收到的性能度量来更新配置参数，以用于将性能度量移向目标值；以及基于所更新的配置参数来重新配置天线阵列的辐射配置，从而天线阵列的物理几何形状被改变。

至少一个处理器与至少一个存储器和计算机程序代码还被布置为执行根据上述方面关联定义的方法。

另一方面提供了一种计算机程序产品，包括一组指令，当一组指令在装置上执行时，一组指令被配置为使装置执行以下方法：接收用于包括多个辐射元件的天线阵列的性能度量，天线阵列具有由配置参数表示的辐射配置；通过估计新的配置参数，根据所接收到的性能度量来更新配置参数，以用于将性能度量移向目标值；以及基于所更新的配置参数来重新配置天线阵列的辐射配置，从而天线阵列的物理几何形状被改变。

另一方面提供了一种非瞬态计算机可读介质，包括用于执行方法的存储在非瞬态计算机可读介质上的程序指令，包括：接收用于包括多个辐射元件的天线阵列的性能度量，天线阵列具有由配置参数表示的辐射配置；通过估计新的配置参数，根据所接收到的性能度量来更新配置参数，以用于将性能度量移向目标值；以及基于所更新的配置参数来重新配置天线阵列的辐射配置，从而天线阵列的物理几何形状被改变。

另一方面提供了一种装置，包括：至少一个处理器；以及至少一个存储器，至少一个存储器包括计算机程序代码，当计算机程序代码由至少一个处理器执行时，使装置：接收用于包括多个辐射元件的天线阵列的性能度量，天线阵列具有由配置参数表示的辐射配置；通过估计新的配置参数，根据所接收到的性能度量来更新配置参数，以用于将性能度量移向目标值；以及基于所更新的配置参数来重新配置天线阵列的辐射配置，从而天线阵列的物理几何形状被改变。

上面对“装置”的引用可以指被配置为执行所陈述的功能的硬件，软件，电气或电子电路中的任何一个或其任何组合。

附图说明

现在将参考附图通过非限制性示例来描述示例实施例，其中：

图1是天线阵列的示意图。

图2是根据示例实施例的包括天线阵列和控制器的系统的框图；

图3是根据图2中的控制器可控制的另一天线阵列的局部示意图；

图4是根据图2中的控制器可控制的另一天线阵列的局部示意图；

图5是根据图2中的控制器可控制的另一天线阵列的局部示意图2；

图6是根据示例实施例的包括天线阵列和控制器的另一系统的框图；

图7是示出根据示例实施例使用的实际控制系统和数字同级系统的框图；

图8是示出根据示例实施例可以执行的操作的流程图；

图9是示出根据示例实施例可以执行的操作的另一流程图；

图10是示出根据示例实施例可以执行的操作的另一流程图；

图11是示出根据示例实施例可以执行的操作的另一流程图；

图12是示出根据示例实施例可以执行的操作的另一流程图；

图13是根据示例实施例的图2或图6的组件的示意图；以及

图14示出了根据一些实施例的非易失性介质。

具体实施方式

示例实施例涉及控制一个或多个辐射元件，例如一个或多个射频天线。示例实施例可以涉及用于控制天线阵列的一个或多个天线的一个或多个天线辐射元件(以下称为“辐射元件”)的装置、方法和/或计算机程序；天线阵列是一种物理装置，包括多个不同的天线。阵列的天线可以有效地作为单个天线一起工作，以发送或接收射频波。天线阵列用于各种领域，例如在蜂窝通信中。

示例实施例可以涉及自适应地控制一个或多个天线的辐射元件。可以实时或近实时地执行自适应控制，以基于例如当前或非常新的条件(诸如，网络条件，与天线阵列关联的一个或多个小区中用户设备的数量，等等)对当前天线阵列配置提供即时修改。这些示例不应被认为是对本公开内容范围的限制，而仅以示例的方式给出。天线阵列配置例如可以在其相位，增益和位置特性方面指代单个天线的特性和/或其单个辐射元件的特性。天线阵列配置的修改可以出于修改一个或多个辐射元件的辐射或接收特性的目的。可以以这种方式重新配置辐射元件的全部或子集。

参考图1以示意图示出了天线阵列10。天线阵列10包括多个天线12-15。天线12-15中的每个天线具有各自的射频输入和输出16-19。天线12-15中的每个天线可以包括一个或多个辐射元件20，这些天线例如可以是偶极子，其可以经由射频输入和输出16-19由相同的射频信号馈电。天线12-15中的每个天线可以与相应的射频处理链相关联。

天线阵列的某些特性是天线间距和总尺寸(相对于波长)，称为孔径。尺寸可以确定阵列的方向性，即阵列将辐射能量聚焦于某些方向的能力。天线的数量可以确定辐射/接收的能量

参考图2，天线12-15中的每个天线的辐射元件20通常可以共享单个模数转换器(ADC)/数模转换器(DAC)30。但是，如由移相器和放大器元件22所指示的，每个辐射元件20的射频信号的相位和幅度(或增益)可以可选地在模拟域中被独立地控制。相位和幅度是给定辐射元件20的示例特性。

在一些实施例中，给定辐射元件20的其他特性可以包括以下一项或多个项：位置、方位角和仰角。为此目的，机械定位部件可以与每个辐射元件20相关联。示例性机械定位装置可以包括位置致动器24(“PA”)。可以使用多个这样的致动器24，例如线性和/或旋转位置致动器，以改变位置，方位角和仰角中的一个或多个。

本文的实施例可以提供一种控制器26，该控制器26用于通过控制一个或多个相应的移相器和放大器元件22和/或位置致动器24来控制一个或多个辐射元件20的配置。在图2中，控制器26被示出为仅连接至一个这样的移相器和放大器元件22和/或位置致动器24，但是应当理解，在实践中，控制器26可以连接至其要控制的每个设备。

总的来说，示例实施例可以涉及控制器26(或与控制器相关联的另一处理设备)接收用于包括多个辐射元件20的天线阵列10的性能度量L(Ω)。性能度量L(Ω)可以是基于与天线阵列10相关联的性能数据的，天线阵列具有由配置参数表示的辐射配置。在一些实施例中，配置参数可以对应于给定辐射元件20的上述特性中的一个或多个。例如，天线阵列的第i个天线的第j个辐射元件可以具有以下配置参数：

-位置

-方位角φ

-仰角θ

-模拟相移β

-模拟信号增益α

可以将配置参数组合为参数向量：

ωi，j＝[x

天线阵列10可以具有M个天线，其中第i个天线具有N

Ω＝{ωi，j：i＝1，...，M：j＝1，...，Ni}

实施例还可以包括：根据接收到的性能度量L(Ω)来更新配置参数Ω，以及基于更新后的配置参数

性能度量L(Ω)可以是任意度量。例如，性能量度L(Ω)可以是代表数据吞吐量的值，例如。小区总和吞吐量，第5个百分位数吞吐量，中位数吞吐量或几何吞吐量。例如，性能度量L(Ω)可以是代表呼叫丢失率、中断概率、能量消耗等中的一个或多个的值。以上示例中的一个或多个可以是计算性能度量L(Ω)的基础，该性能度量L(Ω)是指示一个或多个性能特征的性能的值。

通过修改一个或多个配置参数，性能度量L(Ω)可能会发生变化。因此，实施例可以涉及修改一个或多个配置参数Ω，以将性能度量L(Ω)移向目标。目标可以代表最佳条件，例如解决优化问题：

arg max L(Ω) (1)

Ω

但是可以使用其他一些目标，通常在提高技术性能的方向上。

在一些实施例中，提出了使用强化学习(RL)和/或监督学习(SL)方法来适应辐射元件20的位置和/或其他可控制特性，以改善(如果没有最大化的话)性能度量L(Ω)。以此方式，实施例使得能够动态地改变天线阵列10的几何形状，从而可以在没有人工干预的情况下针对任何无线电环境自动地对其进行改进或优化。主要好处是提高了性能，并减少了资本和日常支出。

性能度量L(Ω)本身可以根据基于与天线阵列10相关联的真实数据的测量结果来计算，也可以根据仿真来计算。性能度量L(Ω)也可以以明确的数学形式获得。

图3以示意图示出了另一天线阵列30的一部分，该天线阵列包括具有十二个辐射元件32的天线。如相对于一个这样的辐射元件32所示的箭头34所示，每个辐射元件可以由相关的位置致动器移动位置xi，j。

图4以透视图来图示出了另一天线阵列的一部分，该天线阵列可以包括天线36，该天线36包括天线杆37和从天线杆37延伸的多个辐射元件38。如图所示，杆37可以由位置致动器旋转，并且每个辐射元件38可以在相对于杆的角度的方面被修改，在每个臂的长度以及绕其自身轴线的旋转的方面被修改。

图5以顶视平面图示出了另一天线阵列50的一部分，特别是平面天线阵列，其包括四个天线列51-54，每个天线列包括四个天线或辐射元件57的两个块55、56。每个天线列51-54的每个块55、56的垂直位置可以可控地移动。在另一个实施例中，附加地或替代地，每个块55、56的水平位置可以是可控制的。可以通过上述任何方法来控制运动。

根据示例实施例的可控天线阵列可以组合图3至图4中的两个或更多个的特征修改，无论是部分还是全部。

现在将描述如何实现控制的示例。

总的来说，可以使用硬件，软件或其组合来执行控制。

图6是示出控制器60的功能模块的框图，该控制器60的功能模块与天线阵列62和连接的基站64相关联地示出。尽管本实施例不是标准特定的，取决于所使用的标准，基站64可以例如是蜂窝基站、通常被称为节点B(NB)、增强型节点B(eNB)或下一代节点B(gNB)。基站64可以与蜂窝通信网络的小区相关联，在蜂窝通信网络的小区中可以定位有多个用户设备66。控制器60可以包括学习算法模块68和天线阵列控制器70。

学习算法可以被配置为产生天线阵列配置

基站可以被配置为测量性能度量L

图8是示出示例实施例的通用方法的处理操作的流程图。第一操作801包括接收用于天线阵列的性能度量。可以从诸如基站64之类的基站的远程节点接收性能度量。第二操作802包括根据所接收的性能度量来更新天线阵列62的配置参数。第三操作803包括基于更新的配置参数来重新配置天线的辐射配置。

现在将关于图6中提供的高级视图，描述一种适用于任何性能度量L(Ω)的更具体但仍然通用的学习算法。图9中提供了可以表示处理操作的对应流程图。附图标记不一定指示处理顺序。

在第一操作901中，我们令t＝0并选择一组初始参数Ωt。

在另一操作902中，我们计算扰动配置

在另一操作903中，可以根据以下配置天线阵列62：

这定义了参数

在另一操作904中，计算性能度量L

在另一操作905中，确定是否达到停止条件。如果否，则另一操作906可以包括根据以下各项来计算参数更新：

针对一些学习率η＞0。针对p(ε)＝N(O，σ

在相同或不同的操作中，t的值更新为t+1，并且过程可以返回到操作902。

可以从仿真中获得初始天线阵列配置Ω

在一些实施例中，如果确定更新后的参数矢量ω

可替代地，可以调整学习率η，使得i，j保持可行。

在一些实施例中，操作903和904可以运行多次以计算针对相同天线配置的不同扰动的性能度量。在这种情况下，可以在这些值上对在操作906中计算出的梯度求平均。

在操作906中，可以通过任何随机梯度下降(SGD)算法来计算和调整学习率η，给出一些示例，例如ADAM，RMSProp，动量。

操作905中的停止标准可以采取多种形式。例如，该过程可以在固定数目的训练迭代之后停止，或者在固定数目的迭代期间L

等式(3)的第二项也称为策略梯度。(深度)学习文献中存在各种提高该算法的收敛速度的方法，例如，参见E.G.Med.Chem.Soc。RS Sutton，D.McAllester，S.Singh和Y.Mansour，“Policy gradient methods for reinforcement learning with functionapproximation”，第12届国际神经信息处理系统会议论文集，NIPS，第1057-1063页，美国马萨诸塞州剑桥，1999年。麻省理工学院出版社。

现在将描述用于微分性能度量L(Ω)的学习算法。

在某些情况下，可以明确计算出梯度

参考图10的流程图，现在将以示例的方式描述处理步骤。注意，在这种情况下，可以使用其他数值优化算法。

在第一操作1001中，我们令t＝0并选择一组初始参数Ω

在另一操作1002中，我们根据Ω

在另一操作1003中，我们计算性能度量L(Ω

在另一操作1004中，确定是否达到停止条件。如果否，则另一操作1005可以包括根据以下各项来计算参数更新：

对于学习率η＞0。

在相同或不同的操作中，t的值更新为t+1，并且过程可以返回操作1002。

类似于一些其他实施例，如果确定更新后的参数矢量ω

可以通过任何随机梯度下降(SGD)算法来计算和调整学习率η，给出一些示例，例如ADAM，RMSProp，动量。

在一些实施例中，操作1002和1003可以运行多次以计算针对相同天线配置的不同扰动的性能度量。在这种情况下，可以在这些值上对在操作1006中计算出的梯度求平均。

在一些实施例中，天线阵列62的上述初始配置可以通过仿真获得。即，上述算法可以用于通过仿真找到参数Ω，然后将其用作在真实系统上运行的算法的初始参数Ω°。这在图7中示意性地示出，图7所示的系统包括例如图6所示的真实系统80A，以及数字同级(digital sibling)系统80B，该术语被广泛用于表示期望改进或优化的系统的现实模拟器。数字同级系统80B可以比实时运行模拟更快，并显着提高训练过程的速度。在其他实施例中，可以使用来自另一基站的初始参数，有时被称为“转换学习”。

到目前为止，针对给定的性能度量L(Ω

在某些示例中，目标是找到从这些附加参数到最佳天线阵列配置的映射Ω＝f(s)，以最大化性能度量L(Ω，s)。

在这种情况下，我们可以假定函数f具有可调参数μ，即f(s)＝fμ(s)，并且我们想解决优化问题：

arg max L(fμ(s)，s). (6)

μ

对于不可微分的性能度量L(fμ(s)，s)，我们可以获得以下算法。图11示出了在这种情况下的处理操作的流程图。

在第一操作1101中，令t＝0并选择一组初始参数μ

在另一操作1102中，我们计算扰动的配置

在另一操作1103中，我们可以根据以下配置天线阵列62：

这定义了参数

在另一操作1104中，计算性能度量L

在另一操作1105中，确定是否达到停止条件。如果否，则另一操作1106可以包括根据以下各项来计算参数更新：

对于学习率η＞0。

在相同或不同的操作中，t的值更新为t+1，并且过程可以返回操作1102。

在一些实施例中，操作1103和1104可以运行多次，以计算针对相同天线配置的不同扰动的性能度量。在这种情况下，可以在这些值上对在操作1106中计算出的梯度求平均。

对于可微分的性能度量L(fμ(s)，s)，我们提出了以下方法，其处理操作如图12所示.

在第一操作1201中，我们令t＝0并选择一组初始参数μ

在另一操作1202中，我们计算扰动配置

在另一操作1203中，我们可以根据Ω

在另一个操作1204中，我们可以计算性能度量L(Ω

在另一操作1205中，确定是否达到停止条件。如果否，则另一操作1206可以包括根据以下各项来计算参数更新：

对于学习率η＞0。

在相同或不同的操作中，将t的值更新为t+1，并且过程可以返回到操作1202。

在一些实施例中，操作1203和1204可以运行多次以计算针对同一天线配置的不同扰动的性能度量。在这种情况下，可以在这些值上对在操作1206中计算出的梯度求平均。

在一些实施例中，可以使用神经网络(NN)来执行映射fμ(s)，并且μ可以表示其可训练参数，例如其权重和/或偏差。

在一些实施例中，如果确定更新后的参数矢量ω

学习算法可以采用机器学习模型，该机器学习模型可以利用从初始连接质量(例如，初始连接质量)导出的数据来初始化。信号质量，然后根据由更新的配置参数引起的结果进行更新。其他实施例中的机器学习模型可以利用初始配置参数来初始化。

图14示出了根据实施例的装置。该装置可以提供图2所示的控制器功能和/或图6中所示的控制功能。该装置包括至少一个处理器420和直接或紧密连接到处理器的至少一个存储器410。存储器410包括至少一个随机存取存储器(RAM)410b和至少一个只读存储器(ROM)410a。计算机程序代码(软件)415存储在ROM 410a中。该装置可以连接到例如天线阵列62的TX路径和例如来自基站64的RX路径，以便沿着各个路径发送配置数据和接收性能度量。该装置可以与用于指示该装置和/或用于输出结果的用户界面UI连接。具有至少一个存储器410和计算机程序代码415的至少一个处理器420可以被布置为使装置至少执行根据图9至图12中的一个或多个的方法。

图15示出了根据一些实施例的非瞬态介质。非瞬态介质是计算机可读存储介质。可能是非瞬态介质存储计算机程序代码，当由诸如图14的装置的处理器42执行时，使装置执行根据图9至图12中的一个或多个的方法。

存储器可以是易失性的或非易失性的。可能是RAM，SRAM，闪存，FPGA模块内存，DCD，CD，U盘和蓝光光盘。

如果没有另外说明或从上下文中弄清楚，则两个实体不同的陈述意味着它们执行不同的功能。这不一定意味着它们基于不同的硬件。即，本说明书中描述的每个实体可以基于不同的硬件，或者某些或全部实体可以基于相同的硬件。这并不一定意味着它们基于不同的软件。即，本说明书中描述的每个实体可以基于不同的软件，或者某些或全部实体可以基于相同的软件。本说明书中描述的每个实体可以被体现在云中。

作为非限制性示例，任何上述块，装置，系统，技术或方法的实施方式包括作为硬件，软件，固件，专用电路或逻辑，通用硬件或控制器或其他计算设备或它们的组合一些实施方式。一些实施例可以在云中实现。

应当理解，上面描述的是目前认为的优选实施例。但是，应当注意，仅以示例的方式给出了优选实施例的描述，并且可以在不脱离所附权利要求所限定的范围的情况下进行各种修改。