掌桥专利:专业的专利平台
掌桥专利
首页

本申请要求于2021年10月19日提交的申请号为63/257,559的美国临时专利申请、2021年12月13日提交的申请号为63/289,138的美国临时专利申请、2022年1月11日提交的申请号为63/298,620的美国临时专利申请、2022年3月29日提交的申请号为63/325,145的美国临时专利申请、2022年3月30日提交的申请号为63/325,607的美国临时专利申请、2022年4月15日提交的申请号为63/331,693的美国临时专利申请、2022年7月18日提交的申请号为63/390,273的美国临时专利申请、以及2022年10月3日提交的申请号为17/959,291的美国非临时专利申请的优先权和权益,所有这些申请通过引用包含于此。

技术领域

本公开总体上涉及通信系统,并且具体地涉及用于通信系统的物理层的人工智能和机器学习的系统、方法和设备。

背景技术

在无线通信系统中,接收器可基于发送器与接收器之间的信道状况来向发送器提供信道状态信息或预编码信息。发送器可使用信道状态信息或预编码信息来执行到接收器的传输。

在此背景技术部分中公开的上述信息仅用于增强对本发明的背景技术的理解,并且因此其可包含不构成现有技术的信息。

发明内容

一种通信系统中的设备可包括:接收器,被配置为使用信道来接收信号;发送器,被配置为发送与所述信道相关的信道信息的表示;以及至少一个处理器,被配置为基于所述信号确定所述信道的状况,并且使用机器学习模型基于所述信道的状况生成所述信道信息的表示。所述信道信息可包括信道估计。所述信道信息可包括预编码信息。所述至少一个处理器可被配置为:执行对所述机器学习模型的选择。所述至少一个处理器可被配置为:基于所述信道的状况执行对所述机器学习模型的选择。所述至少一个处理器可被配置为:基于使用接收器接收到的模型标识信息来激活所述机器学习模型。该设备可被配置为:使用媒体访问控制(MAC)信号或无线电资源控制(RRC)信号中的一个或更多个来接收所述模型标识信息。所述至少一个处理器可被配置为:使用发送器指示对所述机器学习模型的选择。所述至少一个处理器可被配置为:接收所述机器学习模型。所述至少一个处理器可被配置为:接收与所述机器学习模型对应的量化函数。所述至少一个处理器可被配置为:训练所述机器学习模型。所述至少一个处理器可被配置为:使用量化函数来训练所述机器学习模型。所述量化函数可包括可微量化函数。所述量化函数可包括近似量化函数。所述至少一个处理器可被配置为:发送针对所述机器学习模型的配置信息。所述配置信息可包括权重或超参数中的一个或更多个。所述机器学习模型可以是生成模型,并且所述至少一个处理器可被配置为:使用重建模型来训练所述生成模型,其中,所述重建模型可被配置为:基于所述表示来重建所述信道信息。所述生成模型可包括编码器,并且所述重建模型可包括解码器。所述至少一个处理器可被配置为:接收针对所述重建模型的配置信息,并且基于所述配置信息训练所述生成模型。所述配置信息可包括权重或超参数中的一个或更多个。所述至少一个处理器可被配置为:执行对所述生成模型和所述重建模型的联合训练。所述至少一个处理器可被配置为:基于所述联合训练来发送所述重建模型。所述至少一个处理器可被配置为:基于信道来收集用于所述机器学习模型的训练数据。所述至少一个处理器可被配置为:基于资源窗口来收集所述训练数据。所述资源窗口具有时间维度和频率维度。所述信道信息可包括信道矩阵。所述信道信息可包括与奇异值组合的奇异值矩阵。所述信道信息可包括酉矩阵。所述至少一个处理器可被配置为:对所述信道信息进行预处理以生成经变换的信道信息,并且基于所述经变换的信道信息来生成所述信道信息的表示。所述至少一个处理器可被配置为:基于变换来对所述信道信息进行预处理,并且基于训练数据来训练所述机器学习模型,其中,可基于变换来处理所述训练数据。所述至少一个处理器可被配置为:基于变换来对所述训练数据进行处理。所述至少一个处理器可被配置为:使用处理许可来训练所述机器学习模型。所述处理许可可以包括处理时间。所述处理许可可基于所述信号被发起。所述处理许可可基于控制信号被发起。所述控制信号可包括媒体访问控制(MAC)信号或无线电资源控制(RRC)信号中的一个或更多个。所述至少一个处理器可被配置为:将所述信道信息的表示作为链路控制信息来发送。所述至少一个处理器可被配置为:将所述链路控制信息作为上行链路控制信息(UCI)来发送。所述至少一个处理器可被配置为:对所述信道信息的表示进行量化以生成经量化的表示。所述至少一个处理器可被配置为:将编码方案应用于所述经量化的表示以生成经编码的表示。所述编码方案可包括极化编码方案,并且所述至少一个处理器可被配置为:使用物理控制信道来发送所述经编码的表示。所述编码方案可包括低密度奇偶校验(LDPC)编码方案,并且所述至少一个处理器可被配置为:使用物理共享信道来发送所述经编码的表示。

一种通信系统中的设备可包括:发送器,被配置为使用信道来发送信号;接收器,被配置为接收与所述信道相关的信道信息的表示;以及至少一个处理器,被配置为使用机器学习模型基于所述表示构建所述信道信息。所述机器学习模型可以是重建模型,并且所述至少一个处理器可被配置为:使用生成模型来训练所述重建模型,其中,所述生成模型可被配置为:生成所述信道信息的表示。所述至少一个处理器可被配置为:发送所述机器学习模型。所述至少一个处理器可被配置为:发送与所述机器学习模型对应的反量化函数。所述信道信息的表示可包括经变换的信道信息的表示,并且所述至少一个处理器可被配置为:对所述机器学习模型的输出进行后处理,以基于所述经变换的信道信息构建所述信道信息。所述经变换的信道信息的表示可基于变换,所述机器学习模型可以是重建模型,所述至少一个处理器可被配置为:使用生成模型来训练所述重建模型,其中,所述生成模型可被配置为:生成所述经变换的信道信息的表示,并且所述至少一个处理器可被配置为:使用可基于变换被处理的训练数据来训练所述重建模型。所述至少一个处理器可被配置为:执行对所述机器学习模型的选择,并且使用发送器指示对所述机器学习模型的选择。

一种通信系统中的方法可包括:在无线设备处确定用于所述无线设备的物理层信息,使用机器学习模型生成所述物理层信息的表示,并且从所述无线设备发送所述物理层信息的表示。所述机器学习模型可以是生成模型,所述方法还包括:使用重建模型训练所述生成模型,其中,所述重建模型可被配置为:基于所述表示重建所述物理层信息。所述方法还可包括:由所述无线设备基于资源窗口收集用于所述机器学习模型的训练数据。所述物理层信息可包括信道矩阵。所述方法还可包括:对所述物理层信息进行预处理以生成经变换的物理层信息,并且基于所述经变换的物理层信息生成所述物理层信息的表示。可基于处理许可来执行生成步骤。所述方法还可包括:基于在所述无线设备处接收到的模型标识信息来激活所述机器学习模型。所述物理层信息的表示可包括上行链路控制信息。

附图说明

不必按比例绘制附图,并且在整个附图中,为了说明的目的,相似的结构或功能的元素通常由相似的参考标号或其部分表示。附图仅旨在便于描述这里描述的各种实施例。附图没有描述这里公开的教导的每个方面,并且不限制权利要求的范围。为了防止附图变得模糊,可能没有示出所有组件、连接等,并且不是所有的组件都具有参考标号。然而,组件构造的样式从附图显而易见。附图与说明书一起示出了本公开的示例实施例,并且与描述一起用于解释本公开的原理。

图1示出根据本公开的无线通信设备的实施例。

图2示出根据本公开的无线通信设备的另一实施例。

图3示出根据本公开的双模型训练方案的实施例。

图4示出根据本公开的具有一对模型以提供信道信息反馈的系统的实施例。

图5示出根据本公开的用于报告下行链路物理层信息的系统的示例实施例。

图6示出根据本公开的用于报告上行链路物理层信息的系统的示例实施例。

图7示出根据本公开的用于报告下行链路物理层信道状态信息的系统的示例实施例。

图8示出根据本公开的机器学习模型的学习过程的实施例。

图9示出根据本公开的用于联合训练一对编码器模型和解码器模型的方法的示例实施例。

图10示出根据本公开的用于利用最新共享值训练模型的方法的示例实施例。

图11示出根据本公开的利用预处理和后处理的双模型训练方案的示例实施例。

图12示出根据本公开的使用双模型方案的系统的实施例。

图13示出根据本公开的用户设备(UE)的示例实施例。

图14示出根据本公开的基站的示例实施例。

图15示出根据本公开的用于提供物理层信息反馈的方法的实施例。

具体实施方式

在一些无线通信系统中,发送装置可以依赖于接收装置提供关于信道状况的反馈信息,使得发送装置能够通过信道更有效地向接收装置进行发送。例如,在5G新空口(NR)系统中,基站(例如,gNodeB或gNB)可通过下行链路(DL)信道向用户设备(UE)发送参考信号。UE可测量参考信号以确定关于DL信道的信道状况。随后,UE可通过上行链路(UL)信道向基站发送指示关于DL信道的信道状况的反馈信息(例如,信道状态信息(CSI))。基站可使用该反馈信息来改进其通过DL信道(例如,通过使用波束成形)向UE进行发送的方式。

然而,发送关于信道状况的反馈信息可能消耗相对大量的资源作为开销。为了减少用于发送反馈信息的数据量,一些无线通信系统可使用一种或更多种类型的码本以使得接收装置能够向发送装置发送隐含的信道状况反馈和/或明确的信道状况反馈。例如,在5GNR系统中,类型-I码本可被用于以索引的形式向gNB提供隐含的CSI反馈,其中,该索引可指向由UE基于DL信道状况选择的预定义预编码矩阵指示符(PMI)。然后,gNB可使用该PMI在DL信道中进行波束成形。作为另一示例,类型-II码本可被用于提供明确的CSI反馈,其中,在明确的CSI反馈中,UE可得出可以被反馈给gNB的PMI,gNB可使用该PMI在DL信道中进行波束成形。然而,类型-I码本的使用可能无法提供具有足够准确度的CSI反馈。此外,类型-II码本的使用可能仍然涉及在UL信道上传输大量开销数据。

根据本公开的反馈方案可使用人工智能(AI)、机器学习(ML)、深度学习等(人工智能(AI)、机器学习(ML)、深度学习等中的任意一个或全部可被单独地和/或统称为机器学习或ML)来生成用于无线通信系统的物理层信息的表示。例如,在一些实施例中,反馈方案可使用ML模型来生成针对信道状况的反馈信息的表示(例如,信道矩阵、预编码矩阵等的表示)。该表示可以是反馈信息的压缩形式、编码形式或以其它方式修改的形式,这取决于实现细节,该表示可减少在装置之间传输反馈信息所涉及的资源。

根据本公开的反馈方案还可使用机器学习来从所述表示重建物理层信息。例如,在一些实施例中,反馈方案可使用ML模型来从针对信道状况的反馈信息的表示重建反馈信息或反馈信息的近似。为方便起见,ML模型可被简称为模型。

生成输入(例如,诸如针对信道状况的反馈信息的物理层信息)的表示的模型可被称为生成模型。从输入的表示重建输入或输入的近似的模型可被称为重建模型。重建模型的输出可被称为重建的输入。因此,重建的输入可以是被应用于生成模型的输入,或者是被应用于生成模型的输入的近似、估计、预测等。生成模型和对应的重建模型可被统称为一对ML模型或一对模型。在一些实施例中,生成模型可被实现为编码器模型,并且/或者重建模型可被实现为解码器模型。因此,编码器模型和解码器模型也可被称为一对ML模型或一对模型。

出于将模型与一个或更多个其它模型区分开的目的,任意模型可被称为第一模型、第二模型、模型A、模型B等,并且用于模型的标签不旨在暗示模型的类型,除非另外从上下文显而易见。例如,在一对模型的上下文中,如果模型A是指生成模型,则模型B可指重建模型。

节点可指基站、UE或者可使用如这里所公开的一个或更多个ML模型的任何其它设备。节点的附加示例可包括UE侧服务器、基站侧服务器(例如,gNB侧服务器)、eNodeB、主节点、辅节点等,无论是逻辑节点、物理节点还是其组合皆可。出于将节点与一个或更多个其它节点区分开的目的,任意节点可被称为第一节点、第二节点、节点A、节点B等,并且用于节点的标签不旨在暗示节点的类型,除非另外从上下文显而易见。例如,在一些实施例中,第一节点可指UE,并且第二节点可指基站。然而,在一些其它实施例中,第一节点可指第一UE,并且第二节点可指被配置用于与第一UE进行侧链路通信的第二UE。

在一些示例实施例中,第一节点可使用第一模型(例如,生成模型)来对信道矩阵、预编码矩阵等进行编码,以生成可被发送到第二节点的特征向量。第二节点可使用第二模型(例如,重建模型)来对该特征向量进行解码,以重建原始信息(例如,信道矩阵、预编码矩阵等)或原始信息的近似。

根据本公开的一些实施例可实现双模型训练方案,其中,在所述双模型训练方案中可成对地训练模型。例如,重建模型可被用于训练生成模型,并且/或者生成模型可被用于训练重建模型。在一些示例实现方式中,一对模型可被配置为实现自动编码器,其中,在所述自动编码器中可利用(例如,用于第二节点的)解码器模型训练(例如,用于第一节点的)编码器模型。

在一些实施例中,可以使用实际上可由第二节点用于推断的第二模型(例如,重建模型)来训练可由第一节点用于推断的第一模型(例如,生成模型)。训练可由第一节点、第二节点和/或任意其它设备执行,例如,由可(例如,离线)训练模型并将经训练的模型中的一个或更多个模型传送到节点中的一个或更多个节点以用于推断的服务器来执行。

可选地或另外地,可使用可提供第一模型与第二模型之间的一定量的匹配的第二模型来训练第一模型,即使第二模型不是可由第二节点用于推断的实际模型也是如此。可选地或另外地,可使用针对第二模型的参考模型来训练第一模型。可选地或另外地,可使用可利用可被初始化为预定值、随机值等的权重、超参数等的值来配置的第二模型,来训练第一模型。

在一些实施例中,可使用相同或不同的训练数据集同时、依次(例如,在冻结第二模型的同时训练第一模型,然后在冻结第一模型的同时训练第二模型之间交替)以及/或者以类似方式训练一对模型。

在一些实施例中,节点可使用量化器将物理层信息的表示转换为可以更容易地通过通信信道传输的形式。例如,量化器可将物理层信息的实数(例如,整数)表示转换为可随后被应用于极化编码器或其它设备的二进制比特流以通过物理上行链路信道或物理下行链路信道进行传输。类似地,节点可使用反量化器将比特流转换为可被用于重建物理层信息的物理层信息的表示。在一些实施例中,量化器或反量化器可被认为是ML模型的一部分。例如,生成模型可包括编码器和对应的量化器,并且/或者重建模型可包括对应的反量化器。

根据本公开的一些实施例可实现用于训练模型并且/或者在节点之间传送模型的一个或更多个框架。例如,在第一类框架中,第一节点(节点A)可联合训练一对模型(模型A和模型B)。节点A可使用经训练的模型A进行推断,并将经训练的模型B传送到可使用经训练的模型B进行推断的第二节点(节点B)。在第一类框架的变型中,节点A可将经训练的模型A传送到节点B,并且节点B可使用经训练的模型A来训练其自己的模型B以用于推断。

在第二类框架中,参考模型可被建立为用于节点A的模型A,然后节点B可使用该参考模型作为模型A来训练模型B(例如,假设节点A将使用该参考模型作为模型A进行推断)。然后,节点A可将该参考模型用作模型A,而不进行进一步训练,或者节点A可继续训练该参考模型以用作模型A。在一些实施例中,可针对模型A建立多个参考模型,并且节点B可训练与针对模型A的参考模型中的一个或更多个参考模型对应的模型B的一个或更多个版本。在使用针对模型A的多个参考模型的实施例中,节点B可基于针对模型A的多个参考模型训练模型B的一个或更多个版本,并且节点B可向节点A指示它已经选择使用模型B的哪个版本、模型B的哪个或哪些版本提供最佳性能等。基于来自节点B的指示,节点A可继续利用与由节点B指示的模型B对应的参考模型,或者节点A可选择任意其它模型以用作模型A。

在第三类框架中,节点A可以以可处于任意初始状态的(例如,预训练的(例如,离线训练的)、未训练但配置有初始值、等等)模型A开始。节点B可以以也可处于任意初始状态的模型B开始。在一些实施例中,在训练它们自己的模型之前,节点A和/或节点B可具有彼此匹配(例如,一起训练)的模型。一个或两个节点可训练它们各自的模型一段时间,然后一个或两个节点可与其它节点共享经训练的模型值和/或经训练的模型。下面关于图10更详细地描述示例实施例,在图10中,第一节点(例如,UE)和第二节点(例如,基站)可具有一对模型(e

在这里公开的任意框架中,当模型被传送到节点或从节点被传送时,对应的量化器或反量化器可与该模型一起被传送。

在一些实施例中,可基于资源窗口(例如,时间资源和/或频率资源的窗口)来收集训练数据。例如,节点可被配置为收集针对特定频率范围(例如,子载波、子带等)和特定时间范围(例如,符号、时隙等)的训练数据(例如,信道估计)。可例如基于节点能够存储在存储器中的训练数据量来确定窗口的尺寸。所收集的训练数据可由一个或更多个节点用于在线训练,或者被保存以用于离线训练。

在一些实施例中,预处理和/或后处理可使得一对模型能够更有效地运行。例如,一个或更多个输入的域知识(例如,频域知识)可被用于对一个或更多个输入的至少一部分执行预处理操作以生成一个或更多个经变换的输入。可将所述一个或更多个经变换的输入应用于生成模型以生成所述一个或更多个经变换的输入的表示。可将所述一个或更多个经变换的输入的表示应用于重建模型,其中,所述重建模型可生成重建的经变换的输入(例如,所述一个或更多个经变换的输入或其近似)。域知识还可被用于对重建的经变换的输入执行后处理操作(例如,预处理操作的逆),以恢复原始的一个或更多个输入或其近似。取决于实现细节,(例如,基于域知识)对输入和/或输出进行变换可利用所述一个或更多个输入的元素之间的一个或更多个相关性,从而减少生成模型和/或重建模型的处理负担、存储器使用、功耗等。

在一些实施例中,可向节点提供用于模型的处理时间。例如,如果节点被配置为(例如,使用提供给该节点或由该节点收集的训练数据集)执行模型的在线训练,则可预计该节点在预定数量的符号内或其它时间度量内更新模型。

根据本公开的一些实施例可实现可以训练、部署和/或激活多对模型以供一个或更多个节点(例如,一对节点)使用的方案。例如,多对不同的经训练模型可被激活以处理不同的信道环境、(例如,针对信道矩阵、预编码矩阵等的)不同的矩阵维度等。在一些实施例中,可通过信令(例如,RRC信令、MAC-CE信令等)来激活一对模型。在一些实施例中,第一节点(例如,gNB)还可例如经由RRC、MAC CE或动态信令向第二节点(例如,UE)指示切换或去激活当前的活动模型。一对模型可被激活以训练一个或更多个模型,使用一个或更多个模型进行推断等。

根据本公开的一些实施例可实现用于反馈信息的表示的一种或更多种格式,其中,所述反馈信息的表示可由第一节点处的生成模型生成并被发送到第二节点以进行重建。例如,用于反馈信息的表示的格式可被建立为上行链路控制信息(UCI)的类型。格式可涉及一种或更多种类型的编码(例如,极化编码、低密度奇偶校验(LDPC)编码等),这可取决于例如用于发送UCI的物理信道的类型。

在一些实施例中,可使用AI和/或ML,例如通过利用时域、频域和/或空间域中的一个或更多个相关性,和/或通过跨时间、频率和/或空间定义训练数据集,来提高CSI压缩性能。

本公开涵盖与用于通信系统的物理层的人工智能和机器学习相关的许多发明原理。这些原理可具有独立的效用并且可被单独实施,并且不是每个实施例都会利用每个原理。此外,所述原理还可以以各种组合被实施,其中,一些组合可以以协同方式放大各个原理的益处。

出于说明的目的,可在5G NR系统中的一些特定实现细节和/或应用(诸如压缩、解压缩以及/或者在一个或更多个UE、基站(例如,gNB)之间发送信道反馈信息等)的上下文中描述一些实施例。然而,本发明原理不限于这些细节和/或应用,并且可被应用于可在无线设备之间处理和/或发送物理层信息的任意其它上下文中,而不管设备中的任意设备是否可以是基站、UE、对等装置等,并且不管信道是否可以是UL信道、DL信道、对等信道等。此外,本发明原理可被应用于可以处理和/或交换物理层信息的任意类型的无线通信系统,诸如其它类型的蜂窝网络(例如,4G LTE、6G和/或任意后代的蜂窝网络)、蓝牙、Wi-Fi等。

用于物理层的机器学习模型

图1示出根据本公开的无线通信设备的实施例。设备101可包括机器学习模型103,其中,机器学习模型103可接收物理层信息105作为输入并生成物理层信息的表示107作为输出。在一些实施方式中,如由箭头109所示,设备101可将物理层信息的表示107发送到一个或更多个其它设备。

物理层信息的表示107可以是物理层信息105的压缩形式、编码形式、加密形式、映射形式或以其它方式修改的形式。取决于实现细节,由机器学习模型103修改物理层信息105以生成物理层信息的表示107可以减少在设备之间传输物理层信息105所涉及的资源。

可利用任意类型的AI和/或ML模型(包括神经网络(例如,深度神经网络)、线性回归、逻辑回归、决策树、线性判别分析、朴素贝叶斯(Bayes)、支持向量机、学习向量量化等)中的一个或更多个模型来实现机器学习模型103。例如,可利用生成模型来实现机器学习模型103。

物理层信息105可包括与无线通信设备的物理层的操作相关的任何信息。例如,物理层信息105可包括与一个或更多个物理层信道、信号、波束等相关的信息(例如,状态信息、预编码信息等)。物理层信道的示例可包括以下项中的一项或更多项:物理广播信道(PBCH)、物理随机接入信道(PRACH)、物理下行链路控制信道(PDCCH)、物理下行链路共享信道(PDSCH)、物理上行链路共享信道(PUSCH)、物理上行链路控制信道(PUCCH)、物理侧链路共享信道(PSSCH)、物理侧链路控制信道(PSCCH)、物理侧链路反馈信道(PSFCH)等。物理层信号的示例可包括主同步信号(PSS)、辅同步信号(SSS)、信道状态信息参考信号(CSI-RS)、跟踪参考信号(TRS)、探测参考信号(SRS)等中的一个或更多个。

图2示出根据本公开的无线通信设备的另一实施例。设备202可包括机器学习模型204,其中,机器学习模型204可接收物理层信息的表示208作为输入,并生成表示208可以基于的物理层信息的重建206作为输出。在一些实施方式中,如由箭头210所示,设备202可从一个或更多个其它设备接收物理层信息的表示208。

重建206(可被称为重建的输入)可以是表示208可以基于的物理层信息、或者表示208可以基于的物理层信息的近似、估计、预测等。重建206可以是表示208可以基于的物理层信息的解压缩形式、解码形式、解密形式、逆映射形式或以其它方式修改的形式。

可利用任意类型的AI和/或ML模型(包括神经网络(例如,深度神经网络)、线性回归、逻辑回归、决策树、线性判别分析、朴素贝叶斯、支持向量机、学习向量量化等)中的一个或更多个模型来实现机器学习模型204。例如,机器学习模型204可以用重建模型来实现。

重建的物理层信息206可包括与无线通信设备的物理层的操作相关的任何信息,例如,如上面关于图1中所示的实施例所描述的一个或更多个信道、信号等。

尽管不限于任何特定用途,但是分别在图1和图2中示出的无线通信设备101和202可被一起使用以促进来自所述设备之间的物理层信息的传输。例如,在一些实施例中,设备101可被实现为模型103被实现为生成模型的UE,并且设备202可被实现为模型204可被实现为重建模型的基站。在这样的实施例中,生成模型103可通过压缩(例如,与从基站到UE的DL信道相关的)物理层信息105来生成表示107。UE可(例如,使用UL信道)向基站发送表示107。基站可将表示(被指示为208)输入到重建模型204,其中,重建模型204可生成重建的物理层信息206。基站可使用重建的物理层信息206,例如以促进从基站到UE的DL传输。取决于实现细节,以压缩的表示107的形式发送物理层信息105可以减少与发送物理层信息105相关联的UL资源量。

双模型训练

图3示出根据本公开的双模型训练方案的实施例。图3中所示的实施例300可例如与图1和图2中所示的模型中的一个或更多个模型或这里公开的任意其它实施例一起使用。

参照图3,训练数据311可被应用于生成模型303,其中,生成模型303可生成训练数据的表示307。重建模型304可基于训练数据的表示307生成训练数据的重建312。在一些实施例中,生成模型303可包括量化器,以将表示307转换为可通过通信信道传输的量化的形式(例如,比特流)。类似地,在一些实施例中,重建模型304可包括反量化器,其中,反量化器可将经量化的表示307(例如,比特流)转换为可被用于生成重建的训练数据312的形式。

生成模型303和重建模型304可例如通过使用损失函数313向生成模型303和/或重建模型304提供训练反馈314而被成对地训练。可例如使用梯度下降、反向传播等来实现训练反馈314。在生成模型303和重建模型304中的一个或两者可利用一个或更多个神经网络来实现的实施例中,训练反馈314可更新生成模型303和/或重建模型304中的权重、超参数等的一个或更多个值。

在一些实施例中,损失函数313(可例如至少部分地利用重建损失被实现)可进行运算以训练生成模型303和重建模型304,以生成与原始训练数据311接近的重建的训练数据312。这可例如通过减少或最小化损失函数313的损失输出来完成。

例如,如果训练数据311被表示为x并且重建的训练数据312被表示为

尽管没有限制训练数据的任意特定类型的表示307,但是在一些实施例中,该对模型303和304可以寻求相对于原始训练数据311降低训练数据的表示307的维度。例如,生成模型303可被训练以生成特征向量,其中,所述特征向量可标识或分离训练数据的一个或更多个特征(例如,潜在特征),这可以减少与存储和/或传输表示307相关联的开销。重建模型304可类似地被训练以基于表示307重建原始训练数据311或其近似。

一旦被训练,生成模型303和/或重建模型304就可被用于例如在分别在图1和图2中所示的无线通信设备101和202中的一个或两者或这里公开的任意其它实施例中进行推断。此外,关于图3描述的双模型训练方案可与如这里所公开的用于在无线设备之间训练模型和/或传送模型的一个或更多个框架一起被使用。关于图3描述的训练可在任何地方被执行,例如,在无线设备101处、在无线设备202处、在另一位置处(例如,在远离设备101和设备202两者的服务器处)、或者在任意这样的位置的组合处被执行。此外,一旦被训练,生成模型303和/或重建模型304中的一个或两者可被传送到另一位置以用于推断。在一些实施例中,一旦被训练,模型中的一个模型就可以被丢弃,并且剩余的模型可被使用,例如,与单独训练的模型作为一对。

用于信道信息反馈的机器学习模型

图4示出根据本公开的具有一对模型以提供信道信息反馈的系统的实施例。图4中所示的系统400可被用于实现这里所公开的设备、模型、训练方案等(包括图1、图2和图3中所示的那些)中的任意一个,或者可利用这里所公开的设备、模型、训练方案等(包括图1、图2和图3中所示的那些)中的任意一个被实现。

参照图4,系统400可包括第一无线设备401和第二无线设备402。第一无线设备401可被配置为通过信道415从第二无线设备402接收传输。为了提高通过信道415进行传输的有效性(例如,效率、可靠性、带宽等),第一无线设备401可以以信道信息405的形式向第二无线设备402提供反馈,其中,所述信道信息405可以是例如通过测量由第二无线设备402通过信道415发送的一个或更多个信号(例如,参考信号)而获得的。

第一无线设备401可使用第一机器学习模型403(在该示例中可被实现为生成模型)来生成信道信息405的表示407。第一无线设备401可例如使用另一信道、信号等416向第二无线设备402发送表示407。表示407可以是信道信息405的压缩形式、编码形式、加密形式、映射形式或以其它方式修改的形式。取决于实现细节,由机器学习模型403修改信道信息405以生成表示407可以减少将信道信息405发送到第二无线设备402所涉及的资源。

第二无线设备402可将信道信息的表示407应用于第二机器学习模型404,其中,在该示例中,第二机器学习模型404可被实现为重建模型。重建模型404可生成信道信息405的重建406。重建406(可被称为重建的输入)可以是表示407可以基于的信道信息405、或者信道信息405的近似、估计、预测等。重建406可以是信道信息405的解压缩形式、解码形式、解密形式、逆映射形式或以其它方式修改的形式。第二无线设备402可使用信道信息405来改进第二无线设备402通过信道415向第一无线设备401进行发送的方式。

图4中所示的系统400不限于任何特定设备(例如,UE、基站、对等装置等)、应用(例如,4G、5G、6G、Wi-Fi、蓝牙等)和/或实现细节。然而,出于说明发明原理中的一些发明原理的目的,可在5G NR系统的上下文中描述一些示例实施例,其中,在5G NR系统中UE可从gNB接收不同的DL信号。

上行链路和下行链路传输

在NR系统中,UE可从gNB接收包括各种信息的DL传输。例如,UE可按照被称为物理下行链路共享信道(PDSCH)的时间和频率资源的特定配置从gNB接收用户数据。gNB处的媒体访问控制(MAC)层可提供旨在被传送到UE侧处的对应MAC层的用户数据。UE的物理(PHY)层可接收在PDSCH上接收的物理信号,并将其作为输入应用于PDSCH处理链,其中,PDSCH处理链的输出可作为输入被馈送到UE处的MAC层。类似地,UE可使用物理下行链路控制信道(PDCCH)从gNB接收控制数据。控制数据可被称为下行链路控制信息(DCI),并且可通过gNB侧上的PDCCH处理链被转换为PDCCH信号。

UE可分别使用物理上行链路共享信道(PUSCH)和物理上行链路控制信道(PUCCH)来向gNB发送UL信号以传送用户数据和控制信息。PUSCH可由UE MAC层使用以将数据传送到gNB。PUCCH可被用于传送控制信息,其中,所述控制信息可被称为上行链路控制信息(UCI),上行链路控制信息(UCI)可通过UE侧处的PUCCH处理链被转换为PUCCH信号。

信道状态信息

在NR系统中,UE可包括信道状态信息(CSI)生成器,其中,信道状态信息(CSI)生成器可计算信道质量指示符(CQI)、预编码矩阵指示符(PMI)、CSI参考信号资源指示符(CRI)和/或秩指示(RI),其中,信道质量指示符(CQI)、预编码矩阵指示符(PMI)、CSI参考信号资源指示符(CRI)和/或秩指示(RI)的任意一个或全部可被报告给服务于UE的一个或更多个gNB。CQI可与用于自适应调制和编码以及/或者频率选择性资源分配的调制和编码方案(MCS)相关联,PMI可被用于依赖于信道的闭环多输入多输出系统,并且RI可对应于有用传输层的数量。

在NR系统中,可基于由gNB发送的CSI参考信号(CSI-RS)来执行CSI生成。UE可使用CSI-RS来测量下行链路信道状况,并且例如通过基于CSI-RS信号的测量执行信道估计和/或噪声方差估计来生成CSI。

在NR系统中,可使用类型-I码本向服务gNB报告CSI,其中,类型-I码本可以以可指向预定义PMI的索引的形式向gNB提供隐含的CSI反馈。可选地或另外地,可使用类型-II码本向服务gNB报告CSI,其中,类型-II码本可提供明确的CSI反馈,其中,在明确的CSI反馈中,UE可基于DL信道状况来确定一个或更多个主特征向量或奇异向量。然后,UE可使用主特征向量或奇异向量来推导可被反馈给gNB的PMI,该gNB可使用该PMI在DL信道中进行波束成形。

例如,在具有有限数量的天线端口和/或用户的实施例中,码本的使用可以提供足够的性能。然而,在具有较大数量的天线端口和/或用户的系统(例如,多输入多输出(MIMO)系统)中,并且特别是在使用频分双工(FDD)的情况下,类型-I码本的相对低分辨率可能无法提供具有足够准确度的CSI反馈。此外,类型-II码本的使用可能仍然涉及在UL信道上传输大量的开销数据。

取决于实现细节,根据本公开的基于机器学习的信道信息反馈方案的一些实施例可使得UE能够向gNB发送完整的CSI信息,同时能够减少与到gNB的UL传输相关联的开销。此外,本发明原理不限于UE向gNB发送CSI,而是可被应用于第一设备可向第二设备发送信道信息反馈的任何情况(例如,报告针对从UE到gNB的上行链路信道的信道状况,报告针对UE之间的侧链路信道的信道状况等)。

示例实施例

图5示出根据本公开的用于报告下行链路物理层信息的系统的示例实施例。系统500可包括UE 501(可被指定为节点B)和gNB 502(可被指定为节点A)。gNB 502可向UE501发送DL信号517的传输(例如,参考信号(RS)传输),其中,UE 501可从该传输提取测量518。UE501可包括模型503,其中,模型503可被配置为例如编码器以将测量518编码为与DL物理层相关的特征向量。然后,经编码的测量可由量化器519量化,并作为UL信号520(例如,比特流)被发送回gNB 502。在一些实施例中,节点处的模型的描述还可包括量化器和/或反量化器描述,例如,可将编码器模型的输出处的信道信息(例如,真实CSI码字)映射为量化的值或比特流的函数,且在另一节点处的解码器模型处反之亦可。gNB 502可将接收到的UL信号520应用于反量化器521以生成等效特征向量,其中,所述等效特征向量可被馈送到模型504以提取与DL物理层相关的信息522(例如,必要的或可选的信息)。

图6示出根据本公开的用于报告上行链路物理层信息的系统的示例实施例。在一些方面,图6中示出的系统600可类似于图5中示出的系统500,但是系统600可被配置为报告上行链路物理层信息而不是下行链路物理层信息。

具体地,系统600可包括gNB 601(可被指定为节点B)和UE 602(可被指定为节点A)。UE 602可向gNB 601发送UL信号617的传输(例如,参考信号(RS)传输),gNB 601可从该传输提取测量618。gNB 601可包括模型603,其中,所述模型603可被配置为例如编码器以将测量618编码为与UL物理层相关的特征向量。然后,经编码的测量可由量化器619进行量化,并作为DL信号620(例如,比特流)被发送回UE 602。UE 602可将接收到的DL信号620应用于反量化器621,以生成等效特征向量,其中,所述等效特征向量可被馈送到模型604以提取与UL物理层相关的信息622(例如,必要的或可选的信息)。

图7示出根据本公开的用于报告下行链路物理层信道状态信息的系统的示例实施例。取决于实现细节,图7中示出的系统700可在使用ML模型来压缩CSI(例如,将CSI压缩为相对低数量的比特)时,使得gNB或其它基站能够从UE检索完整的CSI信息(例如,与基于码本的指针、预编码矩阵指示符等不同),从而减少发送CSI时涉及的上行链路资源开销。

系统700可包括UE 701和gNB 702。gNB 702可发送诸如CSI-RS或解调参考信号(DMRS)的DL参考信号717,CSI-RS或解调参考信号(DMRS)可使得UE 701能够确定针对DL信道715的CSI 718。UE 701可包括ML模型703,其中,ML模型703可被配置为编码器以将CSI718编码为特征向量。UE 701还可包括量化器719,其中,量化器719可将特征向量量化为可使用UL信号720被发送到gNB 702的比特流。gNB 702可包括可从比特流重建特征向量的反量化器721。然后,特征向量可被馈送到ML模型704,其中,ML模型704可被配置为解码器以重建CSI 718的估计722。

在一些实施例中,性能度量

其中,H和

另外地或可选地,系统700可被配置为使得UE 701能够使用DL参考信号717以基于当前信道状况来确定预编码矩阵。然后,预编码矩阵可由编码器模型703编码为特征,由量化器719进行量化,并使用UL信号720被发送到gNB 702。在gNB 702处,反量化器721可恢复特征向量,其中,所述特征向量可被应用于解码器模型704以重建预编码矩阵的估计。例如,对于信道实现H,可使用对H的奇异值分解(SVD)将合适的预编码矩阵实现为奇异向量的集合S,其中,对H的奇异值分解(SVD)可被给出为H=S∑D,其中,∑可以是对角矩阵,并且D可以是酉矩阵(unitary matrix)。在这样的实施例中,编码器模型703、解码器模型704、量化器719和/或反量化器721可被配置为使得gNB 702能够提取奇异向量的集合(例如,矩阵)S,并且可以相应地实现性能度量。尽管图7中所示的实施例报告下行链路物理层信息,但是其它实施例可被配置为使用根据本公开的类似原理来报告上行链路物理层信息、侧链路物理信息等。

模型开发、训练和操作

人工智能(AI)、机器学习(ML)、深度学习等(如上所述,人工智能(AI)、机器学习(ML)、深度学习等中的任意一个或全部可被单独地和/或被统称为机器学习或ML)可提供根据本公开的用于推断数据的一个或更多个函数(例如,复杂函数)的技术。在机器学习过程中,数据的样本可被提供给ML模型,其中,ML模型又可以应用各种机器学习技术中的一种机器学习技术,以学习如何使用所提供的数据样本来确定所述一个或更多个函数。例如,机器学习过程可使ML模型学习数据样本输入x的函数f(x)。如上所述,ML模型也可被称为模型。

在一些实施例中,机器学习过程(也可被称为开发过程)可在诸如训练、验证、测试和/或推断的一个或更多个阶段(也可被称为时期)中进行(也可被称为应用阶段)。一些实施例可省略这些阶段中的一个或更多个阶段,并且/或者包括一个或更多个附加阶段。在一些实施例中,一个或更多个阶段的全部或一部分阶段可被组合为一个阶段,并且一个阶段可被划分成多个阶段。此外,阶段或其部分的顺序可被改变。

在训练阶段,模型可被训练以执行一个或更多个目标任务。训练阶段可涉及训练数据集的使用,其中,所述训练数据集可包括i)数据样本,以及ii)函数f(x)针对训练数据集中的样本(例如,每个样本)的结果。在训练阶段中,一种或更多种训练技术可使得模型能够学习可表现为函数f(x)或与函数f(x)紧密相关的近似关系(例如,近似函数)。

在验证阶段,(例如,在执行初始训练之后)模型可被测试以评估经训练的模型对一个或更多个目标任务的适合度。如果验证结果不令人满意,则模型可经历进一步训练。如果验证阶段提供了成功结果,则可认为训练阶段成功完成。

在测试阶段中,经训练的模型可被测试以评估经训练的ML模型对一个或更多个目标任务的适合度。在一些实施例中,除非训练完成并且验证提供了成功结果,否则经训练的模型可不进行到测试阶段。

在推断阶段,经训练的模型(例如,在现实世界应用中)被用于执行一个或更多个目标任务。

在测试和/或推断阶段,模型可使用经由训练时期已经获得的学习到的近似函数来确定可与训练时期中的样本不同的其它数据样本的函数值f(x)。

在一些实施例中,机器学习过程的成功和/或执行可以涉及对足够大的训练数据集的使用,其中,所述训练数据集可包含足够的关于函数f(x)的信息,并且因此使得模型能够通过训练阶段获得函数f(x)的可接受的接近的近似。

图8示出根据本公开的机器学习模型的学习过程的实施例。过程800可在操作823开始,在操作823,训练过程可被初始化。例如,模型的结构可被确定,模型的值(例如,神经网络权重、超参数等)可被初始化,具有足够数量的样本的训练数据集可被构建,等等。

在操作824,可使用训练数据集来训练初始化的模型,以例如通过使用梯度下降、反向传播等更新神经网络权重、超参数等的值来确定候选的经训练的模型的配置。

在一些实施例中,训练数据集的构建与训练阶段之间可能存在相互关系。例如,训练阶段可涉及相对大的持续时间来完成,并且该持续时间可取决于训练数据集中的样本的数量。该持续时间又可取决于训练的类型。例如,对于完全训练和/或初始训练,模型可被初始化,并且可使用可由许多样本(例如,先前可能尚未被用于训练模型的样本)组成的大数据集来执行训练。作为另一示例,对于部分训练和/或更新训练,模型可被预先训练(或部分训练),并且事件(例如,获得新数据样本、模型的性能劣化、模型更新事件等)可提示对模型进行修改或适配。在部分训练和/或更新训练的情况下,可使用修改的数据集来训练模型,其中,所述修改的数据集可与用于完全训练和/或初始训练的大训练数据集不同。例如,所述修改的训练数据集可以是用于初始训练的完整数据集的子集、已经新获取的新数据样本的集合、或其组合。

在操作825,经训练的候选模型可被验证。在一些实施例中,验证阶段825可与训练阶段824被迭代地执行。例如,如果候选模型未通过验证阶段825,则该候选模型可返回到训练阶段824,训练阶段824可生成新的候选模型。在一些实施例中,不同的标准(例如,分类准确度、最小均方误差(MMSE)等)可被建立以确定验证成功或失败。

在一些实施例中,可不允许失败的候选模型返回到训练阶段824(例如,在失败超过阈值的次数之后,或者如果性能标准在特定持续时间或特定数量的验证步骤内没有超过阈值),并且该方法可在操作826处终止。然而,如果使用验证数据的候选模型的性能(例如,基于用于确定成功或失败的标准)被确定为可接受的,则可认为验证成功,并且经训练的候选模型可在操作827被传到测试阶段。

在操作827,已经通过验证阶段的经训练的模型候选的性能可被评估。用于在开发的测试阶段期间声明模型的成功测试和/或失败的标准可类似于在验证阶段中使用的标准。然而,在测试阶段期间与该标准一起使用的一个或更多个参数(例如,步骤数、性能阈值等)可以或可以不与验证阶段中使用的参数不同。

如果测试成功,则该模型可被指定为最终模型,并且所述过程可进行到操作828。在一些实施例中,如果模型未通过测试阶段,则所述过程可返回到操作824处的训练阶段以进行进一步训练。然而,在一些实施例中,可不允许(例如,基于与在验证阶段825期间使用的标准类似的标准)进一步训练,并且所述过程可在操作826终止。

模型训练和部署框架

根据本公开的一些实施例可实现用于训练和/或部署模型的一个或更多个框架。在这里公开的框架的一些实施例中,可相较于针对节点的一个或更多个参考模型来测试由该节点训练和/或开发的一个或更多个模型,例如,以评估模型与可针对相应应用指定的一个或更多个潜在测试案例的符合度。

在这里公开的框架的实施例中的任意实施例中,量化器函数可在量化器范围的一些或全部范围中(例如,基本上在整个范围中)是可微的,导数值基本上为零(例如,概率为1)。取决于实现细节,这可能导致可提供很少或不提供更新编码器权重的反向传播。因此,在一些实施例中,量化器函数可在训练时期中利用可被称为f

尽管这里公开的框架不限于任何特定应用和/或实现细节,但是在一些实施例中,并且取决于实现细节,所述框架可被用于训练和/或测试可以减少CSI反馈开销的模型。

联合训练框架

在一些实施例中,一对模型(例如,模型A和模型B)可由两个节点(节点A或节点B)中的一个节点联合训练,并且用于非训练节点的经训练的模型可被传送到该非训练节点(例如,如果联合训练由节点A执行,则经训练的模型B可被传送到节点B)以用于推断。例如,在CSI压缩的上下文中,基站可执行一对编码器模型和解码器模型的联合训练,并且然后将编码器模型传送到UE。编码器模型也可被称为编码器,并且解码器模型也可被称为解码器。

在联合训练框架的一些实施例中,经训练的模型中的一个或两者的进一步训练(例如,微调)可由下述节点执行(例如,以改进或优化所述模型中的一个或两者):在所述节点处该模型可被用于推断。在一些实施例中,进一步训练可基于例如在正在进行的通信期间可由节点中的一个或更多个节点获得的在线数据。

在联合训练框架的一些实施例中,训练节点可使用对应的量化器函数和/或反量化器函数(例如,近似的和/或可微的量化器函数和/或反量化器函数)来训练一个或两个模型。接收经训练的模型的节点还可接收并使用对应的量化器函数和/或反量化器函数以进行进一步训练、验证、测试、推断等。

在一些实施方式中,节点对模型的联合训练可能产生可与目标任务联合匹配的模型,并且因此可以提供提高的或优化的性能。取决于实现细节,这种性能提高可能比以下项重要:与将模型传送到不同节点相关联的任何通信开销、和/或例如由可由与其它节点不同的制造商生产的一个节点处的联合训练引起的模型和/或节点之间的任何不匹配。

在联合训练框架的变型中,一个节点(例如,基站)可联合训练一对编码器模型和解码器模型。例如,可使用如上所述的参考可微量化器函数和反量化器函数来训练编码器和解码器对。然后,基站可例如经由RRC信令与UE共享经训练的解码器模型。然而,基站可以或可以不与UE共享经训练的编码器模型。如果基站与UE共享经训练的编码器模型,则UE可使用经训练的编码器模型作为参考编码器模型。如果基站不与UE共享经训练的编码器模型,则UE可基于例如随机初始化的权重、可为UE实现选择的权重、或者任意其它基础,来建立参考编码器模型。

然后,UE可使用其从基站接收的经训练的解码器模型来训练参考编码器模型。可在线训练(可指可以在操作期间执行的训练)参考编码器模型。在一些实施方式中,可在运行(fly)中执行在线训练(可指使用可在操作期间收集的训练数据(例如,信道估计H)执行的训练)。因此,UE可使用可随时间收集的信道估计H来训练参考编码器模型。例如,在训练期间的特定点处,所收集的信道估计可被用作新的训练数据集。此外,还可存储所收集的信道估计H以供UE或任意其它设备将来进行在线和/或离线训练。

然后,UE可使用经训练的编码器模型进行推断。UE还可与基站共享经训练的编码器模型。该训练过程可随着更多的训练样本(例如,信道估计H)被收集并被UE用于训练而继续进行。

图9示出根据本公开的用于联合训练一对编码器模型和解码器模型的方法的示例实施例。在操作929,基站可使用训练数据集来联合训练一对参考编码器模型和解码器模型,其中,所述一对参考编码器模型和解码器模型可被称为Enc

算法1

这里公开的任意训练和部署框架可与任意类型和/或组合的设备一起使用,并且与任意类型的模型和/或物理层信息一起使用。例如,即使在图8所示的实施例中,基站执行初始联合训练,并且编码器和解码器可利用信道估计而被训练和使用,但是在其它实施例中,联合训练可由UE或任意其它设备执行,并且模型可利用预编码矩阵或任意其它类型的物理层信息而被训练和使用。

在一些实施例中,诸如UE或基站的节点可在窗口(例如,明确的时间和/或频率窗口)内收集新训练数据。例如,可使用所收集的数据来例如构建节点可用于训练模型的训练数据集。窗口可利用可由例如基站确定的开始时间和/或结束时间来配置。在一些实施例中,可例如从一个或更多个CSI-RS资源测量用于确定数据收集窗口的时间线。

可选地或另外地,可如下执行在线训练。第一节点(基站)可具有第一模型,而第二节点可具有第二模型,其中,第二模型可与第一模型形成一对。在一些实施例中,第一节点和第二节点可在连接模式(例如,RRC连接模式)下操作。节点中的一个或两者可能通过其它节点的共享而已经获得了它们的模型。在该示例中,节点中的一个节点可以是基站,并且另一节点可以是UE。

基站可为UE配置预定的在线训练数据集,并且两个节点都可以使用所述预定的在线训练数据集以更新它们各自的模型。当节点更新它自己的模型时,可假设另一节点处的另一模型被冻结。在一些实施例中,可指定一个或更多个在线训练数据集(例如,作为规范的一部分和/或由第三节点提供给UE和/或基站)。一旦第一节点更新其第一模型(例如,编码器或解码器),它就可与第二节点共享更新的第一模型,并且假设第一模型被冻结的情况下,第二节点可开始训练其第二模型。模型可继续在周期性训练和冻结它们的模型之间交替,例如,直到达到结束时间为止。

尽管可在UE可更新和使用编码器的上下文中描述上面公开的实施例,但是在具有在线训练的一些实施例中,UE和基站(或具有一对模型的任意两个其它节点,诸如被配置用于边带通信的两个UE)都可收集新训练数据并使用新训练数据来更新它们自己的模型(例如,编码器或解码器)或两个模型(例如,可被配置为例如自动编码器的编码器和解码器两者)。

在一些实施例中,第一节点可通过将训练数据作为数据或控制信息发送来与第二节点共享新收集的训练数据(例如,信道矩阵)。例如,UE可生成一个或更多个信道矩阵的二进制表示,并且遵循用于上行链路传输的常规过程(即,编码、调制等)使用PUSCH或PUCCH来发送该表示。

可选地或另外地,UE可使用如当前训练的它的编码器来对其已经获得的信道矩阵进行编码。UE可向基站发送经编码的信道矩阵(可被称为CSI码字)。然后,基站可使用它的当前训练的解码器来恢复信道矩阵。然后,基站可将恢复的信道矩阵包括在新的训练数据集中,其中,所述新的训练数据集可被用于基站处的进一步(例如,在线)训练。

在一些实施例中,除了在节点之间交换训练数据之外,一个或更多个节点还可与另一节点共享其最新训练的模型(例如,编码器和/或解码器)。可按间隔执行训练数据和/或模型的共享(例如,可在模型被更新时发送该模型),这可管理这种共享中所涉及的通信开销量。

在具有模型的在线训练的框架中,节点可使用存储器缓冲器来存储所收集的物理层信息(例如,从时间t

在一些实施例中,节点可声明数据缓冲能力,其中,所述数据缓冲能力可例如与从收集的训练数据构建的训练数据集的大小相关。取决于实现细节,这可以减少或防止超过用于新训练数据的存储器缓冲器的能力的问题。例如,节点可基于以下项申明或被指定预定存储器缓冲器能力:(1)用于获得训练数据和/或基于所获得的训练数据更新模型的时间间隙(例如,最大时间间隙);(2)节点预期用于构建训练集的时间窗口内的参考信号(例如,CSI-RS)的最大数量;或者(3)用于构建训练数据集的参考信号(例如,CSI-RS)的短周期。节点可能利用可能违反所述预定存储器缓冲器能力的一个或更多个参考信号和/或时间窗口来配置的情况可被认为是错误情况。

可选地或另外地,当发生违反节点的预定存储器缓冲器能力时,默认行为可被定义。例如,如果参考信号和/或时间窗口的配置违反节点的存储器缓冲器能力,则节点可仅存储和/或使用所收集的训练数据的子集来更新模型。例如,如果UE报告在窗口内有最多N_max个CSI-RS,并且gNB在窗口内配置更大数量的N_(CSI-RS)个CSI-RS,则UE可仅使用N_(CSI-RS)个CSI-RS中的N_max个CSI-RS来更新模型。可基于UE实现方式和/或根据一个或更多个配置的和/或固定的规则来确定UE如何选择使用哪些CSI-RS(例如,UE可使用N_(CSI-RS)个资源中的最近的N_max个资源)。

在一些实施例中,用于收集的训练数据的缓冲器尺寸可以基于节点实现方式,例如,不涉及规范。例如,如果UE的训练数据缓冲器溢出,则UE可停止存储新收集的数据(例如,矩阵)并继续利用缓冲器中的数据来更新模型。在一些实施例中,一旦模型被更新,UE就可以刷新缓冲器,然后再次开始收集新训练数据。

在一些实施例中,UE可使用共享的缓冲器来存储新训练数据。共享的缓冲器的示例可包括已经用于存储其它信道的一个或更多个缓冲器,例如,PDSCH缓冲器、主CCE LLR缓冲器等。在这样的实施例中,由于共享的缓冲器空间可能已经基于其它专用用途而被完全或部分地占用,可基于可用性来使用共享的缓冲器空间。在一些实施例中,所收集的训练数据的缓冲可基于节点实现方式。

利用参考模型的训练框架

在根据本公开的一些框架中,参考模型可被建立为用于节点A的模型A,并且然后节点B可将该参考模型用作模型A来训练模型B(例如,假设节点A将使用该参考模型作为模型A进行推断)。然后,节点A可将该参考模型用作模型A,而不进行进一步训练,或者节点A可继续训练该参考模型以用作模型A。在一些实施例中,可针对节点A提供和/或指定一个或多个模型A,并且节点B可在节点B处使用可被假设为用于节点A的参考模型中的一个或多个参考模型的模型A来训练一个或更多个模型B。例如,节点B可使用假设是针对模型A指定的一个参考模型的模型A来训练模型B的第一版本。节点B还可训练模型B的第二版本,其中,假设模型A是另一参考模型,以此类推。

可例如通过规范、信令(例如,在UE进行RRC连接之后从基站到UE的RRC信令)等来建立参考模型。

在一些实施例中,节点B可通知节点A它已经选择使用哪些参考模型来训练模型A的不同版本。在只有一个可用于模型A的参考模型的情况下,可以不涉及通信,这是因为参考模型可以是隐含已知的。节点B可向节点A通知可用于训练模型B的版本的多个参考模型中的一个参考模型;该模型可对应于例如提供了最佳性能的参考模型。可选地或另外地,节点B可向节点A通知多个参考模型中的参考模型的子集;该子集可包括性能最佳的参考模型的集合。

无论从节点B到节点A的任意信令如何,节点A可以或可以不向节点B指示它已经选择了哪个参考模型。指示参考模型可以用于例如建立节点A与节点B之间的共识,而不指示参考模型可以减少信令开销。在利用多个参考模型的实现中,如果性能最佳的模型的子集仅包括一个参考模型(例如,仅一个参考模型从节点B到节点A被指示为性能最佳的参考模型),则节点A可不向节点B提供指示,这是因为节点A的选择可被节点B隐含地知道。

一旦针对节点A建立了参考模型,节点A就可以将该参考模型用作模型A或继续训练该参考模型。取决于实现细节,将该参考模型用作模型A(例如,在有很少训练或调整或者没有进一步训练或调整的情况下)可在两个模型之间提供相对高水平的匹配(例如,最佳匹配),这是因为在假设该参考模型用于模型A的情况下,节点B可训练模型B。如果节点B使用多个参考模型来训练模型B的不同版本,则节点A可使用与模型B的经训练的版本中的任意版本对应的参考模型;这可涉及在节点A与节点B之间建立将使用模型B的哪个经训练的版本的共识(例如,节点B可向节点A传送模型B的哪个经训练的版本被使用,或者节点A可向节点B通知使用哪个模型)。

不是在不进行进一步训练的情况下将参考模型用作模型A,而是节点A可继续训练模型A。这在例如参考模型不适合于当前网络状态(例如,如果模型将被用于CSI压缩和解压缩,则为无线环境)的情况下会是有益的。因此,使节点A进一步训练(例如,调整或优化)模型A可使得模型能够匹配当前网络状态。然而,当训练模型B时,从由节点B假设的参考模型改变模型A可能导致两个模型之间的潜在不匹配,这进而可能导致性能下降。

在一些实施例中,可训练模型A以克服这种潜在不匹配。例如,为了训练模型A,节点B可将模型B发送到节点A,因此模型A的训练可以基于由节点B用作模型B的实际模型。

如果存在模型B的多个经训练的版本,则节点B可传送模型B的经训练的版本的子集,并且节点A可针对传送的模型B的版本训练多个对应模型A。在这样的实施例中,模型A和模型B可进行通信以建立可以选择使用哪对模型A和模型B的共识。取决于实现细节,共享模型A的多个版本可使节点A和/或节点B通过在传送的模型中选择性能可能最佳的模型A和模型B的最佳对来提高(例如,优化)性能。可选地,为了减少通信开销,节点B可传送模型B的多个版本中的一个版本,并且节点A可训练与传送的模型B的版本对应的模型A。

可选地或另外地,如果节点A继续训练模型A,则节点A可训练模型B的试验版本以模仿由节点B使用的实际模型B。试验模型B与实际模型B之间的相似程度可取决于模型B的设计和/或架构、用于训练模型B的试验版本的训练数据集和/或用于训练模型B的试验版本的训练过程(例如,权重、超参数等的初始化)。如果存在已经由节点B训练的模型B的多个经训练的版本,则节点A可训练模型B的多个对应的试验版本。可选地,节点A可使用与针对模型A的可用参考模型中的每个可用参考模型对应的模型B的试验版本来训练多个模型A;这可能是非常有用,因为这可使得节点A能够在被节点B通知节点B已经选择了哪个或哪些参考模型之前训练模型A。在这样的实施例中,模型A和模型B可进行通信以建立可选择使用模型A和模型B的哪一对的共识。

为了进一步降低试验模型B与实际模型B之间的不匹配,节点B可与节点A共享一些辅助信息。取决于实现细节,共享辅助信息可以帮助节点A以会产生与实际模型B类似的试验模型B的方式训练试验模型B。辅助信息的示例可包括初始化值(例如,由节点B用于训练实际模型B的随机种子、初始网络权重等)、一个或更多个优化算法、用于特征选择的一个或更多个算法、用于数据预处理的一个或更多个算法、关于神经网络的类型的信息(例如,递归神经网络(RNN)、卷积神经网络(CNN)等)、关于模型的结构的信息(例如,层的数量、每层的节点的数量等)、关于训练数据集的信息等。使用该信息可被强制执行(例如,经由规范)或者可被留给节点的实现。

在一些实施例中,用于节点A和/或节点B的参考模型可(例如,在规范中)被指定例如用于测试目的。这样的实施例可不涉及节点A和/或节点B使用哪个模型的任何指示。例如,当gNB使用一个或更多个参考模型时,可以预期UE满足一个或更多个性能规范。取决于实现细节,这可提供关于节点将使用哪些模型来获得针对机器学习任务的合适性能的部署的指南。在一些实施例中,例如,作为规范的一部分,可针对机器学习CSI压缩任务建立一个或更多个性能要求。

在利用参考模型的框架的一些实施例中,节点可使用对应的量化器函数和/或反量化器函数(例如,近似和/或可微的量化器函数和/或反量化器函数)来训练包括参考模型的任意模型,并且任意模型也可使用对应的量化器函数和/或反量化器函数进行进一步训练、验证、测试、推断等。

利用最新共享值的训练框架

在根据本公开的一些框架中,节点A可以以可处于任何初始状态(例如,经过预训练(例如,离线训练)、未被训练但利用初始值配置等)的模型A开始。节点B可以以也可处于任何初始状态的模型B开始。一个或两个节点可训练它们各自的模型一段时间(可被称为训练循环或迭代),然后一个或两个节点可以或可以不与其它节点共享经训练的模型值和/或经训练的模型。在一些实施例中,可例如在循环的开始或结束时直接或间接地向一个或两个节点提供新的训练数据集。节点A和节点B可例如在不进行任何模型交换的情况下利用它们对另一节点处的模型的权重的最新知识来训练它们各自的模型。

第一节点可利用(例如,由第二节点反馈的)最新权重在假设第二节点(例如,基站处的解码器)处的模型被冻结的情况下训练其模型(例如,UE可训练编码器)。第一节点可训练其模型并更新其权重例如最大次数(例如,针对编码器的K

在该框架的变型中,在节点中的一个或更多个节点与另一节点共享模型状态信息(例如,权重)之后,例如,在共享循环结束时,节点中的一个或两个节点可开始另一共享循环。例如,两个节点可在假设另一节点上的模型的值被冻结为由该另一节点共享的最新值的情况下训练它们的模型。在特定时间点,或者在由第一节点和/或第二节点执行了特定次数的训练循环之后(例如,在另一共享循环的结束时),一个或两个节点可停止训练并与每个其它节点共享其最新训练的模型。在一些实施例中,在开始时,共享的模型(例如,可例如通过离线训练、握手等初始化的完全共享的模型)可被用于最新共享权重的初始值。

图10示出根据本公开的用于利用最新共享值训练模型的方法的示例实施例。出于说明的目的,可在具有用于CSI的编码模型的UE和具有用于CSI的解码模型的基站的上下文中描述图10中示出的方法,但是原理可被应用于任意类型的节点和/或物理层信息。

参照图10,在第一共享循环1035-1开始时,如共享点1036-0所示,编码器模型可处于初始状态e

例如,在UE的第一训练循环之后,UE的编码器模型和解码器模型可具有状态(e

类似地,在基站的第一训练循环之后,基站的编码器模型和解码器模型可具有状态(e

在共享循环1035-1结束时的共享点1036-1处,UE可将其经训练的编码器模型发送给基站,并且基站可将其经训练的解码器模型发送给UE。因此,UE和基站两者可具有状态为(e

在一些实施例中,UE和/或基站可在此时停止训练,并且开始使用其经训练的编码器模型和解码器模型进行推断。然而,在一些其它实施例中,UE和/或基站中的一个或两者可开始另一共享循环1035-2。例如,UE随后可通过在其解码器模型保持在状态d

在共享循环1035-2结束时的共享点1036-2处,UE可将其经训练的编码器模型发送给基站,并且基站可将其经训练的解码器模型发送给UE。因此,UE和基站两者可具有状态为(e

图10中所示的实施例的特殊情况是当M或N=0时,如果M>>N,或者如果N>>M。例如,在N=0且M>0的情况下,基站可不在共享循环期间更新解码器模型(例如,可不执行任何训练循环)。然而,UE可在与基站共享其编码器之前训练其编码器M次。类似地,在M=0且N>0的情况下,UE可不更新其编码器模型,而基站可在与UE共享其解码器模型之前更新其解码器模型N次。取决于实现细节,这些特殊情况中的一种或更多种情况在例如节点中的一个节点难以或不能获得用于在该节点处进行在线训练的训练数据集的情况下可能是有益的。在这种情况下,可访问(或更容易访问)训练数据的节点可继续在线训练,这可使得继续训练的节点能够向无法访问训练数据或对训练数据访问受限的其它节点提供经训练的模型。

也可以以交织和/或交替的方式来执行特殊情况。例如,两个节点可以以变量M或N之一等于零而另一变量大于零开始。一旦具有适用模型的模型被更新由非零变量确定的次数且被与其它节点共享,则该非零变量可以取零值,而另一变量变为非零。该过程可以以M和N交替地取零值而继续。这样的交织训练过程可使第一节点(例如,UE或gNB)训练其模型(例如,编码器或解码器)多次,而第二节点处的模型被冻结。然后,在第一节点与第二节点共享其经训练的模型之后,第二节点可训练其模型多次,而第一节点的模型被冻结,以此类推。

在一些实施例中,非零变量的值可能影响经训练的模型对的性能。例如,如果共享点之间的时间相对较大,则经训练的模型(e

在这里公开的框架中的任意框架中,节点可使用对应的量化器函数和/或反量化器函数(例如,近似和/或可微的量化器函数和/或反量化器函数)来训练包括参考模型的任意模型,并且任意模型也可使用对应的量化器函数和/或反量化器函数进行进一步训练、验证、测试、推断等。

利用这里公开的框架中的任意框架,节点中的一个或更多个节点可将收集的训练数据和/或数据集(例如,信道估计、预编码矩阵等)传送到可训练模型中的一个或更多个模型的另一设备。例如,UE和/或基站可将收集的在线训练数据以及/或者一个或更多个模型上传到服务器(例如,基于云的服务器),其中,所述服务器可使用上传的训练数据来训练模型中的一个或更多个模型,并将一个或更多个经训练的模型下载到UE和/或基站。

这里公开的框架中的任意框架可被修改,使得第一类节点可训练用于另一类节点的模型,并且与第二类节点的多个实例共享经训练的模型。例如,基站可针对其解码器训练编码器,并且与多个UE共享经训练的编码器。UE中的一个或更多个UE可应用共享的编码器,以压缩UE处的CSI并且/或者使用共享的编码器进行进一步在线训练。此外,可在节点之一不是基站(例如,是被配置用于侧链路通信的两个UE或其它对等装置)的系统中实现这里公开的框架中的任意框架。在这样的实现方式中,UE可针对其编码器训练解码器,并且与一个或更多个其它UE共享经训练的解码器,其中,所述一个或更多个其它UE可使用经训练的解码器进行直接推断并且/或者将经训练的解码器用作初始值(例如,权重)的源进行进一步在线训练。

模型共享机制

在一些实施例中,节点可使用任何类型的通信机制(诸如一个或更多个上行链路和/或下行链路信道、信号等)来传送模型、权重等。例如,在触发编码器模型的共享时,UE可使用一个或更多个MAC控制元素(MAC CE)PUSCH来向gNB发送编码器模型和/或权重。类似地,gNB可使用一个或更多个MAC CE PDSCH向一个或更多个UE发送解码器模型和/或权重。

取决于实现细节,由于模型可能相对较大并且可能消耗相对大量的下行链路和/或上行链路资源用于共享,共享权重的完整集合可能是低效的。

一些实施例可建立可被称为模型本(book)的一组或多组量化模型。在由节点训练模型时,如果共享被请求,则节点可将模型映射到模型本中的量化模型之一。模型本中的一个或更多个模型本可在节点之间被共同共享。节点可发送模型本中的映射的模型的索引,而不是发送模型。取决于实现细节,这可减少与模型共享相关联的通信资源。

在一些实施例中,一旦已知针对模型的参数集合,就可确定地知道训练的最终结果。例如,给定(1)训练集、(2)确定初始权重的初始随机种子、(3)优化器参数(例如,完全定义的优化器参数)和/或训练过程,可以唯一地确定在特定次数的训练步数(例如,训练循环)结束时的经训练的模型。这些参数可被称为例如最小描述参数。如果最小描述的大小小于针对模型的权重的大小,则节点可共享该最小描述参数而不是权重。取决于实现细节,这可减少与共享模型相关联的通信开销。

在一些实施例中,模型的一个或更多个值(例如,节点处的CSI编码和/或决策模型的权重)可被布置在向量W(例如,权重元素的向量)中。专用压缩自动编码器模型(例如,编码器和解码器模型对)可被训练以利用一个节点处的编码器和另一节点处的解码器压缩W。如果CSI模型的共享被触发和/或请求,则节点可构建CSI模型的向量W,并利用模型压缩编码器对其进行编码,并将经编码的向量发送到另一节点。所述另一节点可使用模型压缩解码器来恢复权重向量W。取决于实现细节,这可减少与共享模型相关联的通信开销。

在线训练处理时间

在节点可执行模型的在线训练的实施例中,可向节点提供资源许可(例如,处理时间、处理资源等的许可)以执行训练。这样的许可可被提供以利用可由节点收集的在线训练数据集(例如,基于由节点执行的测量的信道估计)或者可以是RRC配置(或重配置)或MAC-CE激活的在线训练数据集进行训练。资源处理时间许可可以确保节点可在节点被预期已经完成更新(例如,以与另一节点共享更新的模型)之前具有足够的时间来使用在线训练数据集更新模型。然而,在一些实施例中,可向节点提供处理时间许可,而不管节点是否被预期在处理之后共享经训练的模型。

例如,在UE可通过计算信道估计来收集在线训练数据集的实施例中,UE可被提供由从用于在线训练集的最新CSI-RS的最后符号的末尾起的N

作为另一示例,在UE可使用针对UE被RRC配置(或重配置)的或MAC-CE激活的在线训练数据集来执行编码器的在线训练的实施例中,UE可能不被期望比从完成对应RRC(重)配置或已经接收到MAC-CE激活命令的最新符号起的N个符号更早地更新和/或报告其编码器。

基于域知识的预处理

出于压缩的目的,机器学习编码器可接收输入信号并生成可足以供解码器用来重建输入信号的输出特征的集合。在最大压缩的情况下,输出特征可被预期彼此独立,否则它们可被进一步压缩。

尽管一对机器学习模型可能能够从输入生成特征向量并从特征向量重建输入,但是在根据本公开的一些实施例中,可对生成模型的输入和/或来自重建模型的输出执行一个或更多个预处理和/或后处理操作。取决于实现细节,这可提供一个或更多个潜在益处,诸如减少模型中的一个或两个模型的处理负担和/或存储器使用、提高模型中的一个或两个模型的准确度和/或效率等。

在一些实施例中,预处理和/或后处理可基于输入信号的域知识。在一些实施例中,预处理和/或后处理可向编码器提供来自域知识的辅助信息,取决于实现细节,预处理和/或后处理可减少编码器上的处理负担。例如,如果将由编码器压缩的向量可被表征为具有相对小的变化的低通信号,则可执行离散傅里叶变换(DFT)和/或逆DFT(IDFT)以分析向量的频域表示。如果DFT向量的DC分量比其它分量更大(例如,显著地更大),则这可指示信号具有低变化,并且因此信号可在由编码器压缩之前被预处理(并且在由解码器解压缩之后被后处理),以减少编码器/解码器对上的负担。

在一些实施例中,执行诸如DFT和/或IDFT的变换和/或逆变换可向机器学习模型提供对输入向量的元素之间的相关性水平的更清楚的理解。例如,在一些实施例中(例如,利用这里公开的框架中的任意框架),CSI矩阵可被输入到预处理器,其中,所述预处理器可例如在不同的CSI-RS端口上将变换(例如,DFT/IDFT、离散余弦变换(DCT)/逆DCT(IDCT)等)应用于输入的全部或一部分输入。然后经变换的信号可被输入到编码器并被压缩。在解码器侧,解码器的输出可被应用于预处理器变换的逆算子(预处理器变换的逆算子可例如利用后处理器被实现)以生成重建的输入信号。

图11示出根据本公开的利用预处理和后处理的双模型训练方案的示例实施例。在一些方面中,图11中所示的实施例1100可类似于图3中所示的实施例,并且可利用以相同数字为结束的参考指示符来标识类似的组件。然而,图11中所示的实施例可包括预处理器1137和后处理器1138。预处理器1137可在将训练数据1111应用于生成模型1103之前将任意类型的变换应用于训练数据1111。类似地,后处理器1138可将任意类型的逆变换(例如,由预处理器1137应用的变换的逆)应用于重建模型1104的输出,以生成最终重建的训练数据1112。

在一些实施例中,如实线1139和实线1140所示,可在生成模型1103的输入与重建模型1104的输出之间定义用于训练模型1103和模型1104的损失函数1113。然而,在一些实施例中,如虚线1141和虚线1142所示,可在预处理器1137的输入与后处理器1138的输出之间定义损失函数1113。一旦如图11中所示训练了模型1103和模型1104,它们就可被用于推断。

尽管与预处理和/或后处理相关的原理不限于任何特定的实现细节,但是出于说明本发明原理的目的,用于基于域知识对CSI矩阵进行预处理和后处理的方案的示例实施例可被如下实现。在尺寸为N

X

在一些实施例中,DDR变换的使用可产生稀疏矩阵X,这进而可以降低学习和推断复杂度。

在一些实施例中,预处理和/或后处理变换的使用可使得原始训练集能够对对应的DDR矩阵进行变换。在这样的实施例中,CSI压缩可随后压缩经变换的训练集。因此,可在UE侧执行预处理(例如,DDR变换),而可在gNB侧执行后处理(例如,用于恢复H的DDR的逆)。

在一些实施例中,可基于经变换的矩阵(例如,如图11中所示,在输入到编码器的经变换的矩阵与解码器的经变换的矩阵输出之间)定义损失函数。

在一些实施例中,可基于针对每个空间信道(例如,针对每个发送天线(端口)和每个接收天线(端口)对)的在时域和/或频域中的各个CSI矩阵的并集来构建矩阵H。可针对每个空间信道训练和测试一个或多个模型。在一些实施例中,可基于RE的信道矩阵来构建H,例如,其中每个矩阵可具有尺寸N

CSI矩阵公式化

在一些实施例中,UE可压缩的RE或一组RE的CSI信息可被称为CSI矩阵。从对多输入多输出(MIMO)信道的分析,能力分布可以是跨发送天线具有可能不同的功率分配的高斯分布。如果信道矩阵被分解为H

对第i信道的功率分配可以是P

在一些实施例中,UE可被配置为经由RRC(重)配置、MAC-CE命令或动态地经由DCI来报告上述CSI矩阵中的任一个。在根据(b)(例如,奇异值和V的级联)公式化CSI矩阵的实施例中,UE还可被配置为仅报告奇异值。

出于模型训练的目的,当UE被配置为报告特定CSI矩阵时,可基于适用的CSI矩阵来公式化训练集和/或损失函数。例如,当UE被配置为报告V时,训练集可包括从估计的信道矩阵获得的V矩阵,并且可基于输入到编码器的V矩阵和解码器的输出处的重建的V矩阵来公式化损失。

节点能力

这里公开的框架中的任意框架的实现可涉及资源(诸如存储器资源、处理资源和/或通信资源)的使用,例如,以存储新训练数据,在节点之间共享模型,并且训练和/或应用特定类型的神经网络架构,例如,用于模型的CNN或RNN。诸如UE的不同节点可具有不同的用于实现神经网络的能力。例如,UE可以或可能能够支持CNN但不支持RNN。在一些实施例中,UE可报告其支持特定类型的神经网络架构(例如,诸如CNN、RNN等的网络类型)的能力、以及/或者反映其应用编码器模型的限制和能力的任何其它方面。

在一些实施例中,节点(例如,UE)可使用可包括任何数量的以下项的列表来报告其能力和/或限制:(a)一个或更多个网络类型,例如,CNN、RNN、特定类型的RNN、门控递归单元(GRU)、长短期记忆(LSTM)、变换器等;(b)与模型的尺寸相关的一个或更多个方面,例如,层的数量、CNN的输入和/或输出通道的数量、RNN的隐藏状态的数量等;和/或(c)任何其它类型的结构限制。

取决于其报告的能力,节点(例如,UE)可能不被期望训练或测试违反节点的报告的约束中的任何约束且/或能力需要超出节点的声明的能力的编码器模型。在一些实施例中,无论模型的训练/推断的适用框架和/或位置如何,都可以确保这一点。例如,如果框架被实现为使得gNB可预训练编码器和解码器并且与UE共享编码器和/或解码器,则UE可能不会期望编码器模型违反其能力。作为另一示例,如果一对或多对编码器和解码器被离线训练并且在适用的规范(例如,NR规范)中被指定,则UE可能不会期望适用的模型违反其能力。在一些实施例中,UE可通过信令来报告能力以激活一个或更多个模型,并且可声明其可支持哪些特定编码器/解码器对、或者单独的编码器或解码器。然后,gNB可向UE指示哪个编码器/解码器对可适用于UE。可例如通过系统信息、RRC配置、DCI中的动态信令等来提供该指示。

经由在线训练的调整

在一些框架中,诸如UE的节点可被预期(例如,通过在运行(fly)中收集新训练数据(例如,样本)或者基于一个或更多个模型的离线供应和更新)在线训练其编码器模型或者编码器模型和解码器模型两者。如果节点仅更新编码器模型,则由于损失函数也可取决于解码器权重,因此编码器模型调整和/或优化也可取决于解码器权重和/或模型。在这样的实现中,即使编码器可在gNB侧被使用,节点也可声明处理解码器模型的限制的能力。可如下应用一个或更多个这样的限制:(1)一个或更多个在线训练特征和/或微调可由节点声明作为能力;(2)报告支持在线训练的能力的节点可进一步报告对针对编码器模型的所支持的结构的限制,其中,所述限制可以是例如上面如(a)至(c)所提到的任何限制;(3)报告支持在线训练的能力的节点可进一步报告对针对解码器模型的所支持的结构的限制,其中,所述限制可以是例如上面如(a)至(c)所提到的任何限制;和/或(4)如果包括编码器和解码器对的多个模型在规范中被指定,则节点可声明指示节点可支持哪些编码器和解码器对或者哪些单独的编码器和/或解码器的能力。

多对模型

在一些实施例中,多对模型(例如,编码器/解码器对)可被训练和/或被部署以用于在两个节点(例如,UE和gNB)上的操作(例如,同时操作)。多个对可在a)编码器和解码器两者、b)仅编码器、或c)仅解码器方面彼此不同。在一些实施例中,多对模型可被配置(例如,优化)以处理可被指定为处理不同信道环境的不同情况,这进而可以导致训练数据集和/或测试数据集的不同分布。

多对模型可被使用,例如,以适应训练数据中的不同维度。例如,可根据CSI-RS端口的数量来确定CSI矩阵的维度。在一些实施例中,如果UE将报告具有不同维度的第一CSI矩阵H

可选地或另外地,多对模型(例如,编码器/解码器对)可被训练,其中,不同的模型对可被配置为处理不同的CSI矩阵尺寸。

在一些实施例中,并且取决于实现细节,可在不增加复杂度的情况下实现多对模型。例如,在多对模型的情况下,如果CSI报告包括与特定数量的CSI-RS端口对应的CSI矩阵,则用于计算CSI报告的参考时间在多对的情况下可能比在单对的情况下更少。此外,如果每个RRC配置或MAC-CE激活包括针对与特定对相对应的特定情况的CSI报告,则UE可将适用的模型加载到调制解调器中,而将其它模型中的一个或更多个模型保持在UE控制器中。取决于实现细节,这可以减少调制解调器内部存储器使用。在具有多个对的实施例中,可根据以下配置中的任意配置对不同的对进行分类。(a)每对模型可被配置为处理特定的CSI矩阵尺寸。例如,一对模型可接收基于具有特定数量的端口的CSI-RS估计的且还与UE的特定数量的接收天线相关联的CSI矩阵。UE可在一个报告中向gNB报告其接收天线的数量,或者针对不同数量的CSI-RS端口单独地向gNB报告其接收天线的数量。(b)每对模型可被配置为处理训练数据集和/或测试数据集的不同分布。(c)每对模型可被配置为处理针对训练数据集和/或测试数据集的不同信道环境。

训练集关联和模型对配置

在模型对可被配置为处理不同情况的实施例中,节点(例如,UE或基站)可利用不同的训练数据集(例如,针对特定情况或模型对(例如,编码器/解码器对)的不同训练数据集)来配置。因此,UE和/或基站可拥有不同的训练数据集,例如,针对不同的对的每个数据集。一旦针对节点(例如,UE或gNB)发生触发,节点还可被用信号通知关于应该训练哪对模型。例如,在在线训练的情况下,gNB可向UE指示开始训练特定对的模型。如果通过收集新数据集来在运行(fly)中执行在线训练,则可例如经由CSI-RS端口的数量来例如在CSI-RS与编码器/解码器对之间提供关联。

一旦多对模型已经被训练并且准备好在推断时期中部署,则节点(例如,UE)可能需要知道使用哪一对来对信道矩阵进行编码。例如,每一对可与针对CSI矩阵的特定维度相关联以进行编码。维度可被称为编码器模型的输入维度。在一些实施例中,UE可如下确定用于对CSI矩阵进行编码的模型对。CSI-RS可隐含地或明确地与一对模型相关联。UE使用与CSI-RS相关联的模型对来对CSI矩阵进行编码。在隐含关联的情况下,可基于CSI-RS端口的数量和/或UE处的接收天线的数量将CSI-RS映射到特定对。因此,如果从CSI RS获得的CSI矩阵的维度等于一对的输入维度,则可将CSI-RS映射到该对。如果多个对具有相同的合格的输入维度,则可例如基于可在UE与gNB之间建立的规则来选择参考对。在明确关联的情况下,报告CSI矩阵的CSI-RS可经由RRC被配置或者在DCI中(例如,利用一对索引)被动态地指示。

在上述实现方式中的任意实现方式中,如果UE被用信号通知经由具有不同输入维度的一对模型来报告CSI矩阵,则UE可附加零以将矩阵的尺寸与输入维度匹配。然而,UE可能不会期望被用信号通知使用输入维度小于CSI矩阵的维度的一对模型来报告CSI矩阵。

具有减小的模型尺寸的压缩

在一些实施例中,一对模型可被配置为自动编码器以压缩CSI矩阵,并且/或者利用CSI矩阵元素之间的冗余和/或相关性。如果针对每个RE报告CSI矩阵,则相关性可以仅是发送天线(例如,CSI-RS端口)和接收天线的不同对之间的不同路径之间的空间相关性。取决于实现细节,这种相关性的量可能是有限的,并且因此自动编码器可能无法充分压缩CSI矩阵。

在一些实施例中,自动编码器的压缩能力可与CSI矩阵的元素之间的冗余量和/或相关性(可被称为空间相关性)相关。由于无线信道还可在时域和/或频域中相关,因此还可存在时间和/或频率相关性。因此,针对多个OFDM符号和/或多个资源元素(RE)、资源块(RB)或子带的估计信道可作为单个训练样本被输入。例如,与多个RE对应的信道矩阵可被指定为自动编码器的输入。在根据本公开的一种这样的方法中,UE可经由RRC利用这样的可指定用于形成训练数据集的时间和/或频率资源束(bundling)的配置而被配置。

取决于实现细节,可通过跨不同频率和/或时间资源压缩针对多个RE的CSI来提高自动编码器的压缩性能。因此,可在时间和频率窗口中输入多个RE的组合CSI矩阵。然后可通过级联所述窗口中的RE的各个CSI矩阵来获得组合CSI矩阵。取决于实现细节,由于信道的时间和频率平坦性,组合CSI矩阵可能更可能在其元素之间具有显著的相关性。因此,如果模型将组合CSI矩阵作为输入,则该模型相比于在各个每RE矩阵上作用的多个模型能够将组合CSI矩阵压缩到更高的程度。在一些实施例中,UE可利用时间和/或频率窗口以及可指示UE可利用哪些RE来确定组合CSI矩阵的一个或更多个配置来配置。这样的配置可在训练时期和/或测试时期两者中被使用以获得组合矩阵。

经由CSI矩阵的子集,输入尺寸减小

在一些实施例中,自动编码器可对特定时间和频率窗口中的不同RE的CSI矩阵进行编码。如果信道使得信道矩阵的元素之间的相关性在特定域(例如,时间或频率)中不存在或不强,则可将CSI矩阵的并集中的元素的集合划分为具有相对强的子集内元素相关性和相对较弱的子集间元素相关性的子集。例如,如果自动编码器将要压缩相同OFDM符号上的四个RE的四个CSI矩阵,则矩阵可被如下表示:

如果频域中的相关性强,并且在空间域中(即,在一个矩阵的元素之间)几乎没有或没有相关性,则自动编码器可被配置为压缩长度为4的矢量,并且自动编码器可对以下子集被应用四次:子集1(a

然后可在解码器处通过例如使用相同的解码器重建所述四个向量来重建CSI矩阵。如上所述,子集可被选择,使得它们可利用在一个或更多个域中的一个或更多个相关性。为了进一步说明,在上面的示例中,如果空间域中的元素之间存在相关性,则上面阐述的子集选择可防止网络利用相关性来进一步压缩CSI矩阵。反之,以下子集选择可允许利用频域和空间域两者中的相关性:子集1(a

在一些实施例中,以下框架可基于这种方法被用于具有N

经由资源元素选择,输入尺寸减小

可通过减小组合输入矩阵的尺寸来减小编码器网络的尺寸。在一些实施例中,可通过(a)移除各个每RE矩阵的特定元素(例如,如果在具有相同维度的CSI矩阵H

这些示例在表1中被示出,其中,表1示出了具有两个RE和两个CSI矩阵的窗口。利用方法(a),可如表1所示构建组合矩阵,而利用方法(b),可通过选择所述两个矩阵中的一个矩阵来构建组合矩阵。

表1

CSI-RS端口的数量和训练集

从具有N

UCI格式

利用这里公开的框架中的任意框架,生成模型(例如,ML编码器)的输出可被认为是一种类型的UCI(可被称为例如人工智能机器学习(AIML)CSI)。在一些实施例中,可从CSI报告和具有相关联的CSI-RS资源和报告设置的测量配置获得AIML CSI。在一些实施例中,AIML CSI可经由PUCCH或PUSCH(例如,遵循Rel-15行为)被发送到gNB。因此,针对物理层信息的反馈信息的表示的格式可被建立为一种类型的上行链路UCI。格式可涉及一种或多种类型的编码(例如,极化编码、低密度奇偶校验(LDPC)编码等),这可取决于例如用于发送UCI的物理信道的类型。在一些实施例中,利用PUCCH发送上行链路UCI(例如,AIML CSI)的类型可使用极化编码,而利用PUSCH发送可使用LDPC编码。此外,在编码之前,CSI可被量化。因此,AIML CSI可被量化为比特流(0和1),并且被输入到极化编码器或LDPC编码器。

对不同网络供应商的适应性

当UE连接到网络时,它可能不知道哪个网络供应商创建了它所连接到的网络。由于不同的供应商可针对机器学习模型利用不同的训练技术和/或网络架构,因此这个信息的可用性可能影响在UE侧的训练模型。因此,在一些实施例中,可经由系统信息(例如,经由SIB之一)向UE提供网络指示或AI/MI索引。然后,UE可使用该信息来使其训练以适应特定的网络供应商配置。

ML模型生命周期管理

在一些ML应用中,ML模型的性能可能随时间劣化,并且可能在其被训练以用于的应用的持续时间内不能充分地执行。因此,ML模型可被频繁地更新以适应可能在其操作环境中发生的时间性变化,例如,在CSI压缩的情况下无线信道中的统计变化。

根据本公开的一些实施例可提供管理框架,以使得能够在开销可接受的情况下有效和/或及时更新一个或更多个ML模型。为了促进这样的框架,一个实施例可实现节点可保持跟踪ML模型的性能的模型监测。在一些实施例中,这可涉及节点可跟踪ML模型的性能的模型监测。模型监测可以基于如下一个或更多个性能度量。(1)基于任务的度量可被用于(例如,直接地)评估由ML模型执行的任务的性能。例如,这些度量可包括准确度、均方误差(MSE)性能等。(2)基于系统的度量可被用于跟踪系统的整体性能,例如,传输的正确解码、或者可提供由系统中的节点使用的ML模型的性能的较不直接的测量的其它系统级关键性能指标(KPI)。

当根据协商和/或配置的度量,ML模型的性能被认为是不可接受的时,管理框架可发起ML模型更新过程。例如,(1)当根据一个或更多个协商和/或配置的度量,ML模型性能是不可接受的时;并且/或者(2)如果ML模型的性能在大于阈值时间的特定持续时间内是不可接受的,性能可被认为是不可接受的。

用于确定不可接受性能的阈值可被实现为配置的和/或指定的参数。可i)累积地测量持续时间(例如,可将不可接受性能的任意持续时间加到全局计数器,并且将全局计数器值与阈值进行比较),或者ii)连续地测量持续时间(例如,可仅考虑不可接受性能的大于阈值的连续持续时间)。

当ML模型的性能被认为是不可接受的时,管理框架可触发可以以下面的方式之一实现的更新过程。(1)管理框架可需要例如关于图8所描述的完整训练过程。在这种情况下,可从头开始重新训练ML模型,或者可从当前ML模型开始重新训练ML模型。在这种情况下的训练可使用具有或不具有可能最近已经获取的附加数据样本的整个训练数据集。(2)管理框架可需要部分训练,其中,在部分训练中可从当前ML模型开始并且可能使用最近已经获取的新数据样本来重新训练ML模型。

训练和测试中的性能度量

为了评估用于CSI压缩任务的不同模型的性能,根据本公开的一些实施例可集中于CSI压缩的方面。在这样的实施例中,可基于不同的模型各自的压缩CSI矩阵和恢复CSI矩阵的能力来比较不同的模型,使得恢复的矩阵尽可能接近真实的CSI矩阵。接近度的确定可与利用CSI矩阵的gNB的操作相关。例如,如果gNB将信道矩阵的SVD计算为H

在一些实施例中,可逐元素实现两个矩阵之间的接近度度量,并且可在一些或所有元素上取平均值以提供单个损失值。可选地或另外地,在矩阵中具有一个或几个错误元素可能与具有许多错误元素一样有害。在这种情况下,可逐矩阵(例如,矩阵的所有元素上的逐元素误差的最大值)确定损失函数。

在一些实施例中,还可结合系统的其它块来评估CSI编码器模型和解码器模型的性能。例如,如果误块率(BLER)被用作系统性能度量,则不同CSI模型之间的比较可以基于它们所得到的BLER。其它系统KPI(诸如吞吐量、资源利用率等)也可被用于此目的。

在BLER是感兴趣的度量的实施例中,配置gNB以使用由CSI矩阵提供的信息可能影响系统性能。例如,假设CSI模型在由UE发送的信道矩阵在gNB处被完全恢复且信道矩阵指示秩1信道的意义上是完美的,如果gNB调度秩2PDSCH,则解码可能失败。因此,为了建立CSI模型的压缩能力与系统性能之间的联系,可使用关于gNB操作的假设。在一些实施例中,对函数f

其中,α和β是用于训练的超参数。

上行链路信道的可靠性方面

在一些实施例中,可假设编码器的输出(也可被称为CSI码字)在解码器侧无误差地可用。因此,可在具有无限可靠性的上行链路信道上经由PUCCH或PUSCH来发送CSI码字,使得PUCCH和/或PUSCH解码不会失败。然而,在一些情况下,在推断时期中,例如,当PUSCH/PUCCH解码失败时,具有一个或更多个错误的CSI码字可被传送到gNB(解码器)。在这种情况下,CSI码字的噪声版本可能在解码器处可用。训练时期期间的上行链路信道中的缺陷的影响可被如下建模。

对于输入到编码器的每个训练示例,编码器的输出处的CSI码字可被表示为x。考虑到上行链路信道的缺陷,解码器的输入y可被建模为:

y=x+ω(7)

其中,ω是可在上行链路信道的解码之后对残余误差进行建模的加性噪声。可在训练时期如下生成所述加性噪声。

在方法1中,ω可被建模为具有零均值和方差σ

联合学习方面

在联合学习(FL)的情况下,服务器处的全局模型可在连接到服务器且与服务器共享学习的模型的多个节点处通过单独学习而被学习。然后,服务器可对接收到的模型执行一个或更多个操作以获得最终模型。这样的布置可被激励,例如,节点的隐私方面和/或要求不与服务器共享它们的数据。

在CSI压缩使用案例的情况下,服务器可被认为是gNB,并且连接到gNB的不同UE可被认为是模型更新节点。不同的UE可具有不同的训练集,其中,所述训练集具有相同或不同的分布。如果分布相同,则每个UE可利用其自己的训练集更新模型并与gNB共享模型。然后,gNB可执行一个或更多个操作,例如,对模型求平均以获得最终模型。gNB可与共享其模型的UE共享所获得的最终模型。最终模型可能被预期优于各个接收到的模型,这是因为最终模型是基于所有参与者UE上的所有训练集的并集训练的。因此,FL可被用于提高CSI压缩性能。在不同分布在不同UE处可用的情况下,FL可通过由已经看到分布的UE共享的模型来帮助捕获尚未被特定UE看到的分布。在任何情况下,FL可被用于获得考虑到由UE观察到的不同环境的模型。

在根据本公开的FL框架的情况下,gNB可将一组UE配置在FL组中。相同FL组中的UE可被配置为具有相同的编码器和/或解码器(例如,自动编码器或AE)架构。因此,它们的编码器和解码器可仅在实际训练的权重方面不同,但是在层数、单元数、激活函数和定义网络结构的其它参数方面具有相同的配置。

对于组中的UE,编码器模型和解码器模型的输入的尺寸可以相同或相似。编码器的输入对于UE也可具有相同或相似的含义。例如,UE(例如,所有UE)的编码器的输入可以是信道矩阵或奇异值矩阵V。gNB可经由RRC、DCI或MAC CE命令向UE指示更新它们的模型并与gNB共享更新。在一些实施例中,并非组中的所有UE同时参与更新过程。gNB可经由组公共(GC)DCI发送关于FL的训练、超参数和/或其它方面的信息,其中,同一FL组中的UE可具有经由RRC配置的DCI的特定部分。

附加实施例

图12示出根据本公开的使用双模型方案的系统的实施例。可在测试模型中的一个或更多个模型的上下文中描述图12中所示的实施例,但是相同或相似的实施例也可被用于利用这里公开的模型中的任意模型(例如,在训练之后利用图3中所示的生成模型303和/或重建模型304)进行验证、推断等。

参照图12,系统1200可包括具有生成模型1203的第一节点(节点1)和具有重建模型1204的第二节点(节点B)。测试数据1211可被应用于可生成测试数据的表示1207的生成模型1203。重建模型1204可基于测试数据的表示1207生成测试数据的重建1212。在一些实施例中,生成模型1203可包括量化器,以将表示1207转换为可通过通信信道传输的量化形式(例如,比特流)。类似地,在一些实施例中,重建模型1204可包括反量化器,其中,所述反量化器可将量化的表示1207(例如,比特流)转换为可被用于生成重建的测试数据1212的形式。

可以以任何方式(包括使用这里描述的框架中的任意框架)获得生成模型1203和重建模型1204。例如,使用联合训练框架,生成模型1203和重建模型1204可在节点A处作为一对被训练,节点A可将重建模型304发送到节点B。其它实施例可使用利用参考模型的训练框架、利用最新共享值的训练框架或任何其它框架和/或技术,以获得和/或训练生成模型1203和重建模型1204。

图13示出根据本公开的用户设备(UE)的示例实施例。图13中所示的实施例1300可包括无线电收发器1302和控制器1304,控制器1304可控制UE 1300中的收发器1302和/或任意其它组件的操作。UE 1300可被用于例如实现本公开中描述的任何功能,包括:基于来自基站的一个或更多个参考信号来确定信道信息,使用机器学习模型基于信道的状况来生成信道信息的表示,发送信道信息的表示,例如在窗口期间收集训练数据,例如针对CSI矩阵执行预处理和/或后处理,部署和/或激活一对或更多对ML模型等。

收发器1302可向基站发送一个或更多个信号/从基站接收一个或更多个信号,并且可包括用于这种发送/接收的接口单元。例如,收发器1302可从基站接收一个或更多个信号并且/或者可在UL信道上向基站发送信道信息的表示。

控制器1304可包括例如一个或更多个处理器1306以及存储器1308,其中,存储器1308可存储用于一个或更多个处理器1306执行代码以实现本公开中描述的任何功能的指令。例如,控制器1304可被配置为实现如这里所公开的一个或更多个机器学习模型,以及基于来自基站的一个或更多个参考信号确定信道信息,使用机器学习模型基于信道的状况生成信道信息的表示,发送信道信息的表示,例如在窗口期间收集训练数据,例如针对CSI矩阵执行预处理和/或后处理,部署和/或激活一对或更多对ML模型等。

图14示出根据本公开的基站的示例实施例。图14中所示的实施例1400可包括无线电收发器1402和控制器1404,其中,控制器1404可控制基站1400中的收发器1402和/或任何其它组件的操作。基站1400可被用于例如实现本公开中描述的任何功能,包括:在DL信道上向UE发送一个或更多个参考信号,重建信道信息的表示,例如针对CSI矩阵执行预处理和/或后处理,部署和/或激活一对或更多对ML模型等。

收发器1402可向用户设备发送/从用户设备接收一个或更多个信号,并且可包括用于这种发送/接收的接口单元。例如,收发器1402可在DL信道上向UE发送一个或更多个参考信号并且/或者在UL信道上从UE接收预编码信息。

控制器1404可包括例如一个或更多个处理器1406以及存储器1408,其中,存储器1408可存储用于一个或更多个处理器1406执行代码以实现本公开中描述的任何基站功能的指令。例如,控制器1404可被用于实现如这里所公开的一个或更多个机器学习模型,以及在DL信道上向UE发送一个或更多个参考信号,重建信道信息的表示,例如针对CSI矩阵执行预处理和/或后处理,部署和/或激活一对或更多对ML模型等。

在图13和图14中所示的实施例中,收发器1302和收发器1402可利用各种组件(诸如放大器、滤波器、调制器和/或解调器、A/D和/或DA转换器、天线、切换器、移相器、检测器、耦合器、导体、传输线等)来实现以接收和/或发送RF信号。控制器1304和/或控制器1404可利用硬件、软件和/或其任意组合来实现。例如,全部或部分硬件实现方式可包括组合逻辑、顺序逻辑、定时器、计数器、寄存器、门阵列、放大器、合成器、多路复用器、调制器、解调器、滤波器、向量处理器、复杂可编程逻辑器件(CPLD)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、片上系统(SOC)、状态机、诸如ADC和DAC的数据转换器等。全部或部分软件实现方式可包括一个或更多个处理器核心、存储器、程序和/或数据存储装置等,其中,所述一个或更多个处理器核心、存储器、程序和/或数据存储装置等可位于本地和/或远程,并且可被编程为执行指令以执行控制器的一个或更多个功能。一些实施例可包括执行存储在任意类型的存储器中的指令的一个或更多个处理器(诸如微控制器)、CPU(诸如复杂指令集计算机(CISC)处理器(诸如x86处理器)和/或精简指令集计算机(RISC)处理器(诸如ARM处理器)等)、图形处理单元(GPU)、神经处理单元(NPU)、张量处理单元(TPU)等。

图15示出根据本公开的用于提供物理层信息反馈的方法的实施例。所述方法可在操作1502开始。在操作1504,所述方法可在无线设备处确定用于该无线设备的物理层信息。在操作1506,所述方法可使用机器学习模型生成物理层信息的表示。在操作1508,所述方法可从无线设备发送物理层信息的表示。所述方法可在操作1510结束。

在图15中所示的实施例和这里公开的任意实施例中,所示的组件和/或操作仅是示例性的。一些实施例可涉及未示出的各种附加组件和/或操作,并且一些实施例可省略一些组件和/或操作。此外,在一些实施例中,可改变组件的布置和/或操作的时间顺序。尽管一些组件可被示出为单独的组件,但是在一些实施例中,单独示出的一些组件可被集成到单个组件中,并且/或者示出为单个组件的一些组件可利用多个组件来实现。

这里公开的实施例可在各种实现细节的上下文中被描述,但是本公开的原理不限于这些或任何其它特定细节。一些功能已经被描述为由特定组件实现,但是在其它实施例中,所述功能可被分布在不同位置中的不同系统和组件之间。对组件或元件的引用可仅指代组件或元件的一部分。在本公开和权利要求中使用诸如“第一”和“第二”的术语可仅用于区分它们所修饰的事物的目的,并且可不指示任何空间或时间顺序,除非另外从上下文显而易见。对第一事物的引用可不暗示第二事物的存在。此外,可组合上述各种细节和实施例以产生根据本专利公开的发明原理的附加实施例。为了方便,可提供诸如章节标题等的各种组织性辅助,但是根据这些辅助布置的主题和本公开的原理不受这些组织性辅助限定或限制。

由于可在不脱离本发明构思的情况下,在布置和细节上修改本专利公开的发明原理,因此这些改变和修改被认为落入权利要求的范围内。

技术分类

06120115936950