具有双向特征传播和基于注意力的特征校正的视频语义分割

相关申请的交叉引用

本申请要求2021年10月8日提交的第63/254,051号美国临时专利申请的优先权权益，该美国临时专利申请的公开内容通过引用整体合并于此。

技术领域

这里公开的主题涉及视频语义分割。更具体地，这里公开的主题涉及基于学习到的遮挡图使用双向特征传播和基于注意力的特征校正的视频语义分割系统和方法。

背景技术

视频语义分割是一个经典的计算机视觉问题，其涉及将输入视频转换为具有已被突出显示和分类的感兴趣区域的对应掩码序列。更具体地说，视频语义分割是将视频的每一帧中的每个像素分类为属于特定对象类别的过程。基于高计算成本，在每一帧的基础上进行视频语义分割可能不是可接受的方法。除了每一帧的分割准确性之外，时间连贯性是视频语义分割的另一个关键方面，其可能无法由每帧图像语义分割方法最好地处理。为了针对分割准确性和时间连贯性两者实现良好的性能，当对视频中的给定帧执行分割时，过程可以使用存在于相邻帧中的时间信息。连续帧中的内容连续性可以有利地用于执行基于流的特征传播；然而，由于估计的光流不准确，结果可能遭受失真。

发明内容

示例实施例提供了一种提供视频语义分割的方法，该方法可以包括：由第一图像语义分割网络对视频帧序列的第一帧进行语义分割，以获得第一帧的至少一个第一语义特征；由第二图像语义分割网络对视频帧序列的第二帧进行语义分割，以获得第二帧的至少一个第二语义特征，第二帧在第一帧之后；由第三图像语义分割网络对视频帧序列的第三帧进行语义分割，以获得第三帧的至少一个第三语义特征，第三帧根据预定数量的连续帧在第一帧和第二帧两者之后；以及由组合网络基于所述至少一个第一语义特征、所述至少一个第二语义特征和所述至少一个第三语义特征生成第二帧的至少一个第四语义特征。在一个实施例中，所述预定数量的连续帧可以包括固定数量的多个连续帧，第一帧可以是在所述固定数量的多个连续帧开头的帧，第三帧可以在所述固定数量的多个连续帧的末尾，第二帧可以是在第一帧和第三帧之间在所述固定数量的多个连续帧中间的单个帧，第一帧和第三帧可以是关键帧。在另一实施例中，第一图像语义分割网络可以是比第二图像语义分割网络更深的神经网络，第三图像语义分割网络可以是比第二图像语义分割网络更深的神经网络。在又一实施例中，该方法还可以包括：将所述至少一个第一语义特征以逐帧方式朝第二帧传播，以获得至少一个第一传播语义特征；以及将所述至少一个第三语义特征以逐帧方式朝第二帧传播，以获得至少一个第二传播语义特征。在再一实施例中，该方法还可以包括：由第一光流网络确定从视频帧序列的第四帧到第二帧的至少一个第一正向光流和从第二帧到第四帧的至少一个第一反向光流，第四帧在第一帧和第二帧之间，并且第四帧紧接第二帧；以及由第二光流网络确定从视频帧序列的第二帧到第五帧的至少一个第二正向光流和从第五帧到第二帧的至少一个第二反向光流，第五帧在第二帧和第三帧之间，并且第五帧紧接第二帧。在一个实施例中，该方法还可以包括：将所述至少一个第一语义特征以逐帧方式朝第二帧传播，以获得至少一个第一传播语义特征；将所述至少一个第三语义特征以逐帧方式朝第二帧传播，以获得至少一个第二传播语义特征；由第一遮挡网络至少部分地基于所述至少一个第一正向光流、所述至少一个第一反向光流、所述至少一个第二正向光流和所述至少一个第二反向光流来确定从第四帧到第二帧的至少一个第一遮挡图和从第五帧到第二帧的至少一个第二遮挡图；以及基于所述至少一个第一遮挡图和所述至少一个第二遮挡图为第二帧生成至少一个第三遮挡图。在另一实施例中，该方法还可以包括由组合网络基于所述至少一个第一传播语义特征和所述至少一个第一遮挡图、所述至少一个第二传播语义特征和所述至少一个第二遮挡图、以及用于第二帧的所述至少一个第二语义特征和用于第二帧的至少一个第三遮挡图通过以下来为第二帧生成语义分割的帧：将所述至少一个第一传播语义特征和所述至少一个第一遮挡图通过逐元素乘法相乘以获得至少一个第一加权语义特征；将所述至少一个第二传播语义特征和所述至少一个第二遮挡图通过逐元素乘法相乘以获得至少一个第二加权语义特征；将所述至少一个第二语义特征和至少一个第三遮挡图通过逐元素乘法相乘以获得至少一个第三加权语义特征；以及将所述至少一个第一加权语义特征、所述至少一个第二加权语义特征和所述至少一个第三加权语义特征通过逐元素加法相乘。

示例实施例提供了一种估计视频帧序列中的遮挡区域的方法，该方法可以包括：由第一光流网络确定从第一帧到第二帧的至少一个第一正向光流和从第二帧到第一帧的至少一个第一反向光流，第一帧在时间上在第二帧之前，并且第二帧紧接第一帧；以及由第二光流网络确定从第二帧到第三帧的至少一个第二正向光流和从第三帧到第二帧的至少一个第二反向光流，第二帧在时间上在第三帧之前，并且第三帧紧接第二帧。在一个实施例中，该方法还可以包括：由第一遮挡网络至少部分地基于所述至少一个第一正向光流、所述至少一个第一反向光流、所述至少一个第二正向光流和所述至少一个第二反向光流来确定从第一帧到第二帧的至少一个第一遮挡图和从第三帧到第二帧的至少一个第二遮挡图；以及由组合网络基于所述至少一个第一遮挡图和所述至少一个第二遮挡图为第二帧生成至少一个第三遮挡图。在另一实施例中，该方法还可以包括：由第一图像语义分割网络对视频帧序列的第四帧进行语义分割以获得第四帧的至少一个第一语义特征，第四帧在时间上在第二帧之前；由第二图像语义分割网络对第二帧进行语义分割以获得第二帧的至少一个第二语义特征，第二帧在第四帧之后；由第三图像语义分割网络对视频帧序列的第五帧进行语义分割以获得第五帧的至少一个第三语义特征，第五帧在第二帧之后并且也在第四帧之后相隔第一预定数量的连续帧；以及由组合网络基于所述至少一个第一语义特征、所述至少一个第二语义特征和所述至少一个第三语义特征生成第二帧的至少一个第四语义特征。在又一实施例中，第一预定数量的连续帧可以包括固定数量的多个连续帧，第四帧可以在所述固定数量的多个连续帧的开头，第五帧可以在所述固定数量的多个连续帧的末尾，第二帧包括是在第四帧和第五帧之间在所述固定数量的多个连续帧中间的单个帧，第四帧和第五帧可以是关键帧。在再一实施例中，第一图像语义分割网络可以是比第二图像语义分割网络更深的神经网络，第三图像语义分割网络可以是比第二图像语义分割网络更深的神经网络。在一个实施例中，该方法还可以包括：将所述至少一个第一语义特征以逐帧方式朝第二帧传播，以获得至少一个第一传播语义特征；以及将所述至少一个第三语义特征以逐帧方式朝第二帧传播，以获得至少一个第二传播语义特征。在另一实施例中，该方法还可以包括由组合网络基于所述至少一个第一传播语义特征和所述至少一个第一遮挡图、所述至少一个第二传播语义特征和所述至少一个第二遮挡图、以及用于第二帧的所述至少一个第二语义特征和用于第二帧的至少一个第三遮挡图通过以下来为第二帧生成语义分割的帧：将所述至少一个第一传播语义特征和所述至少一个第一遮挡图通过逐元素乘法相乘以获得至少一个第一加权语义特征；将所述至少一个第二传播语义特征和所述至少一个第二遮挡图通过逐元素乘法相乘以获得至少一个第二加权语义特征；将所述至少一个第二语义特征和至少一个第三遮挡图通过逐元素乘法相乘以获得至少一个第三加权语义特征；以及将所述至少一个第一加权语义特征、所述至少一个第二加权语义特征和所述至少一个第三加权语义特征通过逐元素加法相乘。

示例实施例提供了一种提供视频语义分割的系统，该系统可以包括第一语义分割网络、第二语义分割网络、第三语义分割网络和组合网络。第一语义分割网络可以被配置为对预定数量的连续视频帧的第一帧进行语义分割以获得第一帧的至少一个第一语义特征。第二语义分割网络可以被配置为对视频帧序列的第二帧进行语义分割以获得第二帧的至少一个第二语义特征，第二帧在第一帧之后。第三语义分割网络可以被配置为对视频帧序列的第三帧进行语义分割以获得第三帧的至少一个第三语义特征，第三帧在第二帧之后并且也在第一帧之后相隔第一预定数量的连续帧。组合网络可以被配置为基于所述至少一个第一语义特征、所述至少一个第二语义特征和所述至少一个第三语义特征生成第二帧的至少一个第四语义特征。在一个实施例中，第一预定数量的连续帧可以包括固定数量的连续帧，第一帧可以在所述固定数量的连续帧的开头，第三帧可以在所述固定数量的连续帧的末尾，第二帧可以是在第一帧和第三帧之间在所述固定数量的连续帧中间的单个帧，第一帧和第三帧可以是关键帧。在另一实施例中，该系统还可以被配置为：将所述至少一个第一语义特征以逐帧方式朝第二帧传播，以获得至少一个第一传播语义特征；以及将所述至少一个第三语义特征以逐帧方式朝第二帧传播，以获得至少一个第二传播语义特征。在又一实施例中，该系统还可以包括：第一光流网络，可以被配置为确定从第四帧到第二帧的至少一个第一正向光流和从第二帧到第四帧的至少一个第一反向光流，第四帧在第一帧和第二帧之间，并且第四帧紧接第二帧；以及第二光流网络，可以被配置为确定从第二帧到第五帧的至少一个第二正向光流和从第五帧到第二帧的至少一个第二反向光流，第五帧在第二帧和第三帧之间，并且第五帧紧接第二帧。在再一实施例中，该系统还可以包括：第一遮挡网络，可以被配置为至少部分地基于所述至少一个第一正向光流、所述至少一个第一反向光流、所述至少一个第二正向光流和所述至少一个第二反向光流来确定从第四帧到第二帧的至少一个第一遮挡图和从第五帧到第二帧的至少一个第二遮挡图，组合网络还可以被配置为基于所述至少一个第一遮挡图和所述至少一个第二遮挡图为所述第二帧生成至少一个第三遮挡图。在一个实施例中，该系统还可以被配置为：将所述至少一个第一语义特征以逐帧方式朝第二帧传播，以获得至少一个第一传播语义特征；以及将所述至少一个第三语义特征以逐帧方式朝第二帧传播，以获得至少一个第二传播语义特征，其中组合网络还被配置为基于所述至少一个第一传播语义特征和所述至少一个第一遮挡图、所述至少一个第二传播语义特征和所述至少一个第二遮挡图、以及用于第二帧的所述至少一个第二语义特征和用于第二帧的至少一个第三遮挡图通过以下来为第二帧生成语义分割的帧：将所述至少一个第一传播语义特征和所述至少一个第一遮挡图通过逐元素乘法相乘以获得至少一个第一加权语义特征；将所述至少一个第二传播语义特征和所述至少一个第二遮挡图通过逐元素乘法相乘以获得至少一个第二加权语义特征；将所述至少一个第二语义特征和至少一个第三遮挡图通过逐元素乘法相乘以获得至少一个第三加权语义特征；以及将所述至少一个第一个加权语义特征、所述至少一个第二加权语义特征和所述至少一个第三加权语义特征通过逐元素加法相乘。

附图说明

在以下部分中，将参照图中所示的示例性实施例描述这里公开的主题的方面，附图中：

图1描绘了根据这里公开的主题的系统框架的示例实施例；

图2描绘了根据这里公开的主题的由FlowNets生成的输入帧和输出光流；

图3A描绘了根据这里公开的主题可以将四个估计的光流输入到遮挡网络OccNet中以估计可能包含由于在传播过程中的遮挡引起的失真的区域；

图3B描绘了根据这里公开的主题的可以用于从三个连续帧接收四个光流作为输入并且可以输出遮挡图的估计的示例U-Net形状结构；

图4描绘了这里公开的框架的语义分割传播部分的训练配置；

图5示出了根据这里公开的主题的双向特征传播框架的示例实施例的示例视觉中间结果；

图6示出了根据这里公开的主题的三个非关键视频帧的五个序列的示例视觉语义分割结果；

图7示出了不同语义分割技术的示例视觉结果与这里公开的具有双向特征传播和基于注意力的特征校正技术的语义分割的比较；以及

图8描绘了电子设备，其在一个实施例中可以包括根据这里公开的主题的使用双向特征传播和基于注意力的特征校正的视频语义分割系统。

具体实施方式

在以下详细描述中，阐述了许多具体细节以便提供对本公开的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践所公开的方面。在其它情况下，没有详细描述众所周知的方法、过程、部件和电路，以免混淆这里公开的主题。

贯穿本说明书对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可以被包括在这里公开的至少一个实施例中。因此，短语“在一个实施例中”或“在一实施例中”或“根据一个实施例”(或具有类似含义的其它短语)贯穿本说明书在各个地方的出现可以未必都指同一实施例。此外，特定特征、结构或特性可以在一个或更多个实施例中以任何合适的方式组合。就此而言，如这里所使用的，词语“示例性”意思是“用作示例、实例或说明”。这里描述为“示例性”的任何实施例将不被解释为必然相比于其它实施例是优选的或有利的。此外，特定特征、结构或特性可以在一个或更多个实施例中以任何合适的方式组合。此外，取决于这里的讨论的上下文，单数术语可以包括对应的复数形式，并且复数术语可以包括对应的单数形式。类似地，带连字符的术语(例如，“二维的(two-dimensional)”、“预定的(pre-determined)”、“像素特定的(pixel-specific)”等)偶尔可以与对应的不带连字符的版本(例如，“二维的(two dimensional)”、“预定的(predetermined)”、“像素特定的(pixel specific)”等)可互换地使用，并且大写条目(例如，“计数器时钟(Counter Clock)”、“行选择(Row Select)”、“像素输出(PIXOUT)”等)可以与对应的非大写版本(例如，“计数器时钟(counter clock)”、“行选择(row select)”、“像素输出(pixout)”等)可互换地使用。这种偶尔可互换的使用不应被视为彼此不一致。

此外，取决于这里的讨论的上下文，单数术语可以包括对应的复数形式并且复数术语可以包括对应的单数形式。还要注意，这里示出和讨论的各种图(包括部件图)仅出于说明目的，并且未按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其它元件被夸大。此外，如果认为合适，则在图之间重复附图标记以指示对应和/或类似的元件。

这里使用的术语仅出于描述一些示例实施例的目的，并不旨在限制要求保护的主题。如这里所使用的，单数形式“一”和“该”旨在也包括复数形式，除非上下文另有明确指示。还将理解，当在本说明书中使用时，术语“包括”和/或“包含”指明所陈述的特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其它特征、整体、步骤、操作、元件、部件和/或其组的存在或添加。如这里所使用的，术语“第一”、“第二”等用作在它们后面的名词的标签，并且不暗示任何类型的排序(例如，空间、时间、逻辑等)，除非明如此限定。此外，可以在两个或更多个附图中使用相同的附图标记来指代具有相同或相似功能的部分、部件、块、电路、单元或模块。然而，这样的使用只是为了说明的简单和讨论的容易；这并不暗示此类部件或单元的构造或架构细节在所有实施例中都是相同的，或者此类共同引用的部分/模块是实现这里公开的一些示例实施例的唯一方式。

将理解，当元件或层被称为在另一元件或层上、“连接到”另一元件或层或“联接到”另一元件或层时，它可以直接在该另一元件或层上、直接连接到该另一元件或层或直接联接到该另一元件或层，或者可以存在居间的元件或层。相比之下，当元件被称为“直接在”另一元件或层“上”、“直接连接到”另一元件或层或“直接联接到”另一元件或层时，不存在居间的元件或层。相同的数字始终指代相同的元件。如这里所使用的，术语“和/或”包括一个或更多个相关所列举项目的任何和所有组合。

如这里所使用的，术语“第一”、“第二”等用作在它们后面的名词的标签，并且不暗示任何类型的排序(例如，空间、时间、逻辑等)，除非明确地如此限定。此外，可以在两个或更多个附图中使用相同的附图标记来指代具有相同或相似功能的部分、部件、块、电路、单元或模块。然而，这样的使用只是为了说明的简单和讨论的容易；这并不暗示此类部件或单元的构造或架构细节在所有实施例中都是相同的，或者此类共同引用的部分/模块是实现这里公开的一些示例实施例的唯一方式。

除非另外规定，否则这里使用的所有术语(包括技术术语和科学术语)具有与本主题所属领域的普通技术人员通常理解的相同含义。还将理解，术语(诸如在常用词典中定义的术语)应被解释为具有与其在相关技术的背景下的含义一致的含义，并且将不在理想化的或过度形式化的意义上被解释，除非在此明确地如此定义。

如这里所使用的，术语“模块”指的是软件、固件和/或硬件的任何组合，其被配置为提供这里描述的与模块相关的功能。例如，软件可以被体现为软件包、代码和/或指令集或指令，并且如在这里描述的任何实施方式中使用的术语“硬件”可以单独包括或以任何组合包括例如组件、硬连线电路、可编程电路、状态机电路和/或存储由可编程电路运行的指令的固件。模块可以共同地或单独地体现为形成较大系统的部分的电路，例如但不限于集成电路(IC)、片上系统(SoC)、组件等。

这里公开的主题提供了一种通过使用双向特征传播和基于注意力的特征校正以低计算成本实现视频语义分割中的高分割准确性和时间一致性的系统和方法。双向特征传播方面将关键帧的特征在正向时间方向和反向时间方向两者上朝关键帧之间的非关键帧传播。基于注意力的特征校正方面通过轻量级网络，基于遮挡网络考虑到正向方向和反向方向两者上的遮挡检测而学习到的遮挡图，使用从当前帧获得的特征来细化传播的特征。

几种传统的基于关键帧的视频语义分割技术使用帧之间的内容连续性并将在关键帧处提取的高级特征在一个方向上传播到其它时间步长。传统的传播过程可能包括由帧之间的运动引起的失准。例如，深度特征流(DFF)技术使用光流将高级特征从关键帧扭曲到接下来的帧。名为Accel的校正融合网络使用从当前帧提取的低级特征更新扭曲的特征。与传统方法相比，这里公开的主题可以使用帧之间的内容连续性来估计在时间上正向的方向和时间上反向的方向两者上针对非关键帧的语义分割，并且可以使用轻量级网络细化失真，从而提供具有低的计算成本的一系列质量分割图。

图1描绘了根据这里公开的主题的系统框架100的示例实施例。系统框架100包括双向特征传播框架和基于注意力的特征校正机制。双向特征传播框架将特征从关键帧朝非关键帧在时间上正向的方向和时间上反向的方向两者上传播。基于注意力的特征校正机制融合了前向和后向传播的特征以及基于由遮挡网络考虑到正向方向和反向方向两者上的遮挡检测而学习到的遮挡图从当前帧提取的特征。

参照图1，双向特征传播框架100包括第一图像语义分割网络(SegNet

沿着图1的顶部描绘的视频帧序列的每个视频帧可以被当作关键帧或非关键帧。可以将关键帧直接应用于图像语义分割网络SegNet

光流可以用作指导，并且双线性插值可以用作翘曲算符W。即，从FlowNet 104和FlowNet 105输出的预测的光流图像对(诸如[I

四个估计的光流也可以如图3A所示输入到遮挡网络OccNet 108中，以估计在传播过程中可能包含由于遮挡引起的失真的区域。然后可以在预测的遮挡图

这里公开的双向特征传播利用两个关键帧而不是如传统所做的那样利用一个关键帧。假设两个关键帧之间的距离D固定，关键帧k和k+D可以分别输入到图像语义分割网络SegNet

监督学习可以用于训练框架100的双向语义分割部分。如图4所绘，可以将一批三个图像[I

1≤p≤D (1)

以及

q＝D-p+1 (2)

在框架100的双向语义分割部分的训练期间，框架可以包括两个主要的语义分割网络，即图像分割网络

网络分别将针对I

基于注意力的特征校正机制用于将来自正向方向和反向方向的特征与基于遮挡图从当前帧提取的特征融合，该遮挡图由遮挡网络考虑到在正向方向和反向方向两者上的遮挡检测而学习到。在一些实施例中，遮挡网络如图3B所绘可以例如具有U-Net形状结构350，其从三个连续帧

返回参照图1，一个示例框架100可以包括第一图像语义分割网络SegNet

令

其中“×”表示在空间上逐元素乘法。

在框架100的一个示例实施例中，DeepLabv3+网络可以用作基于准确性和效率方面的性能的用于SegNetk网络和SegNetk+D网络的语义分割架构。在另一示例实施例中，修改后的FlowNet2-S可以用作用于光流估计网络FlowNet的CNN。

这里公开的双向特征传播框架100可以在例如Cityscapes数据集上进行评估，Cityscapes数据集是语义分割和自动驾驶领域中受欢迎的数据集。训练集和验证集分别包含2975和500个视频剪辑。每个视频剪辑有30帧，其中第20帧由具有19个类别的像素级语义标签进行注释。

图5示出了双向特征传播框架100的示例实施例的示例视觉中间结果，该示例实施例包括在正向方向和反向方向上的传播特征(

图6示出了根据这里公开的主题的三(3)个非关键视频帧的五个序列的示例视觉语义分割结果。帧索引在图6的顶部指示。图6的最上面的行示出了示例输入帧。第二行示出了正向传播结果。第三行示出了反向传播结果。第四行示出当前结果，第五行示出了最终输出。

不同视频语义分割方法的性能可以通过使用平均交并比(mIoU)和基于mIoU的时间一致性(mTC)测量分割准确性来评估。表1示出了这里公开的双向特征传播框架的示例实施例与传统的基于关键帧的技术(包括DFF、Accel和失真感知视频语义分割(DAVSS)相比)的性能。在表1中，这里公开的双向传播框架出现在最下面两行。在最下面两行的上面一行中，双向传播框架采用DeeplabV3+网络作为SegNet

表1.基于Cityscapes数据集和CamVid数据集的评估。

图7示出了不同语义分割技术的示例视觉结果与这里公开的具有双向特征传播和基于注意力的特征校正技术的语义分割的比较。图7中的最上面一行示出了四个示例帧。第二行示出了DeeplabV3+网络提供的每个相应示例帧的结果。第三行示出了DAVSS网络提供的结果。第四行示出了这里公开的具有双向特征传播和基于注意力的特征校正技术的语义分割提供的结果。第五行示出了四个示例帧的真值。

图8描绘了电子设备800，其在一个实施例中可以包括根据这里公开的主题使用双向特征传播和基于注意力的特征校正的视频语义分割系统。电子设备800和电子设备800的各种系统部件可以由一个或更多个模块形成。电子设备800可以包括通过总线890彼此耦合的控制器(或CPU)810、输入/输出设备820(诸如但不限于键板、键盘、显示器、触摸屏显示器、2D图像传感器、3D图像传感器)、存储器830、接口840、GPU 850、成像处理单元860、神经处理单元870、TOF处理单元880。控制器810可以包括例如至少一个微处理器、至少一个数字信号处理器、至少一个微控制器等。存储器830可以被配置为存储将由控制器810使用的命令代码和/或存储用户数据。

在一个实施例中，图像处理单元860可以包括根据这里公开的主题使用双向特征传播和基于注意力的特征校正的视频语义分割系统。在另一实施例中，神经处理单元870可以是根据这里公开的主题使用双向特征传播和基于注意力的特征校正的视频语义分割系统的部分。

接口840可以被配置为包括无线接口，该无线接口被配置为使用RF信号向例如无线通信网络发送数据或从例如无线通信网络接收数据。无线接口840还可以包括例如天线。电子系统800还可以用于通信系统的通信接口协议，诸如但不限于码分多址(CDMA)、全球移动通信系统(GSM)、北美数字通信(NADC)、扩展时分多址(E-TDMA)、宽带CDMA(WCDMA)、CDMA2000、Wi-Fi、市政Wi-Fi(Muni Wi-Fi)、蓝牙、数字增强无绳电信(DECT)、无线通用串行总线(Wireless USB)、具有无缝切换的快速低延迟接入正交频分复用(Flash-OFDM)、IEEE802.20、通用分组无线电服务(GPRS)、iBurst、无线宽带(WiBro)、WiMAX、WiMAX-Advanced、通用移动电信服务-时分双工(UMTS-TDD)、高速分组接入(HSPA)、演进数据优化(EVDO)、长期演进-高级(LTE-Advanced)、多通道多点分发服务(MMDS)、第五代无线(5G)、第六代无线(6G)等。

本说明书中描述的主题和操作的实施例可以在数字电子电路、或在计算机软件、固件或硬件(包括在本说明书中公开的结构及其结构等同物)中、或在它们中的一个或更多个的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或更多个计算机程序，即编码在计算机存储介质上以供数据处理装置运行或控制数据处理装置的操作的计算机程序指令的一个或更多个模块。可选地或另外地，程序指令可以被编码在人工生成的传播信号(例如，机器生成的电信号、光信号或电磁信号)上，该传播信号被生成以对信息进行编码从而传输到合适的接收器装置以供数据处理装置运行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或其组合，或者被包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或其组合中。此外，虽然计算机存储介质不是传播信号，但计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是一个或更多个单独的物理部件或介质(例如，多个CD、盘或其它存储设备)或者被包括在该一个或更多个单独的物理部件或介质中。另外，本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或更多个计算机可读存储设备上或从其它来源接收的数据执行的操作。

虽然本说明书可能包含许多特定的实施细节，但是这些实施细节不应被解释为对任何所要求保护的主题的范围的限制，而应被解释为特定于特定实施例的特征的描述。在本说明书中在分离的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，尽管特征可能在上面被描述为在某些组合中起作用，甚至最初如此要求保护，但在一些情况下，可能从所要求保护的组合中删除来自该组合的一个或更多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中按特定顺序描绘了操作，但这不应被理解为要求按所示的特定顺序或按依次的顺序执行这些操作，或者要求执行所有示出的操作，以实现期望的结果。在某些情况下，多任务和并行处理可以是有利的。此外，上述实施例中的各个系统部件的分离不应被理解为在所有实施例中都要求这样的分离，应理解，所描述的程序部件和系统一般可以一起集成在单个软件产品中或打包成多个软件产品。

因此，已经在这里描述了主题的特定实施例。其它实施例在的所附权利要求的范围内。在一些情况下，权利要求中阐述的动作可以按不同的顺序执行，并且仍然达到期望的结果。另外，附图中描绘的过程未必要求所示的特定顺序或依次的顺序来达到期望的结果。在某些实施方式中，多任务和并行处理可以是有利的。

本领域技术人员将认识到，这里描述的创新概念可以在广泛的应用范围内进行修改和变化。因此，所要求保护的主题的范围不应限于上面讨论的任何具体示例性教导，而是由所附权利要求限定。