掌桥专利:专业的专利平台
掌桥专利
首页

用于基于仿射模型的视频译码的仿射运动估计

文献发布时间:2023-06-19 11:32:36


用于基于仿射模型的视频译码的仿射运动估计

相关申请的交叉引用

本申请要求保护2018年9月21日提交的申请号为62/734,783的美国临时申请和2019年3月2日提交的申请号为62/812,979的美国临时申请的权益,其内容通过引用并入本文。

背景技术

视频译码系统可以用于压缩数字视频信号,例如,以减少这些信号所需的存储和/或传输带宽。视频译码系统可以包括基于块、基于小波和/或基于对象的系统。可以部署基于块的混合视频译码系统。

发明内容

本文公开了用于视频译码的运动估计的系统、方法和手段。运动估计的起始点可以至少部分地基于最近估计的MV列表中的一个或多个MV集合而被选择。运动估计的起始点的选择可以由编码器和/或解码器来执行。所述编码器和/或解码器可以是无线发射/接收单元(WTRU)。举例来说,包含一个或一个以上MV的第一运动向量(MV)集合可针对第一译码块被导出。MV可以是控制点MV(CPMV),且MV可通过执行与第一译码块相关联的仿射运动估计(ME)来导出。第一MV集合可被添加到最近估计的MV列表。最近估计的MV列表的头部可被设置为第一MV集合。最近估计的MV列表可以是空的,或者可以包含一个或多个先前添加的MV集合。举例来说,最近估计的MV列表可包含一或多个用于运动估计的搜索的MV集合,其中最近估计的MV列表中的每一搜索MV集合为针对通过不同树分割的第二译码块的相邻块、第二译码块的同属(sibling)块、第二译码块的父块或第二译码块的父块的子块选择的MV集合。最近估计的MV列表可以是例如具有一尺寸(例如,其可以是四)的先进先出(FIFO)列表。运动估计的起始点可至少部分基于最近估计的MV列表中的一个或多个MV集合和一个或多个MV预测器针对第二译码块而被选择。第二译码块可以基于所选择的起始点而被编码。例如,与第二译码块相关联的ME(例如,仿射ME)基于所选择的起始点。

第一树分割可将第二译码块的父块分割为第二译码块和至少一个同属(sibling)块。第二树分割可将第二译码块的父块分割成一个或一个以上(例如,两个)子块)。第一译码块可以是第二译码块的相邻块、第二译码块的同属块、第二译码块的父块、或通过第二树分割的父块的子块。如果第二译码块是第一树分割中的最后块,则MV列表的头部可以被设置为与父块相关联的MV集合。

最近估计的MV列表可与最大尺寸相关联。例如在导出针对译码块(例如,第一译码块)的MV之后,可以确定最近估计的MV列表的尺寸是否等于最大尺寸。如果最近估计的MV列表等于最大尺寸,则在添加针对译码块的MV之前,可以从最近估计的MV列表中移除最近最少估计(least-recently-estimated)的MV集合。

可以确定MV集合和/或MVP集合。MV集合可以包括例如一个或多个(例如三个)MV(例如控制点MV)。例如,MV集合可表示为{MV

可确定MV集合的第二MV(例如MV

附图说明

图1A是示出了示例通信系统的系统图。

图1B是示出了可在图1A所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。

图1C是示出了可以在图1A所示的通信系统内使用的示例性无线电接入网(RAN)和示例性核心网(CN)的系统图。

图1D是图示了可以在图1A中图示的通信系统内使用的另外的示例RAN和另外的示例CN的系统图。

图2展示基于块的视频编码器的示例图。

图3展示视频解码器的示例框图。

图4示出了多类型树结构中的示例块分割。

图5示出了四参数仿射模式的示例。

图6示出了六参数仿射模式的示例。

图7示出了仿射合并候选的示例。

图8示出了仿射运动模型的控制点处的运动向量导出的示例。

图9示出了示例仿射运动向量预测器构造。

图10示出了用于译码单元的示例运动模型选择。

图11(a)-(f)示出了示例仿射MV列表更新,其中列表的当前头部被阴影化。

图12示出了在仿射运动估计后检查示例额外组合MV集合。

图13示出了用于8×8编码单元(CU)的示例梯度计算。

图14示出了8×8 CU的示例梯度计算。

具体实施方式

从以下结合附图以示例方式给出的描述中可以获得更详细的理解,其中:

图1A是示出了可以实现一个或多个所公开的实施例的示例通信系统100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如,通信系统100可以采用一种或多种信道接入方法,例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM、滤波器组多载波(FBMC)等。

如图1A所示,通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公共交换电话网(PSTN)108、因特网110和其他网络112,但是应当理解,所公开的实施例考虑了任何数量的WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d的每一者可为配置以在无线环境中操作及/或通信的任何类型设备。举例来说,WTRU102a、102b、102c、102d(其中任何一个可以被称为"站"和/或"STA")可以被配置成传送和/或接收无线信号,并且可以包括用户设备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如,在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费类电子设备、在商业和/或工业无线网络上操作的设备等等。WTRU 102a、102b、102c及102d中的任何一个可互换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。基站114a、114b的每一个可为任何类型的设备,其被配置成与WTRU 102a、102b、102c、102d的至少一个无线对接,以促进对一个或多个通信网络的接入,例如CN 106/115、因特网110和/或其他网络112。举例来说,基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b中的每一者被描绘为单个部件,但是将理解,基站114a、114b可以包括任何数量的互连基站和/或网络部件。

基站114a可以是RAN 104/113的部分,其还可以包括其他基站和/或网络部件(未示出),例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在一个或多个载波频率(其可以被称为小区(未示出))上发送和/或接收无线信号。这些频率可以在许可频谱、未许可频谱、或者许可和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖,该特定地理区域可以是相对固定的或者可以随时间而改变的。小区可以进一步被划分为小区扇区。例如,与基站114a相关联的小区可以被划分为三个扇区。因此,在一个实施例中,基站114a可以包括三个收发信机,即,小区的每个扇区对应一个收发信机。在实施例中,基站114a可以采用多输入多输出(MIMO)技术,并且可以针对小区的每个扇区使用多个收发信机。例如,波束成形可以用于在期望的空间方向上发送和/或接收信号。

基站114a、114b可经由空中接口116与WTRU102a、102b、102c、102d中的一个或多个通信,该空中接口可以是任何合适的无线通信链路(例如,射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等)。空中接口116可以使用任何合适的无线接入技术(RAT)来建立。

更具体地说,如上所述,通信系统100可以是多址接入系统,并且可以采用一个或多个信道接入方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如,RAN 104/113中的基站114a和WTRU 102a、102b、102c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术,其可以使用宽带CDMA(WCDMA)建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施例中,基站114a和WTRU 102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)的无线电技术,其可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。

在一个实施例中,基站114a和WTRU 102a、102b、102c可以实现诸如NR无线电接入的无线电技术,其可以使用新的无线电(NR)来建立空中接口116。

在一实施例中,基站114a和WTRU102a、102b、102c可以实现多种无线电接入技术。例如,基站114a和WTRU102a、102b、102c可以一起实现LTE无线电接入和NR无线电接入,例如使用双连接(DC)原理。因此,WTRU102a、102b、102c所使用的空中接口可通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。

在其他实施例中,基站114a及无线传输/接收单元102a、102b、102c可实施无线技术,例如IEEE802.11(即无线保真(WiFi)、IEEE 802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、国际标准2000(IS-2000)、国际标准95(IS-95)、国际标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等。

图1A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点,并且可以利用任何合适的RAT来促进局部区域中的无线连接,该局部区域诸如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如,供无人机使用)、道路等。在一实施例中,基站114b及WTRU 102c、102d可实施例如IEEE 802.11的无线电技术以建立无线局域网络(WLAN)。在一实施例中,基站114b和WTRU 102c、102d可以实现诸如IEEE 802.15的无线电技术以建立无线个人区域网(WPAN)。在又一实施例中,基站114b和WTRU102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示,基站114b可以直连到因特网110。因此,基站114b可不需要经由CN106/115接入因特网110。

RAN104/113可与CN106/115通信,其可为向WTRU 102a、102b、102c、102d一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的语音的任何类型的网络。所述数据可具有不同的服务质量(QoS)要求,例如不同的吞吐量要求、时延要求、容错要求、可靠性要求、数据吞吐量要求、移动性要求等。CN106/115可提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等,和/或执行高级安全功能(例如用户认证)。尽管图1A中未示出,但是应当理解,RAN104/113和/或CN106/115可以直接或间接和其他那些与RAN104/113使用相同的RAT或不同的RAT的RAN通信。例如,除了连接到可以利用NR无线电技术的RAN104/113之外,CN106/115还可以与采用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。

CN106/115亦可作为WTRU 102a、102b、102c、102d的网关以接入PSTN 108、因特网110、及/或其他网络112。PSTN 108可以包括提供普通老式电话业务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球系统,所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如,网络112可以包括连接到一个或多个RAN的另一个CN,所述RAN可以使用与RAN 104/113相同的RAT或不同的RAT。

通信系统100中的WTRU 102a、102b、102c、102d中的一些或所有可包括多模能力(例如WTRU 102a、102b、102c、102d可包括多个收发信机,用于通过不同的无线链路与不同的无线网络通信)。例如,图1A所示的WTRU 102c可以被配置成与可以采用基于蜂窝的无线电技术的基站114A通信,以及与可以采用IEEE 802无线电技术的基站114b通信。

图1B是示出示例WTRU 102的系统图。如图1B所示,WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。可以理解,WTRU 102可以包括前述部件的任何子组合,同时保持与实施例一致。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU 102能够在无线环境中操作的功能。处理器118可以耦合到收发信机120,其可以耦合到发射/接收部件122。虽然图1B将处理器118和收发信机120描绘为单独的组件,但将了解,处理器118和收发信机120可一起集成在电子封装或芯片中。

发射/接收部件122可以被配置为通过空中接口116向基站(例如,基站114a)发射信号或从其接收信号。例如,在一个实施例中,发射/接收部件122可以是被配置为发射和/或接收RF信号的天线。在一个实施例中,发射/接收部件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一实施例中,发射/接收部件122可以被配置成发射和/或接收RF和光信号两者。应当理解,发射/接收部件122可以被配置为发射和/或接收无线信号的任何组合。

虽然发射/接收部件122在图1B中被描述为单个部件,但是WTRU 102可以包括任意数量的发射/接收部件122。更具体地,WTRU 102可以使用MIMO技术。因此,在一个实施方式中,WTRU 102可以包括两个或多个发射/接收部件122(例如多个天线),用于通过空中接口116传送和接收无线信号。

收发信机120可以被配置为调制将由发射/接收部件122发射的信号,并且解调由发射/接收部件122接收的信号。如上所述,WTRU 102可以具有多模式能力。因此,收发信机120可以包括多个收发信机,用于使WTRU 102能够经由多个RAT(例如NR和IEEE 802.11)进行通信,。

WTRU 102的处理器118可被耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元),并可从其接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。另外,处理器118可以从任何类型的适当存储器访问信息,并且将数据存储在任何类型的适当存储器中,所述存储器诸如不可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移除存储器132可以包括用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中,处理器118可以从物理上不位于WTRU 102上的存储器(例如在服务器或家用计算机(未示出)上)访问信息,并将数据存储在该存储器中。

处理器118可以从电源134接收电力,并且可以被配置成分发和/或控制电力给WTRU102中的其他组件。电源134可以是任何合适的用于为WTRU102供电的设备。例如,电源134可以包括一个或多个干电池(例如,镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118也可以耦合到GPS芯片组136,GPS芯片组136可以被配置成提供关于WTRU 102的当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组136的信息之外,或者作为其替代,WTRU 102可以通过空中接口116从基站(例如基站114a、114b)接收位置信息,和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。应该理解,在WTRU102可以通过任何合适的位置确定方法来获取位置信息,同时保持与实施例一致。

处理器118还可以耦合到其他外围设备138,外围设备138可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如,外围设备138可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提头戴式耳机、

WTRU 102可以包括全双工无线电设备,对于该全双工无线电设备,一些或所有信号(例如,与用于UL(例如,用于传输)和下行链路(例如,用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元139。在实施例中,WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如用于传输)或下行链路(例如用于接收)的特定子帧相关联的信号)的半双工无线电设备。

图1C是示出根据实施例的RAN 104和CN 106的系统图。如上所述,RAN 104可采用E-UTRA无线电技术并通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与CN106通信。

RAN 104可包含e节点B 160a、160b、160c,但应了解,RAN 104可包含任何数量个e节点B,同时保持与一实施例一致。e节点B 160a、160b、160c中的每一个可以包括一个或多个收发信机,用于通过空中接口116与WTRU 102a、102b、102c进行通信。在一个实施例中,e节点B 160a、160b、160c可实现MIMO技术。因此,例如e节点B 160a可以使用多个天线来向WTRU 102a发送无线信号和/或从其接收无线信号。

e节点B 160a、160b、160c中的每一个可以与特定小区(未示出)相关联,并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中用户的调度等。如图1C中所示,e节点B 160a、160b、160C可经由X2接口而彼此通信。

图1C中所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述部件中的每一个被描绘为CN 106的部分,但是将理解,这些部件中的任何一个可以由除了CN运营商之外的实体拥有和/或操作。

MME 162可经由S1接口连接到RAN104中的e节点B 162a、162b、162c中的每一者且可充当控制节点。例如,MME 162可负责认证WTRU102a、102b、102c的用户、携带激活/去激活、在WTRU102a、102b、102c的初始附着期间选择特定服务网关等。MME 162可以提供控制平面功能,用于在RAN104和采用其他无线技术(例如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换。

SGW 164可经由S1接口连接到RAN104中的e节点B 160a、160b、160c中的每一者。SGW 164通常可路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。SGW 164可以执行其他功能,例如在e节点B间切换期间锚定用户平面,当DL数据可用于WTRU 102a、102b、102c时触发寻呼,管理和存储WTRU 102a、102b、102c的上下文等。

SGW 164可以连接到PGW 166,其可以为WTRU 102a、102b、102c提供对诸如因特网110的分组交换网络的接入,以促进WTRU 102a、102b、102c和启用IP设备之间的通信。

CN 106可以促进与其他网络的通信。例如,CN 106可向WTRU 102a、102b、102c提供针对电路交换网络的接入,例如PSTN 108,以促进WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如,CN 106可以包括IP网关(例如,IP多媒体子系统(IMS)服务器)或者可以与IP网关通信,该IP网关充当CN 106和PSTN 108之间的接口。此外,CN 106可向WTRU102a、102b、102c提供针对其他网络112的接入,其他网络112可包括由其他服务提供者拥有和/或操作的其他有线和//或无线网络。

虽然WTRU在图1A-1D中被描述为无线终端,但是可以预期在某些代表性实施例中,这种终端可以使用(例如临时或永久)与通信网络的有线通信接口。

在代表性实施例中,其他网络112可以是WLAN。

基础设施基本服务集(BSS)模式中的WLAN可以具有用于BSS的接入点(AP)和与AP相关联的一个或多个站(STA)。AP可以接入或对接到分布系统(DS)或将业务送入和/或送出携带BSS的另一类型的有线/无线网络。从BSS外部发起且去往STA的业务可以通过AP到达,并且可以被递送到STA。从STA发起且去往BSS外部的目的地的业务可以被发送到AP,以被递送到相应的目的地。BSS内的STA之间的业务可以通过AP来发送,例如,其中源STA可以向AP发送业务,并且AP可以将业务递送到目的地STA。BSS内的STA之间的业务可以被认为和/或称为点到点业务。所述点到点业务可以利用直接链路建立(DLS)在源STA和目的STA之间(例如,直接在源STA和目的STA之间)发送。在某些代表性实施例中,DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可能不具有AP,并且在IBSS内或使用IBSS的STA(例如,所有STA)可以彼此直接通信。IBSS通信模式在这里有时可以被称为"自组织"通信模式。

当使用802.11ac基础结构操作模式或类似的操作模式时,AP可以在固定信道上传送信标,例如主信道。主信道可以是固定宽度(例如,20MHz宽的带宽)或经由信令动态设置的宽度。主信道可以是BSS的工作信道,并且可以由STA用来建立与AP的连接。在某些代表性实施例中,例如在802.11系统中,可以实现具有冲突避免的载波感测多址接入(CSMA/CA)。对于CSMA/CA,包括AP在内的STA(例如,每个STA)可以感测主信道。如果主信道被特定STA感测/检测和/或确定为繁忙,则该特定STA可以退避。一个STA(例如,仅一个站)可以在给定BSS中的任何给定时间进行传送。

高吞吐量(HT)STA可以使用40MHz宽信道进行通信,例如,通过将主20MHz信道与相邻或非相邻的20MHz信道组合以形成宽为40MHz的信道。

甚高吞吐量(VHT)STA可以支持宽为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道,或者通过组合两个非连续的80MHz信道来形成,这可以被称为80+80配置。对于80+80配置,在信道编码之后,数据可以通过分段解析器,该分段解析器可以将数据划分成两个流。可以对每个流分别进行快速傅立叶逆变换(IFFT)处理和时域处理。流可以被映射到两个80MHz信道上,并且数据可以由传送STA传送。在接收STA的接收器处,上述80+80配置的操作可以是相反的,并且可以将组合数据发送到介质接入控制(MAC)。

低于1GHz的操作模式由802.11af和802.11ah支持。相对于802.11n和802.11ac中使用的信道工作带宽和载波,在802.11af和802.11ah中减少了信道工作带宽和载波。802.11af支持TV白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽,而802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施例,802.11ah可以支持计量类型控制/机器类型通信,例如宏覆盖区域中的MTC设备。MTC设备可具有某些能力,例如,包括对某些和/或有限带宽的支持(例如,仅对某些和/或有限带宽的支持)的有限能力。MTC设备可包括具有高于阈值的电池寿命的电池(例如,以维持非常长的电池寿命)。

可以支持多个信道和信道带宽(例如802.11n、802.11ac、802.11af和802.11ah)的WLAN系统包括可以被指定为主信道的信道。主信道可以具有等于BSS中的所有STA所支持的最大公共工作带宽带宽。主信道的带宽可以由在BSS中操作的所有STA之中的STA设置和/或限制,STA支持最小带宽操作模式。在802.11ah的例子中,对于支持(例如,仅支持)1MHz模式的STA(例如,MTC型设备),主信道可以是1MHz宽,即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙,例如,由于STA(其仅支持1MHz操作模式)向AP进行传送,则即使频带中的大多数频带保持空闲并且可用,也可以认为整个可用频带繁忙。

在美国,802.11ah可使用的可用频带是从902MHz到928MHz。在韩国,可用频带是从917.5MHz到923.5MHz。在日本,可用频带是从916.5MHz到927.5MHz。根据国家代码,可用于802.11ah的总带宽是6MHz到26MHz。

图1D是示出根据实施例的RAN 113和CN 115的系统图。如上所述,RAN 113可以使用NR无线技术通过空中接口116与WTRU 102a、102b、102c通信。RAN 113还可以与CN 115通信。

RAN 113可以包括gNB 180a、180b、180c,但是应当理解,RAN 113可以包括任意数量的gNB,同时保持与实施例一致。gNB 180a、180b、180c中的每一个可包括一个或多个收发信机,用于通过空中接口116与WTRU 102a、102b、102c通信。在一个实施例中,gNB 180a、180b、180c可以实现MIMO技术。例如,gNB 180a、108b可以利用波束成形来向gNB 180a、180b、180c传送信号和/或从gNB 180a、180b、180c接收信号。因此,gNB 180a例如可使用多个天线来向WTRU 102a传送无线信号和/或从WTRU 102a接收无线信号。在一个实施例中,gNB 180a、180b、180c可以实现载波聚合技术。例如,gNB 180a可以向WTRU 102a传送多个分量载波(未示出)。这些分量载波的子集可以在未许可频谱上,而剩余的分量载波可以在许可频谱上。在实施例中,gNB 180a、180b、180c可以实现协作多点(CoMP)技术。例如,WTRU102a可以从gNB 180a和gNB 180b(和/或gNB 180c)接收协调的传输。

WTRU 102a、102b、102c可以使用与可扩缩参数配置(numerology)相关联的传输来与gNB 180a、180b、180c通信。例如,OFDM符号间隔和/或OFDM子载波间隔可以针对不同的传输、不同的小区和/或无线传输频谱的不同部分而变化。WTRU 102a、102b、102c可以使用子帧或具有各种或可扩缩长度(例如包含不同数量的OFDM符号和/或持续变化的绝对时间长度)的子帧或传输时间间隔(TTI)来与gNB180a、180b、180c通信。

gNB 180a、180b、180c可被配置成以独立配置和/或非独立配置与WTRU 102a、102b、102c通信。在独立配置中,WTRU 102a、102b、102c可以与gNB 180a、180b、180c通信,而不需要也接入其他RAN(例如e节点B 160a、160b、160c)。在独立配置中,WTRU 102a、102b、102c可利用gNB 180a、180b、180c中的一个或多个作为移动性锚点。在独立配置中,WTRU102a、102b、102c可以使用未许可频带中的信号与gNB 180a、180b、180c通信。在非独立配置中,WTRU 102a、102b、102c可与gNB 180a、180b、180c通信/连接,同时还与例如e节点B160a、160b、160c等另一RAN通信/连接。举例来说,WTRU 102a、102b、102c可以实施DC原理以便与gNB180a、180b、180c中的一者或多者以及eNode-B160a、160b、160c中的一者或多者基本上同时地进行通信。在非独立配置中,e节点B 160a、160b、160c可以用作WTRU 102a、102b、102c的移动性锚点,并且gNB180 a、180b、180c可以提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。

gNB 180a、180b、180c中的每一个可以与特定小区(未示出)相关联,并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络分片、双连通性、NR和E-UTRA之间的互通、向用户平面功能(UPF)184a、184b路由用户平面数据、向接入和移动性管理功能(AMF)182a、182b路由控制平面信息等。如图1D所示,gNB 180a、180b、180c可以通过Xn接口彼此通信。

图1D中所示的CN 115可以包括至少一个AMF 182a、182b、至少一个UPF 184a、184b、至少一个会话管理功能(SMF)183a、183b以及可能的数据网络(DN)185a、185b。虽然前述部件中的每一个被描绘为CN 115的部分,但是将理解,这些部件中的任何一个可以由除了CN运营商之外的实体拥有和/或操作。

AMF 182a、182b可以经由N2接口连接到RAN 113中的gNB 180a、180b、180c中的一个或多个,并且可以用作控制节点。例如,AMF 182a、182b可负责认证WTRU102a、102b、102c的用户、支持网络切片(例如,处理具有不同需求的不同PDU会话)、选择特定的SMF 183a、183b、注册区域的管理、终止NAS信令、移动性管理等等。AMF 182a、182b可使用网络切片,以便根据WTRU 102a、102b、102c所使用的服务类型来定制WTRU 102a、102b、102c的CN支持。例如,可以针对不同的使用情况建立不同的网络切片,所述使用情况诸如依赖于超可靠低时延(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、用于机器类型通信(MTC)接入的服务等。AMF 162可以提供用于在RAN 113和采用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi的非3GPP接入技术)的其他RAN(未示出)之间进行切换的控制平面功能。

SMF 183a、183b可经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b也可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF184a、184b,并且配置通过UPF 184a、184b的业务路由。SMF 183a、183b可以执行其他功能,例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、基于非IP的、基于以太网的等等。

UPF 184a、184b可以经由N3接口连接到RAN 113中的gNB 180a、180b、180c中的一个或多个,这可以向WTRU 102a、102b、102c提供对诸如因特网110的分组交换网络的接入,以促进WTRU 102a、102b、102c与启用IP的设备之间的通信。UPF 184、184b可以执行其他功能,例如路由和转发分组、实施用户平面策略、支持多归属PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等等。

CN 115可以促进与其他网络的通信。例如,CN 115可以包括IP网关(例如,IP多媒体子系统(IMS)服务器)或者可以与IP网关通信,该IP网关充当CN 115与PSTN 108之间的接口。此外,CN 115可向WTRU 102a、102b、102c提供针对其他网络112的接入,其他网络112可包括由其他服务提供者拥有及/或操作的其他有线及/或无线网络。在一实施例中,WTRU102a、102b、102c可经由至UPF 184a、184b的N3接口及UPF 184a、184b与DN 185a、185b之间的N6接口,并通过UPF 184a、184b连接至本地数据网络(DN)185a、185b。

鉴于图1A-1D和图1A-1D的相应描述,本文关于以下各项中的一者或一者以上描述的功能中的一者或一者以上或全部可以由一个或多个仿真设备(未示出)执行:WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-ab、UPF184a-b、SMF 183a-b、DN185 a-b和/或本文所述的任何其他设备(一个或多个)。仿真设备可以是被配置为仿真本文描述的功能中的一个或多个或所有的一个或多个设备。例如,仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如,一个或多个仿真设备可以执行一个或多个或所有功能,同时被完全或部分地实现和/或部署为有线和/或无线通信网络的部分,以便测试通信网络内的其他设备。一个或多个仿真装置可执行一个或多个或所有功能,同时被临时实现/部署为有线和/或无线通信网络的部分。仿真设备可出于测试目的而直接耦合到另一设备,且/或可使用空中无线通信执行测试。

一个或多个仿真设备可以执行一个或多个功能(包括所有功能),而不被实现/部署为有线和/或无线通信网络的部分。例如,仿真设备可以在测试实验室和/或非部署(例如,测试)有线和/或无线通信网络中的测试场景中使用,以便实现一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接RF耦合和/或借助RF电路(例如,其可以包括一个或多个天线)的无线通信来传送和/或接收数据。

可以使用以下中的一者或多者:一个或多个(例如,65个)角度帧内预测方向、修改的系数译码、高级多重变换(AMT)+4×4不可分离的次级变换(NSST)、仿射运动模型、广义自适应环路滤波器(GALF)、高级时间运动向量预测(ATMVP)、自适应运动向量精度、解码器侧运动向量细化(DMVR)和/或线性模型(LM)色度模式。

可以提供基于块的混合视频译码框架。图2给出了示例的基于块的混合视频编码器的框图。例如,编码器可以是WTRU。输入视频信号2可以被逐块处理。块尺寸(例如,扩展的块尺寸,诸如译码单元(CU))可以压缩高分辨率(例如,1080p及以上)视频信号。举例来说,CU可包含128×128个像素或更多。译码树单元CTU可以被分割为CU以适应变化的局部特性(例如,基于四/二/三叉树)。CU(例如,每一CU)可用作预测和/或变换的基本单元(例如,在没有其它分割的情况下)。在多类型树结构中,CTU可以由四叉树结构分割。四叉树叶节点(例如,每个四叉树叶节点)可以由二叉树和/或三叉树结构来分割。如图4所示,可以有一个或多个(例如,五个)分裂类型。例如,分裂类型可以包括四进制分割、水平二进制分割、垂直二进制分割、水平三进制分割和/或垂直三进制分割。对于(例如,每一)输入视频块(例如,MB和/或CU),可执行空间预测60和/或时间预测62。空间预测(例如,帧内预测)可使用来自视频图片/切片中的译码的相邻块的样本(例如,参考样本)的像素来预测当前视频块。空间预测可以减少例如视频信号中固有的空间冗余。时间预测(例如,帧间预测和/或运动补偿预测)可使用来自经译码的视频图片的重构的像素(例如)来预测当前视频块。时间预测可减少例如视频信号中固有的时间冗余。可通过一个或一个以上运动向量(MV)用信号发送用于CU的时间预测信号。MV可指示当前CU与其时间参考之间的运动的量和/或方向。如果支持用于(例如,每一)CU的多个参考图片,那么可发送CU的参考图片索引。参考索引可以用于标识时间预测信号可以从参考图片存储64中的哪个参考图片导出。在空间和/或时间预测之后,编码器中的模式决策块80可例如基于速率失真优化来确定预测模式(例如,最佳预测模式)。可从当前视频块16减去预测块和/或可使用变换4和/或量化6对预测残差进行去相关。量化的残差系数可例如被逆量化10和/或逆变换12,以形成重构的残差,该重构的残差可例如被添加到预测块26,以形成重构的CU。在经重构CU可被放入参考图片存储64中和/或用于对CU(例如,未来CU)进行译码之前,可对重构的CU应用环路内滤波66(例如,解块滤波器)。为了形成输出的视频位流20,可将译码模式(例如,帧间或帧内)、预测模式信息、运动信息和/或量化的残差系数发送(例如,可全部发送)到熵译码单元8,(例如)以进行压缩和/或打包以形成比特流。

图3示出了示例性基于块的视频解码器的框图。例如,解码器可以是WTRU。视频比特流202可以在熵解码单元208处被解包(例如,首先被解包)和/或熵解码。可将译码模式和预测信息发送到空间预测单元260(例如,如果经帧内译码)和/或发送到时间预测单元262(例如,如果经帧间译码)以形成预测块。可将残差变换系数发送到逆量化单元210及/或逆变换单元212,例如以重构残差块。可在226处将预测块和/或残差块加在一起。例如,在将重构的块存储在参考图片存储264中之前,可以对重构的块进行环内滤波。参考图片存储中的重构的视频可被发送以驱动显示设备和/或用于预测视频块(例如,未来视频块)。

可以扩展和/或增强译码模块(例如,与时间预测相关联的)。仿射运动补偿可以用作帧间译码工具。

本文中可以描述使用仿射模式的实现。平移运动模型可应用于运动补偿预测。可以存在一种或多种运动(例如,放大或缩小、旋转、透视运动和/或其他不规则运动)。可以应用仿射变换运动补偿预测。可用信号发送用于帧间译码的CU(例如,每一帧间译码的CU)的标志,例如以指示平移运动模型或仿射运动模型是否被应用于帧间预测。如果仿射运动模型被应用,那么可用信号发送标志以指示模型中使用的参数的数目(例如,四个或六个)。

仿射运动模型可为四参数模型。一个或多个(例如两个)参数可以用于平移移动(例如一个参数用于水平和垂直方向中的每一者)。一个或多个参数(例如,一个参数)可以用于缩放运动。一个或多个参数(例如,一个参数)可以用于旋转运动。水平缩放参数可以等于垂直缩放参数。水平旋转参数可以等于垂直旋转参数。可使用在例如当前CU的左上角及右上角处界定的一个或多个(例如,两个)控制点位置处的一个或多个(例如,两个)运动向量(MV)(例如,作为一对)来译码四参数运动模型。如图5中所示,块的仿射运动场可由两个控制点运动向量(V

其中(v

仿射运动模型可为六参数模型。一个或多个(例如两个)参数可以用于平移移动(例如一个参数用于水平和垂直方向中的每一者)。一个或多个(例如两个)参数可以用于缩放运动(例如一个参数用于水平和垂直方向中的每一者)。一个或多个(例如,两个)参数可以用于旋转运动(例如,一个参数用于水平和垂直方向中的每一者)。可用在一个或多个(例如,三个)控制点处的一个或多个(例如,三个)MV来译码六参数运动模型。举例来说,如图6中所示,可在CU的左上角、右上角和左下角界定六参数仿射译码的CU的控制点。左上控制点处的运动可以与平移运动相关。右上控制点处的运动可以与水平方向上的旋转和/或缩放运动相关。左下控制点处的运动可以与垂直方向上的旋转和/或缩放运动相关。水平方向上的旋转和缩放运动可以不同于垂直方向上的运动。子块(例如,每个子块)的MV(v

其中(v

当用仿射运动模型对块进行译码时,可基于(例如)子块的粒度来导出其运动场。举例来说,为了导出子块(例如,每一子块)的MV,可根据等式(1)计算子块的中心样本的MV(例如,如图5中所示),且可将其舍入到特定准确度(例如,1/16像素准确度)。可在运动补偿阶段使用所导出的MV来生成当前块内部的子块(例如,每一子块)的预测信号。应用于仿射运动补偿的子块尺寸可为4×4。可迭代地估计4参数仿射模型的一个或多个(例如,四个)参数。例如,在步骤k的一个或多个MV对可以表示为

其中(a,b)可以是平移参数增量(delta),并且(c,d)可以是步骤k的缩放和旋转参数增量。控制点处的MV增量可以用如方程(5)和(6)中的坐标来导出。

例如,(0,0)、(w,0)可以分别是左上和右上控制点的坐标。

亮度变化与空间梯度和时间移动之间的关系可以根据下式表示:

I′

可使用最小二乘法实施方案导出参数集(a,b,c,d)(例如,因为CU中的样本满足等式(8))。在步骤(k+1)中,控制点

可估计六参数仿射模型的一个或多个(例如,六个)参数。等式(4)可以改变为以下等式:

其中(a,b)可以是平移参数增量,(c,d)可以是针对第一方向(例如,水平方向)的缩放和旋转参数增量,并且(e,f)可以是针对第二方向(例如,垂直方向)的缩放和旋转参数增量,在步骤k,等式(8)可以改变为以下等式:

I′

参数集(a,b,c,d,e,f)可使用最小二乘法实施方案导出,例如通过考虑CU内的样本(例如,多个样本)。左上控制点的

仿射合并模式可用于对CU进行译码。如果以仿射模式对(例如,一个)CU进行译码,那么可用预测译码用信号发送针对参考列表(例如,每一参考列表)的控制点的一个或多个(例如,两个或三个)MV集合。MV及其预测器之间的差可以被无损译码。可以通过考虑运动场的局部连续性来应用仿射合并模式。可使用从当前CU的相邻块选择的其仿射合并候选的仿射运动模型来导出所述当前CU的控制点处的运动向量。如果用四参数仿射模型来译码仿射合并候选,那么可导出当前CU的一个或多个(例如,两个)控制点处的一个或多个(例如,两个)MV。如果用六参数仿射模型来译码仿射合并候选,那么可导出当前CU的三个控制点处的一个或多个(例如,三个)MV。

如果以仿射合并模式对当前CU进行译码,那么可存在一个或多个(例如,五个)相邻块(例如,如图7中所示)。可以按顺序(例如,从N

在控制点P1处的MV(v

如果用六参数仿射模型译码块N

在导出控制点{P

仿射MV可被预测译码。预测译码可用于非仿射合并译码的CU(例如,以减少信令开销)。仿射MV预测器可从相邻的译码的块的运动生成。用于仿射译码CU的MV预测的预测器可包含但不限于从用仿射运动模型译码的相邻块导出的继承的仿射运动预测器;根据来自一个或多个相邻块的信息构造的仿射运动预测器;和/或用于MV预测的平移运动预测器(例如,当来自其它选项的仿射预测器的数目低于阈值时)。

继承的仿射运动预测器可从一或多个相邻的仿射译码的块导出。相邻块候选列表可以与仿射合并模式相同的方式来构造(例如,如图7中所示)。例如,如果候选块是以双向预测模式被译码,则可针对一个或多个(例如,两个)列表的MV检查候选列表中的候选(例如,每一候选)。如果来自相邻块的一个列表的参考图片与当前参考图片相同,则可使用相邻块的仿射运动来导出当前块的控制点处的MV,且可将所述MV添加到仿射预测器列表(例如,在唯一性检查之后)。

可使用一个或多个(例如,三个)MV集合来生成构造的仿射运动预测器。例如,如图9所示,MV的集合可以如下:来自角P

举例来说,可存在如本文针对6参数仿射模型所描述而生成的(例如,一个)仿射预测器{MVP

可以执行仿射MV译码。如果CU按照仿射模式被译码,那么其可为仿射合并模式或仿射非合并模式。对于本文描述的仿射合并模式,可从相邻仿射译码CU的仿射MV导出控制点处的仿射MV。对于仿射非合并模式,控制点处的MV可用差分译码来译码。可以使用如本文所述的相邻MV来生成MV预测器。当前MV与其预测器之间的差可被译码。将用信号发送的MV差可被称为MVD。四参数仿射模型可具有一个或多喝(例如,两个)控制点(例如,可用信号发送两个MVD以用于单预测,且可用信号发送四个MVD以用于双预测)。六参数仿射模型可具有一个或多个(例如,三个)控制点(例如,可用信号发送三个MVD以用于单预测,且可用信号发送六个MVD以用于双预测)。MVD可为二维向量(例如,具有水平分量与垂直分量)和/或被无损译码。

可以执行仿射运动估计。图10示出了用于CU的运动模型选择的示例流程图。可以基于一个或多个运动模型的比特成本(例如,运动估计(ME)成本)来选择运动模型。ME成本可根据等式(23)计算,例如,通过考虑由预测误差测量的失真和用于译码一个或多个(例如,所有)MV的比特成本:

“o”可以表示原始信号,“p”可以表示具有运动向量{MV

编码器可检查平移运动模型(例如,首先),并且可计算比特成本(例如,ME成本)。如果块的宽度和/或高度大于阈值(例如,8个像素),那么可执行具有四参数仿射模型的仿射运动估计。如果四参数仿射模型的ME成本不比平移运动模型的ME成本大太多,则编码器可用六参数仿射模型检查仿射运动成本。举例来说,如果ME成本比平移运动模型的ME成本近似大100%-110%,那么编码器可用六参数仿射模型检查仿射运动成本。编码器可以从其已经评估的可用运动模型中选择具有最小ME成本的运动模型。为了减少六参数仿射运动估计复杂度,编码器可以(例如,仅)使用通过四参数仿射运动估计选择的最佳参考图片来执行仿射运动估计。对于仿射运动估计的迭代(例如,每一迭代),可执行一个或多个(例如,4个)动作。例如,可以利用仿射运动补偿来生成预测;可以在一个或多个(例如,两个)方向上计算空间梯度(例如,利用Sobel滤波);可以基于样本的梯度及其坐标来计算相关矩阵;可用最小二乘法计算仿射模型参数,和/或可用仿射模型参数计算控制点的MV增量。用于四参数仿射模型运动搜索的起始点可选自例如仿射MV预测器或来自平移运动模型的MV。可以选择在原始信号和预测信号之间测量的具有较小预测误差的一者作为仿射运动估计的起始点。对于六参数仿射模型运动搜索,可考虑四参数仿射模型的控制点MV以用于起始点选择。可以存在最大迭代限制。

仿射运动模型参数估计可包含基于预测信号的空间梯度以及原始信号与预测信号之间的差的迭代搜索。梯度信息可能受到噪声的影响。可能难以控制用于一个步骤的参数改变。仿射运动模型参数估计可包含高维参数估计,例如,分别针对四参数仿射模型和六参数仿射模型的四维或六维。运动估计可包含在一个或多个(例如,两个)维度中的MV搜索,且可在运动估计期间调整搜索。块可以由不同树分割来分割,例如四叉树(QT)、二叉树(BT)和/或三叉树(TT)(例如,如图4所示)。可以针对(例如,每个)译码块执行仿射运动。在译码块和由树结构分割的其子块之间可能存在相关性(例如,强相关性)。一些相关运动信息可以被重新用于仿射运动估计,例如以提高译码效率。

仿射运动向量(MV)候选可用于仿射运动估计的起始点选择。例如,在迭代仿射运动估计之后,可以检查一个或多个仿射运动预测器。可以例如使用搜索方法来细化一个或多个控制点MV。可以计算一个或多个空间梯度以用于仿射运动估计。

如本文所述的仿射运动估计可应用于一种或多种类型的图片。分层预测结构可用于视频译码中,其中(例如,取决于当前图片所属的时间级别)不同参考图片群组可用于预测当前图片。在分层预测中,对于处于最低时间级别的当前图片,其参考图片中的一者或多者(例如,全部)可按显示次序排在当前图片之前。当前图片可被称为低延迟图片。具有按显示次序跟随其后的(例如,任何)参考图片的当前图片可被称作非低延迟图片。仿射运动估计和/或仿射MV检查可以应用于当前图片(例如,取决于其时间级别)。例如,在某些情况下,仿射运动估计和/或仿射MV检查可以(例如,仅)应用于高时间层的图片(例如,如果TL>TL阈值)。仿射运动估计和/或仿射MV检查可以(例如,仅)应用于非低延迟图片(例如,TL>0)。

在起始点选择中可使用多个MV候选(例如,仿射MV候选)来执行运动估计(ME)(例如,仿射ME)。虽然本文描述的实例可与仿射运动估计相关,但所属领域的技术人员将了解,所述技术可应用于基于其它模型的运动估计。

可为当前译码块ME(例如,四参数仿射运动估计)保存含有一个或多个MV(例如,仿射控制点MV)的循环列表(例如,先进先出(FIFO)列表)。循环列表可以具有可以是四的尺寸(例如,最大尺寸)。该循环列表可以被称为最近估计的MV列表。存储于列表中的MV可以是通过运动估计(例如,平移ME、四参数仿射ME和/或六参数仿射ME)搜索的MV。例如,可为第一译码块导出第一MV集合(例如,第一MV、第一CPMV集合)(例如,通过执行与第一译码块相关联的仿射ME)。第一MV集合可以被添加到最近估计的MV列表(例如,在最近估计的MV列表的头部)。列表的条目(例如,每一条目)可指示与(例如,每一)参考图片的所述译码块相关联的四参数仿射模型的译码块位置、块宽度及块高度和/或MV(例如,控制点MV)。该列表可用于起始点选择。例如,可基于最近估计的MV列表中的MV集合和/或一个或多个MV预测器来选择针对第二译码块的ME的起始点。可以基于最近估计的MV列表中的MV集合、MV预测器和/或一个或多个平移模型MV的相应预测误差来选择起始点。

给定列表中存储的控制点MV集合,可以按照如下内容导出当前块的控制点MV。该推导可以类似于本文描述的仿射合并模式中的MV推导。MV(B)可表示四参数仿射模型的块B的控制点MV集合。

右上控制点处的MV(v

如果对当前块执行六参数仿射搜索,则左下控制点处的MV(v

父块可以多种方式被分割。例如,第一树分割可以将第二译码块的父块分割成第二译码块和至少一个同属块。第二树分割可将第二译码块的父块分割成至少两个子块。第一译码块可以是第二译码块的相邻块、第二译码块的同属块、第二译码块的父块、或通过第二树分割的父块的子块。最近估计的MV列表中的每一搜索的MV集合可为针对通过不同树分割的第二译码块的相邻块、第二译码块的同属块、第二译码块的父块或第二译码块的父块的子块选择的MV集合。

所导出的MV集合可作为仿射MV候选以供起始点选择。可比较一个或多个(例如,3个)仿射MV候选(例如,在编码器开始针对4参数仿射模型的仿射ME之前)以选择起始点:一个或多个仿射MV预测器(例如,如本文所述导出的);所述平移模型的MV;以及从循环列表的条目(例如,每个条目)导出的MV集合。

例如,可在编码器执行ME(例如,四参数仿射ME)之后更新列表。如本文所述,搜索结果可以被添加到列表(例如,最近估计的MV列表)。如果列表中存在与要被添加到列表的候选具有相同块位置、块宽度和块高度的条目,则可以利用要被添加的候选的MV来更新该条目的控制点MV。列表尺寸和列表的头部可以保持相同。如果在列表中没有重复的块,则可以将候选添加到循环列表的末尾。例如,如果列表已经满了,则可以重写循环列表的最旧条目。列表的尺寸和列表的头部可以相应地改变。

图11(a)-(f)示出了示例列表构造和更新。图11(a)-(f)中的阴影块可以指示循环列表的当前头部。给定译码块B0,编码器可以尝试非分裂模式、水平BT、垂直BT、水平TT、垂直TT和/或QT。该列表可以具有当前尺寸和/或最大尺寸。例如,初始列表可以是空的,并且最大列表尺寸可以是4。如果列表已经达到最大尺寸,则在将导出的MV集合添加到列表之前,可以从列表中移除最近最少估计的MV集合。如图11(a)所示,例如在编码器检查块B0的非分裂之后,可以将块B0的仿射控制点MV添加到列表中。例如在编码器检查水平BT分割之后,可以按图11(b)所示的顺序将块B1和B2的仿射控制点MV添加到列表。例如在编码器完成分割的编码之后,分割的父块的仿射控制点MV可以再次被添加到列表(例如,如果其不在列表中)。举例来说,如果第二译码块是第一树分割中的最后块,则最近估计的MV列表的头部可以被设置为与父块相关联的MV集合。父块的MV可以用于另一树分割方案的其子块的ME。父块的MV可以(例如,总是)在编码器检查新树分割之前被保存在列表中。图11(c)-(f)示出了在编码器检查垂直BT、水平TT、垂直TT和QT之后的更新列表。

使用本文所述的先前搜索的运动模型参数的起始点生成可用于六参数仿射模型中。

第i参考图片的右上控制点处的MV(v

第i参考图片的左下控制点处的MV(v2x,v2y)可以按照如下等式被导出:

所导出的MV集合可被用作用于六参数仿射搜索的起始点选择的仿射MV候选。如果当前块执行四参数仿射搜索且循环列表中的条目是六参数仿射模型,,那么可使用等式(30)-(33)导出(例如,仅)左上和右上MV。

编码器可在仿射合并模式中考虑仿射MV预测器。使用(例如,直接)在(例如,一个)控制点处的MV预测器,可以减少用于该控制点的MV的MVD信令开销。可以通过组合一个或多个找到的MV和预测器来生成附加MV集合。举例来说,当前块ME可用于六参数仿射模型。可为当前块确定MV集合(例如,控制点MV集合)和/或MV预测器(MVP)集合(例如,仿射MVP集合)。在ME(例如,六参数仿射ME)之后,控制点MV集合可为当前块的{MV

可将所述MV集合的第二MV与所述MVP集合的第二MVP进行比较。如果第二MV不等于第二MVP,则可以用第二MVP替换第二MV以生成第二MV-MVP组合集合,其可以是{MV

ME可部分基于潜在的MVD信令开销来执行。可以导出与旋转和缩放参数相关的MV(例如,考虑MVD信令开销和/或预测误差)。例如在仿射ME之后,可以添加细化(例如,快速细化)。可细化与四参数仿射运动模型的缩放和旋转参数相关的MV(例如,仅与缩放和旋转参数相关的MV)。例如,在运动估计(例如,仿射ME)之后,可以存在对于左上和右上控制点的MV集合{MV

可以执行仿射ME的空间梯度计算。如本文所描述,可使用(例如)原始信号与预测信号之间的空间梯度和/或时间差来估计一个或多个参数(例如,仿射参数)。空间梯度可以使用Sobel滤波器来计算。Sobel滤波器可以是3×3二维滤波器。用于水平梯度计算的Sobel滤波器可以是

滤波器可以用于梯度计算。用于水平梯度计算的滤波器可以是(-1 0 1),用于垂直梯度计算的滤波器可以是

如图14所示,可以使用填充样本和/或8×8预测样本来计算针对8×8边界样本的梯度。填充样本可以以如本文所述的一种或多种方式导出。可通过使用所述CU的所述运动向量,通过被内插从参考图片导出填充样本。可从参考图片缓冲器提取整数样本。通过内插从参考图片导出的填充样本可相对准确。可基于所述CU的所述运动向量,通过从最接近整数位置中的参考样本复制来导出经填充样本。通过从参考样本复制来导出填充样本可以降低计算复杂度。

例如,要被填充的位置可以是(x,y)。CU MV可以是(MVx,MVy)。RefPic可以是参考图片缓冲器。RefPic(i,j)可以是整数位置(i,j)处的样本值。(x,y)的填充样本值可以是RefPic(round(x+MVx),round(y+MVy)),其中round(x)可以是将输入变量x舍入到其最近整数值的函数。

尽管以上以特定的组合描述了特征和元件,但是本领域的普通技术人员将理解,每个特征或元件可以单独使用或与其它特征和元件任意组合使用。另外,本文描述的方法可以在计算机程序、软件或固件中实现,所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读介质的示例包括电子信号(通过有线或无线连接传输)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于,只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

相关技术
  • 用于基于仿射模型的视频译码的仿射运动估计
  • 用于基于仿射运动模型的视频译码的自适应运动向量精度
技术分类

06120112960264