用于视频译码的双向预测
文献发布时间:2023-06-19 10:58:46
相关申请的交叉引用
本申请要求2018年9月26日递交的美国临时专利申请No.62/736,790以及2018年12月31日递交的美国临时专利申请的No.62/786,641的权益,其内容通过引用整体而被并入本文。
背景技术
视频译码系统可以用于压缩数字视频信号,例如,以减少用于这种信号的存储和/或传输带宽。视频译码系统可以包括基于块的系统、基于小波的系统和/或基于对象的系统。该系统采用视频译码技术,例如双向运动补偿预测(MCP),其可以通过利用图片之间的时间相关性来去除时间冗余。一些技术可能增加在编码和/或解码期间执行的计算的复杂度。
发明内容
可提供用于在双向光流(BDOF)与具有译码单元(CU)权重的双向预测(bi-prediction)(例如,广义双向预测(GBi))组合使用时确定是否绕过BDOF的系统、方法和手段。译码系统可组合译码模式、译码技术和/或译码工具。该译码系统可以包括无线发射/接收单元(WTRU)。例如,所述译码系统可以将BDOF与具有CU权重的双向预测(BCW)组合。BDOF可包含至少部分基于与当前CU中的位置相关联的梯度(gradient)来细化(refine)与当前CU相关联的运动向量。所述译码系统可确定BDOF被启用,和/或针对当前CU启用了具有CU权重的双向预测。所述译码系统的关于启用具有CU权重的双向预测和/或启用BDOF的确定可基于一个或一个以上指示。
所述译码系统可基于具有CU权重的双向预测的权重来确定是执行还是绕过BDOF。在一示例中,所述译码系统可识别针对当前CU的具有CU权重的双向预测的权重指示。所述权重指示可指示在具有CU权重的双向预测中将用于所述当前CU的权重。所述译码系统可至少部分基于针对所述当前CU的具有CU权重的双向预测的所述权重指示而确定是否绕过用于所述当前CU的BDOF。如果所述权重指示指示了在具有CU权重的双向预测中将针对当前CU使用不等的权重,那么译码系统可确定绕过用于所述当前CU的BDOF。为了重构所述当前CU,所述译码系统可基于绕过BDOF的所述确定而在没有BDOF的情况下执行具有CU权重的双向预测。如果所述权重指示指示了在具有CU权重的双向预测中将相等权重用于当前CU,那么所述译码系统可确定是否执行用于当前CU的BDOF。
在一示例中,所述权重指示可指示在具有CU权重的双向预测中将针对当前CU使用不相等的权重。所述译码系统可导出预测CU权重。举例来说,所述译码系统可基于具有CU权重的双向预测的所述权重指示,确定第一预测CU权重。所述译码系统可基于所述第一预测CU权重和与具有CU权重的双向预测相关联的约束,导出第二预测CU权重。所述译码系统可基于所述第一预测CU权重和所述第二预测CU权重而执行具有CU权重的双向预测。具有CU权重的双向预测的所述权重指示可包含索引值。该索引值可以对应于预定权重。不同的索引值可以指示不同的预定权重。
附图说明
图1A是示出了其中可以实施一个或多个公开的实施例的示例性通信系统的系统图。
图1B是示出了可在图1A中所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。
图1C是示出了可在图1A中所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。
图1D是示出了可在图1A中所示的通信系统内使用的另一示例性RAN和另一示例性CN的系统图。
图2是示例性基于块的视频编码器的示图。
图3是示例性视频解码器的示图。
图4是支持具有CU权重的双向预测的示例性基于块的视频编码器的示图。
图5是用于编码器的支持具有CU权重的双向预测的示例性模块的示图。
图6是支持具有CU权重的双向预测的示例性基于块的视频解码器的示图。
图7是用于解码器的支持具有CU权重的双向预测的示例性模块的示图。
图8是示例性四参数仿射(affine)模式的示图。
图9是示例性六参数仿射模式的示图。
图10是具有时间层(TL)的示例性分级预测结构的示图。
图11是用于确定是否跳过针对某些MVD精度和/或权重的仿射的示例的示图。
图12是用于确定是否绕过BDOF的示例的示图。
具体实施方式
图1A是示出了可以实施一个或多个所公开的示例的例示通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说,通信系统100可以使用一种或多种信道接入方法,例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示,通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112,然而应该了解,所公开的示例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说,任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”,其可以被配置成发射和/或接收无线信号,并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
所述通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说,基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件,然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分,并且所述RAN还可以包括其他基站和/或网络部件(未显示),例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如,与基站114a相关联的小区可被分为三个扇区。由此,在示例中,基站114a可以包括三个收发信机,也就是说,每一个收发信机都对应于小区的一个扇区。在示例中,基站114a可以使用多输入多输出(MIMO)技术,并且可以为小区的每一个扇区使用多个收发信机。举例来说,通过使用波束成形,可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信,其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说,如上所述,通信系统100可以是多址接入系统,并且可以使用一种或多种信道接入方案,例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如,RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术,例如通用移动电信系统(UMTS)陆地无线电接入(UTRA),其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在示例中,基站114a和WTRU 102a、102b、102c可以实施某种无线电技术,例如演进型UMTS陆地无线电接入(E-UTRA),其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
在示例中,基站114a和WTRU 102a、102b、102c可以实施某种无线电技术,例如NR无线电接入,其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
在示例中,基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说,基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此,WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在示例中,基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术,例如IEEE 802.11(即,无线高保真(WiFi))、IEEE 802.16(即,全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点,并且可以使用任何适当的RAT来促成局部区域中的无线连接,例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在示例中,基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在示例中,基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在示例中,基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示,基站114b可以直连到因特网110。由此,基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信,其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求,例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等,和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示,然而应该了解,RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如,除了与使用NR无线电技术的RAN 104/113相连之外,CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如,网络112可以包括与一个或多个RAN相连的另一个CN,其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
所述通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如,WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如,图1A所示的WTRU102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信,以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了例示WTRU 102的系统图示。如图1B所示,WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他周边设备138。应该了解的是,在保持符合示例的同时,WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120,收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件,然而应该了解,处理器118和收发信机120也可以集成在一个电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子,在一个示例中,发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例,在示例中,发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在示例中,发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是,发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件,但是WTRU102可以包括任何数量的发射/接收部件122。更具体地说,WTRU 102可以使用MIMO技术。由此,在示例中,WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制,以及对发射/接收部件122接收的信号进行解调。如上所述,WTRU 102可以具有多模能力。因此,收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元),并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外,处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息,以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在示例中,处理器118可以从那些并非实际位于WTRU 102的存储器存取信息,以及将数据存入这些存储器,作为示例,此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力,并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如,电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136,该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换,WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息,和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是,在保持符合示例的同时,WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138,其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如,周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
WTRU 102可以包括全双工无线电设备,其中对于该无线电设备来说,一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元139。在示例中,WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
图1C是示出了示例RAN 104和CN 106的系统图示。如上所述,RAN104可以在空中接口116上使用E-UTRA无线电技术来与WTRU 102a、102b、102c进行通信。所述RAN 104还可以与CN 106进行通信。
RAN 104可以包括e节点B 160a、160b、160c,然而应该了解,RAN104可以包括任何数量的e节点B。每一个e节点B 160a、160b、160c都可以包括在空中接口116上与WTRU 102a、102b、102c通信的一个或多个收发信机。在示例中,e节点B 160a、160b、160c可以实施MIMO技术。由此,举例来说,e节点B 160a可以使用多个天线来向WTRU 102a发射无线信号,和/或以及接收来自WTRU 102a的无线信号。
每一个e节点B 160a、160b、160c都可以关联于一个特定小区(未显示),并且可被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度等等。如图1C所示,e节点B 160a、160b、160c彼此可以通过X2接口进行通信。
图1C所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164以及分组数据网络(PDN)网关(或PGW)166。虽然前述的每一个部件都被描述成是CN 106的一部分,然而应该了解,这其中的任一部件都可以由CN运营商之外的实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的每一个e节点B 162a、162b、162c,并且可以充当控制节点。例如,MME 142可以负责验证WTRU102a、102b、102c的用户,执行承载激活/去激活处理,以及在WTRU 102a、102b、102c的初始附着过程中选择特定的服务网关等等。MME 162还可以提供一个用于在RAN 104与使用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未显示)之间进行切换的控制平面功能。
SGW 164可以经由S1接口连接到RAN 104中的每一个e节点B 160a、160b、160c。SGW164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。并且,SGW 164还可以执行其他功能,例如在eNB间的切换过程中锚定用户平面,在DL数据可供WTRU 102a、102b、102c使用时触发寻呼处理,以及管理并存储WTRU 102a、102b、102c的上下文等等。
SGW 164可以连接到PGW 166,所述PGW可以为WTRU 102a、102b、102c提供分组交换网络(例如因特网110)接入,以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信。
CN 106可以促成与其他网络的通信。例如,CN 106可以为WTRU 102a、102b、102c提供电路交换网络(例如PSTN 108)接入,以便促成WTRU 102a、102b、102c与传统的陆线通信设备之间的通信。例如,CN 106可以包括一个IP网关(例如IP多媒体子系统(IMS)服务器)或与之进行通信,并且该IP网关可以充当CN 106与PSTN 108之间的接口。此外,CN 106可以为WTRU102a、102b、102c提供针对其他网络112的接入,其中该网络可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。
虽然在图1A-1D中将WTRU描述成了无线终端,然而应该想到的是,在某些示例中,此类终端与通信网络可以使用(例如临时或永久性)有线通信接口。
在一些示例中,所述其他网络112可以是WLAN。
采用基础架构基本服务集(BSS)模式的WLAN可以具有用于所述BSS的接入点(AP)以及与所述AP相关联的一个或多个站(STA)。所述AP可以接入或是对接到分布式系统(DS)或是将业务量送入和/或送出BSS的别的类型的有线/无线网络。源于BSS外部且去往STA的业务量可以通过AP到达并被递送至STA。源自STA且去往BSS外部的目的地的业务量可被发送至AP,以便递送到相应的目的地。处于BSS内部的STA之间的业务量可以通过AP来发送,例如源STA可以向AP发送业务量并且AP可以将业务量递送至目的地STA。处于BSS内部的STA之间的业务量可被认为和/或称为点到点业务量。所述点到点业务量可以在源与目的地STA之间(例如在其间直接)用直接链路建立(DLS)来发送。在一些示例中,DLS可以使用802.11eDLS或802.11z通道化DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可不具有AP,并且处于所述IBSS内部或是使用所述IBSS的STA(例如所有STA)彼此可以直接通信。在这里,IBSS通信模式有时可被称为“自组织”通信模式。
在使用802.11ac基础设施工作模式或类似的工作模式时,AP可以在固定信道(例如主信道)上传送信标。所述主信道可以具有固定宽度(例如20MHz的带宽)或是借助信令动态设置的宽度。主信道可以是BSS的工作信道,并且可被STA用来与AP建立连接。在一些示例中,所实施的可以是具有冲突避免的载波感测多址接入(CSMA/CA)(例如在802.11系统中)。对于CSMA/CA来说,包括AP在内的STA(例如每一个STA)可以感测主信道。如果特定STA感测到/检测到和/或确定主信道繁忙,那么所述特定STA可以回退。在指定的BSS中,在任何指定时间可有一个STA(例如只有一个站)进行传输。
高吞吐量(HT)STA可以使用宽度为40MHz的信道来进行通信(例如借助于将宽度为20MHz的主信道与宽度为20MHz的相邻或不相邻信道相结合来形成宽度为40MHz的信道)。
甚高吞吐量(VHT)STA可以支持宽度为20MHz、40MHz、80MHz和/或160MHz的信道。40MHz和/或80MHz信道可以通过组合连续的20MHz信道来形成。160MHz信道可以通过组合8个连续的20MHz信道或者通过组合两个不连续的80MHz信道(这种组合可被称为80+80配置)来形成。对于80+80配置来说,在信道编码之后,数据可被传递并经过一个分段解析器,所述分段解析器可以将数据非成两个流。在每一个流上可以单独执行反向快速傅里叶变换(IFFT)处理以及时域处理。所述流可被映射在两个80MHz信道上,并且数据可以由执行传输的STA来传送。在执行接收的STA的接收机上,用于80+80配置的上述操作可以是相反的,并且组合数据可被发送至介质接入控制(MAC)。
802.11af和802.11ah支持1GHz以下的工作模式。与802.11n和802.11ac相比,在802.11af和802.11ah中使用信道工作带宽和载波有所缩减。802.11af在TV白空间(TVWS)频谱中支持5MHz、10MHz和20MHz带宽,并且802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据示例,802.11ah可以支持仪表类型控制/机器类型通信(例如宏覆盖区域中的MTC设备)。MTC可以具有某种能力,例如包含了支持(例如只支持)某些和/或有限带宽在内的受限能力。MTC设备可以包括电池,并且该电池的电池寿命高于阈值(例如用于保持很长的电池寿命)。
对于可以支持多个信道和信道带宽的WLAN系统(例如,802.11n、802.11ac、802.11af以及802.11ah)来说,所述WLAN系统包括一个可被指定成主信道的信道。所述主信道的带宽可以等于BSS中的所有STA所支持的最大公共工作带宽。主信道的带宽可以由某一个STA设置和/或限制,其中所述STA源自在支持最小带宽工作模式的BSS中工作的所有STA。在关于802.11ah的示例中,即使BSS中的AP和其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽工作模式,但对支持(例如只支持)1MHz模式的STA(例如MTC类型的设备)来说,主信道的宽度可以是1MHz。载波感测和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道繁忙(例如因为STA(其只支持1MHz工作模式)对AP进行传输),那么即使大多数的频带保持空闲并且可供使用,也可以认为整个可用频带繁忙。
在美国,可供802.11ah使用的可用频带是902MHz到928MHz。在韩国,可用频带是917.5MHz到923.5MHz。在日本,可用频带是916.5MHz到927.5MHz。依照国家码,可用于802.11ah的总带宽是6MHz到26MHz。
图1D是示出了示例RAN 113和CN 115的系统图示。如上所述,RAN113可以在空中接口116上使用NR无线电技术来与WTRU 102a、102b、102c进行通信。RAN 113还可以与CN 115进行通信。
RAN 113可以包括gNB 180a、180b、180c,但是应该了解,RAN 113可以包括任何数量的gNB。每一个gNB 180a、180b、180c都可以包括一个或多个收发信机,以便通过空中接口116来与WTRU 102a、102b、102c通信。在示例中,gNB 180a、180b、180c可以实施MIMO技术。例如,gNB 180a、180b可以使用波束成形处理来向和/或从gNB 180a、180b、180c发射和/或接收信号。由此,举例来说,gNB 180a可以使用多个天线来向WTRU 102a发射无线信号,和/或接收来自WTRU 102a的无线信号。在示例中,gNB 180a、180b、180c可以实施载波聚合技术。例如,gNB 180a可以向WTRU 102a传送多个分量载波(未显示)。这些分量载波的一个子集可以处于无授权频谱上,而剩余分量载波则可以处于授权频谱上。在示例中,gNB 180a、180b、180c可以实施协作多点(CoMP)技术。例如,WTRU 102a可以接收来自gNB180a和gNB 180b(和/或gNB 180c)的协作传输。
WTRU 102a、102b、102c可以使用与可扩缩数字配置相关联的传输来与gNB 180a、180b、180c进行通信。例如,对于不同的传输、不同的小区和/或不同的无线传输频谱部分来说,OFDM符号间隔和/或OFDM子载波间隔可以是不同的。WTRU 102a、102b、102c可以使用具有不同或可扩缩长度的子帧或传输时间间隔(TTI)(例如包含了不同数量的OFDM符号和/或持续变化的绝对时间长度)来与gNB 180a、180b、180c进行通信。
gNB 180a、180b、180c可被配置成与采用独立配置和/或非独立配置的WTRU 102a、102b、102c进行通信。在独立配置中,WTRU 102a、102b、102c可以在不接入其他RAN(例如e节点B 160a、160b、160c)的情况下与gNB 180a、180b、180c进行通信。在独立配置中,WTRU102a、102b、102c可以使用gNB 180a、180b、180c中的一者或多者作为移动锚点。在独立配置中,WTRU 102a、102b、102c可以使用无授权频带中的信号来与gNB 180a、180b、180c进行通信。在非独立配置中,WTRU 102a、102b、102c会在与别的RAN(例如e节点B 160a、160b、160c)进行通信/相连的同时与gNB 180a、180b、180c进行通信/相连。举例来说,WTRU 102a、102b、102c可以通过实施DC原理而以基本同时的方式与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c进行通信。在非独立配置中,e节点B 160a、160b、160c可以充当WTRU 102a、102b、102c的移动锚点,并且gNB 180a、180b、180c可以提供附加的覆盖和/或吞吐量,以便为WTRU102a、102b、102c提供服务。
每一个gNB 180a、180b、180c都可以关联于特定小区(未显示),并且可以被配置成处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、支持网络切片、实施双连接性、实施NR与E-UTRA之间的互通处理、路由去往用户平面功能(UPF)184a、184b的用户平面数据、以及路由去往接入和移动性管理功能(AMF)182a、182b的控制平面信息等等。如图1D所示,gNB 180a、180b、180c彼此可以通过Xn接口通信。
图1D所示的CN 115可以包括至少一个AMF 182a、182b,至少一个UPF 184a、184b,至少一个会话管理功能(SMF)183a、183b,并且有可能包括数据网络(DN)185a、185b。虽然每一个前述部件都被描述了CN 115的一部分,但是应该了解,这其中的任一部件都可以被CN运营商之外的其他实体拥有和/或运营。
AMF 182a、182b可以经由N2接口连接到RAN 113中的一者或多者gNB 180a、180b、180c,并且可以充当控制节点。例如,AMF 182a、182b可以负责验证WTRU 102a、102b、102c的用户,支持网络切片(例如处理具有不同需求的不同PDU会话),选择特定的SMF 183a、183b,管理注册区域,终止NAS信令,以及移动性管理等等。AMF 182a、1823b可以使用网络切片处理,以便基于WTRU 102a、102b、102c使用的服务类型来定制为WTRU102a、102b、102c提供的CN支持。举例来说,针对不同的使用情况,可以建立不同的网络切片,所述使用情况例如为依赖于超可靠低延时(URLLC)接入的服务、依赖于增强型大规模移动宽带(eMBB)接入的服务、和/或用于机器类型通信(MTC)接入的服务等等。AMF 162可以提供用于在RAN 113与使用其他无线电技术(例如LTE、LTE-A、LTE-A Pro和/或诸如WiFi之类的非3GPP接入技术)的其他RAN(未显示)之间切换的控制平面功能。
SMF 183a、183b可以经由N11接口连接到CN 115中的AMF 182a、182b。SMF 183a、183b还可以经由N4接口连接到CN 115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b,并且可以通过UPF184a、184b来配置业务量路由。SMF 183a、183b可以执行其他功能,例如管理和分配UE IP地址,管理PDU会话,控制策略实施和QoS,以及提供下行链路数据通知等等。PDU会话类型可以是基于IP的,不基于IP的,以及基于以太网的等等。
UPF 184a、184b可以经由N3接口连接到RAN 113中的一者或多者gNB 180a、180b、180c,这样可以为WTRU 102a、102b、102c提供对分组交换网络(例如因特网110)的接入,以便促成WTRU 102a、102b、102c与启用IP的设备之间的通信,UPF 184、184b可以执行其他功能,例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、以及提供移动性锚定处理等等。
CN 115可以促成与其他网络的通信。例如,CN 115可以包括或者可以与充当CN115与PSTN 108之间的接口的IP网关(例如IP多媒体子系统(IMS)服务器)进行通信。此外,CN 115可以为WTRU 102a、102b、102c提供针对其他网络112的接入,这其中可以包括其他服务供应商拥有和/或运营的其他有线和/或无线网络。在示例中,WTRU 102a、102b、102c可以经由对接到UPF 184a、184b的N3接口以及介于UPF 184a、184b与DN 185a、185b之间的N6接口并通过UPF 184a、184b连接到本地数据网络(DN)185a、185b。
有鉴于图1A-1D以及关于图1A-1D的相应描述,在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行:WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW164、PGW 166、gNB 180a-c、AMF 182a-ab、UPF 184a-b、SMF 183a-b、DN185a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说,这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如,所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能,以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施/部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试,和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施/部署的同时执行包括所有功能在内的一个或多个功能。例如,所述仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用,以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助了RF电路(作为示例,该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
视频译码系统可以用于压缩数字视频信号,这可以减少视频信号的存储需求和/或传输带宽。视频译码系统可包括基于块的系统、基于小波的系统和/或基于对象的系统。基于块的视频译码系统可包括MPEG-1/2/4部分2、H.264/MPEG-4部分10AVC、VC-1、高效视频译码(HEVC)和/或通用视频译码(VVC)。
基于块的视频译码系统可包括基于块的混合视频译码框架。图2示出了用于编码器的示例性的基于块的混合视频编码框架。WTRU可以包括编码器。输入视频信号202可以被逐块处理。块大小(例如,经扩展的块大小,例如译码单元(CU))可压缩高分辨率(例如,1080p及以上)视频信号。例如,CU可包括64×64像素或更多。CU可被分割成多个预测单元(PU),和/或可使用单独的预测。对于输入视频块(例如,宏块(MB)和/或CU),可执行空间预测260和/或时间预测262。空间预测260(例如,帧内预测)可使用来自视频图片/切片中的经译码相邻块的样本(例如,参考样本)的像素来预测当前视频块。所述空间预测260可以减少例如视频信号中固有的空间冗余。运动预测262(例如,帧间预测和/或时间预测)可使用例如来自经译码视频图片的经重构像素来预测当前视频块。所述运动预测262可以减少时间冗余,例如,其可以是视频信号中固有的。视频块的运动预测信号可通过一个或一个以上运动向量用信号发送,和/或可指示当前块和/或该当前块的参考块之间的运动量和/或运动方向。如果支持用于一(例如,每一)视频块的多个参考图片,那么可发送该视频块的参考图片索引。该参考图片索引可以用于标识运动预测信号可以从参考图片存储装置264中的哪个参考图片导出。
在所述空间预测260和/或运动预测262之后,编码器中的模式决策块280可(例如)基于速率失真优化来确定预测模式(例如,最佳预测模式)。可从当前视频块中减去预测块216,和/或可使用变换204和/或量化206对预测残差进行去相关,以实现比特率,例如目标比特率。经量化的残差系数可(例如)在量化210处被逆量化和/或在变换212处被逆变换以形成经重构的残差,所述经重构的残差可(例如)添加到所述预测块226以形成经重构的视频块。在经重构的视频块可被放入参考图片存储装置264中和/或用于对视频块(例如,未来视频块)进行译码之前,可在环路滤波器266处对经重构视频块应用环路内滤波(例如,解块滤波器和/或自适应环路滤波器)。为了形成输出视频比特流220,译码模式(例如,帧间或帧内)、预测模式信息、运动信息和/或量化的残差系数可以被发送(例如,可以全部被发送)到熵译码模块208,例如,以被压缩和/或打包以形成比特流。
图3示出了用于解码器的示例性的基于块的视频解码框架的框图。WTRU可以包括解码器。视频比特流302(例如,图2中的视频比特流220)可以在熵解码模块308处被解包(例如,首先被解包)和/或熵解码。所述译码模式和预测信息可以被发送到空间预测模块360(例如,如果被帧内译码)和/或运动补偿预测模块362(例如,如果被帧间译码和/或时间译码)以形成预测块。可将残差变换系数发送到逆量化模块310和/或逆变换模块312,例如以重构所述残差块。可在326处将预测块和/或残差块加在一起。重构块可在例如该重构块被存储在参考图片存储装置364中之前在环路滤波器366处经历环路内滤波。所述参考图片存储装置364中的重构视频320可被发送到显示设备和/或用于预测视频块(例如,未来的视频块)。
在视频编解码器中使用双向运动补偿预测(MCP)可以通过利用图片之间的时间相关性来去除时间冗余。双向预测信号可以通过使用权重值(例如,0.5)组合两个单向预测(uni-prediction)信号来形成。在某些视频中,照度特性可从一个参考图片到另一参考图片而快速改变。因此,预测技术可通过将全局或局部权重和偏移值应用于参考图片中的一或多个样本值来补偿照度随时间的变化(例如,衰落转变)。
一个或多个译码工具可以用于补偿照度随时间的变化(例如,衰落转变)。例如,如果执行运动补偿,则所述一个或多个译码工具可以用于补偿照度随时间的变化。所述一个或多个译码工具可以包括例如加权预测(WP)。作为WP的示例,可在切片层级用信号发送一组权重和/或偏移。该组权重可以包括乘法权重(一个或多个)。该组偏移可以包括加法偏移(一个或多个)。在一示例中,对于每一参考图片列表(L0及L1)中的每一参考图片,可用信号发出一组乘法权重及加法偏移(例如,在切片层级)。例如,当可以使用对应的参考图片时,可以在MCP期间应用所述(一个或多个)权重和/或(一个或多个)偏移中的一个或多个。在一示例中,如果当照度从图片到图片线性地改变时,那么可采用WP。如果例如在图片/切片级别,照明的变化是全局的,则可以采用WP。
可使用CU权重来执行双向预测模式中的MCP。作为示例,可以使用具有CU权重的双向预测来执行MCP。具有CU权重的双向预测(BCW)的示例可以包括广义双向预测(GBi)。可基于权重(一个或多个)、和/或对应于与参考图片列表(一个或多个)相关联的运动向量的运动补偿预测信号(一个或多个)等中的一者或多者来计算双向预测信号。在一示例中,可使用公式1来计算双向预测模式中的样本x处的预测信号(如所给出)。
P[x]=w
P[x]可以表示位于图片位置x的样本x的结果预测信号。P
权重值w
可在CU层级用信号发送权重(一个或多个)。在一示例中,可针对每一CU用信号发送权重值w
例如,当要使用不相等的权重时,可以基于对权重的约束来导出权重。WTRU可以接收权重指示并基于该权重指示确定第一权重。WTRU可以基于所确定的第一权重和对权重的所述约束来导出第二权重。
可使用公式2。在一个示例中,公式2可以基于公式1以及约束w
P[x]=(1-w
权重值(例如,w
图4示出了支持BCW(例如GBi)的示例视频编码器的框图。WTRU可以包括如图4所示的示例中描述的编码器,该编码器可以包括模式决策模块404、空间预测模块406、运动预测模块408、变换模块410、量化模块412、逆量化模块416、逆变换模块418、环路滤波器420、参考图片存储装置422和熵译码模块414。在实施例中。编码器的一些或所有模块或组件(例如,空间预测模块406)可以与结合图2描述的那些相同或相似。另外,空间预测模块406和运动预测模块408可以是像素域预测模块。因此,输入视频比特流402可以以与输入视频比特流202类似的方式被处理,以输出视频比特流424。运动预测模块408可进一步包含支持具有CU权重的双向预测。因此,运动预测模块408可以加权平均方式组合两个单独的预测信号。此外,可以在输入视频比特流402中用信号发送所选择的权重索引。
图5是用于编码器的支持具有CU权重的双向预测的示例性模块的示图。图5示出了估计模块500的框图。该估计模块500可用于编码器的运动预测模块中,例如运动预测模块408。所述估计模块500可与BCW(例如GBi)结合使用。所述估计模块500可包括权重值估计模块502和运动估计模块504。所述估计模块500可以利用两步过程来生成帧间预测信号,诸如最终帧间预测信号。所述运动估计模块504可使用从参考图片存储装置506接收的参考图片(一个或多个)并通过搜索指向(例如,两个)参考块的两个最佳运动向量(MV)来执行运动估计。所述权重值估算模块502可搜寻最佳权重索引以最小化当前视频块与双向预测之间的加权双向预测误差。所述广义双向预测的预测信号可被计算为两个预测块的加权平均。
图6是支持具有CU权重的双向预测的示例性基于块的视频解码器的示图。图6示出了可以对来自编码器的比特流进行解码的示例视频解码器的框图。所述编码器可以支持BCW和/或与结合图4描述的编码器具有一些相似性。WTRU可以包括如图6所示的示例中描述的解码器。如图6所示,所述解码器可以包括熵解码器604、空间预测模块606、运动预测模块608、参考图片存储装置610、逆量化模块612、逆变换模块614和环路滤波器模块618。所述解码器的一些或全部模块可以与结合图3描述的那些相同或相似。举例来说,可在616处将所述预测块及/或残差块加在一起。视频比特流602可被处理以生成重构视频620,该重构视频可被发送到显示设备和/或用于预测视频块(例如,未来视频块)。所述运动预测模块608还可以包括对BCW的支持。所述译码模式和/或预测信息可用于使用空间预测或支持BCW的MCP来导出预测信号。对于BCW,可接收块运动信息和/或权重值(例如,以指示权重值的索引的形式)且对其进行解码以产生预测块。
图7是用于解码器的支持具有CU权重的双向预测的示例性模块的示图。图7示出了预测模块700的框图。该预测模块700可用于解码器的运动预测模块中,例如运动预测模块608。该预测模块700可以与BCW结合使用。该预测模块700可包含加权平均模块702和运动补偿模块704,其可从参考图片存储装置706接收一或多个参考图片。所述预测模块700可使用块运动信息和权重值来将BCW的预测信号计算为(例如,两个)经运动补偿的预测块的加权平均。
在特定视频内可以有各种类型的运动,诸如放大/缩小、旋转、透视运动和其他不规则运动。平移运动模型和/或仿射运动模型可应用于MCP。所述仿射运动模型可以是四参数和/或六参数的。可用信号发送用于(例如,每一)经帧间译码CU的第一标志,以指示是所述平移运动模型还是所述仿射运动模型被应用于帧间预测。如果应用所述仿射运动模型,那么可发送第二标志以指示所述模型是四参数的还是六参数的。
所述四参数仿射运动模型可包含用于水平方向和垂直方向上的平移移动的两个参数、用于水平方向和垂直方向上的缩放运动的一个参数和/或用于水平方向和垂直方向上的旋转运动的一个参数。水平缩放参数可以等于垂直缩放参数。水平旋转参数可等于垂直旋转参数。可使用在(例如,当前)CU的左上角和右上角处界定的两个控制点位置处的两个运动向量来译码所述四参数仿射运动模型。
图8是示例性四参数仿射模式的示图。图8说明了块的示例仿射运动场。如图8所示,该块可以由两个控制点运动向量(V
在公式3中,(v
可以迭代地估计这四个参数。在步骤k的运动向量对可被表示为
在公式4中,(a,b)可以是步骤k处的差量平移参数,(c,d)可以是步骤k处的差量缩放和旋转参数。控制点处的差量MV可以用其坐标来导出,如公式5和公式6所示。例如,(0,0),(w,0)可以分别是左上控制点和右上控制点的坐标。
基于光流方程,照度变化与空间梯度和时间移动之间的关系可以被公式化为公式7。
通过用公式4替代
如果CU中的样本满足公式8,可以使用例如最小二乘计算来导出参数集(a,b,c,d)。在步骤(k+1)中,可以利用公式5和6导出两个控制点处的运动向量
所述六参数仿射运动模型可包含用于水平方向和垂直方向上的平移移动的两个参数、用于缩放运动的一个参数、用于水平方向上的旋转运动的一个参数、用于缩放运动的一个参数和/或用于垂直方向上的旋转运动的一个参数。可在三个控制点处用三个运动向量对所述六参数仿射运动模型进行译码。图9是示例性六参数仿射模式的示图。如图9中所示,可在CU的左上角、右上角和/或左下角界定用于六参数仿射译码CU的三个控制点。左上控制点处的运动可以与平移运动相关。右上控制点处的运动可以与水平方向上的旋转和缩放运动相关。左下控制点处的运动可以与垂直方向上的旋转和缩放运动相关。在所述六参数仿射运动模型中,水平方向上的旋转运动和缩放运动可与垂直方向上的那些运动不同。在一个示例中,每个子块的运动向量(v
在公式9和10,(v
可(例如)以类似方式估计所述六参数仿射模型的六个参数。例如,公
式11可以基于公式4来产生。
在公式11,对于步骤k,(a,b)可以是差量平移参数。(c,d)可以是水平方向的差量缩放和旋转参数。(e,f)可以是针对垂直方向的差量缩放和旋转参数。例如,公式12可以基于公式8来产生。
可通过考虑CU内的样本使用最小二乘计算来导出参数集(a、b、c、d、e、f)。左上控制点的运动向量
可以利用平移运动模型的自适应精度。对于被译码为非合并和非仿射帧间模式的CU,当前CU的运动向量与其预测符(predictor)之间的运动向量差(MVD)可以以不同精度被译码,例如1/4像素(-pel)、1像素或4像素精度。1/4像素可以是分数精度。1像素和4像素都可以属于整数精度。在示例中,可用针对每一CU的多个(例如,两个)标志用信号发送所述精度以指示MVD精度。第一标志可指示所述精度是否为分数精度,例如1/4像素。如果精度不是分数精度(例如1/4像素),那么可用信号发送第二标志以指示精度是否为整数精度,例如1像素或4像素精度。在运动估计中,可围绕初始运动向量搜索差量运动向量,所述初始运动向量可被视为起始位置。该起始位置可以根据其空间和时间预测符而被选择。举例来说,可将起始运动向量舍入到用于MVD信令的精度,以促进实施。可搜索具有所确定(例如,所需)精度的MVD候选。
所述运动向量预测符可被舍入到所述MVD精度。编码器可检查不同MVD精度的速率失真RD成本和/或选择MVD精度。在一个示例中,所选MVD精度可以是具有最小RD成本的最优精度。所述RD成本可以通过样本值失真和译码率的加权和来计算。所述RD成本可以是译码性能的度量。具有较低RD成本的译码模式可以表现出较好的整体译码性能。当MVD分量中的至少一者(例如,L0或L1运动向量的水平或垂直分量)不为零时,可用信号发送MVD精度相关标志。可以减少信令开销。如果用信号发送的MVD分量为零,则可推断所述MVD精度为1/4像素精度。
分级预测结构可以用于随机接入配置中以提供(例如,高效的)时间预测。图10是具有时间层(TL)的示例分级预测结构的示图。图10示出了使用四个时间层(TL)(例如TL-0、TL-1、TL-2和TL-3)的示例分级预测,其中所述时间层与具有图片顺序计数(POC)的图片(例如,图片0-8)有关。图10中的箭头描述了当前图片(一个或多个)与其参考图片(一个或多个)之间的预测关系。从参考图片(一个或多个)开始的箭头可以引向一正被预测的当前图片。在分级预测中,较高TL的图片可以通过时间距离上更近的参考图片而被预测。例如,TL-3中的图片(例如,图片3)可以从时间上相邻的图片(例如,TL-2中的图片2)预测。较低的TL图片可以具有距它们的参考图片的较大时间距离。如图10所示,TL-0中的图片8可以与TL-0中的其参考图片0相距8个图片。最高TL(例如图10中的TL-3)中的图片(一个或多个)可以不用作参考图片。它们可以被称为非参考图片。虽然图10示出了具有四个TL的示例,但是可以采用任何合适数量的TL(例如,五个或更多)来实现期望的(例如,更深的)分级。
在分级预测中,例如,可以根据当前图片所处的TL来调整图片/切片级量化参数(QP)值。例如,QP0可以用于TL0中的图片,而QP0+delta(TLx)可以用于TLx中的图片。Delta()可以是基于TL的函数。Delta()可以是零或正整数。在一个示例中,Delta()可以被设置为TLx。
视频译码中的双向预测可基于多个(例如,两个)时间预测块和/或CU的组合。所述时间预测块(和/或CU)可被组合。在示例中,可使用平均来组合从经重构的参考图片获得的两个时间预测块。双向预测可以以基于块的运动补偿为基础。在双向预测中,在(例如,两个)预测块之间可观察到相对较小的运动。
双向光流(BDOF)可用于(例如)补偿在预测块之间观察到的相对小的运动。BDOF可被应用以对块内的样本的这种运动进行补偿。在一个示例中,BDOF可以补偿块内的各个样本的这种运动。这可以提高运动补偿预测的效率。
BDOF可包含细化与块和/或CU相关联的运动向量(一个或多个)。在示例中,在使用双向预测时,BDOF可包含按照样本(sample-wise)的运动细化,其在基于块的运动补偿预测的顶部被执行。BDOF可以包括导出样本的(一个或多个)细化运动向量(一个或多个)。作为BDOF的示例,可基于光流模型来导出块中的各个样本的细化运动向量。
BDOF可包含基于以下各项中的一或多者来细化与块和/或CU相关联的运动向量:块和/或CU的位置;与所述块和/或CU的位置相关联的梯度(例如,水平、垂直和/或类似者);与所述位置的对应参考图片列表相关联的样本值;和/或类似者。公式14B可用于导出样本的细化运动向量。如公式14B所示,I
BDOF预测可以基于光流模型和/或沿着运动轨迹的预测块的内插。公式14C可展示使用光流模型(例如,在公式14B中展示)与沿着运动轨迹的预测块的内插的组合以用于BDOF预测的示例。τ
在示例性编码器/解码器(例如,图4所示的示例性编码器和图6所示的示例性解码器)中,可以一起使用多种译码技术。在一个示例中,WP和BCW(例如GBi)可在示例性编码器/解码器中一起使用。当BCW和WP被一起使用时,WP可以被启用。举例来说,可用WP参数(例如,权重及偏移)用信号发送参考图片。在译码块级,如果参考图片是用双向预测被译码的,那么可用信号发送BCW权重。所述WP参数可与全局照度变化相关联。BCW的所述参数可以与用于所述译码块的局部照度变化相关联。
所述WP参数和BCW的参数可以一起被应用。例如,所述WP参数和BCW的参数可作为两步过程的一部分而被应用。作为两步过程的示例,所述WP参数可首先被应用,接着是BCW的参数。公式15可示出应用WP参数和BCW的参数的示例。如公式15所示,可以利用来自两个参考图片列表的参考图片r
P
作为定点实施方式的示例,WP和BCW(例如GBi)可包括用于缩放的一个或多个比特,诸如用于缩放的比特数N
P
((S
在公式16中,S
在示例中,当WP不被用于以双向预测译码的译码块时,可使用BCW。当WP被用于使用双向预测译码的译码块时,可以不使用GBi。举例来说,对于一些参考图片,可不用信号发送所述WP参数。对于一些参考图片,权重可为1且偏移可为0。如果当前块不使用WP用于两个参考图片,那么可用信号发送BCW的参数(一个或多个)。如果当前译码块在任一参考图片列表中使用WP,则可以不用信号发送BCW的参数(一个或多个)。可以减少与BCW相关联的信令开销。
在示例中,如果译码块使用WP,则可以用信号发送BCW的参数(一个或多个)。当CU权重不等于特定值(例如,0.5)时,可以通过使用针对BCW的CU权重(一个或多个)和WP的偏移参数来生成双向预测信号。在一个示例中,可以基于公式15产生公式17。
P
如果CU权重等于某一值(例如,0.5),则可应用未修改的WP。在示例中,在编码器侧,WP偏移可在给定权重(例如,不等于0.5)的双向预测运动估计中被考虑。全局照度的改变可由所述WP偏移补偿,且局部照度的改变可由所述CU权重补偿。
BCW(例如GBi)可以基于一个或多个权重。可以用信号发送BCW权重。在一示例中,五个权重(例如,-2/8、3/8、4/8、5/8和10/8)可用于低延迟图片,且三个权重(例如,3/8、4/8、5/8)可用于非低延迟图片。如果使用双向预测模式来译码CU,那么可用信号发送用于该CU的BCW权重。例如,权重指示可以用于指示在BCW中要用于当前CU的BCW权重。如表1所示,所述权重指示可以包括与预定BCW权重(例如,-2/8、3/8、4/8、5/8和10/8)相对应的索引值。不同的预定BCW权重可具有不同的对应索引值。
在一示例中,如果使用双向预测模式来译码CU,那么可基于截断一元译码来用信号发送BCW权重。表1可以示出了用于低延迟图片的示例截断一元译码方案。表2可以示出了用于非低延迟图片的示例截断一元译码方案。
表1.低延迟图片(一个或多个)的BCW权重指数(例如,针对GBi)的二值化
表2.非低延迟图片(一个或多个)的BCW权重索引(例如,针对GBi)的二值化
某一权重可以被认为是最频繁使用的权重。例如,可以认为权重4/8是最频繁使用的权重。可以使用比用于用信号发送其它权重的比特数量更少的比特数量来用信号发送被认为是最频繁使用的权重的权重。可以用最少的比特数来发送被认为是最频繁使用的权重的权重。在一个示例中,可以用1比特来用信号发送被认为是最频繁使用的权重的权重。如果没有用信号发送权重,则所述最频繁使用的权重可以是默认权重。
CU的权重可(例如)基于相邻CU(一个或多个)的权重而被导出。在一示例中,CU的权重可与相邻CU(一个或多个)的权重相同,这可能由于例如空间相关等因素而发生。CU的权重可基于空间相关性而被导出。可以减少信令开销。
在一示例中,可从相邻CU(一个或多个)导出当前CU的最可能权重。举例来说,当前CU的最可能权重可设定为五个空间相邻CU的最常使用的权重。所述五个空间相邻CU可以包括(例如,在合并模式中)左、上、左下、右上和左上相邻CU。如果不使用双向预测或不使用合并模式对相邻CU进行译码,那么可将相邻CU的权重视为某一值(例如,4/8)。
可用信号发出指示(例如,标志)以指示当前CU的权重是否等于最可能的权重。如果当前CU的权重不同于最可能的权重,那么可用信号发送所述权重。在本文的示例中,对于低延迟图片,可以有四个剩余权重,而对于非低延迟图片,可以有两个剩余权重。所述剩余的权重可以用可变长度译码(例如,在二进制化之后)和/或用固定长度译码来用信号发送。如果使用所述固定长度译码,那么可使用每权重值两个比特来用信号发送四个权重,且可使用每权重值一个比特来用信号发送两个权重。
BCW(例如,GBi)可应用于一个或一个以上运动模型,这其中包含平移模型、四参数仿射运动模型、六参数仿射运动模型和/或类似模型中的一者或多者。一个或多个权重可用于具有CU权重的双向预测。作为本文中的示例,五个权重(例如,-2/8、3/8、4/8、5/8、10/8)可以用于低延迟图片,和/或三个权重(例如,3/8、4/8、5/8)可以用于非低延迟图片。可针对不同MVD精度(例如,1/4像素、1像素、4像素和/或类似者)的双向预测帧间译码模式选择权重。在一示例中,对于具有不同MVD精度的每一双向预测帧间译码模式,可基于RD成本选择权重。RD成本计算(例如,针对GBi)可以包括针对双向预测和/或熵译码的运动估计。在某些情况下可禁用仿射运动估计。
可基于BCW权重来跳过与运动模型和/或MVD精度相关联的某些运动估计。在一示例中,可较早终止针对不同权重的仿射运动估计。可绕过与MVD精度相关联的某些权重候选选择。可以绕过针对某些MVD精度的某些权重候选选择。在一示例中,对于某些运动模型和/或某些MVD精度,可跳过对于不是最可能权重的一些权重的运动估计。
可禁用或绕过与某些权重相关联的仿射运动估计。仿射运动估计可以是迭代过程。仿射运动估计(例如,针对每一迭代)可包含以下一者或多者:应用运动补偿以产生预测信号;使用该预测信号计算水平梯度和/或垂直梯度;计算相关矩阵;基于所述最小二乘计算而导出所述仿射运动模型参数;和/或类似的步骤。一次迭代的计算水平可能相对较高。可执行与一个或一个以上权重相关联的运动估计。举例来说,如果启用具有CU权重的双向预测,那么可测试或尝试与译码块或CU的参考图片列表相关联的可能权重。对于权重,编码器可执行四参数仿射运动估计和/或六参数仿射运动估计。如果所述权重等于或不等于特定值,则可以较早地终止仿射运动估计。在一示例中,如果所述权重不等于4/8,则可禁用或绕过仿射运动估计。
仿射运动估计可在权重等于某个值(例如4/8)的条件下被执行,且不对其它权重执行。因此,相应权重(例如,4/8)可适用于仿射译码模式。举例来说,可在指示或用信号发送用于帧间译码CU的权重之前,指示或用信号发送所述仿射模式。如果所述译码块是仿射模式,则可以推断所述权重。如果所述译码块是仿射模式,则可以不用信号发送所述权重。可减少仿射译码CU的信令开销。
与特定权重(一个或多个)相关联的译码结果可以用于确定是禁用还是绕过与其他权重相关联的仿射运动估计。在一示例中,与权重4/8相关联的运动估计的RD成本可用于确定是否绕过与其它权重相关联的仿射运动估计。编码器可以以特定顺序评估权重的RD成本。例如,编码器可以首先评估权重4/8,随后评估权重2/8、10/8、3/8和5/8。编码器可以使用权重4/8的译码结果来确定是否绕过与其他权重相关联的仿射运动估计。举例来说,如果当权重为4/8时,仿射模型的运动估计成本大于平移模型的运动估计成本乘以阈值(例如,1.05),那么对于例如-2/8、10/8、3/8和/或5/8等一个或一个以上其它权重,可跳过仿射运动估计。
所述编码器可基于当前模式,确定是否绕过针对一或多个其它权重的仿射运动估计。图11是用于确定是否跳过对某些MVD精度和/或权重的仿射的示例的示图。在图11(a)所示的示例中,可针对像素1/4检查所有权重和仿射模式,在图11(b)所示的示例中,编码器可在用权重4/8译码之后检查(例如,最佳)译码模式。BCW权重可包括W
权重候选选择可以在不同的MVD精度中较早地终止。可以绕过与某些MVD精度相关联的某些权重候选选择。译码系统可支持MVD的一个或一个以上精度(例如,1/4像素、1像素、4像素)。编码器可以计算所述一个或多个精度(例如,三个)的RD成本,和/或基于所计算的RD成本选择最佳精度。所述编码器可以比较所述一个或多个精度的RD成本。所述最佳精度可以是具有相对低(例如,最低)RD成本的精度。所述编码器可以按顺序计算所述一个或多个精度的RD成本。在一个示例中,当启用具有CU权重的双向预测时(例如GBi)时,可对每个MVD精度测试不同的权重。在一些情况下,可针对每一权重执行双向预测搜索。
可以绕过与某些MVD精度相关联的某些权重的RD计算。当MVD精度是特定值(例如,1/4像素)时,译码设备(例如,编码器和/或解码器)可记录不同权重的RD成本。所述译码设备可基于权重(除特定权重值以外的权重)的RD成本,以升序或降序对所述权重中的一些或全部权重进行排序。在一个示例中,所述译码设备可根据权重4/8之外的权重的RD成本,以升序或降序对与记录的RD成本关联的权重排序。针对1像素和/或4像素精度,所述译码设备可不测试所有权重。在一个示例中,可以选择排序的权重中的前几个权重和/或4/8权重,以测试1像素和4像素精度。可以减少针对1像素精度和4像素MVD精度测试的权重的数量。
可以跳过对一个以上参考图片列表中的同一参考图片的某一双向预测(例如,GBi)搜索。举例来说,对于分级预测结构中的较低TL处的一些图片,相同图片可出现在多个参考图片列表(例如,列表0和列表1)中。表3可以包括用于第一图片组(GOP)的参考图片结构。如表3所示,该GOP大小可以是16。POC可为当前图片的图片顺序计数。TL可以是当前图片所属的时间等级。L0和L1可标识参考图片的POC值,其由两个参考图片列表中的相应参考图片列表用于当前图片译码。
表3.针对示例性GOP的参考图片结构
如表3所示,POC 16、8、4、2、1、12、14及15可在两个列表中具有相同的参考图片。举例来说,POC 16可具有L0及L1中的参考图片0,且POC 8可具有L0及L1中的参考图片16。对于双向预测,可以选择用于L0和L1的相同参考图片。如果双向预测中的两个参考图片相同,那么译码设备(例如,编码器)可跳过某些双向预测运动估计。在一示例中,举例来说,如果双向预测中的两个参考图片相同,那么译码设备(例如,编码器)可针对权重4/8执行双向预测运动估计,且针对其它权重,跳过双向预测运动估计。在一示例中,当MVD精度为某一值(例如,1像素、4像素)时,译码设备可跳过针对其它权重的双向预测运动估计。当仿射模型是四参数或六参数模型时,译码设备可跳过针对其它权重的仿射双向预测运动估计。可以减少译码损失。
在与当前图片的TL相关的条件下,可以绕过某些双向预测运动估计。例如,当TL大于预定义阈值(例如,一)时,译码设备可跳过针对其它权重的双向预测运动估计。
可组合本文中用于跳过双向预测搜索(例如,针对除4/8以外的权重)的条件中的任一者。例如,这里跳过一些权重的条件可以被实施为用于加速编码的编码器方法。
这里跳过一些权重的条件可以以规范的方式被实施。在一个示例中,当MVD精度是1/4像素时,和/或当不使用仿射四参数模式时,可以允许具有非默认权重的BCW。当MVD精度是1像素或4像素时,可以禁用BCW索引信令。当使用仿射四参数模式时,可以禁用BCW索引信令。可以减少信令开销。
可以针对一些图片禁用BCW(例如GBi),例如,这可取决于他们的TL和/或用于编码这些图片所使用的的QP。在示例中,BCW对于低QP值到中QP值可能更有效。BCW对于中质量到高质量的编码可能更有效。如果用于编码当前图片的QP高于阈值,那么可禁用BCW。对于非参考图片(例如,最高TL处的图片),可以禁用BCW。非参考图片可不被其它图片用作参考图片。
BCW可与BDOF组合,例如,以用于当前块或CU。在示例中,译码系统可以接收关于BCW和/或BDOF被启用的一个或多个指示。该译码系统可以包括WTRU。WTRU可以基于所述一个或多个指示来使用BCW和BDOF的组合。可在块和/或图片/切片层级处用信号发送所述一个或多个指示。例如,WTRU可以确定对于当前CU,BCW被启用。WTRU可以识别用于当前CU的BCW的权重指示。该权重指示可指示例如在BCW中将用于当前CU的权重。所述权重指示的示例可以包括权重索引。WTRU可以确定BDOF对于所述当前CU是启用的。
以下特征中的一个或多个可以应用于具有CU权重的双向预测和BDOF之间的交互。BDOF可包含:至少部分基于与所述当前CU中的位置相关联的梯度来细化与所述当前CU相关联的运动向量。
如果在具有CU权重的双向预测中将相等权重(例如,4/8或0.5)用于当前CU,那么可执行BDOF。在一示例中,如果将相等权重用于当前CU且满足至少另一条件,那么可针对当前CU执行BDOF。另一条件(一个或多个)可包括:例如将相等的权重应用于L0和L1预测和/或当前CU是双向预测的。在一示例中,如果所述权重指示指示了相等权重将在具有CU权重的双向预测中被用于当前CU,那么所述WTRU可进一步基于一个或一个以上其它条件来确定是否执行用于当前CU的BDOF。
关于是否应用BDOF以进一步细化双向预测信号的决策可取决于所应用的权重。WTRU可以识别用于当前CU的BCW的权重指示。该权重指示可以指示要在BCW中用于当前CU的权重。图12是用于确定是否绕过BDOF的示例的示图。在一个示例中,是否绕过针对当前CU的BDOF可以至少部分地基于当前CU的BCW的权重指示来确定。如图12所示,可以在1204执行运动补偿。在1206,可以确定BCW是否被启用用于当前CU以及BDOF是否被允许。如果确定BCW不针对当前CU被启用或BDOF不被允许,那么可跳过检查具有CU权重的双向预测的权重且可不执行BDOF。如果确定BCW对于当前CU是启用的并且BDOF是允许的,则可以检查BCW的权重,并且可以在1208处确定是否应用相等的权重。如果应用相等的权重,则可以在1210处执行BDOF。作为一示例,如果所述权重指示指示了将相等权重用于BCW中的当前CU,那么可针对当前CU执行BDOF。在应用不相等权重的情况下,可以绕过BDOF。作为一个示例,如果所述权重指示指示了将为BCW中的当前CU使用不相等的权重,则WTRU可以确定为当前CU绕过BDOF。所述权重指示可以包括与预定权重对应的索引值。
可基于是否绕过BDOF的所述确定来重构所述当前CU。WTRU可以被配置成基于绕过BDOF的确定来在没有BDOF的情况下执行BCW。举例来说,可基于所述权重指示确定第一预测CU权重。可基于所述第一预测CU权重和BCW权重的约束来导出第二预测CU权重。可基于所述第一预测CU权重和所述第二预测CU权重对所述当前CU执行BCW。如图12所示,帧间预测可以在1212处结束。
在一示例中,可启用BDOF而不管针对双向预测的CU应用相等权重还是不相等权重。基于所述光流模型,当前CU中的样本(例如,每一样本)的经细化的运动向量的导出可保持与如本文所描述的BDOF导出相同。例如,在应用BDOF之前,可以应用BCW的原始L0和L1预测信号的加权组合。BDOF之后获得的预测信号可以如公式18的示例中所示来计算。
在本文所述的一个或多个示例中,BCW的权重可应用于所述原始L0和L1预测信号,而导出的运动细化可保持与原始BDOF设计相同。应用于运动细化(例如,v
用于具有CU权重的双向预测的相同权重可应用于原始双向预测和/或在L0和L1中导出的运动细化。该运动细化(例如,v
尽管上述按照特定组合描述了特征和元素,但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外,于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读媒体包括电子信号(通过有线或无线连接发送)和计算机可读存储媒体。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。
- 在视频译码中用于双向预测帧间模式的运动向量预测符(MVP)
- 在高效率视频译码及其扩展中的运动矢量译码及双向预测