用于视频译码的语法元素的一般约束
文献发布时间：2023-06-19 18:27:32
本申请要求于2021年6月7日提交的美国申请第17/340,727号以及于2020年6月8日提交的美国临时申请第63/036,320号的优先权，每个申请的全部内容通过引用并入本文。美国申请第17/340,727号要求于2020年6月8日提交的美国临时申请第63/036,320号的权益。
技术领域
本公开涉及视频编码和视频解码。
背景技术
数字视频能力可以并入到广泛的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流设备等。数字视频设备实现视频译码技术，诸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)、ITU-T H.265/高效视频译码(HEVC)定义的标准以及此类标准的扩展中描述的技术。通过实现此类视频译码技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。
视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或消除视频序列中固有的冗余。对于基于块的视频译码，视频条带(例如，视频图片或视频图片的一部分)可以被分区为视频块，这些视频块也可以称为译码树单元(CTU)、译码单元(CU)和/或译码节点。使用相对于同一图片中相邻块中的参考样本的空间预测对图片的帧内译码的(I)条带中的视频块进行编码。图片的帧间译码的(P或B)条带中的视频块可以使用相对于同一图片中相邻块中的参考样本的空间预测，或相对于其他参考图片中的参考样本进行时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。
发明内容
一般而言，本公开描述了用于用信号通知语法元素来约束其他语法元素的技术。根据本公开的一种或多种技术，视频编码器可以对通用约束信息(GCI)标记进行编码，并且视频解码器可以对通用约束信息(GCI)标记进行解码，和/或修改现有GCI标记的语义以进一步约束各种其他语法元素。可以被约束的一些示例语法元素包括但不限于指定子图片信息是否存在于比特流中以及多于一个子图片是否可以存在于比特流中的标记(例如，sps_subpic_info_present_flag)，指定参考图片列表(RPL)语法元素是否存在于瞬时解码刷新(IDR)图片的条带头中的标记(例如，sps_idr_rpl_present_flag)、指定视频参数集(VPS)是否包括假设参考解码器参数的标记(例如，vps_general_hrd_params_present_flag)、指定序列参数集(SPS)是否包括假设参考解码器参数的标记(例如，sps_general_hrd_params_present_flag)和/或指定比特流是否传递表示字段的图片的标记(例如，sps_field_seq_flag)。
通过对上述标记(例如，指定对第二语法元素的约束的标记，该第二语法元素指定子图片信息是否存在于译码的视频比特流中以及是否允许多于一个子图片存在于该译码的视频比特流中)进行编码，视频编码器可以使视频解码器能够丢弃具有不支持的特定译码特征的比特流，而视频解码器不必解析序列参数集(SPS)或图片参数集(PPS)。附加地，通过对上述标记进行编码，视频编码器可以使接收器能够在多个候选(例如，自适应流)中识别适当的比特流。对于视频编码器知道接收器的能力的情况，视频编码器可以通过将GCI设置为高水平来选择性地禁用译码工具。当视频编码器知道内容时，它还可以启用特定的译码工具，因为某些译码工具可能仅对特定视频内容有用。以这种方式，本公开的技术可以降低功耗、压缩复杂度和解码复杂度。
作为一个示例，一种对视频数据进行解码的方法包括从译码的视频比特流中对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定子图片信息是否存在于该译码的视频比特流中以及是否允许多于一个子图片存在于该译码的视频比特流中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行解码。
作为另一个示例，一种对视频数据进行编码的方法包括在译码的视频比特流中对第一语法元素进行编码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定子图片信息是否存在于该译码的视频比特流中以及是否允许多于一个子图片存在于该译码的视频比特流中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行编码。
作为另一个示例，一种用于对视频数据进行解码的设备包括存储器，其被配置为存储至少一部分译码的视频比特流；以及一个或多个处理器，其在电路中实现，并且被配置为：从译码的视频比特流中对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定子图片信息是否存在于该译码的视频比特流中以及是否允许多于一个子图片存在于该译码的视频比特流中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行解码。
作为另一个示例，一种计算机可读存储介质，存储指令，该指令在被执行时，使一个或多个处理器：从译码的视频比特流中对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定子图片信息是否存在于该译码的视频比特流中以及是否允许多于一个子图片存在于该译码的视频比特流中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行解码。
在附图和以下说明书中阐述了一个或多个示例的细节。根据说明书、附图和权利要求书，其他特征、目的和优点将是显而易见的。
附图说明
图1是示出了可执行本公开的技术的示例视频编码和解码系统的框图。
图2A和图2B是示出示例四叉树二叉树(QTBT)结构以及对应的译码树单元(CTU)的概念图。
图3是示出可执行本公开的技术的示例视频编码器的框图。
图4是示出可执行本公开的技术的示例视频解码器的框图。
图5是示出根据本公开的一种或多种技术的用于对当前块进行编码的示例方法的流程图。
图6是示出根据本公开的一种或多种技术的用于对当前块进行解码的示例方法的流程图。
图7是示出根据本公开的一种或多种技术的用于用信号通知语法元素的示例方法的流程图，该语法元素约束用于表示视频数据的其他语法元素。
具体实施方式
通用视频译码(VVC)已经由ITU-T和ISO/IEC的联合视频专家小组(JVET)开发，以实现HEVC之外的更大压缩能力，用于更广泛的应用。VVC预期将于2020年7月完成，由此产生将由ITU-T和ISO/IEC发布的对齐的文本。
VVC标准的当前草案(Ye-Kui Wang，“AHG2：2020年5月HLS AHG会议成果的文本集成的编辑输入”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11联合视频专家小组(JVET)，第19次会议：通过电话会议，2020年6月22日至7月1日，JVET-S0152v5(以下称“VVC草案10”))指定了规范的比特流和图片格式、高级语法(HLS)和语义以及解析和解码过程。VVC还在附件中指定了轮廓/层/级(PTL)限制、字节流格式、假设参考解码器和补充增强信息(SEI)。
VVC从HEVC继承了许多高级特征，诸如网络抽象层(NAL)单元和参数集概念、片(tile)和波前并行处理、分层译码以及使用SEI消息进行补充数据信令。VVC中介绍了更多新的高级特征，包括矩形条带和子图片概念、图片分辨率自适应、混合NAL单元类型、图片头(PH)、逐步解码刷新(GDR)图片、虚拟边界和针对参考图片管理的参考图片列表(RPL)。
VVC中对参数集语法元素指定了许多信令条件或语义约束，并且在解码过程中使用从语法元素导出的变量。例如，VVC指定了通用约束信息(GCI)来约束特定的译码工具、NAL单元类型和功能。具体地，VVC草案10包括以下GCI语法元素和语义：
7.3.3.2通用约束信息语法
7.4.4.2通用约束信息语义
等于1的general_non_packed_constraint_flag指定在OlsInScope的比特流中应该不存在任何帧包装排列SEI消息。等于0的general_non_packed_constraint_flag不会施加这样的约束。
注1–解码器可以忽略general_non_packed_constraint_flag的值，因为没有与帧包装排列SEI消息的存在或解释相关联的解码过程要求。
等于1的general_frame_only_constraint_flag指定OlsInScope传递表示帧的图片。等于0的general_frame_only_constraint_flag指定OlsInScope传递可以表示或可以不表示帧的图片。
注2–解码器可以忽略general_frame_only_constraint_flag的值，因为没有与其相关联的解码过程要求。
等于1的general_non_projected_constraint_flag指定在OlsInScope的比特流中应该不存在任何等矩形投影SEI消息或广义立方图投影SEI消息。等于0的general_non_projected_constraint_flag不施加这样的约束。
注3–解码器可以忽略general_non_projected_constraint_flag的值，因为不存在与等矩形投影SEI消息和广义立方图投影SEI消息的存在或解释相关联的解码过程要求。
等于1的general_one_picture_only_constraint_flag指定比特流中只有一个译码的图片。等于0的general_one_picture_only_constraint_flag不施加这样的约束。
等于1的intra_only_constraint_flag指定sh_slice_type应该等于I。等于0的intra_only_constraint_flag不施加这样的约束。
小于8的max_bitdepth_minus8_constraint_idc指定sps_bitdeth_minus8应该在0到max_bitdepth_minus8_constraint_idc的范围内(含端值)。等于或大于8的max_bitdepth_minus8_constraint_idc不施加约束。
小于2的max_chroma_format_constraint_idc指定sps_chroma_format_idc应该在0到max_chroma_format_constraint_idc的范围内(含端值)。等于2的max_chroma_format_constraint_idc不施加约束。
等于1的single_layer_constraint_flag指定对于OlsInScope中的所有VCL NAL单元，nuh_layer_id的值应该相同。等于0的single_layer_constraint_flag不施加这样的约束。
等于1的all_layers_independent_constraint_flag指定vps_all_independent_layers_flag应该等于1。等于0的all_layers_independent_constraint_flag不施加这样的约束。
等于1的no_ref_pic_resampling_constraint_flag指定sps_ref_pic_resampling_enabled_flag应该等于0。等于0的no_ref_pic_resampling_constraint_flag不施加这样的约束。
等于1的no_res_change_in_clvs_constraint_flag指定sps_res_change_in_clvs_allowed_flag应该等于0。等于0的no_res_change_in_clvs_constraint_flag不施加这样的约束。
等于1的one_tile_per_pic_constraint_flag指定每个图片都应该仅包含一个片，即每个图片的NumTilesInPic的值都应该等于1。等于0的one_tile_per_pic_constraint_flag不施加这样的约束。
等于1的pic_header_in_slice_header_constraint_flag指定每个图片都应该仅包含一个条带，并且每个条带中sh_picture_header_in_slice_header_flag的值都应该等于1。等于0的pic_header_in_slice_header_constraint_flag不施加这样的约束。
等于1的one_slice_per_pic_constraint_flag指定每个图片都应该仅包含一个条带，即，如果pps_rect_slice_flag等于1，则num_slices_in_pic_minus1的值应该等于0，否则，每个条带头中出现的num_tiles_in_slice_minus1值应该等于NumTilesInPic-1。等于0的one_slice_per_pic_constraint_flag不施加这样的约束。
等于1的one_subpic_per_pic_constraint_flag指定每个图片都应该仅包含一个子图片，即每个图片的sps_num_subpics_minus1的值都应该等于0。等于0的one_subpic_per_pic_constraint_flag不施加这样的约束。
等于1的no_qtbtt_dual_tree_intra_constraint_flag指定sps_qtbtt_dual_tree_intra_flag应该等于0。等于0的no_qtbtt_dual_tree_intra_constraint_flag不施加这样的约束。
等于1的no_partition_constraints_override_constraint_flag指定sps_partition_constraints_override_enabled_flag应该等于0。等于0的no_partition_constraints_override_constraint_flag不施加这样的约束。
等于1的no_sao_constraint_flag指定sps_sao_enabled_flag应该等于0。等于0的no_sao_constraint_flag不施加这样的约束。
等于1的no_alf_constraint_flag指定sps_alf_enabled_flag应该等于0。等于0的no_alf_constraint_flag不施加这样的约束。
等于1的no_ccalf_constraint_flag指定sps_ccalf_enabled_flag应该等于0。等于0的no_ccalf_constraint_flag不施加这样的约束。
等于1的no_joint_cbcr_constraint_flag指定sps_joint_cbcr_enabled_flag应该等于0。等于0的no_joint_cbcr_constraint_flag不施加这样的约束。
等于1的no_mrl_constraint_flag指定sps_mrl_enabled_flag应该等于0。等于0的no_mrl_constraint_flag不施加这样的约束。
等于1的no_isp_constraint_flag指定sps_isp_enabled_flag应该等于0。等于0的no_isp_constraint_flag不施加这样的约束。
等于1的no_mip_constraint_flag指定sps_mip_enabled_flag应该等于0。等于0的no_mip_constraint_flag不施加这样的约束。
等于1的no_ref_wraparound_constraint_flag指定sps_ref_wraparound_enabled_flag应该等于0。等于0的no_ref_wraparound_constraint_flag不施加这样的约束。
等于1的no_temporal_mvp_constraint_flag指定sps_temporal_mvp_enabled_flag应该等于0。等于0的no_temporal_mvp_constraint_flag不施加这样的约束。
等于1的no_sbtmvp_constraint_flag指定sps_sbtmvp_enabled_flag应该等于0。等于0的no_sbtmvp_constraint_flag不施加这样的约束。
等于1的no_amvr_constraint_flag指定sps_amvr_enabled_flag应该等于0。等于0的no_amvr_constraint_flag不施加这样的约束。
等于1的no_bdof_constraint_flag指定sps_bdof_enabled_flag应该等于0。等于0的no_bdof_constraint_flag不施加这样的约束。
等于1的no_dmvr_constraint_flag指定sps_dmvr_enabled_flag应该等于0。等于0的no_dmvr_constraint_flag不施加这样的约束。
等于1的no_cclm_constraint_flag指定sps_cclm_enabled_flag应该等于0。等于0的no_cclm_constraint_flag不施加这样的约束。
等于1的no_mts_constraint_flag指定sps_mts_enabled_flag应该等于0。等于0的no_mts_constraint_flag不施加这样的约束。
等于1的no_sbt_constraint_flag指定sps_sbt_enabled_flag应该等于0。等于0的no_sbt_constraint_flag不施加这样的约束。
等于1的no_lfnst_constraint_flag指定sps_lfnst_enabled_flag应该等于0。等于0的no_lfnst_constraint_flag不施加这样的约束。
等于1的no_affine_motion_constraint_flag指定sps_affine_enabled_flag应该等于0。等于0的no_affine_motion_constraint_flag不施加这样的约束。
等于1的no_mmvd_constraint_flag指定sps_mmvd_enabled_flag应该等于0。等于0的no_mmvd_constraint_flag不施加这样的约束。
等于1的no_smvd_constraint_flag指定sps_smvd_enabled_flag应该等于0。等于0的no_smvd_constraint_flag不施加这样的约束。
等于1的no_prof_constraint_flag指定sps_affine_prof_enabled_flag应该等于0。等于0的no_prof_constraint_flag不施加这样的约束。
等于1的no_bcw_constraint_flag指定sps_bcw_enabled_flag应该等于0。等于0的no_bcw_constraint_flag不施加这样的约束。
等于1的no_ibc_constraint_flag指定sps_ibc_enabled_flag应该等于0。等于0的no_ibc_constraint_flag不施加这样的约束。
等于1的no_ciip_constraint_flag指定sps_ciip_enabled_flag应该等于0。等于0的no_cipp_constraint_flag不施加这样的约束。
等于1的no_gpm_constraint_flag指定sps_gpm_enabled_flag应该等于0。等于0的no_gpm_constraint_flag不施加这样的约束。
等于1的no_ladf_constraint_flag指定sps_ladf_enabled_flag应该等于0。等于0的no_ladf_constraint_flag不施加这样的约束。
等于1的no_transform_skip_constraint_flag指定sps_transform_skip_enabled_flag应该等于0。等于0的no_transform_skip_constraint_flag不施加这样的约束。
等于1的no_bdpcm_constraint_flag指定sps_bdpcm_enabled_flag应该等于0。等于0的no_bdpcm_constraint_flag不施加这样的约束。
等于1的no_weighted_prediction_constraint_flag指定sps_weighted_pred_flag和sps_weighted_bipred_flag都应该等于0。等于0的no_weighted_prediction_constraint_flag不施加这样的约束。
等于1的no_palette_constraint_flag指定sps_palette_enabled_flag应该等于0。等于0的no_palette_constraint_flag不施加这样的约束。
等于1的no_act_constraint_flag指定sps_act_enabled_flag应该等于0。等于0的no_act_constraint_flag不施加这样的约束。
等于1的no_lmcs_constraint_flag指定sps_lmcs_enabled_flag应该等于0。等于0的no_lmcs_constraint_flag不施加这样的约束。
等于1的no_cu_qp_delta_constraint_flag指定pps_cu_qp_delta_enabled_flag应该等于0。等于0的no_cu_qp_delta_constraint_flag不施加这样的约束。
等于1的no_chroma_qp_offset_constraint_flag指定pps_cu_chroma_qp_offset_list_enabled_flag应该等于0。等于0的no_chroma_qp_offset_constraint_flag不施加这样的约束。
等于1的no_dep_quant_constraint_flag指定sps_dep_quant_enabled_flag应该等于0。等于0的no_dep_quant_constraint_flag不施加这样的约束。
等于1的no_sign_data_hiding_constraint_flag指定sps_sign_data_hiding_enabled_flag应该等于0。等于0的no_sign_data_hiding_constraint_flag不施加这样的约束。
等于1的no_mixed_nalu_types_in_pic_constraint_flag指定比特流一致性的要求是pps_mixed_nalu_types_in_pic_flag应该等于0。等于0的no_mixed_nalu_types_in_pic_constraint_flag不施加这样的约束。
等于1的no_trail_constraint_flag指定在OlsInScope中应该不存在nuh_unit_type等于TRAIL_NUT的NAL单元。等于0的no_trail_constraint_flag不施加这样的约束。
等于1的no_stsa_constraint_flag指定在OlsInScope中应该不存在nuh_unit_type等于STSA_NUT的NAL单元。等于0的no_stsa_constraint_flag不施加这样的约束。
等于1的no_rasl_constraint_flag指定在OlsInScope中应该不存在nuh_unit_type等于RASL_NUT的NAL单元。等于0的no_rasl_constraint_flag不施加这样的约束。
等于1的no_radl_constraint_flag指定在OlsInScope中应该不存在nuh_unit_type等于RADL_NUT的NAL单元。等于0的no_radl_constraint_flag不施加这样的约束。
等于1的no_idr_constraint_flag指定在OlsInScope中应该不存在nuh_unit_type等于IDR_W_RADL或IDR_N_LP的NAL单元。等于0的no_idr_constraint_flag不施加这样的约束。
等于1的no_cra_constraint_flag指定在OlsInScope中应该不存在nuh_unit_type等于CRA_NUT的NAL单元。等于0的no_cra_constraint_flag不施加这样的约束。
等于1的no_gdr_constraint_flag指定sps_gdr_enabled_flag应该等于0。等于0的no_gdr_constraint_flag不施加这样的约束。
等于1的no_aps_constraint_flag指定在OlsInScope中不存在nuh_unit_type等于PREFIX_APS_NUT或SUFFIX_APS_NUT的NAL单元，并且sps_lmcs_enabled_flag和sps_scaling_list_enabled_flag都应该等于0。等于0的no_aps_constraint_flag不施加这样的约束。
gci_alignment_zero_bits应该等于0。
gci_num_reserved_bytes指定保留的约束字节的数量。gci_num_reserved_bytes的值应该为0。gci_num_reserved_bytes的其他值由ITU-T|ISO/IEC保留以供将来使用，并且不应该出现在符合本说明书的本版本的比特流中。
gci_reserved_byte[i]可以具有任何值。其存在和值不影响解码器与本说明书的本版本中指定的配置文件的一致性。符合本说明书的本版本的解码器应该忽略所有gci_reserved_byte[i]语法元素的值。
然而，有一些高级语法元素尚未被约束，并且现有约束标记的语义可能不与对应的(例如，未考虑的)语法元素耦合。
根据本公开的一种或多种技术，视频编码器200可以对GCI标记进行编码，并且视频解码器300可以对GCI标记进行解码，和/或修改现有GCI标记的语义以进一步约束各种其他语法元素。可以被约束的一些示例语法元素包括但不限于指定子图片信息是否存在于比特流中以及多于一个子图片是否可以存在于比特流中的标记(例如，sps_subpic_info_present_flag)、指定参考图片列表(RPL)语法元素是否存在于瞬时解码刷新(IDR)图片的条带头中的标记(例如，sps_idr_rpl_present_flag)、指定视频参数集(VPS)是否包括假设参考解码器参数的标记(例如，vps_general_hrd_params_present_flag)、指定序列参数集(SPS)是否包括假设参考解码器参数的标记(例如，sps_general_hrd_params_present_flag)和/或指定比特流是否传递表示字段的图片的标记(例如，sps_field_seq_flag)。以下是每一项上述提议的详细示例。这些提议包括新的通用约束标记和对现有通用约束标记的修改。
在一些示例中，视频译码器可以用信号通知(例如，视频编码器200可以编码，并且视频解码器300可以解码)通用约束标记(例如，no_subpic_info_constraint_flag)来约束sps_subpic_info_present_flag。当这样的约束标记等于1时，sps_subpic_info_present_flag的值应该等于0。当这样的约束标记等于0时，不施加约束。当no_subpic_info_constraint_flag为1时，pic_header_in_slice_header_constraint_flag应该为0。
在一些示例中，视频译码器可以使用通用约束语法元素的值(例如，如2020年5月13日提交的美国临时专利申请第63/024,331号中描述的max_subpics_constraint_idc)来约束sps_subpic_info_present_flag。根据本公开的一种或多种技术，max_subpics_constraint_idc的语义可以修改如下：
·max_subpics_constraint_idc指定图片内的子图片的数量。sps_num_subpics_minus1的值应在0到max_subpics_idc-1(含端值)之间。当max_subpics_constraint_idc等于0时，sps_subpic_info_present_flag的值应等于0。当one_subpic_per_pic_constraint_flag等于1时，max_subpics_constraint_idc应等于1。
在一些示例中，视频译码器可以用信号通知通用约束标记(例如，no_idr_rpl_constraint_flag)来约束sps_idr_rpl_present_flag。当这样的约束标记等于1时，sps_idr_rpl_present_flag的值应该等于0。
在一些示例中，视频译码器可以用信号通知通用约束标记(例如，no_hrd_constraint_flag)，约束vps_general_hrd_params_present_flag和/或sps_general_hrd_params_present_flag。当这样的约束标记等于1时，vps_general_hrd_params_present_flag和sps_general_hrd_params_present_flag的值都应该等于0。值为0的vps_general_hrd_params_present_flag和sps_general_hrd_params_present_flag可以暗示没有为解码器提供假设参考解码器(HRD)参数。
在一些示例中，视频译码器可以使用通用约束标记(例如，general_frame_only_constraint_flag)的修改的语义。例如，general_frame_only_constraint_flag的语义可以被修改为使得等于1的general_frame_only_constraint_flag指定sps_field_seq_flag应该等于0，并且等于0的general_frame_only_constraint_flag不施加这样的约束(例如，等于0的general_frame_only_constraint_flag不要求sps_field_seq_flag应该等于0)。
Sanchez等人，“AHG9：关于OLS和子层”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC29/WG 11的联合视频专家小组(JVET)，第19次会议：通过电话会议，2020年6月22日至7月1日，JVET-S0100(以下称“JVET-S0100”)提议在共享相同索引的profile_tier_level(PTL)、解码图片缓冲器(DPB)和HRD参数结构之中约束时间ID(tid)参数。然而，在VVC草案10中，PTL是为VPS中的每个输出层集(OLS)指定的，而DPB和HRD是为VPS中的每个多层OLS指定的。具体而言，JVET-S0100提议约束vps_dpb_max_temporal_id[i]、vps_hrd_max_tid[i]和vps_ptl_max_temporal_id[i]如下。
·vps_ols_dpb_params_idx[vps_ols_dpb_params_idx[i]]和vps_hrd_max_tid[vps_ols_hrd_idx[i]]的值应该大于或等于vps_ptl_max_temporal_id[vps_ols_ptl_idx[i]]。
·vps_ols_ptl_idx[i]是应用于第i个OLS的profile_tier_level()语法结构的、到VPS中profile_tier_level()语法结构的列表的索引。
·vps_ols_dpb_params_idx[i]是应用于第i个多层OLS的dpb_parameters()语法结构的、到VPS中dpb_parameters()语法结构的列表的索引。
·vps_ols_hrd_idx[i]是应用于第i个多层OLS的ols_hrd_parameters()语法结构的、到VPS中ols_hrd_parameters()语法结构的列表的索引。
然而，在于VPS中指定了单层OLS的情况中，用相同索引约束PTL、DPB和HRD之中的tid可能是有问题的。例如，在于VPS中存在单层OLS的情况中，OLS的大小不同于多层OLS的大小，因此，vps_dpb_max_temporal_id[i]、vps_hrd_max_tid[i]和vps_ptl_max_temporal_id[i]可能与不同的OLS相关联，并且跨不同的OLS约束时间id可能是有问题的和不期望的。
根据本公开的一种或多种技术，JVET-S0100中描述的约束可以修改如下(在＜INSERT＞…＜/INSERT＞标签之间显示添加，在＜DELETE＞…＜/DELETE＞标签之间显示删除)：
vps_ols_dpb_params_idx[vps_ols_dpb_params_idx[i]]和vps_hrd_max_tid[vps_ols_hrd_idx[i]]的值应该大于或等于vps_ptl_max_temporal_id[vps_ols_ptl_idx[
在另一个示例中，i的列表DpbHrdIdxToPtlIdx[i]的范围从0到NumMultiLayerOlss(含端值)，指定从多层OLS的索引到总OLS的对应索引的转换导出如下：
对时间ID的约束可以修改如下：
·vps_ols_dpb_params_idx[vps_ols_dpb_params_idx[i]]和vps_hrd_max_tid[vps_ols_hrd_idx[i]]的值应该大于或等于vps_ptl_max_temporal_id[vps_ols_ptl_idx[
逐步解码刷新(GDR)图片可以通过图片头(PH)处的ph_gdr_or_irap_pic_flag和ph_gdr_pic_flag来检测，无需解析sps_gdr_enabled_flag。由于没有特定的序列图片集(SPS)标记来控制瞬时解码器刷新(IDR)、干净随机访问(CRA)或任何其他图片类型，因此断言没有必要指定sps_gdr_enabled_flag。
根据本公开的一种或多种技术，视频译码器可以抑制用信号通知sps_gdr_enabled_flag语法元素。换句话说，视频编码器200可以不从序列图片集(SPS)中对指定GDR是否被启用的语法元素进行编码，并且视频解码器300可以不从序列图片集(SPS)中对指定GDR是否被启用的语法元素进行解码。具体地，本公开认识到，可能不需要用信号通知sps_gdr_enabled_flag来控制GDR图片。no_gdr_constraint_flag的语义可以修改如下：
等于1的no_gdr_constraint_flag指定
这样，no_gdr_constraint_flag语法元素可以不控制sps_gdr_enabled_flag的存在。
图1是示出可执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术总体上针对译码(编码和/或解码)视频数据。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未编码的视频、编码的视频、解码的(例如，重构的)视频以及视频元数据(诸如信令数据)。
如图1所示，在此示例中，系统100包括源设备102，该源设备102提供要由目的地设备116解码和显示的编码的视频数据。具体地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括广泛的设备中的任何一种，包括台式计算机、笔记本(即，膝上型)计算机、移动设备、平板计算机、机顶盒、诸如智能电话的手机、电视、相机、显示设备、数字媒体播放器、视频游戏机、视频流设备、广播接收器设备等。在某些情况下，源设备102和目的地设备116可以被配备用于无线通信，从而可以被称为无线通信设备。
在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于约束高级语法元素的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目标设备可以包括其他组件或排列。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备对接，而不是包括集成的显示设备。
如图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于约束高级语法元素的技术。源设备102和目的地设备116仅仅是其中源设备102生成译码的视频数据以用于传输到目的地设备116的这样的译码设备的示例。本公开将“译码”设备称为执行数据译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示译码设备的示例，具体地分别是视频编码器和视频解码器的示例。在一些示例中，源设备102和目的地设备116可以以基本对称的方式进行操作，使得源设备102和目的地设备116中的每一个都包括视频编码和解码组件。因此，系统100可以支持源设备102和目的地设备116之间的单向或双向视频传输，例如用于视频流、视频回放、视频广播或视频电话通讯。
通常，视频源104表示视频数据的源(即，原始的、未编码的视频数据)，并将视频数据的连续的一系列图片(也称为“帧”)提供给视频编码器200，视频编码器200为图片对数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频档案和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的选择，视频源104可以生成基于计算机图形的数据作为源视频，或者是实况视频、存档视频和计算机生成的视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收的顺序(有时称为“显示顺序”)重新排列为用于译码的译码顺序。视频编码器200可以生成包括编码的视频数据的比特流。源设备102然后可以经由输出接口108将编码的视频数据输出到计算机可读介质110上，用于由例如目的地设备116的输入接口122接收和/或取回。
源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如来自视频源104的原始视频和来自视频解码器300的原始的解码的视频数据。附加地或可替代地，存储器106、120可以存储分别能够由例如视频编码器200和视频解码器300执行的软件指令。尽管在此示例中存储器106和存储器120与视频编码器200和视频解码器300分开示出，但是应当理解，视频编码器200和视频解码器300还可包括内部存储器，用于功能上相似或等效的目的。此外，存储器106、120可以存储编码的视频数据，例如，从视频编码器200输出并输入到视频解码器300的编码的视频数据。在一些示例中，存储器106、120中的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、解码的和/或编码的视频数据。
计算机可读介质110可以表示能够将编码的视频数据从源设备102传送到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示使源设备102能够例如经由射频网络或基于计算机的网络实时地向目的地设备116直接发送编码的视频数据的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以解调包括编码的视频数据的传输信号，并且输入接口122可以解调接收的传输信号。通信介质可以包括任何无线或有线的通信介质，诸如射频(RF)频谱或者一条或多条物理传输线。通信介质可形成基于分组的网络(诸如局域网、广域网或诸如因特网的全球网络)的一部分。通信介质可以包括路由器、交换机、基站或可以有助于促进从源设备102到目的地设备116的通信的任何其他装置。
在一些示例中，源设备102可以从输出接口108向存储设备112输出编码的数据。类似地，目的地设备116可以经由输入接口122从存储设备112存取编码的数据。存储设备112可以包括多种分布式或本地存取的数据存储介质中的任何一种，诸如硬盘驱动器、蓝光碟、DVD、CD-ROM、闪存、易失性或非易失性存储器，或者用于存储编码的视频数据的任何其他合适的数字存储介质。
在一些示例中，源设备102可以向文件服务器114或可以存储由源设备102生成的编码的视频数据的另一中间存储设备输出编码的视频数据。目的地设备116可以经由流或下载从文件服务器114存取存储的视频数据。文件服务器114可以是能够存储编码的视频数据并向目的地设备116发送编码的视频数据的任何类型的服务器设备。文件服务器114可以表示网页服务器(例如，用于网站)、文件传输协议(FTP)服务器、内容递送网络设备或网络附加存储(NAS)设备。目的地设备116可以通过任何标准数据连接(包括因特网连接)从文件服务器114存取编码的视频数据。这可以包括适合于访问存储于文件服务器114上的编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，数字订户线(DSL)、电缆调制解调器等)或两者的组合。文件服务器114和输入接口122可以被配置为根据流传输协议、下载传输协议或其组合来操作。
输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线联网组件(例如，以太网卡)、根据多种IEEE 802.11标准中的任何一种进行操作的无线通信组件，或者其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4G、4G-LTE(长期演进)、高级LTE、5G等的蜂窝通信标准来传送诸如编码的视频数据的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据诸如IEEE 802.11规范、IEEE 802.15规范(例如ZigBee
本公开的技术可以应用于视频译码，以支持各种多媒体应用中的任何一种，诸如空中电视广播、有线电视传输、卫星电视传输、诸如通过HTTP的动态自适应流(DASH)的因特网流式视频传输、编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码，或其他应用。
目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收编码的视频比特流。编码的视频比特流可以包括由视频编码器200定义的信令信息，其也由视频解码器300使用，该信令信息诸如具有描述视频块或其他译码的单元(例如，条带、图片、图片组、序列等)的特性和/或处理的值的语法元素。显示设备118向用户显示解码的视频数据的解码的图片。显示设备118可以表示各种显示设备中的任何一种，诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示设备。
尽管未在图1中示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的MUX-DEMUX单元或其他硬件和/或软件，以处理在公共数据流中包括音频和视频两者的多路复用流。如果可适用，MUX-DEMUX单元可以遵循ITU H.223多路复用器协议，或诸如用户数据报协议(UDP)的其他协议。
视频编码器200和视频解码器300各自可以被实现为各种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当技术部分地以软件实现时，设备可将用于软件的指令存储在合适的非暂时性计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令以执行本公开的技术。视频编码器200和视频解码器300中的每一个可以被包括在一个或多个编码器或解码器中，编码器或解码器中的任一个可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或无线通信设备，诸如蜂窝电话。
视频编码器200和视频解码器300可以根据视频译码标准(诸如ITU-TH.265，也称为高效视频译码(HEVC)或其扩展(诸如多视图和/或可缩放视频译码扩展))进行操作。可替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准进行操作，诸如ITU-TH.266，也称为通用视频译码(VVC)。VVC标准的最新草案在Bross等人于2020年4月15-24日在ITU-TSG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家小组(JVET)的第18次电话会议的JVET-R2001-v10(以下称“VVC草案9”)的“通用视频译码(草案9)”中进行了描述。然而，本公开的技术不限于任何特定的译码标准。
通常，视频编码器200和视频解码器300可以执行基于块的图片译码。术语“块”通常是指包括要被处理的(例如，编码的、解码的，或者另外在编码和/或解码处理中使用的)数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，而不是对图片样本的红、绿和蓝(RGB)数据进行译码，其中色度分量可以包括红色调(hue)和蓝色调色度分量。在一些示例中，视频编码器200在编码之前将接收到的RGB格式的数据转换成YUV表示方式，并且视频解码器300将YUV表示方式转换成RGB格式。可替代地，预处理和后处理单元(未示出)可以执行这些转换。
本公开总体上可涉及图片的译码(例如，编码和解码)，以包括对图片的数据进行编码或解码的处理。类似地，本公开可以涉及图片的块的译码，以包括对块的数据进行编码或解码的处理，例如预测和/或残差译码。编码的视频比特流通常包括用于语法元素的一系列值，这些语法元素表示译码决策(例如，译码模式)以及将图片分区为块。因此，提到对图片或块进行译码通常应理解为对用于形成图片或块的语法元素的值进行译码。
HEVC定义了各种块，包括译码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频译码器(诸如视频编码器200)根据四叉树结构将译码树单元(CTU)分区为多个CU。也就是说，视频译码器将CTU和CU分区为四个相等的、非重叠的正方形，并且四叉树的每个节点有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的CU可以包括一个或多个PU和/或一个或多个TU。视频译码器可以进一步对PU和TU进行分区。例如，在HEVC中，残差四叉树(RQT)表示对TU的分区。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。帧内预测的CU包括帧内预测信息，诸如帧内模式指示。
作为另一示例，视频编码器200和视频解码器300可以被配置为根据VVC进行操作。根据VVC，视频译码器(诸如视频编码器200)将图片分区为多个译码树单元(CTU)。视频编码器200可以根据树结构(诸如四叉树二叉树(QTBT)结构或多类型树(MTT)结构)来对CTU进行分区。QTBT结构移除了多个分区类型的概念，诸如HEVC的CU、PU和TU之间的分离。QTBT结构包括两个层级：根据四叉树分区来分区的第一层级，以及根据二叉树分区来分区的第二层级。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于译码单元(CU)。
在MTT分区结构中，可以使用四叉树(QT)分区、二叉树(BT)分区和一个或多个类型的三叉树(TT)(也称为三元树(TT))分区来对块进行分区。三叉树或三元树分区是将块分开成三个子块的分区。在一些示例中，三叉树或三元树分区在不通过中心来划分原始块的情况下将块划分成三个子块。MTT中的分区类型(例如，QT、BT和TT)可以是对称的或非对称的。
在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，诸如一个QTBT/MTT结构用于亮度分量，并且另一QTBT/MTT结构用于两个色度分量(或者两个QTBT/MTT结构用于相应的色度分量)。
视频编码器200和视频解码器300可以被配置为使用按照HEVC的四叉树分区、QTBT分区、MTT分区或其他分区结构。出于说明的目的，本公开的技术的描述是相对于QTBT分区来呈现的。然而，应当理解，本公开的技术也可以应用于被配置为使用四叉树分区或其他类型的分区的视频译码器。
在一些示例中，CTU包括亮度样本的译码树块(CTB)、具有三个样本阵列的图片的色度样本的两个对应CTB，或者单色图片或使用三个单独的颜色平面和用于对样本进行译码的语法结构来译码的图片的样本的CTB。CTB可以是N的某个值的N×N样本块，因此将分量划分为多个CTB为分区。分量是以4:2:0、4:2:2或4:4:4彩色格式组成图片的三个阵列(亮度和两个色度)之一的阵列或单个样本，或者是以单色格式组成图片的阵列或阵列的单个样本。在一些示例中，译码块是一些M值和N值的M×N样本块，因此将CTB划分为多个译码块为分区。
可以在图片中以各种方式对块(例如，CTU或CU)进行分组。作为一个示例，砖(brick)可以指图片中特定片内的CTU行的矩形区域。片可以是图片中特定片列和特定片行内的矩形区域。片列指具有与图片的高度相等的高度和由语法元素(诸如在图片参数集中)指定的宽度的CTU的矩形区域。片行指具有由语法元素(例如，诸如在图片参数集中)指定的高度和与图片的宽度相等的宽度的CTU的矩形区域。
在一些示例中，片可以被分区为多个砖，其中每个砖可以包括该片内的一个或多个CTU行。未被分区为多个砖的片也可以被称为砖。然而，作为片的真实子集的砖不能被称为片。
图片中的砖还可以按条带排列。条带可以是图片的可以排他地包含在单个网络抽象层(NAL)单元中的整数数目的砖。在一些示例中，条带包括多个完整的片或者仅包括一个片的完整砖的连续序列。
本公开可以互换地使用“NxN”和“N乘N”来指代块(诸如CU或其他视频块)在垂直和水平维度方面的样本维度，例如16x16样本或16乘16样本。通常，16x16 CU将在垂直方向上具有16个样本(y＝16)，并且在水平方向上具有16个样本(x＝16)。同样，NxN CU通常在垂直方向上具有N个样本，并且在水平方向上具有N个样本，其中N表示非负整数值。CU中的样本可以按行和列排列。此外，CU不一定需要在水平方向上和在垂直方向上具有相同数目的样本。例如，CU可以包括NxM个样本，其中M不一定等于N。
视频编码器200对表示预测和/或残差信息以及其他信息的CU的视频数据进行编码。预测信息指示将如何预测该CU，以便针对该CU形成预测块。残差信息通常表示编码之前的CU的样本与预测块之间的逐样本差。
为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测来形成CU的预测块。帧间预测通常是指根据先前译码的图片的数据来预测CU，而帧内预测通常是指根据同一图片的先前译码的数据来预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索以识别与CU紧密匹配(例如，在CU和参考块之间的差方面)的参考块。视频编码器200可使用绝对差和(SAD)、平方差和(SSD)、平均绝对差(MAD)、均方差(MSD)或其他此类差计算来计算差度量，以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前CU。
VVC的一些示例也提供仿射(affine)运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动的两个或更多个运动矢量，非平移运动诸如放大或缩小、旋转、透视运动或其他不规则运动类型。
为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。VVC的一些示例提供了六十七种帧内预测模式，包括各种方向模式，以及平面模式和DC模式。通常，视频编码器200选择描述当前块(例如，CU的块)的相邻样本的帧内预测模式，从该当前块来预测当前块的样本。假设视频编码器200以光栅扫描顺序(从左到右、从上到下)对CTU和CU进行译码，这种样本通常可以在与当前块相同的图片中的当前块的上方、左上方或者左侧。
视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种的数据以及对应模式的运动信息进行编码。例如，对于单向或双向帧间预测，视频编码器200可使用高级运动矢量预测(AMVP)或合并模式来对运动矢量进行编码。视频编码器200可使用类似模式来对仿射运动补偿模式的运动矢量进行编码。
在诸如块的帧内预测或帧间预测之类的预测之后，视频编码器200可计算针对该块的残差数据。残差数据，诸如残差块，表示该块与使用对应预测模式形成的该块的预测块之间的逐样本差。视频编码器200可将一个或多个变换应用于残差块，以在变换域而非样本域中产生经变换的数据。例如，视频编码器200可将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。附加地，视频编码器200可以在第一变换之后应用次变换，诸如模式相关的不可分离次变换(MDNSST)、信号相关的变换、卡尔亨-洛夫(Karhunen-Loeve)变换(KLT)等。视频编码器200在应用一个或多个变换之后产生变换系数。
如上所述，在进行任何变换以产生变换系数之后，视频编码器200可执行变换系数的量化。量化通常是指变换系数被量化为尽可能减少用于表示变换系数的数据的量从而提供进一步压缩的处理。通过执行量化处理，视频编码器200可以减少与变换系数中的一些或全部相关联的比特深度。例如，视频编码器200可在量化期间将n比特值向下舍入为m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以执行要被量化的值的按比特右移位。
在量化之后，视频编码器200可以扫描变换系数，从包括量化的变换系数的二维矩阵中产生一维矢量。扫描可以被设计为将较高能量(并因此较低频率)的变换系数放置在矢量的前部，并将较低能量(并因此较高频率)的变换系数放置在矢量的后部。在一些示例中，视频编码器200可以利用预定义的扫描顺序来扫描量化的变换系数以产生串行化的矢量，然后对矢量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(CABAC)对该一维矢量进行熵编码。视频编码器200还可以对描述与编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在解码视频数据时使用。
为了执行CABAC，视频编码器200可以将上下文模型内的上下文分配给要发送的符号。该上下文可以关于例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。
视频编码器200还可以例如在图片头、块头、条带头中向视频解码器300生成语法数据，诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据，或其他语法数据，诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS)。同样地，视频解码器300可以对这样的语法数据进行解码以确定如何对对应的视频数据进行解码。
以这种方式，视频编码器200可以生成包括编码的视频数据(例如，描述将图片分区为块(例如，CU)的语法元素以及块的预测和/或残差信息)的比特流。最终，视频解码器300可以接收比特流并对编码的视频数据进行解码。
通常，视频解码器300执行与由视频编码器200执行的处理相反的处理，以对比特流的编码的视频数据进行解码。例如，视频解码器300可以使用CABAC以与视频编码器200的CABAC编码处理基本相似但彼此相反的方式来对比特流的语法元素的值进行解码。语法元素可以定义用于将图片分区为CTU以及根据对应的分区结构(诸如QTBT结构)对每个CTU进行分区的分区信息，以定义该CTU的CU。语法元素可以进一步定义视频数据的块(例如，CU)的预测和残差信息。
残差信息可以由例如量化的变换系数来表示。视频解码器300可以对块的量化的变换系数进行逆量化和逆变换，以再现该块的残差块。视频解码器300使用用信号通知的预测模式(帧内或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成该块的预测块。视频解码器300然后可以(在逐个样本的基础上)组合预测块和残差块，以再现原始块。视频解码器300可执行附加处理，诸如执行去块处理以减少沿着块的边界的视觉伪像。
根据本公开的技术，视频编码器200可以对一个或多个通用约束信息(GCI)标记进行编码，并且视频解码器300可以对一个或多个通用约束信息(GCI)标记进行解码。作为一个示例，视频解码器300可以从译码的视频比特流中对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定子图片信息是否存在于该译码的视频比特流中以及多于一个子图片是否可以存在于该译码的视频比特流中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行解码。在一些示例中，第一语法元素可以是no_subpic_info_constraint_flag语法元素。在一些示例中，第一语法元素可以是max_subpics_constraint_idc语法元素。在一些示例中，第二语法元素可以是sps_subpic_info_present_flag语法元素。在一些示例中，基于该约束对第二语法元素进行解码可以包括确定第二语法元素的值为0，其中第一语法元素的值为0。
作为另一个示例，视频解码器300可以从译码的视频比特流中对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定参考图片列表(RPL)语法元素是否存在于瞬时解码刷新(IDR)图片的条带头中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行解码。在一些示例中，第一语法元素可以是no_idr_rpl_constraint_flag语法元素。在一些示例中，第二语法元素可以是sps_idr_rpl_present_flag语法元素。在一些示例中，基于该约束对第二语法元素进行解码可以包括确定第二语法元素的值为0，其中第一语法元素的值为1。
作为另一个示例，视频解码器300可以从译码的视频比特流中对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定译码的视频比特流的视频参数集(VPS)是否包括假设参考解码器参数；以及基于由该第一语法元素指定的约束，对该第二语法元素进行解码。在一些示例中，第一语法元素可以是no_hrd_constraint_flag语法元素。在一些示例中，第二语法元素可以是vps_general_hrd_params_present_flag语法元素。在一些示例中，基于该约束对第二语法元素进行解码可以包括确定第二语法元素的值为0，其中第一语法元素的值为1。在一些示例中，视频解码器300还可以基于由第一语法元素指定的约束来对第三语法元素进行解码，该第三语法元素指定译码的视频比特流的序列参数集(SPS)是否包括假设参考解码器参数。在一些示例中，第三语法元素可以包括sps_general_hrd_params_present_flag语法元素。在一些示例中，基于该约束对第三语法元素进行解码可以包括确定第三语法元素的值为0，其中第一语法元素的值为1。
作为另一个示例，视频解码器300可以从译码的视频比特流中对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定译码的视频比特流是否传递表示字段的图片；以及基于由该第一语法元素指定的约束，对该第二语法元素进行解码。在一些示例中，第一语法元素可以包括general_frame_only_constraint_flag语法元素。在一些示例中，第二语法元素可以包括sps_field_seq_flag语法元素。在一些示例中，为了基于该约束对第二语法元素进行解码，视频解码器300可以确定第二语法元素的值为0，其中第一语法元素的值为1。
视频编码器200可以对上述示例中的语法元素进行编码。在任何示例中，译码的视频比特流可以是VVC兼容的比特流。因此，在一些示例中，本公开的技术可以应用于VVC视频译码。
本公开通常可以指“用信号通知”某些信息，诸如语法元素。术语“用信号通知”通常可以指用于对编码的视频数据进行解码的语法元素和/或其他数据的值的通信传送。也就是说，视频编码器200可以在比特流中用信号通知语法元素的值。通常，用信号通知指在比特流中生成值。如上所述，源设备102可以大体上实时地或者非实时地将比特流传送到目的地设备116，诸如当将语法元素存储到存储设备112以供目的地设备116稍后取回时可能发生的情况。
图2A和图2B是示出示例四叉树二叉树(QTBT)结构130和对应的译码树单元(CTU)132的概念图。实线表示四叉树分割，并且虚线指示二叉树分割。在二叉树的每个分割(即，非叶)节点中，用信号通知一个标记以指示使用哪种分割类型(即，水平或垂直)，其中在本示例中，0指示水平分割，1指示垂直分割。对于四叉树分割，不需要指示分割类型，因为四叉树节点将块水平和垂直地分割为4个具有相等大小的子块。因此，视频编码器200可以编码并且视频解码器300可以解码QTBT结构130的区域树层级的语法元素(诸如分割信息)(即，实线)和QTBT结构130的预测树层级的语法元素(诸如分割信息)(即，虚线)。视频编码器200可以为由QTBT结构130的终端叶节点表示的CU编码视频数据并且视频解码器300可以为其解码视频数据，诸如预测和变换数据。
通常，图2B的CTU 132可以与定义对应于QTBT结构130的第一和第二层的节点的块的大小的参数相关联。这些参数可以包括CTU大小(表示样本中CTU 132的大小)、最小四叉树大小(MinQTSize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示最大允许的二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示最大允许的二叉树深度)和最小二叉树大小(MinBTSize，表示最小允许的二叉树叶节点大小)。
对应于CTU的QTBT结构的根节点可以在QTBT结构的第一层具有四个子节点，其中每个子节点可以根据四叉树分区来进行分区。也就是说，第一层的节点是叶节点(没有子节点)或者具有四个子节点。QTBT结构130的示例将这种节点表示为包括父节点和具有用于分支的实线的子节点。如果第一层的节点不大于最大允许的二叉树根节点大小(MaxBTSize)，则节点可以由相应的二叉树进一步分区。可以迭代一个节点的二叉树分割，直到分割产生的节点达到最小允许的二叉树叶节点大小(MinBTSize)或最大允许的二叉树深度(MaxBTDepth)。QTBT结构130的示例将这种节点表示为具有用于分支的虚线。二叉树叶节点被称为译码单元(CU)，其用于预测(例如，图片内或图片间预测)和变换，而无需任何进一步的分区。如上所述，CU也可以被称为“视频块”或“块”。
在QTBT分区结构的一个示例中，CTU大小被设置为128x128(亮度样本和两个对应的64x64色度样本)，MinQTSize被设置为16x16，MaxBTSize被设置为64x64，(宽度和高度两者的)MinBTSize被设置为4，并且MaxBTDepth被设置为4。首先将四叉树分区应用于CTU，以生成四叉树叶节点。四叉树叶节点可以具有从16x16(即，MinQTSize)到128x128(即，CTU大小)的大小。如果四叉树叶节点是128x128，则叶四叉树节点将不被二叉树进一步分割，因为其大小超过了MaxBTSize(即，在本示例中为64x64)。否则，四叉树叶节点将被二叉树进一步分区。因此，四叉树叶节点也是二叉树的根节点，并且二叉树深度为0。当二叉树深度达到MaxBTDepth(在本示例中为4)时，不允许进一步分割。具有宽度等于MinBTSize(在本示例中为4)的二叉树节点意味着不允许进一步垂直分割。类似地，具有高度等于MinBTSize的二叉树节点意味着不允许对二叉树节点进一步的水平分割。如上所述，二叉树的叶节点被称为CU，并且根据预测和变换被进一步处理，而无需进一步分区。
图3是示出可执行本公开的技术的示例视频编码器200的框图。提供图3是为了说明的目的，并且不应认为是对本公开中广泛例示和描述的技术的限制。出于说明的目的，本公开根据VVC(正在开发的ITU-T H.266)和HEVC(ITU-T H.265)的技术来描述视频编码器200。然而，本公开的技术可以由被配置为其他视频译码标准的视频编码设备来执行。
在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(DPB)218和熵编码单元220。可以在一个或多个处理器中或在处理电路中实现视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB 218和熵编码单元220中的任何一个或全部。例如，视频编码器200的单元可以被实现为一个或多个电路或逻辑元件，作为硬件电路的一部分，或者作为处理器、ASIC、FPGA的一部分。此外，视频编码器200可以包括附加的或可替代的处理器或处理电路来执行这些和其他功能。
视频数据存储器230可以存储要由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。DPB218可以充当参考图片存储器，其存储用于在由视频编码器200对后续视频数据的预测中使用的参考视频数据。视频数据存储器230和DPB 218可以由各种存储器设备中的任何一种形成，诸如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)或其他类型的存储器设备。视频数据存储器230和DPB 218可以由同一存储器设备或单独的存储器设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件在芯片上，如图所示，或者相对于那些组件在芯片外。
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器(除非如此具体描述)，或者限于视频编码器200外部的存储器(除非如此具体描述)。而是，对视频数据存储器230的引用应该理解为存储视频编码器200接收用于编码的视频数据(例如，要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可提供对来自视频编码器200的各个单元的输出的临时存储。
图3的各个单元被示出为帮助理解由视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并在可执行的操作上预先设置的电路。可编程电路是指可被编程以执行各种任务并在可执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使可编程电路以由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，这些单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，这些单元中的一个或多个可以是集成电路。
视频编码器200可以包括算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收并执行的软件的指令(例如，目标代码)，或者视频编码器200内的另一存储器(未示出)可以存储这样的指令。
视频数据存储器230被配置为存储接收到的视频数据。视频编码器200可以从视频数据存储器230取回视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是待编码的原始视频数据。
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加的功能单元，以根据其他预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板(palette)单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。
模式选择单元202通常协调多个编码遍历(pass)，以测试编码参数的组合以及这种组合的结果率失真值。编码参数可以包括将CTU分区为CU、用于CU的预测模式、用于CU的残差数据的变换类型、用于CU的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试组合更好的率失真值的编码参数的组合。
视频编码器200可以将从视频数据存储器230中取回的图片分区为一系列CTU，并将一个或多个CTU封装在条带内。模式选择单元202可以根据树结构(诸如上述HEVC的QTBT结构或四叉树结构)来对图片的CTU进行分区。如上所述，视频编码器200可以通过根据树结构对CTU进行分区来形成一个或多个CU。这样的CU通常也可以被称为“视频块”或“块”。
通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成当前块(例如，当前CU，或者在HEVC中PU和TU的重叠部分)的预测块。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以识别一个或多个参考图片(例如，存储在DPB 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以计算表示潜在参考块与当前块如何相似的值，例如根据绝对差和(SAD)、平方差和(SSD)、平均绝对差(MAD)、均方差(MSD)等。运动估计单元222通常可以使用当前块和被考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以识别具有从这些计算产生的最低值的参考块，该最低值指示最紧密匹配当前块的参考块。
运动估计单元222可以形成一个或多个运动矢量(MV)，该运动矢量定义参考图片中的参考块的位置相对于当前图片中的当前块的位置。运动估计单元222然后可以向运动补偿单元224提供运动矢量。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后运动补偿单元224可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来取回参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值滤波器对预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以取回由相应运动矢量标识的两个参考块的数据，并通过例如逐样本平均或加权平均来组合取回的数据。
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以从与当前块相邻的样本生成预测块。例如，对于定向模式，帧内预测单元226通常可以数学地组合相邻样本的值，并在当前块上沿定义的方向填充这些计算值，以产生预测块。作为另一示例，对于DC模式，帧内预测单元226可以计算当前块的相邻样本的平均值，并且生成预测块以包括预测块的每个样本的所产生的平均值。
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始未编码版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块和预测块之间的逐样本差。结果的逐样本差定义了当前块的残差块。在一些示例中，残差生成单元204还可确定残差块中的样本值之间的差以使用残差差分脉冲码调制(RDPCM)来产生残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
在模式选择单元202将CU分区为PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上所述，CU的大小可以指CU的亮度译码块的大小，并且PU的大小可以指PU的亮度预测单元的大小。假设特定CU的大小为2Nx2N，视频编码器200可支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似的对称PU大小。视频编码器200和视频解码器300还可以支持用于帧间预测的2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非对称分区。
在模式选择单元202未进一步将CU分区为PU的示例中，每个CU可以与亮度译码块和对应的色度译码块相关联。如上所述，CU的大小可以指CU的亮度译码块的大小。视频编码器200和视频解码器300可以支持2Nx2N、2NxN或Nx2N的CU大小。
对于其他视频译码技术，诸如块内复制模式译码、仿射模式译码和线性模型(LM)模式译码(作为少数示例)，模式选择单元202经由与译码技术相关联的相应单元，针对正在被编码的当前块生成预测块。在一些示例中，诸如调色板模式译码，模式选择单元202可以不生成预测块，而是生成指示基于所选调色板来重构块的方式的语法元素。在这种模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。
如上所述，残差生成单元204接收当前块和对应预测块的视频数据。然后残差生成单元204针对当前块生成残差块。为了生成残差块，残差生成单元204计算预测块和当前块之间的逐样本差。
变换处理单元206对残差块应用一个或多个变换，以生成变换系数的块(本文称为“变换系数块”)。变换处理单元206可以对残差块应用各种变换，以形成变换系数块。例如，变换处理单元206可以对残差块应用离散余弦变换(DCT)、定向变换、卡尔亨-洛夫变换(KLT)或概念上类似的变换。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如主变换和次变换，诸如旋转变换。在一些示例中，变换处理单元206不对残差块应用变换。
量化单元208可以量化变换系数块中的变换系数，以产生量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整应用于与当前块相关联的变换系数块的量化的程度。量化可能导致信息损失，因此，量化的变换系数可能比由变换处理单元206产生的原始变换系数具有更低的精度。
逆量化单元210和逆变换处理单元212可以分别对量化的变换系数块应用逆量化和逆变换，以从变换系数块重构残差块。重构单元214可以基于重构的残差块和由模式选择单元202生成的预测块来产生对应于当前块的重构块(尽管可能具有一定程度的失真)。例如，重构单元214可以将重构的残差块的样本添加到来自由模式选择单元202生成的预测块的对应样本中，以产生重构的块。
滤波器单元216可以对重构的块执行一个或多个滤波操作。例如，滤波器单元216可以执行去块操作以减少沿CU边缘的块效应伪像。在一些示例中，可以跳过滤波器单元216的操作。
视频编码器200在DPB 218中存储重构的块。例如，在不需要滤波器单元216的操作的示例中，重构单元214可以将重构的块存储到DPB 218。在需要滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的重构的块存储到DPB 218。运动估计单元222和运动补偿单元224可以从DPB 218中取回参考图片，该参考图片由重构的(并且可能经滤波的)块形成，以对随后编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的DPB 218中的重构的块来对当前图片中的其他块进行帧内预测。
通常，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、变长到变长(V2V)译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分区熵(PIPE)译码操作、指数-哥伦布(Exponential-Golomb)编码操作或另一种类型的熵编码操作。在一些示例中，熵编码单元220可以在语法元素未被熵编码的旁路模式下操作。
视频编码器200可以输出包括重构条带或图片的块所需的经熵编码的语法元素的比特流。具体地，熵编码单元220可以输出比特流。
上述操作是相对于块来描述的。这种描述应该被理解为用于亮度译码块和/或色度译码块的操作。如上所述，在一些示例中，亮度译码块和色度译码块是CU的亮度和色度分量。在一些示例中，亮度译码块和色度译码块是PU的亮度和色度分量。
在一些示例中，不需要对色度译码块重复相对于亮度译码块执行的操作。作为一个示例，不需要为了标识色度块的MV和参考图片而重复标识亮度译码块的运动矢量(MV)和参考图片的操作。而是，亮度译码块的MV可以被缩放以确定色度块的MV，并且参考图片可以是相同的。作为另一示例，对于亮度译码块和色度译码块，帧内预测处理可以是相同的。
视频编码器200表示被配置为编码视频数据的设备的示例，该设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该处理单元在电路中实现并被配置为对第一语法元素进行编码，该第一语法元素指定对第二语法元素的约束；以及基于该约束对具有值的第二语法元素进行编码。
图4是示出可执行本公开的技术的示例视频解码器300的框图。图4是为了解释的目的而提供的，并且不限制本公开中广泛例示和描述的技术。出于说明的目的，本公开根据VVC(正在开发的ITU-T H.266)和HEVC(ITU-TH.265)的技术来描述视频解码器300。然而，本公开的技术可以由被配置为其他视频译码标准的视频译码设备来执行。
在图4的示例中，视频解码器300包括译码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(DPB)314。可以在一个或多个处理器中或在处理电路中实现CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 314中的任何一个或全部。例如，视频解码器300的单元可以被实现为一个或多个电路或逻辑元件，作为硬件电路的一部分，或者作为处理器、ASIC、FPGA的一部分。此外，视频解码器300可以包括附加的或可替代的处理器或处理电路来执行这些和其他功能。
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
CPB存储器320可以存储要由视频解码器300的组件解码的视频数据，诸如编码的视频比特流。在CPB存储器320中存储的视频数据可以例如从计算机可读介质110(图1)获得。CPB存储器320可以包括存储来自编码的视频比特流的编码的视频数据(例如，语法元素)的CPB。此外，CPB存储器320可以存储除译码的图片的语法元素外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储解码的图片，视频解码器300可以在对编码的视频比特流的后续数据或图片进行解码时输出解码的图片和/或将其用作参考视频数据。CPB存储器320和DPB 314可以由各种存储器设备中的任何一种形成，诸如DRAM，包括SDRAM、MRAM、RRAM或其他类型的存储器设备。CPB存储器320和DPB 314可以由同一存储器设备或单独的存储器设备提供。在各个示例中，CPB存储器320可以与视频解码器300的其他组件在芯片上，或者相对于那些组件在芯片外。
附加地或可替代地，在一些示例中，视频解码器300可以从存储器120(图1)取回译码的视频数据。也就是说，存储器120可以如上所述利用CPB存储器320存储数据。同样，当视频解码器300的某些或全部功能在将由视频解码器300的处理电路执行的软件中实现时，存储器120可以存储将由视频解码器300执行的指令。
示出了图4所示的各个单元以帮助理解由视频解码器300执行的各项操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。与图3类似，固定功能电路是指提供特定功能并且在可以执行的操作上预设的电路。可编程电路是指可被编程以执行各个任务并在可执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使可编程电路以由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，这些单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，这些单元中的一个或多个可以是集成电路。
视频解码器300可以包括ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收并执行的软件的指令(例如，目标代码)。
熵解码单元302可以从CPB接收编码的视频数据，并对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流提取的语法元素来生成解码的视频数据。
通常，视频解码器300在逐块的基础上重构图片。视频解码器300可以对每个块单独执行重构操作(其中当前正在被重构(即解码)的块可以被称为“当前块”)。
熵解码单元302可以对定义量化的变换系数块的量化的变换系数的语法元素以及变换信息(诸如量化参数(QP)和/或(多个)变换模式指示)进行熵解码。逆量化单元306可以使用与量化的变换系数块相关联的QP来确定量化的程度，并且类似地，确定逆量化单元306要应用的逆量化的程度。逆量化单元306可以例如执行逐位左移位操作来对量化的变换系数进行逆量化。逆量化单元306可以由此形成包括变换系数的变换系数块。
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对变换系数块应用逆DCT、逆整数变换、逆卡尔亨-洛夫变换(KLT)、逆旋转变换、逆定向变换或另一逆变换。
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示从中取回参考块的DPB 314中的参考图片，以及标识参考图片中的参考块的位置相对于当前图片中的当前块的位置的运动矢量。运动补偿单元316通常可以以与相对于运动补偿单元224(图3)所描述的方式基本上相似的方式来执行帧间预测处理。
作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与相对于帧内预测单元226(图3)所描述的方式基本上相似的方式来执行帧内预测处理。帧内预测单元318可以从DPB 314取回当前块的相邻样本的数据。
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的对应样本以重构当前块。
滤波器单元312可以对重构的块执行一个或多个滤波操作。例如，滤波器单元312可以执行去块操作以减少沿着重构的块的边缘的块效应伪像。不一定在所有示例中都执行滤波器单元312的操作。
视频解码器300可以将重构的块存储在DPB 314中。例如，在不执行滤波器单元312的操作的示例中，重构单元310可以将重构的块存储到DPB 314。在执行滤波器单元312的操作的示例中，滤波器单元312可以将经滤波的重构的块存储到DPB 314。如上所述，DPB 314可以向预测处理单元304提供参考信息，诸如用于帧内预测的当前图片的样本和用于后续运动补偿的先前解码的图片。此外，视频解码器300可以从DPB 314输出解码的图片(例如，解码的视频)，用于随后呈现在显示设备(诸如图1的显示设备118)上。
以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该处理单元在电路中实现并被配置为对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束；以及基于该约束对第二语法元素进行解码。
图5是示出用于对当前块进行编码的示例方法的流程图。当前块可以包括当前CU。尽管相对于视频编码器200(图1和3)进行了描述，但是应当理解，可以将其他设备配置为执行与图5类似的方法。
在本示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可形成当前块的预测块。视频编码器200然后可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始未编码的块与当前块的预测块之间的差。视频编码器200然后可以变换残差块并量化残差块的变换系数(354)。接下来，视频编码器200可以扫描残差块的量化的变换系数(356)。在扫描期间，或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用CAVLC或CABAC对变换系数进行编码。然后视频编码器200可以输出块的熵编码的数据(360)。除了变换系数之外，并且根据本公开的一种或多种技术，视频编码器200可以对一个或多个通用约束语法元素进行编码。
图6是示出用于对视频数据的当前块进行解码的示例方法的流程图。当前块可以包括当前CU。尽管相对于视频解码器300(图1和图4)进行了描述，但是应当理解，可以将其他设备配置为执行与图6类似的方法。
视频解码器300可以接收当前块的熵编码的数据，诸如用于对应于当前块的残差块的变换系数的熵编码的预测信息和熵编码的数据(370)。视频解码器300可以对熵编码的数据进行熵解码，以确定当前块的预测信息，并再现残差块的变换系数(372)。除了变换系数之外，并且根据本公开的一种或多种技术，视频解码器300可以接收一个或多个通用约束语法元素。视频解码器300可预测当前块(374)，例如，使用由当前块的预测信息指示的帧内或帧间预测模式，以计算当前块的预测块。视频解码器300然后可以逆扫描再现的变换系数(376)，以创建量化的变换系数的块。视频解码器300然后可以对变换系数进行逆量化，并且将逆变换应用于变换系数以产生残差块(378)。视频解码器300可通过组合预测块和残差块来最终对当前块进行解码(380)。
图7是示出根据本公开的一种或多种技术的用于用信号通知语法元素的示例方法的流程图，该语法元素约束用于表示视频数据的其他语法元素。尽管相对于视频解码器300(图1和图4)进行了描述，但是应当理解，可以将其他设备配置为执行与图7类似的方法。例如，视频编码器200(图1和图3)可以执行与图7类似的方法。
视频解码器300可以对第一语法元素进行解码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定是否存在子图片信息以及是否可以存在多于一个子图片(702)。例如，熵解码单元302可以从译码的视频比特流(至少部分地存储在CPB存储器320)中对第一语法元素进行解码，并且将第一语法元素的值提供给预测处理单元304。在一些示例中，第一语法元素可以是no_subpic_info_constraint_flag语法元素。在一些示例中，第二语法元素可以是sps_subpic_info_present_flag语法元素。
视频解码器300可以基于由第一语法元素指定的约束，对第二语法元素进行解码(704)。例如，熵解码单元302可以从译码的视频比特流(至少部分地存储在CPB存储器320)中对第二语法元素进行解码，并且将第二语法元素的值提供给预测处理单元304。基于第一语法元素的值来约束第二语法元素的值。例如，当第一语法元素的值为1时，熵解码单元302可以确定第二语法元素的值为0(例如，在第一语法元素的值为1的情况下，第二语法元素的值可以被约束为0)。
第一语法元素的语义可以如下：等于1的no_subpic_info_constraint_flag指定OlsInScope中所有图片的sps_subpic_info_present_flag应该等于0。等于0的no_subpic_info_constraint_flag不施加这样的约束。
第二语法元素的语义可以如下：等于1的sps_subpic_info_present_flag指定CLVS存在子图片信息，并且CLVS的每个图片中可能有一个或多个子图片。等于0的sps_subpic_info_present_flag指定CLVS不存在子图片信息，并且CLVS的每个图片中可能只有一个子图片。
附加地或可替代地，为了对第一和第二语法元素进行解码，视频解码器300可以对第三语法元素进行解码，该第三语法元素指定对第四语法元素的约束，该第四语法元素指定参考图片列表(RPL)语法元素是否存在于瞬时解码刷新(IDR)图片的条带头中(706)。例如，熵解码单元302可以从译码的视频比特流(至少部分地存储在CPB存储器320)中对第三语法元素进行解码，并且将第三语法元素的值提供给预测处理单元304。在一些示例中，第三语法元素可以是no_idr_rpl_constraint_flag语法元素。在一些示例中，第四语法元素可以是sps_idr_rpl_present_flag语法元素。
视频解码器300可以基于由第三语法元素指定的约束，对第四语法元素进行解码(708)。例如，熵解码单元302可以从译码的视频比特流(至少部分地存储在CPB存储器320)中对第四语法元素进行解码，并且将第四语法元素的值提供给预测处理单元304。基于第三语法元素的值来约束第四语法元素的值。例如，当第三语法元素的值为1时，熵解码单元302可以确定第四语法元素的值为0(例如，在第三语法元素的值为1的情况下，第四语法元素的值可以被约束为0)。
第三语法元素的语义可以如下：等于1的no_idr_rpl_constraint_flag指定OlsInScope中所有图片的sps_idr_rpl_present_flag都应该等于0。等于0的no_idr_rpl_constraint_flag不施加这样的约束。
第四语法元素的语义可以如下：等于1的sps_idr_rpl_present_flag指定RPL语法元素可以存在于nal_unit_type等于IDR_N_LP或IDR_W_RADL的条带的条带头中。等于0的sps_idr_rpl_present_flag指定RPL语法元素不存在于nal_unit_type等于IDR_N_LP或IDR_W_RADL的条带的条带头中。
通过对上述标记进行编码，视频编码器(例如，视频编码器200)可以使视频解码器(例如，视频解码器300)能够丢弃具有不支持的特定译码特征的比特流，而视频解码器不必解析序列参数集(SPS)或图片参数集(PPS)。例如，在指定子图片信息不存在于译码的视频比特流中的第二语法元素的约束的情况下，视频解码器可以避免必须解析SPS和/或PPS语法元素以确定子图片信息是否存在于译码的视频比特流。附加地，通过对上述标记进行编码，视频编码器可以使接收器能够在多个候选(例如，自适应流)中标识合适的比特流。对于视频编码器知道接收器的能力的情况，视频编码器可以通过将GCI设置在高水平来选择性地禁用译码工具。当视频编码器知道内容时，它还可以启用特定的译码工具，因为某些译码工具可能仅对特定视频内容有用。以这种方式，本公开的技术可以降低功耗、压缩复杂度和解码复杂度。
以下编号的条款可以说明本公开的一个或多个方面：
条款1A。一种对视频数据进行译码的方法，该方法包括：从译码的视频比特流中对第一语法元素进行译码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定子图片信息是否存在于该译码的视频比特流中以及多于一个子图片是否可以存在于该译码的视频比特流中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行译码。
条款2A。根据条款1A所述的方法，其中第一语法元素包括no_subpic_info_constraint_flag语法元素。
条款3A。根据条款1A或条款2A所述的方法，其中第二语法元素包括sps_subpic_info_present_flag语法元素。
条款4A。根据条款1A或条款3A所述的方法，其中第一语法元素包括max_subpics_constraint_idc语法元素。
条款5A。根据条款1A-4A中任一项所述的方法，其中基于约束对第二语法元素进行译码包括：当第一语法元素的值为0时，确定第二语法元素的值为0。
条款6A。根据条款1A-5A中任一项所述的方法，其中译码的视频比特流包括通用视频译码(VVC)兼容比特流。
条款7A。根据条款1A-6A中任一项所述的方法，其中译码包括解码。
条款8A。根据条款1A-7A中任一项所述的方法，其中译码包括编码。
条款1B。一种对视频数据进行译码的方法，该方法包括：从译码的视频比特流中对第一语法元素进行译码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定参考图片列表(RPL)语法元素是否存在于瞬时解码刷新(IDR)图片的条带头中；以及基于由该第一语法元素指定的约束，对该第二语法元素进行译码。
条款2B。根据条款1B所述的方法，其中第一语法元素包括no_idr_rpl_constraint_flag语法元素。
条款3B。根据条款1B或条款2B所述的方法，其中第二语法元素包括sps_idr_rpl_present_flag语法元素。
条款4B。根据条款1B-3B中任一项所述的方法，其中基于约束对第二语法元素进行译码包括：当第一语法元素的值为1时，确定第二语法元素的值为0。
条款5B。根据条款1B-4B中任一项所述的方法，其中译码的视频比特流包括通用视频译码(VVC)兼容比特流。
条款6B。根据条款1B-5B中任一项所述的方法，其中译码包括解码。
条款7B。根据条款1B-6B中任一项所述的方法，其中译码包括编码。
条款1C。一种对视频数据进行译码的方法，该方法包括：从译码的视频比特流中对第一语法元素进行译码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定译码的视频比特流的视频参数集(VPS)是否包括假设参考解码器参数；以及基于由该第一语法元素指定的约束，对该第二语法元素进行译码。
条款2C。根据条款1C所述的方法，其中第一语法元素包括no_hrd_constraint_flag语法元素。
条款3C。根据条款1C或条款2C所述的方法，其中第二语法元素包括vps_general_hrd_params_present_flag语法元素。
条款4C。根据条款1C-3C中任一项所述的方法，其中基于约束对第二语法元素进行译码包括：在第一语法元素的值为1的情况下，确定第二语法元素的值为0。
条款5C。根据条款1C-4C中任一项所述的方法，还包括：基于由第一语法元素指定的约束来对第三语法元素进行译码，该第三语法元素指定译码的视频比特流的序列参数集(SPS)是否包括假设参考解码器参数。
条款6C。根据条款5C所述的方法，其中第三语法元素包括sps_general_hrd_params_present_flag语法元素。
条款7C。根据条款5C或条款6C所述的方法，其中基于约束对第三语法元素进行译码包括：当第一语法元素的值为1时，确定第三语法元素的值为0。
条款8C。根据条款1C-7C中任一项所述的方法，其中译码的视频比特流包括通用视频译码(VVC)兼容比特流。
条款9C。根据条款1C-8C中任一项所述的方法，其中译码包括解码。
条款10C。根据条款1C-9C中任一项所述的方法，其中译码包括编码。
条款1D。一种用于对视频数据进行译码的方法，该方法包括：从译码的视频比特流中对第一语法元素进行译码，该第一语法元素指定对第二语法元素的约束，该第二语法元素指定译码的视频比特流是否传递表示字段的图片；以及基于由该第一语法元素指定的约束，对该第二语法元素进行译码。
条款2D。根据条款1D所述的方法，其中第一语法元素包括general_frame_only_constraint_flag语法元素。
条款3D。根据条款1D或条款2D所述的方法，其中第二语法元素包括sps_field_seq_flag语法元素。
条款4D。根据条款1D-3D中任一项所述的方法，其中基于约束对第二语法元素进行译码包括：当第一语法元素的值为1时，确定第二语法元素的值为0。
条款5D。根据条款1D-4D中任一项所述的方法，其中译码的视频比特流包括通用视频译码(VVC)兼容比特流。
条款6D。根据条款1D-5D中任一项所述的方法，其中译码包括解码。
条款7D。根据条款1D-6D中任一项所述的方法，其中译码包括编码。
条款1E。一种用于对视频数据进行译码的方法，该方法包括：从译码的视频比特流的序列参数集(SPS)中抑制对第一语法元素进行译码，该第一语法元素指定是否启用逐步解码刷新(GDR)。
条款2E。根据条款1E所述的方法，其中第一语法元素包括sps_gdr_enabled_flag语法元素。
条款3E。根据条款1E或2E所述的方法，还包括：从译码的视频比特流中对第二语法元素进行译码，该第二语法元素指定在由视频参数集(VPS)(OlsInScope)指定的一个或多个输出层集(OLS)中是否应该不存在nuh_unit_type等于GDR_NUT的网络抽象层(NAL)单元。
条款4E。根据条款3E所述的方法，其中第二语法元素包括no_gdr_constraint_flag语法元素。
条款5E。根据条款1E-4E中任一项所述的方法，其中译码的视频比特流包括通用视频译码(VVC)兼容比特流。
条款6E。根据条款1E-5E中任一项所述的方法，其中译码包括解码。
条款7E。根据条款1E-6E中任一项所述的方法，其中译码包括编码。
条款1F。一种用于对视频数据进行译码的设备，该设备包括一个或多个用于执行条款1A-7E中任一项所述方法的部件。
条款2F。根据条款1F所述的设备，其中该一个或多个部件包括在电路中实现的一个或多个处理器。
条款3F。根据条款1F和2F中任一项所述的设备，还包括存储视频数据的存储器。
条款4F。根据条款1F-3F中任一项所述的设备，还包括被配置为显示解码的视频数据的显示器。
条款5F。根据条款1F-4F中任一项所述的设备，其中该设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
条款6F。根据条款1F-5F中任一项所述的设备，其中该设备包括视频解码器。
条款7F。根据条款1F-6F中任一项所述的设备，其中该设备包括视频编码器。
条款8F。一种具有存储在其上的指令的计算机可读存储介质，该指令在被执行时使一个或多个处理器执行条款1A-7E中任一项所述的方法。
应当认识到，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加，合并或完全省略(例如，并非所有描述的动作或事件都是技术实践所必需的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。
在一个或多个示例中，可以以硬件、软件、固件或其任何组合来实现所描述的功能。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质发送，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或者通信介质，包括例如根据通信协议来促进将计算机程序从一个地方传送到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一台或多台计算机或一个或多个处理器存取以检索指令、代码和/或数据结构以实现本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、闪存或可以用来以指令或数据结构的形式存储所需的程序代码，并且可以由计算机存取的任何其他介质。而且，任何连接都适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如红外、无线电和微波)从网站、服务器或其他远程源发送指令，则介质的定义包括同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波之类的无线技术。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质，而是针对非瞬时的有形存储介质。本文使用的盘和碟包括致密盘(CD)、激光碟、光碟、数字多功能碟(DVD)、软盘和蓝光碟，其中盘通常磁性地再现数据，而碟则利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他等效的集成或离散逻辑电路。因此，如本文所使用的术语“处理器”和“处理电路”可以指任何前述结构或适合于实现本文描述的技术的任何其他结构。此外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或结合在组合编解码器中。同样，该技术可以在一个或多个电路或逻辑元件中完全实现。
本公开的技术可以在包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)的各种设备或装置中实现。在本公开中描述了各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能性方面，但不一定需要由不同硬件单元来实现。而是，如上文所描述，各个单元可结合合适的软件和/或固件组合在编码解码器硬件单元中或由互操作硬件单元的集合来提供，该硬件单元包括如上文所描述的一个或多个处理器。
已经对各种示例进行了描述。这些示例以及其他示例都在所附权利要求的范围内。
- 用于视频译码的语法元素的联合译码方法及设备
- 用于视频译码的语法元素的联合译码