掌桥专利:专业的专利平台
掌桥专利
首页

视频编码或解码装置、视频编码或解码方法、程序和记录介质

文献发布时间:2023-06-19 09:57:26


视频编码或解码装置、视频编码或解码方法、程序和记录介质

技术领域

本发明涉及视频编码或解码装置、视频编码或解码方法、用于视频编码或解码处理的程序以及记录介质。

背景技术

在画面内预测编码中,从与要处理的块相邻的重构图像生成画面内预测图像。例如,根据在非专利文献1描述的HEVC(High Efficiency Video Coding,高效视频编码)标准中,通过将与在左方向上与要处理的块相邻的1像素和在上方向上也类似地相邻的1像素对应的重构图像配置为参考范围,生成画面内预测图像。

引文列表

非专利文献

非专利文献1:R.Joshi等人的“High Efficiency Video Coding(HEVC)ScreenContent Coding:Draft 5(高效视频编码(HEVC)画面内容编码:草案5)”,文献JCTVC-V1005,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频编码的联合合作组(JCT-VC),第22次会议:日内瓦,瑞士,2015年10月15-21日。

发明内容

技术问题

然而,存在的问题是,当用于画面内预测的图像的使用范围被扩展时,对用于视频编码装置和视频解码装置的线缓冲器的尺寸的要求取决于该范围扩展了多少而增加。因此,期望适应性地控制图像的使用范围以用于画面内预测。

因此,本发明的示例目的是提供视频编码或解码装置、视频编码或解码方法、程序和记录介质,它们使得可以适应性地控制用于画面内预测的图像的使用范围。

问题的解决方案

根据本发明的一个示例方面,一种视频编码或视频解码装置,其包括控制部,该控制部被配置为基于在用于要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是用于在用于画面内预测的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

根据本发明的一个示例方面,一种视频编码或视频解码方法,其包括基于在用于要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是用于在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

根据本发明的一个示例方面,一种用于使处理器执行视频编码或解码处理的程序,该视频编码或解码处理包括基于在用于要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是用于在用于画面内预测的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

根据本发明的一个示例方面,一种存储程序的非暂时性计算机可读记录介质,该程序使处理器执行视频编码或解码处理,视频编码或解码处理包括基于在用于要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是用于在用于画面内预测的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

发明的有益效果

根据本发明的一个示例方面,有可能适应性地控制用于画面内预测的图像的使用范围。注意,根据本发明,代替上述有益效果或与上述有益效果一起,也可以带来其它有益效果。

附图说明

图1是示出对于由4个水平像素“bw”和4个垂直像素“Bh”构成的要处理的块,根据上述HEVC标准的画面内预测中使用的重构图像的具体示例的图;

图2是示出对于由4个水平像素bw和4个垂直像素Bh的构成的要处理的块的扩展参考范围的具体示例的图;

图3是示出根据本发明示例实施例的画面内预测装置100的示意配置的示例的说明图;

图4是示出根据第一示例实施例的区域控制处理部110的示意性配置的示例的框图;

图5是用于说明与区域控制处理部110相关的处理的具体示例的图;

图6是说明由画面内预测装置100所进行的处理流程的示例的流程图;

图7(a)和7(b)是说明根据第一示例实施例的示例的效果的图;

图8是示出视频编码装置800的示意性配置的框图;

图9是示出视频解码装置900的示意性配置的框图;

图10是示出画面内预测装置100被应用到的信息处理系统1000的示意性配置的框图;

图11是示出其中通过诸如无线传输路径或有线传输路径的传输路径300连接上述视频编码装置800和视频解码装置900的系统的图;

图12是示出根据第二示例实施例的视频编码装置800的示意性配置的示例的框图;和

图13是示出根据第二示例实施例的解码装置900的示意性配置的示例的框图。

具体实施方式

在下文中,将参考附图详细描述本发明的示例实施例。注意,在说明书和附图中,以相同或相似术语描述的元件被分配有相同的附图标记,并且可以省略重复的描述。

描述将按以下顺序给出:

1.相关技术

2.示例实施例的概述

3.第一示例实施例

3.1.画面内预测装置100的配置

3.2.技术特征

3.3.具体示例

3.4.示例应用

3.5.示例变型

4.第二示例实施例

4.1.配置

4.2.技术特征

5.其它示例实施例

<<1.相关技术>>

作为与本发明的示例实施例相关的技术,将描述在视频编码和视频解码处理中执行的画面内预测。

如在以下的参考文献1中所述的,例如,利用根据HEVC(高效视频编码)标准的画面内预测编码,画面内预测图像是从与要处理的块相邻的重构图像生成的。

参考文献1:R.Joshi等,“High Efficiency Video Coding(HEVC)Screen ContentCoding:Draft 5(高效视频编码(HEVC)画面内容编码:草案5)”,文献JCTVC-V1005,ITU-TSG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的视频编码的联合合作组(JCT-VC),第22次会议:日内瓦,瑞士,2015年10月15-21日。

图1是示出对于由4个水平像素“bw”和4个垂直像素“Bh”构成的要处理的块,根据上述HEVC标准的画面内预测中使用的重构图像的具体示例的图。此外,如图1所示,画面内预测中要参考的重构图像的参考范围是在左方向Kleft中的1个像素和在上方向Kup中的1个像素。

此外,在以下参考文献2和3中,提出了扩展用于画面内预测的参考范围以便提高画面内预测中的预测效率的建议。

参考文献2:J.Pfaff等,“Intra-prediction modes based on neural networks(基于神经网络的画面内预测模式)”,JVET-J0037,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC29/WG 11的联合视频专家组(JVET),第10次会议:圣地亚哥,美国,2018年4月10-20日。

参考文献3:P.Lin等,“Multiple reference line intra-prediction based onJEM7.0(基于JEM7.0的多参考线画面内预测)”,JVET-J0070,ITU-T SG 16 WP 3和ISO/IECJTC 1/SC 29/WG 11的联合视频专家组(JVET),第10次会议:圣地亚哥,美国,2018年4月10-20日。

图2是示出对于由4个水平像素bw和4个垂直像素Bh的构成的要处理的块的扩展参考范围的具体示例的图。如图2所示,要参考的重构图像的参考范围是在左方向Kleft中的4个像素和在上方向Kup中的4个像素。

<2.示例实施例的概述>

首先,将描述本发明的示例性实施例的概述。

(1)技术问题如前所述,存在的问题是,当用于在画面内预测中使用的图像的使用范围(参考范围)被扩展时,对在视频编码装置和视频解码装置中使用的线缓冲器的尺寸的要求增加了。

更具体地说,将要编码的图片的水平像素数量设为w个像素,且将像素比特精度设为bitDepth个比特,如果将在向上方向中的在画面内预测中使用的参考图像的范围Kup从1个像素扩展为4个像素,则对线缓冲容量尺寸的要求从w*bitDepth个比特增大到w*bitDepth*4个比特。因此,期望适应性地控制在画面内预测中使用的图像的使用范围。

因此,本示例实施例的示例目的是适应性地控制在画面内预测中使用的图像的使用范围。

(2)技术特征

在根据本发明的一个示例方面的示例实施例中,例如,基于在要处理的块的画面内预测中使用的候选图像的位置与要处理的块所属的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是用于在画面内预测中使用的使用范围在预定方向上在超出单元的端部的画面内预测中使用的。

通过这种方式,例如,有可能适应性地控制在画面内预测中使用的图像的使用范围。

注意,上述技术特征是属于本发明的示例性实施例的一个具体示例,并且显然,本发明的示例性实施例不限于上述技术特征。

<3.第一示例实施例>

下面将参考图3至图11描述本发明的第一示例实施例。

<3.1.画面内预测装置100的配置>

将参考图3描述根据第一示例实施例的画面内预测装置100的示例配置。图3是示出根据本发明的示例实施例的画面内预测装置100的示意配置的示例的说明图。参考图3,画面内预测装置100包括区域控制处理部110、参考图像生成部120和预测图像生成部130。

在如上所述配置的画面内预测装置100中,区域控制处理部110控制在画面内预测中使用的图像(重构图像)的使用范围(参考范围)。参考图像生成部120基于区域控制处理部110控制的使用范围从重构图像生成参考图像。预测图像生成部130从由参考图像生成部120生成的参考图像生成预测图像。

下面将参考图4描述区域控制处理部110的示例配置。图4是示出根据第一示例实施例的区域控制处理部110的示意配置的示例的框图。参考图4,区域控制处理部110包括第一导出部111、第二导出部113和控制部115。下面将描述在每个部分中执行什么具体操作。

<3.2.技术特征>

接下来,下面将描述第一示例性实施例的技术特征。

区域控制处理部110(控制部115)基于在在要处理的块的画面内预测中使用的候选图像的位置与要处理的块所属的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

预定方向可以是任何方向,诸如图片中的向上方向或图片中的向左方向,但是以下的描述将主要假设预定方向指的是图片中的向上方向来给出。

(1)单元

单元包含用于编码像素样本的语法结构。除其它事项外,单元是包括在切片中的一个编码树单元。注意,如上所述,单元包括要处理的块,因此可以被看作父块。单元可以被称为“父块”。

(2)预定最大范围

更具体地,预定最大范围是可用于在画面内预测中使用的在预定方向上超出编码树单元的端部的最大范围。

例如,如果预定方向是图片中的向上方向,则预定最大范围是参考编码树单元的上端部分的、从图片中的朝向向上方向的上端部分的、可以用于(可以被参考)画面内预测的最大范围。

(3)第一边界位置的导出和应用

区域控制处理部110(第一导出部111)基于编码树单元的位置和预定最大范围导出第一边界位置。第一边界位置是能够用于在预定方向上超出编码树单元的端部的画面内预测中使用的、并且在预定方向上离编码树单元最远的图像位置。

例如,如果预定方向是图片中的向上方向,则区域控制处理部110(第一导出部111)基于编码树单元的上端部分的位置和预定最大范围,参考编码树单元的上端部分来导出图片中在向上方向上的最远位置作为第一边界位置。

当以这种方式导出第一边界位置时,区域控制处理部110(控制部115)基于在用于在画面内预测中使用的候选图像的位置与第一边界位置之间的关系,将用于在在预定方向上超出编码树单元的端部的画面内预测中使用的部分范围控制为等于或小于预定最大范围。

例如,当用于在画面内预测中使用的候选图像包括从要处理的块的位置来看比第一边界位置更远的候选图像时,区域控制处理部110(控制部115)控制部分范围等于或小于预定最大范围。

(4)第二边界位置的导出和应用

区域控制处理部110(第二导出部113)基于在要处理的块的位置和在预定方向上的用于在画面内预测中使用的候选图像的候选范围来导出第二边界位置,第二边界位置是用于在画面内预测中使用的候选图像的位置并且在预定方向上离要处理的块最远。

例如,如果预定方向是图片的向上方向,区域控制处理部110(第二导出部113)基于在要处理的块的上端部分的位置和在图片的向上方向的在画面内预测中使用的候选图像的候选范围,参考要处理的块的上端部分,导出在图片中在向上方向上的最远候选图像的候选位置作为第二边界位置。

当以这种方式导出第二边界位置时,区域控制处理部110(控制部115)基于在第一和第二边界位置之间的关系,将用于在预定方向上超出编码树单元的端部的画面内预测中使用的部分范围控制为等于或小于预定最大范围。

更具体地,当第二边界位置相对于要处理的块的位置在预定方向上比第一边界位置远时,区域控制处理部110(控制部115)将用于在预定方向上超出编码树单元的端部的画面内预测中使用的部分范围控制为等于或小于预定最大范围。

例如,在预定方向是在图片中的向上方向的情况下,区域控制处理部110(控制部115)在第二边界位置相对于要处理的块的上端部分的位置在图片中的向上方向上比第一边界位置更远时,控制部分范围小于预定最大范围。

此外,当第二边界位置相对于要处理的块的位置在预定方向上不比第一边界位置更远时,区域控制处理部110(控制部115)将用于在预定方向上超出编码树单元的端部的画面内预测中使用的部分范围控制为候选范围。

例如,如果预定方向是图片中的向上方向,则当第二边界位置相对于要处理的块的位置在预定方向上不比第一边界位置更远时,区域控制处理部110(控制部115)将部分范围控制为候选范围。

<3.3.具体示例>

接下来,下面将描述在画面内预测装置100中执行的处理的具体示例。

(1)区域控制处理部110

下面将描述与区域控制处理部110相关的处理的具体示例。图5是用于说明与区域控制处理部110相关的处理的具体示例的图。

首先,将定义以下变量。

如图5所示,在图片的向上方向中,可以用于(可以参考)超出要处理的目标块501所属的编码树单元503的上端部分的预定最大范围是Kmax个像素。另外,在图片中的向上方向上的用于在处理目标块501的画面内预测中使用的候选图像505(参考图像)的候选范围是Kup个像素,并且在图片中的向左方向上的候选范围是Kleft个像素。注意,对于本具体示例,为了便于说明,Kmax小于Kup。

区域控制处理部110(控制部115)适应性地控制的使用范围,即,用于在图片中的向上方向上的处理目标块501的画面内预测中使用的图像(重构图像)的使用范围是K个像素。

图片将被定义如下。图片的左上端部分是水平和垂直坐标系的原点(x,y)=(0,0),图片中的向右方向是+x方向,并且图片中的向下方向是+y方向。另外,图片中的水平像素的数量是w个像素,并且垂直像素的数量是h个像素。

接下来,要处理的块将定义如下。首先,要处理的块的左上角位置的坐标是(cur_bx,cur_by)。此外,要处理的图像块的水平像素的数量是cur_bw个像素,并且垂直像素的数量是cur_bh个像素。

接下来,编码树单元将被定义如下。编码树单元的左上角位置的坐标是(cur_cux,cur_cuy)。编码树单元的水平像素的数目是cuw个像素,并且垂直像素的数目是cuh个像素。

另外,为了便于解释,cur_bw及cur_bh分别小于cuw及cuh。此外,如前所述,图片的左上端部分是水平和垂直坐标系的原点(0,0),因此cur_cux和cur_cuy分别等于或小于cur_bx和cur_by。

在本具体示例中,通过使用以上定义的变量,基于在要处理的块的画面内预测中使用(参考)的图像(重构图像)的候选位置与要处理的块所属的编码树单元的位置之间的关系,适应性地控制在画面内预测中使用(参考)的图像(重构图像)的候选范围K。

首先,区域控制处理部110(第一导出部111)通过使用以下公式1导出第一边界位置的垂直坐标ref_max_pos_y:

ref_max_pos_y=cur_by–Kup…(1)

这里,第一边界位置的垂直坐标ref_max_pos_y可以被认为是在图片的向上方向中超出编码树单元的上端部分的可以被使用(可以被参考)的垂直位置的最大值。

此外,区域控制处理部110(第二导出部113)通过使用以下公式2导出第二边界位置的垂直坐标cand_min_pos_y:

cand_min_pos_y=cur_cuy–Kmax…(2)

这里,如前所述,在以图片的上端为原点的图片中,垂直坐标轴y在下方向上具有正值,使得第二边界位置的垂直坐标cand_min_pos_y可以被认为是在要处理的块的画面内预测中使用(参考)的图像(重构图像)的候选位置的最小值。

区域控制处理部110(控制部115)通过使用第一边界位置的垂直坐标ref_max_pos_y和第二边界位置的垂直坐标cand_min_pos_y来适应性地控制候选范围K。

更具体地说,在cand_min_pos_y<ref_max_pos_y成立时,区域控制处理部110(控制部115)通过以下公式3计算使用范围K,并且用于在图片中的向上方向上超出编码树单元的上端部分的画面内预测中使用的部分范围控制为等于或小于预定范围Kmax。

K=cur_by-cur_cuy+Kmax…(3)

另外,区域控制处理部110(控制部115)在cand_min_pos_y≥ref_max_pos_y成立时,通过以下公式(4)计算使用范围K。

K=Kup…(4)

依此方式,区域控制处理部110(控制部115)能够基于在第一边界位置的垂直坐标ref_max_pos_y与第二边界位置的垂直坐标cand_min_pos_y之间的相对位置关系来计算使用范围K,并将部分范围控制等于或小于Kmax。

注意,在上述水平和垂直坐标系中,图片的左上端是原点,但是这决不是限制性的。例如,要处理块的上端部分可以是垂直坐标轴上的原点。当以这种方式确定原点时,第二边界位置的垂直坐标可以被认为是在要处理的块的画面内预测中使用(参考)的图像(重构图像)的候选位置的最大值。

(2)参考图像生成部120

参考图像生成部120基于由上述区域控制处理部110计算出的使用范围K,生成在画面内预测中使用(参考)的图像(参考图像)。

更具体地说,参考图像生成部120在K<Kup成立时复制垂直坐标位置从cur_by-Kmax到cur_by-1的图像,并且将复制的图像映射到与垂直坐标位置cur_by-Kup到cur_by–Kmax–1对应的相应位置,以生成在画面内预测中使用(参考)的图像(参考图像)。

依此方式,参考图像生成部120能够复制垂直位置cur_by-Kmax-1的重构图像,而不是不能在向上方向上超出编码树单元的边界处被参考的垂直位置cur_by–Kup到cur_by-Kmax-1的重构图像,并将该复制的图像作为参考图像来使用。注意,可以将从垂直位置cur_by-Kmax到cur_by-1的重构图像用作基于原样的参考图像。

此外,当K=Kup成立时,不存在在图片中的向上方向上超出编码树单元的上端部分处不能被使用(参考)的垂直位置,使得参考图像生成部120可以基于原样将垂直位置cur_by-Kup至cur_by-1的重构图像用作参考图像。

(3)预测图像生成部130

预测图像生成部130从由参考图像生成部120提供的参考图像生成画面内预测图像。任意的画面内预测图像生成处理可以应用于画面内预测图像的生成,例如,诸如在上述参考文献1、参考文献2、参考文献3的任一个中描述的画面内预测图像生成处理。

(4)画面内预测装置100执行的处理流程

图6是解释由画面内预测装置100执行的示例处理流程的流程图。

在步骤S601中,区域控制处理部110基于在要处理的块的画面内预测中参考的重构图像的候选位置与要处理的块所属的编码树单元的位置之间的关系,适应性地控制在画面内预测中使用(参考)的图像(重构图像)的候选范围K。然后,执行步骤S603。

在步骤S603中,参考图像生成部120基于在Kmax与在区域控制处理部110中所计算的K值之间的关系,生成参考图像,该参考图像用于生成要处理的块的画面内预测图像。然后,执行步骤S605。

在步骤S605中,预测图像生成部130从由参考图像生成部120提供的参考图像生成要处理的块的画面内预测图像。

(5)效果

根据上述的本示例,例如,如图7所示,通过适应性地控制在要处理的每块的画面内预测中使用的图像(重构图像)的使用范围(参考范围),可以降低对线缓冲器尺寸的要求。

图7是用于解释根据第一示例实施例的示例的效果的示图。首先,图7(a)是示出一个示例(比较示例)的图,其中,用于在超出编码树单元701的端部处使用的部分范围不限于预定最大范围Kmax或更小。另一方面,图7(b)是示出一个示例(本具体示例)的图,其中,用于在超出编码树单元702的端部处使用的部分范围限制为预定最大范围Kmax或更小。

在图7(a)所示的比较例中,在图片的向上方向上的图像(参考图像)的使用范围始终为在线上的Kup个像素,使得对线缓冲器尺寸的要求为w*bitDepth*Kup个比特。

另一方面,参考图7(b)所示的示例,这里示出了一个示例,其中预定最大范围被设置为Kmax=1,以将使用范围K中的部分范围限制为在一个线上的像素。因此,在图7(b)所示的本具体例中,w*bitDepth*1成立。即,在图7(b)所示的本具体例中,与比较例(图7(a)所示的比较例)相比,能够将对线缓冲器尺寸的要求降低为w*bitDepth*(Kup-1)。

<3.4.示例应用>

(1)视频编码装置800

例如,上述画面内预测装置100可应用于图8所示的视频编码装置800。

图8是示出视频编码装置800的示意性配置的框图。如图8所示,视频编码装置800具有转换/量化部801、熵编码部802、逆转换/去量化部803、缓冲器804、包括画面内预测装置100的预测部805、以及复用部806。

首先,预测部805在每块的基础上生成用于输入图像信号的预测信号。更具体地,当对要处理的块执行画面内预测时,如上所述,画面内预测装置100生成用于要处理的块的预测信号。

转换/量化部801对通过从输入图像信号中减去预测信号而获得的预测误差图像进行频率转换。此外,转换/量化部801对频率转换后的预测误差图像(转换系数)进行量化。

熵编码部802基于例如CABAC(基于上下文的适应性二进制算术编码)对所转换的量化值和作为预测部805所使用的预测参数的运动向量的差信息等等进行熵编码。

逆转换/去量化部803对转换的量化值进行去量化。此外,逆转换/去量化部803对已去量化的频率转换系数进行逆频率转换。预测信号与已进行了逆频率转换的重构预测误差图像相加,并将结果提供给缓冲器804。缓冲器804存储重构的图像。

复用部806将从熵编码部802提供的码字复用为比特流。

在视频编码装置800遵循上述操作生成比特流的同时,包括在预测部805中的画面内预测装置100适应性地控制在要处理的每块的画面内预测中使用的图像(参考图像)的使用范围。这使得有可能输出视频编码的比特流,同时减少对线缓冲器尺寸的要求。

(2)视频解码装置900

上述画面内预测装置100可以应用于例如图9所示的视频解码装置900。

图9是示出视频解码装置900的示意性配置的框图。如图9所示,视频解码装置900具有解复用部901、熵解码部902、逆转换/去量化部903、包括上述画面内预测装置100的预测部904、缓冲器905和控制信息生成部906。

解复用部901解复用输入比特流,并提取码字。

熵解码部902基于例如CABAC对在解复用部901中提取的码字进行熵解码。已经在熵解码部件902中熵解码的转换量化值被提供给逆转换/去量化部件903。另外,运动向量差信息等等被提供给预测部904。

逆转换/去量化部903以量化步长对转换的量化值进行去量化。此外,逆转换/去量化部903对已被去量化的频率转换系数进行逆频率转换。

预测部904在每块的基础上生成预测信号。当对要处理的块执行画面内预测时,如上所述,画面内预测装置100产生用于要处理的块的预测信号。

将从预测部904提供的预测信号与在逆转换/去量化部903中进行了逆频率转换的重构预测误差图像相加,并将所得到的重构图片提供给缓冲器905。然后,存储在缓冲器905中的重构图片被输出作为解码图像。

在视频解码装置900遵循上述操作从比特流生成解码图像的同时,包括在预测部904中的画面内预测装置100对于要处理的每个块,适应性地控制在画面内预测中使用的图像(重构图像)的使用范围(参考范围)。这使得有可能在降低对线缓冲器尺寸的要求的同时从比特流生成解码图像。

(3)信息处理系统1000

例如,上述画面内预测装置100可以由图10所示的信息处理系统1000实施。

图10是示出应用画面内预测装置100的信息处理系统1000的示意性配置的框图。

如图10所示,信息处理系统1000具有处理器1001、程序存储器1002、用于存储视频数据的存储介质1003和用于存储比特流的存储介质1004。存储介质1003和存储介质1004可以是分开的存储介质,或者可以是由相同的存储介质形成的存储区域。诸如硬盘的磁存储介质可以用作存储介质。

信息处理系统1000通过在程序存储器1002中安装用于实施画面内预测装置100的功能的计算机程序,对于要处理的每个块,适应性地控制在画面内预测中使用的图像(重构图像)的使用范围(参考范围)。这使得有可能在降低对线缓冲器尺寸的要求的同时从比特流生成解码图像。

(4)互操作性

图11是示出其中通过诸如无线传输路径或有线传输路径的传输路径300连接上述视频编码装置800和上述视频解码装置900的系统的图。

在图11所示的系统中,视频编码装置800和视频解码装置900遵循例如诸如使用公共Kmax、Kup、Kleft等等的公共处理,对于要处理的每个块,适应性地控制在画面内预测中使用的参考图像的范围,使得可以确保在视频编码装置800和视频解码装置900之间的互操作性。

更具体地说,对于预定最大值Kmax,可以使用视频编码装置800和视频解码装置900共用的固定值。此外,预定最大值Kmax可以是基于图片的水平和垂直像素的数量等等隐式地设置的可变值,并且例如,随着图片中的像素数量增加,可以设置更小的值。

如上所述,如果预定最大值Kmax是可变值,则不是必需隐含地设置预定最大值Kmax。例如,可以将值显式地用信号表示为比特流的语法元素。即,用于指定预定最大范围Kmax的信息可以作为语法元素包含在比特流中。例如,用于指定预定最大范围Kmax的信息可以被包括在每个序列、每个图片、每个切片、每个单元等等中。

此外,候选范围Kup和Kleft可以是可变值。在这种情况下,候选范围Kup和Kleft可以显式地用信号表示为比特流的语法元素。

<3.5.示例变型>

在本示例实施例中,对于在画面内预测中使用的图像,在图片中的向上方向上的使用范围对于要处理的每个块被适应性地控制,但是这绝不是限制性的,并且类似地,在图片中的向左方向上的使用范围可以被适应性地控制。

更具体地说,画面内预测装置100的区域控制处理部110(控制部115)可以将在画面内预测中使用的图像的使用范围中的、在图片中的向左方向上超出单元的左端部的用于在画面内预测中使用的部分范围控制为等于或小于预定最大范围。在这个示例变型方案中,更具体地,预定最大范围是可以在图片中在向左方向上超出编码树单元的左端部的画面内预测中使用的最大范围。

此外,用于指定预定最大范围的信息可作为比特流的语法元素从视频编码装置800发信号通知给视频解码装置900。

<4.第二示例实施例>

接下来,下面将参考图12和图13描述本发明的第二示例实施例。虽然上述第一示例实施例是具体示例实施例,但是第二示例实施例是更一般化的示例实施例。

<4.1.配置>

图12是示出根据第二示例实施例的视频编码装置800的示意性配置的示例的框图。参考图12,视频编码装置800包括控制部810。

图13是示出根据第二示例实施例的视频解码装置900的示意性配置的示例的框图。参考图13,视频解码装置900包括控制部910。

<4.2.技术特征>

接下来,下面将描述第二示例实施例的技术特征。

对于第二示例实施例,视频编码装置800(控制部810)基于在用于要处理的块的画面内预测中使用的候选图像的位置与要处理的块所属的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

例如,视频编码装置800可以执行根据第一示例实施例的画面内预测装置100的操作。

此外,视频解码装置900(控制部910)基于在用于要处理的块的画面内预测中使用的候选图像的位置与要处理的块所属的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

例如,视频解码装置900可执行根据第一示例实施例的画面内预测装置100的操作。

以上已经描述了第二示例实施例。根据第二示例实施例,例如,可以适应性地控制在画面内预测中使用的图像的使用范围。

<5.其它示例实施例>

尽管上面已经描述了本发明的示例性实施例,但是本发明决不限于这些示例性实施例。本领域的普通技术人员可以理解,这些示例性实施例仅仅是示例,并且在不脱离本发明的范围和精神的情况下,可以进行各种改变。

例如,在本说明书中描述的处理中的步骤不必按照在序列图中描述的次序按时间次序来执行。例如,可以以与序列图中所示的次序不同的次序来执行处理中的步骤,或者可以并行地执行处理中的步骤。此外,可以删除处理中的一些步骤,或者可以将附加步骤附加到处理。

此外,可以提供一种方法以包括在说明书中描述的组件(例如,第一导出部、第二导出部和/或控制部)的处理,并且可以提供使处理器执行这些组件的处理的程序。此外,可以提供记录该程序的非暂时性计算机可读记录介质。显然,这样的装置、模块、方法、程序和非暂时计算机可读记录介质包括在本发明中。

示例实施例中的一些或所有可以如在以下补充说明中描述,但不限于以下补充说明。

(补充说明1)

一种视频编码或解码装置,包括:

控制部,该控制部被配置为基于在要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

(补充说明2)

根据补充说明1所述的视频编码或解码装置,其中,单元包括用于编码像素样本的语法结构。

(补充说明3)

根据补充说明1或2所述的视频编码或解码装置,其中,单元是包括在切片中的编码树单元。

(补充说明4)

根据补充说明1至3中任一项所述的视频编码或解码装置,其中,预定最大范围是能够用于在预定方向上超出单元的端部的画面内预测中使用的最大范围。

(补充说明5)

根据补充说明4的视频编码或解码装置,还包括第一导出部,其被配置为基于单元的位置和预定最大范围来导出第一边界位置,第一边界位置是能够用于在预定方向上超出单元的端部的画面内预测中使用的图像位置并且在预定方向上离单元最远,其中,

控制部被配置为基于在画面内预测中使用的候选图像的位置与第一边界位置之间的关系,将用于在预定方向上超出单元的端部的画面内预测中使用的部分范围控制为等于或小于预定最大范围。

(补充说明6)

根据补充说明5的视频编码或解码装置,还包括第二导出部,其被配置为基于在要处理的块的位置和在预定方向上在画面内预测中使用的候选图像的候选范围来导出第二边界位置,第二边界位置是在画面内预测中使用的候选图像的位置并且在预定方向上离要处理的块最远,

其中,控制部被配置为基于在第一边界位置和第二边界位置之间的关系,将在预定方向上超出单元的端部的画面内预测中使用的部分范围控制为等于或小于预定最大范围。

(补充说明7)

根据补充说明6所述的视频编码或解码装置,其中,控制部被配置为当第二边界位置相对于要处理的块的位置在预定方向上比第一边界位置更远时,将在预定方向上超出单元的端部的画面内预测中使用的部分范围控制为等于或小于预定最大范围。

(补充说明8)

根据补充说明6或7所述的视频编码或解码装置,其中,控制部被配置为当第二边界位置相对于要处理的块的位置在预定方向上不比第一边界位置更远时,将在画面内预测中使用的图像的使用范围控制为候选范围。

(补充说明9)

根据补充说明6至8中任一项所述的视频编码或解码装置,其中:

预定方向是图片中的向上方向;

预定最大范围是能够用于在图片中在向上方向上超出单元的上端部分的画面内预测中使用的最大范围Kmax;

候选范围是在图片中在向上方向上的画面内预测中使用的候选图像的候选范围Kup;

第一导出部被配置为基于在图片中在向下方向上具有正值的垂直坐标轴,其中图片的上端是原点,通过使用下面的公式1来导出第一边界位置的垂直坐标ref_max_pos_y;

第二导出部被配置为基于垂直坐标轴,通过使用下面的公式2来导出第二边界位置的垂直坐标cand_min_pos_y;以及

控制部被配置为当cand_min_pos_y<ref_max_pos_y成立时通过使用下面的公式3来计算在图片中在向上方向上的画面内预测中使用的图像的使用范围K,并且将在预定方向上超出单元的端部的画面内预测中使用的部分范围控制为等于或小于预定最大范围Kmax:

ref_max_pos_y=cur_by-Kup...(公式1),

其中cur_by是单元的上端部分的垂直坐标;

cand_min_pos_y=cur_cuy-Kmax...(公式2),

其中cur_cuy是单元的上端部分的垂直坐标;以及

K=cur_by-cur_cuy+Kmax...(公式3)。

(补充说明10)

根据补充说明9所述的视频编码或解码装置,其中,控制部被配置为当cand_min_pos_y≥ref_max_pos_y时,通过使用下面的公式4来计算在图片中在向上方向上的画面内预测中使用的图像的使用范围K:

K=Kup...(公式4)。

(补充说明11)

根据补充说明9或10所述的视频编码或解码装置,还包括图像生成部,其被配置为基于在图片中在向上方向上的画面内预测中使用的图像的使用范围K来生成在画面内预测中使用的图像。

(补充说明12)

根据补充说明11所述的视频编码或解码装置,其中,图像生成部被配置为当K<Kup成立时,复制具有从cur_by-Kmax到cur_by-1的垂直坐标位置的图像,并且将复制的图像映射到与垂直坐标位置cur_by-Kup到cur_by-Kmax-1对应的各个位置,以生成在画面内预测中使用的图像。

(补充说明13)

一种视频编码或解码方法,包括:

基于在要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

(补充说明14)

一种使处理器执行视频编码或解码处理的程序,视频编码或解码处理包括:

基于在要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

(补充说明15)

一种存储程序的非暂时性计算机可读记录介质,程序使处理器执行视频编码或解码处理,视频编码或解码处理包括:

基于在要处理的块的画面内预测中使用的候选图像的位置与具有要处理的块的单元的位置之间的关系,将部分范围控制为等于或小于预定最大范围,部分范围是在画面内预测中使用的图像的使用范围中在预定方向上超出单元的端部的画面内预测中使用的。

本申请要求基于在2018年6月26日提交的日本专利申请No.2018-120872的优先权,并且包括说明书、附图和摘要的其公开文本,通过引用整体并入本文。

工业实用性

在用于编码或解码视频的系统中,有可能适应性地控制在画面内预测中使用的图像的使用范围。

附图标记列表

100 画面内预测装置

110 区域控制处理部

111 第一导出部

113 第二导出部

115、810、910 控制部

120 参考图像生成部

130 预测图像生成部

800 视频编码装置

900 视频解码装置

相关技术
  • 运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序
  • 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
技术分类

06120112364193