计算图像中像素的运动

要求优先权

本申请通过引用并入于2021年4月5日提交的标题为“超像素的生成和使用(SUPERPIXEL GENERATION AND USE)”的[[美国申请号还未分配]]的全部内容。

技术领域

至少一个实施例涉及用于处理执行一个或更多个计算统一设备架构(CUDA)程序的资源。例如，至少一个实施例涉及用于执行一个或更多个CUDA程序的处理器或计算系统，这些CUDA程序根据本文描述的各种新技术计算一个或更多个图像中的像素的运动。

背景技术

在各种情况下，计算图像中像素的运动可能很困难。通常，神经网络用于计算来自图像的像素的运动，但使用神经网络的计算成本可能很高。使用CUDA代码配置GPU以并行执行计算操作，可以提高用于计算图像中像素的运动的存储器、时间或计算资源的数量。

附图说明

图1示出了根据至少一个实施例的计算图像的多个区域中的一个或更多个像素的运动的示例框架；

图2示出了根据至少一个实施例的基于共享特征将图像中的一个或更多个像素组合在一起的系统的框图；

图3示出了根据至少一个实施例的基于共享特征对图像中的一个或更多个像素进行分组的示例；

图4示出了根据至少一个实施例的基于重叠区域中的一个或更多个像素对图像中的区域中的一个或更多个像素的光流进行内插的示例；

图5示出了根据至少一个实施例的对图像中的第一区域和第二重叠区域中的一个或更多个像素的光流进行内插的示例；

图6示出了根据至少一个实施例的通过扫描图像以及成本图的一行或更多行和一列或更多列来内插一个或更多个像素的光流的示例；

图7示出了根据至少一个实施例的使用成本图更新图像中的一个或更多个像素的示例；

图8示出了根据至少一个实施例的光流的稀疏内插到密集内插的示例；

图9示出了根据至少一个实施例的用于框架执行光流的稀疏内插到密集内插的过程的示例；

图10示出了根据至少一个实施例的示例性数据中心；

图11示出了根据至少一个实施例的处理系统；

图12示出了根据至少一个实施例的计算机系统；

图13示出了根据至少一个实施例的系统；

图14示出了根据至少一个实施例的示例性集成电路；

图15示出了根据至少一个实施例的计算系统；

图16示出了根据至少一个实施例的APU；

图17示出了根据至少一个实施例的CPU；

图18示出了根据至少一个实施例的示例性加速器集成切片；

图19A和19B示出了根据至少一个实施例的示例性图形处理器；

图20A示出了根据至少一个实施例的图形核心；

图20B示出了根据至少一个实施例的GPGPU；

图21A示出了根据至少一个实施例的并行处理器；

图21B示出了根据至少一个实施例的处理集群；

图21C示出了根据至少一个实施例的图形多处理器；

图22示出了根据至少一个实施例的图形处理器；

图23示出了根据至少一个实施例的处理器；

图24示出了根据至少一个实施例的处理器；

图25示出了根据至少一个实施例的图形处理器核心；

图26示出了根据至少一个实施例的PPU；

图27示出了根据至少一个实施例的GPC；

图28示出了根据至少一个实施例的流式多处理器；

图29示出了根据至少一个实施例的编程平台的软件栈；

图30示出了根据至少一个实施例的图29的软件栈的CUDA实现；

图31示出了根据至少一个实施例的图29的软件栈的ROCm实现；

图32示出了根据至少一个实施例的图29的软件栈的OpenCL实现；

图33示出了根据至少一个实施例的由编程平台支持的软件；

图34示出了根据至少一个实施例的在图29-32的编程平台上执行的编译代码；

图35示出了根据至少一个实施例的在图29-32的编程平台上执行的更详细的编译代码；

图36示出了根据至少一个实施例的在编译源代码之前转换源代码；

图37A示出了根据至少一个实施例的被配置为使用不同类型的处理单元来编译和执行CUDA源代码的系统；

图37B示出了根据至少一个实施例的被配置为使用CPU和启用CUDA的GPU来编译和执行图37A的CUDA源代码的系统；

图37C示出了根据至少一个实施例的被配置为使用CPU和未启用CUDA的GPU来编译和执行图37A的CUDA源代码的系统；

图38示出了根据至少一个实施例的由图37C的CUDA到HIP转换工具转换的示例性内核；

图39更详细地示出了根据至少一个实施例的图37C的未启用CUDA的GPU；

图40示出了根据至少一个实施例的示例性CUDA网格的线程如何被映射到图39的不同计算单元；以及

图41示出了根据至少一个实施例的如何将现有CUDA代码迁移到数据并行C++代码。

具体实施方式

在以下描述中，阐述了许多具体细节以提供对至少一个实施例的更透彻的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一个或更多个的情况下实践本发明的概念。

在至少一个实施例中，一个或更多个电路(其可以是计算机系统中的一个或更多个处理器的一部分)计算图像的一个或更多个像素的运动。在至少一个实施例中，所述一个或更多个电路通过使用与所述图像的所述第一区域重叠的第二区域中的一个或更多个像素的运动信息来计算所述图像的第一区域中的一个或更多个像素的运动。在至少一个实施例中，所述一个或更多个电路通过获得图像和流图来计算图像的一个或更多个像素的运动，使得一个或更多个像素被分组在一起，其中所述一组像素共享对应于强度和梯度中的至少一个的一个或更多个特征，并且基于所述流图使用来自所述像素组的一个或更多个有效像素将所述像素组中的一个或更多个无效像素迭代地转换为有效像素。

在至少一个实施例中，光流(例如，光流图)用于计算机视觉任务(例如，图像分割和对象检测)中，以展示由对象和相机之间的相对运动引起视频的连续帧之间的对象的运动。虽然执行光流和提高视频帧中的被跟踪对象的分辨率在某种程度上是可行的，但这样做通常需要系统来执行对象检测和语义分割，这很难在并行计算中实现并且需要多次迭代。此外，在计算光流向量(即表示像素从一帧到下一帧的移动的向量)时，通常有许多像素无法以直接的方式计算向量。这是由于帧之间的照明条件的变化、对象被其他对象覆盖以及其他因素造成的。

在至少一个实施例中，创建框架以通过使用先前计算的光流向量来填充所述丢失的光流向量来计算丢失的光流向量。在至少一个实施例中，获得第一图像和对应于所述第一图像和第二图像(例如，视频中的两个后续帧)的稀疏光流图。在至少一个实施例中，所述框架然后可以从所述第一图像中的对象的一个或更多个像素中选择候选像素，并且使得在所述第一图像的第一区域中的一组相邻像素表示所述对象被分组在一起(例如，形成超像素)。在至少一个实施例中，所述像素组是基于这些像素中的每一个与所述候选像素的相似梯度和强度如何确定的。在至少一个实施例中，所述框架基于稀疏光流图通过应用成本函数确定来自所述像素组的像素是有效流像素(例如，有效像素)还是无效流像素(例如，无效像素)。在至少一个实施例中，有效流像素以与当所述像素从所述后续帧向后移动回到所述第一帧时相同的方式从第一帧(例如，第一图像)移动到后续帧(例如，第二图像)，而无效的流像素不会。在至少一个实施例中，框架知道所述像素组中的哪些像素不是所述对象的一部分(例如，边缘像素)，以便从计算中排除所述边缘像素。在至少一个实施例中，框架然后使用至少一个有效流像素通过内插来固定具有无效流的相邻像素。在至少一个实施例中，在所述图像中的不同区域上的多次迭代中，选择新的候选像素并且基于至少一个有效的流像素内插其相邻的光流像素(基于诸如梯度和/或强度的共享特征确定)。在至少一个实施例中，基于图像的深度确定相邻像素。在至少一个实施例中，基于以下至少一项来确定相邻像素：图像的深度、梯度和强度。在至少一个实施例中，在多次迭代之后，将所述稀疏光流图修改为密集光流图。在至少一个实施例中，将中值滤波器应用于所述密集光流图以进行细化。

在至少一个实施例中，本文描述的技术实现了各种技术优势，包括但不限于计算性能(例如，速度、处理能力和存储器消耗)的改进，并且还被配置为与并行计算兼容。在至少一个实施例中，本文描述的技术使用框架来解决与实时光学的稀疏到密集内插有关的问题。密集光流用于诸如帧速率上转换(将剪辑加速到2x、4x、8x速度)、视频编码、机器人导航和/或数据中心应用的视频分类等应用中。在一些框架中，稀疏到密集内插是通过过度分割完整的场景/图像来执行的，使用随机样本一致性(RANSAC)流过程来估计每个片段的模型，并进一步使用模型传播来细化流图。在至少一个实施例中，本文描述的技术围绕无效位置进行分段，执行迭代最近邻和扫描线填充，并且进一步使用中值滤波器来细化流图。

在至少一个实施例中，本文描述的技术不是使用图像分割、模型生成和传播用于每个片段以及变分细化来实现稀疏到密集的内插，而是使用框架来固定所有无效流位置并用有效流替换它们以与并行计算兼容的方式定位。在至少一个实施例中，所述框架使用CUDA代码执行稀疏到密集内插(例如，基于所述图像中的其他像素计算图像中像素的运动)以配置GPU以并行地执行与图像中像素的计算运动相关的计算操作。

图1示出了根据至少一个实施例的计算图像的多个区域中的一个或更多个像素的运动的示例框架100。在至少一个实施例中，示例框架100包括一个或更多个计算设备，其通过网络接收一个或更多个输入数据(例如，图像1、图像2、稀疏流图、图像1梯度)以执行从稀疏到密集的内插。在至少一个实施例中，所述一个或更多个计算设备包括一个或更多个处理器(例如，支持计算统一设备架构(CUDA)的GPU)，其被配置为执行CUDA代码以计算图像(例如，图像1)中一个或更多个像素的运动。在至少一个实施例中，框架100是被配置为执行CUDA代码以计算所述图像中的一个或更多个像素的运动的单个计算设备。在至少一个实施例中，框架100的组件可以使用多种不同网络类型中的任一种在彼此之间进行通信，包括但不限于局域网(LAN)和/或广域网(WAN)，通过有线和/或无线通信协议。

在至少一个实施例中，一个或更多个计算设备接收输入数据。在至少一个实施例中，输入数据包括一幅或更多幅图像(例如，图像1和图像2)和稀疏流图。在至少一个实施例中，在图像1和图像2之间计算稀疏光流图。在至少一个实施例中，稀疏光流图包括跟踪所述像素速度向量(例如，运动)的像素的稀疏特征集。在至少一个实施例中，可以使用两个图像生成光流图并使用Lucas Kanade方法计算光流，该方法提供对场景的连续图像中感兴趣特征的移动的估计。在至少一个实施例中，所述稀疏光流图的形状与图像1和图像2中的图像形状相同。在至少一个实施例中，在稀疏流图中，存在一些具有有效流像素的位置(坐标)还有一些具有无效流像素。在至少一个实施例中，无效流像素具有无效值(MAX POSSIBLE_FLOW+1)。

在至少一个实施例中，所述一个或更多个计算设备至少部分地执行一个或更多个程序(例如，CUDA或其他此类程序)以计算图像的第一区域中的一个或更多个像素的运动，至少部分地基于与所述图像的所述第一区域重叠的第二区域中的一个或更多个像素的运动。在至少一个实施例中，一个或更多个计算设备执行CUDA代码以确定图像的第一区域中的一组像素(在本文中有时称为超像素)。在至少一个实施例中，一个或更多个计算设备接收输入数据并生成至少一个超像素102。在至少一个实施例中，用于生成超像素的框架，在本文中也称为边缘感知(Edgeaware)超像素，读取稀疏流图和图像1。在至少一个实施例中，一个或更多个计算设备执行一个或更多个操作以生成用于无效流动位置的超像素(通过对共享诸如强度和梯度的共同特征的像素进行分组)。在至少一个实施例中，稀疏流图用于识别无效流位置并且图像1用于超像素生成。

在至少一个实施例中，用于为图像中的每个像素内插流向量的框架，在本文中也称为执行边缘感知填充(Edgeaware-Infill)104，读取每个无效位置的超像素并检查超像素的有效性(如果超像素包含具有有效流动位置的像素的子集，则该超像素是有效的)。在至少一个实施例中，有效超像素之间的最佳流动选择由infilling_cost＝(0.2*pixel_distance+0.4*pixel_gradient_diff+0.4*pixel_intensity_diff)决定。在至少一个实施例中，选择最小化诸如“inflling_cost”的成本函数的流向量。在至少一个实施例中，执行边缘感知填充104包括在图像中迭代地内插流向量106。在至少一个实施例中，迭代次数固定为4；然而，也可以使用更多或更少的迭代。在至少一个实施例中，每次迭代固定一些点/超像素，这最终帮助下一次迭代固定其他无效点/超像素。在至少一个实施例中，边缘感知填充可能不会固定所有位置，但它有助于降低无效像素的密度。在至少一个实施例中，一个或更多个计算设备对图像中的一个或更多个像素是否是边缘像素(例如，边缘像素是不代表对象的像素)执行检测108。在至少一个实施例中，边缘感知填充104通过排除任何检测到的作为边缘像素的像素来执行。在至少一个实施例中，一个或更多个计算设备执行流扫描线填充110。在至少一个实施例中，沿四个方向(左、右、上、下)拖动有效向量直到检测到另一个有效点。在至少一个实施例中，一旦检测到另一个有效点，在遍历期间可以基于检测到的有效点来固定具有无效位置的相邻像素。在至少一个实施例中，如上所述，基于成本函数“infilling_cost”在多个流中选择流向量。在至少一个实施例中，该步骤的输出是密集流图。在至少一个实施例中，一个或更多个计算设备在密集流图上运行5x5中值滤波器112以进行细化。在至少一个实施例中，也可以使用除了5x5中值滤波器之外的其他大小和/或滤波器。

图2示出了根据至少一个实施例的基于共享特征将图像中的一个或更多个像素分组在一起的系统200的框图。在至少一个实施例中，像素分组(例如，超像素生成)技术由系统200执行，从中心位置开始遍历相邻像素，直到到达边缘点或指定边界(例如，2S×2S窗口边界，其中S是窗口半径)。在至少一个实施例中，通过在边缘点停止，可以减少计算。在至少一个实施例中，系统200由计算系统或由具有GPU(图形处理单元)、CPU(中央处理单元)的视觉系统执行。在至少一个实施例中，系统200可以包括硬件(例如，处理设备、电路、专用逻辑、可编程逻辑、微代码、设备的硬件、集成电路等)、软件(例如，在处理上运行或执行的指令设备)，或它们的组合。

在至少一个实施例中，系统200包括一个或更多个模块：下采样器201-203、正向流生成器205、反向流生成器207、流比较器209、无效流坐标提取器/压缩器211、边缘检测器213、超像素生成器215和上采样器217。在至少一个实施例中，一些模块201-217是集成模块。在至少一个实施例中，正向流发生器205和反向流发生器207可以是集成模块。在至少一个实施例中，模块包括一个或更多个电子电路，这些电子电路位于电路板上，提供计算机内的功能。在至少一个实施例中，系统200包括但不限于一个或更多个处理器，其通信耦合到任何合适数量或种类的组件、外围设备、模块或设备。

在至少一个实施例中，下采样器201-203可以接收图像序列的图像(I1'和I2')并且通过比例因子下采样图像以生成图像(I1和I2)。在至少一个实施例中，图像I1'和I2'是数字图像和/或彩色图像，例如RGB(红绿蓝)彩色图像。在至少一个实施例中，图像I1'和I2'可以是静止图像、视频图像或来自视觉系统的实时捕获图像。在至少一个实施例中，下采样图像通过减小图像的像素尺寸将图像缩放到可管理的尺寸。在至少一个实施例中，如果图像被缩放小于一倍，则如下面进一步讨论的遍历相邻像素以生成超像素可以使用远离超像素中心的像素。在至少一个实施例中，如果图像具有800x800像素的尺寸，则以1/2因子下采样提供具有400x400像素的图像。在至少一个实施例中，可以通过从图像中周期性地丢弃一些行/列来对图像进行下采样。在至少一个实施例中，用于下采样的其他技术可以包括双三次(bicubic)下采样、平均下采样等。

在至少一个实施例中，正向流发生器205可以接收图像(Il和I2，或者如果不执行下采样，则图像I1'和I2')并且使用图像I1和I2(或I1'和I2')获得正向光流数据(F12)。在至少一个实施例中，光流数据(也称为流数据)包括指示图像像素数据从第一图像移动到第二图像的方向和幅度的光流向量(也称为流向量)。在至少一个实施例中，光流数据指示二维(2D)图像平面中图像像素数据移动的方向和幅度。在至少一个实施例中，通过假设像素在两个图像帧中保持相同的强度和/或颜色并且移动很小(例如，几个像素)来跟踪像素移动。在至少一个实施例中，第一帧中特定像素或对象边缘的特定颜色/强度可以移动到第二帧中的不同像素。在至少一个实施例中，颜色/强度与在第一和第二图像帧之间移动的场景中的对象相关联。在至少一个实施例中，用于捕捉场景的相机位置可以在第一帧和第二帧之间改变(平移)，使得对象看起来在图像帧之间移动。在至少一个实施例中，前向光流数据表示从I1到I2(或I1'到I2')的光流向量，其中I1(和I1')是在时间t的图像并且I2(和I2')是在时间t+1的图像。

在至少一个实施例中，后向生成器207接收图像I1和I2(或I1'和I2'并且使用图像I1和I2(或I1'和I2')获得后向光流数据(F

在至少一个实施例中，前向和后向光流数据是使用前向后向约束方程获得的，假设像素的亮度恒定，例如像素的亮度不受像素运动的影响。在至少一个实施例中，(x，y)处的像素的连续性方程假设强度恒定如下：

I(x,y,t)–I(x+dx,y+dy,t+dt)＝0 (1)

其中I(x,y,t)是时间t处的像素强度，并且I(x+dx,y+dy,t+dt)是假定在时间t+dt位于(x+dx,y+dy)的相同像素的强度。

根据等式(1)，前向和后向约束运动方程可以分别表示为：

I

I

等式(2)和(3)的泰勒级数展开提供：

等式(4)和(5)可以重写为：

或者，

其中

这里，

等式(8)和(9)可以简单地重写为：

在至少一个实施例中，等式(10)和(11)可以通过数值方法求解以估计前向和后向运动(或流)向量，其中前向运动向量表示像素已经从第一图像(时间t)移动到第二图像(时间t+dt)的量，后向运动向量表示像素从第二图像(时间t+dt)移动到第一图像(时间t)的量。

在至少一个实施例中，流比较器209接收前向和后向光流数据并且针对前向流数据中的每个光流向量执行前向和后向光流数据之间的比较以确定一致和不一致的光流数据。在至少一个实施例中，一致的光流数据具有在前向光流数据F

在至少一个实施例中，由于各种原因(例如、对象的错误或边缘检测，例如遮挡、模糊图像、噪声图像或薄对象)，与在后向时间方向上具有流向量的后向光学数据F

在至少一个实施例中，可以用来自具有相似特征的周围像素的有效光流数据来替换或“填充(filled-in)”无效光流数据。在至少一个实施例中，具有相似特征的周围像素是同一超像素中的像素。

在至少一个实施例中，无效流坐标提取器/压缩器211提取或压缩对应于具有不可靠/不一致光流数据的光场位置的像素坐标(例如，无效光流坐标)。在至少一个实施例中，无效流坐标提取器/压缩器211生成包括与无效光流数据相关联的像素坐标的无效光流坐标图。在至少一个实施例中，无效光流坐标图可以包括对应于无效光流数据的像素位置的(x，y)坐标。在至少一个实施例中，无效流坐标提取器/压缩器211执行并行流压缩以移除有效流坐标并保持无效流坐标。

在至少一个实施例中，边缘检测器213接收图像(I1或I1')并对图像I1或I1'执行边缘检测以生成梯度图或其他边缘检测图。在至少一个实施例中，使用高斯边缘检测算法的拉普拉斯算子来生成梯度图。

在至少一个实施例中，超像素生成器215接收梯度图或其他边缘检测数据、无效流坐标(例如，无效光流坐标的图)以及图像Il和I2(或图像I1'和I2')生成一个或更多个超像素。在至少一个实施例中，超像素对应于共享一个或更多个共同特征(例如像素强度)的一组单元。在至少一个实施例中，超像素生成器215输出一个或更多个包括超像素的图像(O1)。在至少一个实施例中，O1是二维(2D)阵列结构，其坐标对应于输入图像I1(或I')的像素大小。在至少一个实施例中，2D阵列中的每个单元包含识别单元所属的超像素的整数值。

在至少一个实施例中，超像素生成器215使用无效流坐标作为超像素生成的中心/候选坐标。在至少一个实施例中，生成超像素包括遍历相邻像素直到围绕超像素中心位置的半径(S)。在至少一个实施例中，相邻像素是具有有效和/或无效光流向量的坐标。

在至少一个实施例中，超像素生成器215遍历相邻像素以确定相邻像素是否属于与中心像素相同的超像素，例如，相邻像素在某些特征上与中心像素相似。在至少一个实施例中，如果满足预定标准，则相邻像素类似于中心像素。在至少一个实施例中，如果相邻像素和中心像素的强度之间的绝对差低于第一预定阈值并且相邻像素和中心像素的梯度之间的绝对差低于第二预定阈值，则满足预定标准。

|I

其中I

在至少一个实施例中，对图像进行预处理并转换为CIELAB色彩空间。在至少一个实施例中，如果满足预定标准，则相邻像素类似于中心像素，其中预定标准可以是：

G

＝||I(x+1，y)-I(x-1，y)||

其中，I(x，y)是对应于位置(x，y)处的像素的实验室向量，而||.||是L2范数。

在至少一个实施例中，如果满足以上标准，则超像素生成器215可以将一个或更多个相邻像素分配给与中心像素相同的超像素。在至少一个实施例中，属于相同超像素的像素坐标在存储超像素信息的阵列数据结构中被分配相同的整数值。在至少一个实施例中，超像素生成器215使用单独的处理线程遍历相邻像素以获得一个或更多个超像素中心/候选坐标。在至少一个实施例中，可以选择超像素候选作为无效流坐标。在至少一个实施例中，超像素生成器215并行处理多个无效流坐标。

在至少一个实施例中，不是使用队列来存储用于遍历的相邻像素的位置，而是超像素生成器215使用一个或更多个缓冲区的位来存储相邻坐标。在至少一个实施例中，一个或更多个64位缓冲区用于存储相邻坐标。在至少一个实施例中，使用8位缓冲区、16位缓冲区、32位缓冲区、128位缓冲区或其他大小的缓冲区。至少一个缓冲区(例如，64位缓冲区)的位可以参考映射到一个或更多个相邻像素的相邻坐标的常量数组数据结构中的索引。在至少一个实施例中，相邻坐标的数据结构中的至少一个缓冲区参考索引的位映射到像素的S＝3的相邻像素，其中S是超像素遍历模式的半径。

在至少一个实施例中，上采样器217通过对应于下采样器301-303的缩放因子(SF)对包含超像素信息的图像(O1)进行上采样，其中O1具有超像素信息。在至少一个实施例中，如果大小为800×800像素的图像I1'和I2'以SF＝1/2下采样，则输出图像O1'可以相应地从大小400×400上采样到800×800像素以生成图像O1。在这种情况下，与O1相比，输出O1'处的超像素遍历可以覆盖半径(S)的两倍，以确定具有相似特征的超像素簇。

图3示出了根据至少一个实施例的基于共享特征(例如，强度和/或梯度)对图像302中的一个或更多个像素进行分组的示例300。在至少一个实施例中，图像302中的候选像素具有对应的一组相邻像素，其中一些像素是部分超像素而一些不是。在至少一个实施例中，候选像素和相邻像素(如图3中描述为“超像素有效流”和“超像素无效流”)是一组像素的一部分。在至少一个实施例中，超像素包括大小为5x5的像素；但是，也可以使用其他大小，例如7x7。上面关于图1和2描述了像素的生成和分组在一起以形成超像素。在至少一个实施例中，超出边界的像素被认为不是一组像素(例如，超像素)的一部分。在至少一个实施例中，图像302中的像素被评估以确定是否是关于候选像素的超像素的一部分的像素。在至少一个实施例中，如果像素不是超像素，则不需要评估连接到那些像素的像素。在至少一个实施例中，使用一个或更多个64位缓冲区从一些候选像素坐标开始遍历相邻坐标以生成超像素，其中对应于相邻坐标的一个或更多个64位缓冲区的位用于遍历。在至少一个实施例中，没有队列用于邻居坐标遍历。在至少一个实施例中，针对超像素标准评估有效像素，但不针对超像素标准评估连接到有效像素的像素。在至少一个实施例中，如果像素不是超像素，则不针对超像素标准评估这种像素的相邻像素。

图4示出了根据至少一个实施例的基于重叠区域中的一个或更多个像素对图像402中的一个区域中的一个或更多个像素的光流进行内插的示例400。在至少一个实施例中，这里描述的过程中的一些或全部例如400(或这里描述的任何其他过程，或其变体和/或组合)在配置有计算机可执行指令的一个或更多个计算机系统的控制下执行并且被实施作为通过硬件、软件或其组合在一个或更多个处理器上共同执行的代码(例如，计算机可执行指令、一个或更多个计算机程序或一个或更多个应用程序、CUDA代码)。在至少一个实施例中，在示例400中执行至少一部分过程的系统包括可执行代码以在一次迭代中使用超像素和填充技术执行光流的稀疏到密集内插。在至少一个实施例中，所有有效超像素的能量最小化通过infilling_cost＝(a*warp_cost+b*intensity_diff+c*pixel_distance)来最小化，其中a,b,c＝range(0,1)并且a+b+c＝1。在至少一个实施例中，warp_cost是(第一图像“图像I1”的)当前像素强度和(第二图像“图像I2”的)收束像素强度的差。在至少一个实施例中，在针对一些点/超像素固定无效流像素的情况下执行一次迭代中的内插，这最终有助于下一次迭代来固定其他无效流点/超像素。在至少一个实施例中，传统的扫描线填充(例如，扫描线算法)在多次迭代中执行，从而最终使用有效流像素来固定具有无效点/超像素的所有像素。

图5示出了根据至少一个实施例的在图像502中的第一区域和第二重叠区域中内插一个或更多个像素的光流的示例500。图5示出了在图4中描述的多次迭代中继续的示例过程。在至少一个实施例中，在多次迭代(例如，第二次和第三次迭代)中，基于所述超像素的至少一个或更多个有效流像素而最终固定超像素的一部分的所有无效流像素，而边缘像素(不是所述超像素的一部分)在所述内插过程期间不被处理、计算或固定。

图6示出了根据至少一个实施例的通过扫描图像以及成本图的一个或更多个行和列来内插一个或更多个像素的光流的示例600。在至少一个实施例中，迭代边缘感知填充可能不会固定所有位置，但它有助于降低无效像素的密度。在至少一个实施例中，使用快速扫描线方法(例如，扫描线渲染)填充大多数无效流像素。在至少一个实施例中，一种快速扫描线方法对无效边界像素起作用。在至少一个实施例中，示例600示出了其中快速扫描线方法对9个像素执行光流内插的图像。在至少一个实施例中，使用成本图，其中对于所有无效像素，每个成本＝INF。在至少一个实施例中，可以在每个扫描线操作和候选像素用流填充之后修改成本，这将最小化所述成本。

图7示出了根据至少一个实施例的使用成本图更新图像中的一个或更多个像素的示例700。在至少一个实施例中，并且如上面关于图1所描述的那样。如图1所示，Dijkstra的算法(或其他类似的最短路径算法)用于最小化图6中描述的所述成本。在至少一个实施例中，成本取决于行进距离、收束成本和强度差异。在至少一个实施例中，如果newcost

图8示出了根据至少一个实施例的光流的稀疏到密集内插的示例800。如图。图8示出了具有有效和无效光流的坐标图，以及具有使用生成的超像素填充的光流的坐标图。在至少一个实施例中，图像802表示具有一个或更多个像素的坐标图，该像素具有无效流和有效流，其中白色补丁(未填充像素)是具有无效流的坐标，而填充像素是具有效流的坐标。在至少一个实施例中，图像804是图像802的填充版本。在至少一个实施例中，图像804没有说明无效的光流坐标，因为具有无效光流的像素已经使用填充技术(如参照图1描述)用有效光流数据填充。

图9示出了根据至少一个实施例的用于框架执行光流的稀疏到密集内插的过程900的示例。在至少一个实施例中，过程900(或本文描述的任何其他过程，或其变体和/或组合)中的一些或全部在配置有计算机可执行指令的一个或更多个计算机系统的控制下执行并且被实现为代码(例如、计算机可执行指令、一个或更多个计算机程序或一个或更多个应用程序、CUDA代码)通过硬件、软件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个计算机可读指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读介质。在至少一个实施例中，至少一些可用于执行过程900的计算机可读指令不是仅使用瞬态信号(例如，传播的瞬态电或电磁传输)来存储的。在至少一个实施例中，非暂时性计算机可读介质不一定包括暂时性信号的收发器内的非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，过程900至少部分在计算机系统上执行，例如在本公开的其他地方描述的那些。在至少一个实施例中，过程900由一个或更多个电路执行以至少部分地基于与第一个区域重叠的图像的第二区域中的一个或更多个像素的运动来计算图像的第一区域中的一个或更多个像素的运动。

在至少一个实施例中，执行过程900的至少一部分的系统包括用于获得902输入数据(例如，第一图像、第二图像和第一流图)的可执行代码。在至少一个实施例中，输入数据是由一个或更多个相机捕获的视频数据。在至少一个实施例中，第一图像是来自视频数据的帧，而第二图像是来自所述视频数据的后续帧。在至少一个实施例中，第一流图是稀疏光流图，其包括指示像素从一帧到下一帧的移动的向量。

在至少一个实施例中，执行过程900的至少一部分的系统包括可执行代码以基于相似特征(例如，相似像素强度和/或梯度)将图像对象的一组像素分组904。在至少一个实施例中，系统基于相似特征通过一个或更多个过程将图像的一个或更多个像素组合在一起，例如结合图2中描述的生成的超像素所描述的那些。

在至少一个实施例中，执行过程900的至少一部分的系统包括可执行代码以基于第二组重叠像素的运动来计算906分组像素组的运动以生成第二流图。在至少一个实施例中，用于稀疏到密集内插的框架通过首先选择整个图像中的重叠框来计算丢失的光流向量，其中每个框包含相似的像素(例如，具有相似的强度和梯度)。在至少一个实施例中，用于稀疏到密集内插的框架然后选择已经计算了一些光流向量的框。在至少一个实施例中，所述已经计算的光流向量用于计算框的剩余光流向量。在至少一个实施例中，因为所述框重叠，所以为一个框计算光流向量导致为重叠框计算一些光流向量。在至少一个实施例中，然后计算重叠框的任何剩余光流向量。在至少一个实施例中，该过程迭代地重复，直到计算所有框的光流向量并生成第二流图。在至少一个实施例中，系统通过一个或更多个过程执行一个或更多个像素内插，例如结合图1的框架100描述的那些。

在至少一个实施例中，执行过程900的至少一部分的系统包括执行908扫描线填充的可执行代码。在至少一个实施例中，扫描线填充包括遍历所述第二流图的一行或更多行或一列或更多列以通过使用所述一行或更多行或一列或更多列中的一个或更多个有效像素将一个或更多个无效像素转换为有效像素来更新所述第二流图。在至少一个实施例中，更新的第二流图是密集光流图。在至少一个实施例中，密集光流提供贯穿整个图像的所有像素的流(与仅跟踪在稀疏光流中使用的一组感兴趣的特征像素相反)。在至少一个实施例中，密集光流计算每一帧的每个像素的光流向量。在至少一个实施例中，系统通过一个或更多个过程执行扫描线填充，例如结合图1的框架100描述的那些。在至少一个实施例中，迭代边缘感知填充可能不会固定所有位置，但它有助于减少无效像素的密度，因此使用所述扫描线填充方法填充剩余量的无效区域。在至少一个实施例中，扫描线方法通过使用成本图对无效边界像素起作用，其中对于所有无效像素，每个成本＝INF。在至少一个实施例中，在每个扫描线操作之后修改成本并且用最小化成本的流填充候选像素。在至少一个实施例中，使用Dijkstra的算法(例如，找到两个位置之间的最短路径的算法)来最小化成本，其中成本至少取决于行进距离、收束成本和强度差异。在至少一个实施例中，如果(newcost

在至少一个实施例中，执行过程900的至少一部分的系统包括可执行代码以将5x5中值滤波器应用910到所述第二流图以进行细化。在至少一个实施例中，系统通过一个或更多个过程(例如结合图1的框架100描述的那些)执行将过滤器应用于流图。

在至少一个实施例中，过程900的一个或更多个过程以任何顺序执行，例如顺序(sequential)、并行和/或其变体，并且过程900可以包括图9中未描绘的其他过程。可以省略图9中描述的各种过程。在至少一个实施例中，可以执行的另一过程包括基于所述图像的相邻像素填充图像的缺失部分或部分。在至少一个实施例中，这里描述的用于执行光流的稀疏到密集内插的类似步骤也可以用于执行关于填充图像的缺失部分(例如，图像填充)的操作。在至少一个实施例中，代替稀疏流图，图像填充使用距离图来识别围绕候选像素的相邻像素。在至少一个实施例中，距离图用于识别最接近候选像素以形成超像素的像素。在至少一个实施例中，然后可以基于候选像素和/或所述超像素中的相邻像素来固定超像素中的任何缺失部分。在至少一个实施例中，用于执行图像填充的过程中的一些或全部在配置有计算机可执行指令的一个或更多个计算机系统的控制下执行并且被实现为代码(例如，计算机可执行指令、一个或更多个计算机程序，或一个或更多个应用程序、CUDA代码)，其通过硬件、软件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，图像填充由一个或更多个电路执行以至少部分地基于与图像的第一区域重叠的第二区域中的一个或更多个像素来计算图像的第一区域中的一个或更多个像素。

数据中心

图10示出了根据至少一个实施例的示例数据中心1000。在至少一个实施例中，数据中心1000包括但不限于数据中心基础设施层1010、框架层1020、软件层1030和应用层1040。

在至少一个实施例中，如图10所示，数据中心基础设施层1010可以包括资源协调器1012、分组的计算资源1014和节点计算资源(“节点C.R.”)1016(1)-1016(N)，其中“N”代表任何完整的正整数。在至少一个实施例中，节点C.R.1016(1)-1016(N)可以包括但不限于任意数量的中央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(“FPGA”)、网络设备中的数据处理单元(“DPU”)，图形处理器等)，存储器设备(例如动态只读存储器)，存储设备(例如固态硬盘或磁盘驱动器)，网络输入/输出(“NW I/O”)设备，网络交换机，虚拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点C.R.1016(1)-1016(N)中的一个或更多个节点C.R.可以是具有一个或更多个上述计算资源的服务器。

在至少一个实施例中，分组的计算资源1014可以包括容纳在一个或更多个机架内的节点C.R.的单独分组(未示出)，或者容纳在各个地理位置的数据中心内的许多机架(也未示出)。分组的计算资源1014内的节点C.R.的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括CPU或处理器的几个节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括任意数量的电源模块、冷却模块和网络交换机，以任意组合。

在至少一个实施例中，资源协调器1012可以配置或以其他方式控制一个或更多个节点C.R.1016(1)-1016(N)和/或分组的计算资源1014。在至少一个实施例中，资源协调器1012可以包括用于数据中心1000的软件设计基础结构(“SDI”)管理实体。在至少一个实施例中，资源协调器1012可以包括硬件、软件或其某种组合。

在至少一个实施例中，如图10所示，框架层1020包括但不限于作业调度器1032、配置管理器1034、资源管理器1036和分布式文件系统1038。在至少一个实施例中，框架层1020可以包括支持软件层1030的软件1052和/或应用程序层1040的一个或更多个应用程序1042的框架。在至少一个实施例中，软件1052或应用程序1042可以分别包括基于Web的服务软件或应用程序，例如由Amazon Web Services，Google Cloud和Microsoft Azure提供的服务或应用程序。在至少一个实施例中，框架层1020可以是但不限于一种免费和开放源软件网络应用框架，例如可以利用分布式文件系统1038来进行大范围数据处理(例如“大数据”)的Apache SparkTM(以下称为“Spark”)。在至少一个实施例中，作业调度器1032可以包括Spark驱动器，以促进对数据中心1000的各个层所支持的工作负载进行调度。在至少一个实施例中，配置管理器1034可以能够配置不同的层，例如软件层1030和包括Spark和用于支持大规模数据处理的分布式文件系统1038的框架层1020。在至少一个实施例中，资源管理器1036能够管理映射到或分配用于支持分布式文件系统1038和作业调度器1032的集群或分组计算资源。在至少一个实施例中，集群或分组计算资源可以包括数据中心基础设施层1010上的分组的计算资源1014。在至少一个实施例中，资源管理器1036可以与资源协调器1012协调以管理这些映射的或分配的计算资源。

在至少一个实施例中，包括在软件层1030中的软件1052可以包括由节点C.R.1016(1)-1016(N)的至少一部分，分组计算资源1014和/或框架层1020的分布式文件系统1038使用的软件。一种或更多种类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。

在至少一个实施例中，应用层1040中包括的一个或更多个应用程序1042可以包括由节点C.R.1016(1)-1016(N)的至少一部分、分组的计算资源1014和/或框架层1020的分布式文件系统1038使用的一种或更多种类型的应用程序。一种或更多种类型的应用程序可以包括但不限于CUDA应用程序。

在至少一个实施例中，配置管理器1034、资源管理器1036和资源协调器1012中的任何一个可以基于以任何技术上可行的方式获取的任意数量和类型的数据来实现任意数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心1000的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。

基于计算机的系统

以下各图提出但不限于可用于实现至少一个实施例的示例性的基于计算机的系统。

图11示出了根据至少一个实施例的处理系统1100。在至少一个实施例中，系统1100包括一个或更多个处理器1102和一个或更多个图形处理器1108，并且可以是单处理器台式机系统、多处理器工作站系统或具有大量处理器1102或处理器核心1107的服务器系统。在至少一个实施例中，处理系统1100是结合在片上系统(SoC)集成电路内的处理平台，以用于移动、手持或嵌入式设备。

在至少一个实施例中，处理系统1100可以包括或结合在基于服务器的游戏平台中，包括游戏和媒体控制台的游戏控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台。在至少一个实施例中，处理系统1100是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统1100还可包括与可穿戴设备耦合或集成在可穿戴设备中，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备。在至少一个实施例中，处理系统1100是电视或机顶盒设备，其具有一个或更多个处理器1102以及由一个或更多个图形处理器1108生成的图形界面。

在至少一个实施例中，一个或更多个处理器1102每个包括一个或更多个处理器核心1107，以处理指令，该指令在被执行时执行针对系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心1107中的每一个被配置为处理特定指令集1109。在至少一个实施例中，指令集1109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)，或通过超长指令字(VLIW)进行计算。在至少一个实施例中，多个处理器核心1107可以各自处理不同的指令集1109，该指令集1109可以包括有助于仿真其他指令集的指令。在至少一个实施例中，处理器核心1107还可以包括其他处理设备，例如数字信号处理器(DSP)。

在至少一个实施例中，处理器1102包括高速缓存存储器(cache)1104。在至少一个实施例中，处理器1102可以具有单个内部高速缓存或多个级别的内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器1102的各个组件之间共享。在至少一个实施例中，处理器1102还使用外部高速缓存(例如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，其可以使用已知的高速缓存一致性技术在处理器核心1107之间共享该逻辑。在至少一个实施例中，处理器1102中另外包括寄存器文件1106，处理器1102可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件1106可以包括通用寄存器或其他寄存器。

在至少一个实施例中，一个或更多个处理器1102与一个或更多个接口总线1110耦合，以在处理器1102与系统1100中的其他组件之间传输通信信号，例如地址、数据或控制信号。在至少一个实施例中，接口总线1110在一个实施例中可以是处理器总线，例如直接媒体接口(DMI)总线的版本。在至少一个实施例中，接口总线1110不限于DMI总线，并且可以包括一个或更多个外围组件互连总线(例如，PCI，PCI Express)、存储器总线或其他类型的接口总线。在至少一个实施例中，处理器1102包括集成存储器控制器1116和平台控制器集线器1130。在至少一个实施例中，存储器控制器1116促进存储设备与处理系统1100的其他组件之间的通信，而平台控制器集线器(PCH)1130通过本地I/O总线提供到输入/输出(I/O)设备的连接。

在至少一个实施例中，存储设备1120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储设备或具有适当的性能以用作处理器存储器。在至少一个实施例中，存储设备1120可以用作处理系统1100的系统存储器，以存储数据1122和指令1121，以在一个或更多个处理器1102执行应用或过程时使用。在至少一个实施例中，存储器控制器1116还与可选的外部图形处理器1112耦合，其可以与处理器1102中的一个或更多个图形处理器1108通信以执行图和媒体操作。在至少一个实施例中，显示设备1111可以连接至处理器1102。在至少一个实施例中，显示设备1111可以包括内部显示设备中的一个或更多个，例如在移动电子设备或便携式计算机设备或通过显示器接口(例如显示端口(DisplayPort)等)连接的外部显示设备。在至少一个实施例中，显示设备1111可以包括头戴式显示器(HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。

在至少一个实施例中，平台控制器集线器1130使外围设备能够通过高速I/O总线连接到存储设备1120和处理器1102。在至少一个实施例中，I/O外围设备包括但不限于音频控制器1146、网络控制器1134、固件接口1128、无线收发器1126、触摸传感器1125、数据存储设备1124(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备1124可以经由存储器接口(例如，SATA)或经由外围总线来连接，诸如外围组件互连总线(例如，PCI、PCIe)。在至少一个实施例中，触摸传感器1125可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器1126可以是Wi-Fi收发器、蓝牙收发器或移动网络收发器，诸如3G、4G或长期演进(LTE)收发器。在至少一个实施例中，固件接口1128使能与系统固件的通信，并且可以是例如统一的可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器1134可以启用到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线1110耦合。在至少一个实施例中，音频控制器1146是多通道高清晰度音频控制器。在至少一个实施例中，处理系统1100包括可选的传统(legacy)I/O控制器1140，用于将遗留(例如，个人系统2(PS/2))设备耦合到处理系统1100。在至少一个实施例中，平台控制器集线器1130还可以连接到一个或更多个通用串行总线(USB)控制器1142，该控制器连接输入设备，诸如键盘和鼠标1143组合、相机1144或其他USB输入设备。

在至少一个实施例中，存储器控制器1116和平台控制器集线器1130的实例可以集成到离散的外部图形处理器中，例如外部图形处理器1112。在至少一个实施例中，平台控制器集线器1130和/或存储控制器1116可以在一个或更多个处理器1102的外部。例如，在至少一个实施例中，处理系统1100可以包括外部存储控制器1116和平台控制器集线器1130，其可以配置成在与处理器1102通信的系统芯片组中的存储器控制器集线器和外围控制器集线器。

图12示出了根据至少一个实施例的计算机系统1200。在至少一个实施例中，计算机系统1200可以是具有互连的设备和组件，SOC，或某种组合的系统。在至少一个实施例中，计算机系统1200由处理器1202形成，该处理器1202可以包括用于执行指令的执行单元。在至少一个实施例中，计算机系统1200可以包括但不限于组件，例如处理器1202，其采用包括逻辑的执行单元以执行用于过程数据的算法。在至少一个实施例中，计算机系统1200可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(Intel Corporation ofSanta Clara,California)获得的

在至少一个实施例中，计算机系统1200可以用在其他设备中，例如手持设备和嵌入式应用。手持设备的一些示例包括蜂窝电话、互联网协议(Internet Protocol)设备、数码相机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应用可以包括微控制器、数字信号处理器(“DSP”)、SoC、网络计算机(“NetPC”)、机顶盒、网络集线器、广域网(“WAN”)交换机，或根据至少一个实施例可以执行一个或更多个指令的任何其他系统。

在至少一个实施例中，计算机系统1200可包括但不限于处理器1202，该处理器1202可包括但不限于一个或更多个执行单元1208，其可以配置为执行计算统一设备架构(“CUDA”)(

在至少一个实施例中，处理器1202可以包括但不限于1级(“L1”)内部高速缓存存储器(“cache”)1204。在至少一个实施例中，处理器1202可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器1202的外部。在至少一个实施例中，处理器1202可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件1206可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。

在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑的执行单元1208，其也位于处理器1202中。处理器1202还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指令的微代码。在至少一个实施例中，执行单元1208可以包括用于处理封装指令集1209的逻辑。在至少一个实施例中，通过将封装指令集1209包括在通用处理器1202的指令集中，以及要执行指令的相关电路，可以使用通用处理器1202中的封装数据来执行许多多媒体应用程序使用的操作。在至少一个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需要在处理器的数据总线上传输较小的数据单元来一次对一个数据元素执行一个或更多个操作。

在至少一个实施例中，执行单元1208也可以用在微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机系统1200可以包括但不限于存储器1220。在至少一个实施例中，存储器1220可以被实现为DRAM设备、SRAM设备、闪存设备或其他存储设备。存储器1220可以存储由处理器1202可以执行的由数据信号表示的指令1219和/或数据1221。

在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线1210和存储器1220。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)1216，并且处理器1202可以经由处理器总线1210与MCH 1216通信。在至少一个实施例中，MCH1216可以提供到存储器1220的高带宽存储器路径1218以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH 1216可以在处理器1202、存储器1220和计算机系统1200中的其他组件之间启动数据信号，并且在处理器总线1210、存储器1220和系统I/O 1222之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH 1216可以通过高带宽存储器路径1218耦合到存储器1220，并且图形/视频卡1212可以通过加速图形端口(AcceleratedGraphics Port)(“AGP”)互连1214耦合到MCH 1216。

在至少一个实施例中，计算机系统1200可以使用系统I/O 1222作为专有集线器接口总线来将MCH 1216耦合到I/O控制器集线器(“ICH”)1230。在至少一个实施例中，ICH1230可以通过本地I/O总线提供与某些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将外围设备连接到存储器1220、芯片组和处理器1202的高速I/O总线。示例可以包括但不限于音频控制器1229、固件集线器(“Flash BIOS”)1228、无线收发器1226、数据存储1224、包含用户输入1225的传统I/O控制器1223和键盘接口、串行扩展端口1227(例如USB)和网络控制器1234。数据存储1224可以包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储设备。

在至少一个实施例中，图12示出了包括互连的硬件设备或“芯片”的系统。在至少一个实施例中，图12可以示出示例性SoC。在至少一个实施例中，图12中示出的设备可以与专有互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，系统1200的一个或更多个组件使用计算快速链路(CXL)互连来互连。

图13示出了根据至少一个实施例的系统1300。在至少一个实施例中，系统1300是利用处理器1310的电子设备。在至少一个实施例中，系统1300可以是，例如但不限于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、与一个或更多个本地或云服务提供商通信耦合的边缘设备、膝上型计算机、台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。

在至少一个实施例中，系统1300可以包括但不限于通信地耦合到任何合适数量或种类的组件、外围设备、模块或设备的处理器1310。在至少一个实施例中，处理器1310使用总线或接口耦合，诸如I

在至少一个实施例中，图13可以包括显示器1324、触摸屏1325、触摸板1330、近场通信单元(“NFC”)1345、传感器集线器1340、热传感器1346、快速芯片组(“EC”)1335、可信平台模块(“TPM”)1338、BIOS/固件/闪存(“BIOS，FW Flash”)1322、DSP1360、固态磁盘(“SSD”)或硬盘驱动器(“HDD”)1320、无线局域网单元(“WLAN”)1350、蓝牙单元1352、无线广域网单元(“WWAN”)1356、全球定位系统(GPS)1355、相机(“USB3.0相机”)1354(例如USB 3.0相机)或以例如LPDDR3标准实现的低功耗双倍数据速率(“LPDDR”)存储器单元(“LPDDR3”)1315。这些组件可以各自以任何合适的方式实现。

在至少一个实施例中，其他组件可以通过以上讨论的组件通信地耦合到处理器1310。在至少一个实施例中，加速度计1341、环境光传感器(“ALS”)1342、罗盘1343和陀螺仪1344可以可通信地耦合到传感器集线器1340。在至少一个实施例中，热传感器1339、风扇1337、键盘1336和触摸板1330可以通信地耦合到EC1335。在至少一个实施例中，扬声器1363、耳机1364和麦克风(“mic”)1365可以通信地耦合到音频单元(“音频编解码器和D类放大器”)1362，其又可以通信地耦合到DSP 1360。在至少一个实施例中，音频单元1362可以包括例如但不限于音频编码器/解码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”)1357可以通信地耦合到WWAN单元1356。在至少一个实施例中，组件(诸如WLAN单元1350和蓝牙单元1352以及WWAN单元1356)可以被实现为下一代形式因素(NGFF)。

图14示出了根据至少一个实施例的示例性集成电路1400。在至少一个实施例中，示例性集成电路1400是SoC，其可使用一个或更多个IP核心制造。在至少一个实施例中，集成电路1400包括一个或更多个应用处理器1405(例如，CPU)、至少一个图形处理器1410，并且可以另外包括图像处理器1415和/或视频处理器1420，其中任意一个可能是模块化IP核心。在至少一个实施例中，集成电路1400包括外围或总线逻辑，其包括USB控制器1425、UART控制器1430、SPI/SDIO控制器1435和I

图15示出了根据至少一个实施例的计算系统1500。在至少一个实施例中，计算系统1500包括处理子系统1501，其具有经由可以包括存储器集线器1505的互连路径通信的一个或更多个处理器1502和系统存储器1504。在至少一个实施例中，存储器集线器1505可以是芯片组组件内的单独组件，也可以集成在一个或更多个处理器1502内。在至少一个实施例中，存储器集线器1505通过通信链路1506与I/O子系统1511耦合。在至少一个实施例中，I/O子系统1511包括I/O集线器1507，其可以使计算系统1500能够接收来自一个或更多个输入设备1508的输入。在至少一个实施例中，I/O集线器1507可以使能显示控制器，其包括在一个或更多个处理器1502中，用于向一个或更多个显示设备1510A提供输出。在至少一个实施例中，与I/O集线器1507耦合的一个或更多个显示设备1510A可以包括本地、内部或嵌入式显示设备。

在至少一个实施例中，处理子系统1501包括经由总线或其他通信链路1513耦合到存储器集线器1505的一个或更多个并行处理器1512。在至少一个实施例中，通信链路1513可以是许多基于标准的通信链路技术或协议中的一种，例如但不限于PCIe，或者可以是针对供应商的通信接口或通信结构。在至少一个实施例中，一个或更多个并行处理器1512形成计算集中的并行或向量处理系统，该系统可以包括大量的处理核心和/或处理集群，例如多集成核心(MIC)处理器。在至少一个实施例中，一个或更多个并行处理器1512形成可以将像素输出到经由I/O集线器1507耦合的一个或更多个显示设备1510A之一的图形处理子系统。在至少一个实施例中，一个或更多个并行处理器1512还可以包括显示控制器和显示接口(未示出)，以使得能够直接连接到一个或更多个显示设备1510B。

在至少一个实施例中，系统存储单元1514可以连接到I/O集线器1507，以提供用于计算系统1500的存储机制。在至少一个实施例中，I/O交换机1516可以用于提供接口机制，以实现I/O集线器1507与其他组件之间的连接，例如可以集成到平台中的网络适配器1518和/或无线网络适配器1519，以及可以通过一个或更多个附加设备1520添加的各种其他设备。在至少一个实施例中，网络适配器1518可以是以太网适配器或另一有线网络适配器。在至少一个实施例中，无线网络适配器1519可以包括Wi-Fi、蓝牙、NFC的一个或更多个或其他包括一个或更多个无线电的网络设备。

在至少一个实施例中，计算系统1500可以包括未明确示出的其他组件，包括USB或其他端口连接、光存储驱动器、视频捕获设备等，也可以连接到I/O集线器1507。在至少一个实施例中，对图15中的各个组件进行互连的通信路径可以使用任何合适的协议来实现，诸如基于PCI(外围组件互连)的协议(例如，PCIe)，或其他总线或点对点通信接口和/或协议(例如，NVLink高速互连或互连协议)。

在至少一个实施例中，一个或更多个并行处理器1512包括针对图形和视频处理而优化的电路(包括例如视频输出电路)，并构成图形处理单元(GPU)。在至少一个实施例中，一个或更多个并行处理器1512包括针对通用处理而优化的电路。在至少一个实施例中，计算系统1500的组件可以与单个集成电路上的一个或更多个其他系统元件集成。例如，在至少一个实施例中，一个或更多个并行处理器1512、存储器集线器1505、处理器1502和I/O集线器1507可以被集成到片上系统(SoC)集成电路中。在至少一个实施例中，计算系统1500的组件可以被集成到单个封装中以形成系统级封装(SIP)配置。在至少一个实施例中，计算系统1500的组件的至少一部分可以被集成到多芯片模块(MCM)中，该多芯片模块可以与其他多芯片模块互连到模块化计算系统中。在至少一个实施例中，从计算系统1500中省略了I/O子系统1511和显示设备1510B。

处理系统

以下各图阐述了但不限于可用于实现至少一个实施例的示例性处理系统。

图16示出了根据至少一个实施例的加速处理单元(“APU”)1600。在至少一个实施例中，APU 1600由加利福尼亚州圣克拉拉市的AMD公司开发。在至少一个实施例中，APU1600可以被配置为执行应用程序，诸如CUDA程序。在至少一个实施例中，APU 1600包括但不限于核心复合体1610、图形复合体1640、结构1660、I/O接口1670、存储器控制器1680、显示控制器1692和多媒体引擎1694。在至少一个实施例中，APU 1600可以包括但不限于任意数量的核心复合体1610、任意数量的图形复合体1640、任意数量的显示控制器1692和任意数量的多媒体引擎1694的任何组合。为了说明的目的，在本文中用附图标记表示相似对象的多个实例，其中附图标记标识该对象，并且括号中的数字标识所需要的实例。

在至少一个实施例中，核心复合体1610是CPU，图形复合体1640是GPU，并且APU1600是将不限于1610和1640集成到单个芯片上的处理单元。在至少一个实施例中，一些任务可以被分配给核心复合体1610，而其他任务可以被分配给图形复合体1640。在至少一个实施例中，核心复合体1610被配置为执行与APU 1600相关联的主控制软件，例如操作系统。在至少一个实施例中，核心复合体1610是APU 1600的主处理器，其控制和协调其他处理器的操作。在至少一个实施例中，核心复合体1610发出控制图形复合体1640的操作的命令。在至少一个实施例中，核心复合体1610可以被配置为执行从CUDA源代码派生的主机可执行代码，并且图形复合体1640可以被配置为执行从CUDA源代码派生的设备可执行代码。

在至少一个实施例中，核心复合体1610包括但不限于核心1620(1)-1620(4)和L3高速缓存1630。在至少一个实施例中，核心复合体1610可以包括但不限于任意数量的核心1620以及任意数量和类型的高速缓存的任何组合。在至少一个实施例中，核心1620被配置为执行特定指令集架构(“ISA”)的指令。在至少一个实施例中，每个核心1620是CPU核心。

在至少一个实施例中，每个核心1620包括但不限于获取/解码单元1622，整数执行引擎1624，浮点执行引擎1626和L2高速缓存1628。在至少一个实施例中，获取/解码单元1622获取指令，对这些指令进行解码，生成微操作，并将单独的微指令分派给整数执行引擎1624和浮点执行引擎1626。在至少一个实施例中，获取/解码单元1622可以同时分派一个微指令到整数执行引擎1624和另一微指令到浮点执行引擎1626。在至少一个实施例中，整数执行引擎1624执行不限于整数和存储器操作。在至少一个实施例中，浮点引擎1626执行不限于浮点和向量运算。在至少一个实施例中，获取-解码单元1622将微指令分派给单个执行引擎，该执行引擎代替整数执行引擎1624和浮点执行引擎1626两者。

在至少一个实施例中，每个核心1620(i)可以访问包括在核心1620(i)中的L2高速缓存1628(i)，其中i是表示核心1620的特定实例的整数。在至少一个实施例中，包括在核心复合体1610(j)中的每个核心1620经由包括在核心复合体1610(j)中的L3高速缓存1630(j)连接到包括在核心复合体1610(j)中的其他核心1620，其中j是表示核心复合体1610的特定实例的整数。在至少一个实施例中，包括在核心复合体1610(j)中的核心1620可以访问包括在核心复合体1610(j)中的所有L3高速缓存1630(j)，其中j是表示核心复合体1610的特定实例的整数。在至少一个实施例中，L3高速缓存1630可以包括但不限于任意数量的切片(slice)。

在至少一个实施例中，图形复合体1640可以被配置为以高度并行的方式执行计算操作。在至少一个实施例中，图形复合体1640被配置为执行图形管线操作，诸如绘制命令、像素操作、几何计算以及与将图像渲染至显示器相关联的其他操作。在至少一个实施例中，图形复合体1640被配置为执行与图形无关的操作。在至少一个实施例中，图形复合体1640被配置为执行与图形有关的操作和与图形无关的操作。

在至少一个实施例中，图形复合体1640包括但不限于任意数量的计算单元1650和L2高速缓存1642。在至少一个实施例中，计算单元1650共享L2高速缓存1642。在至少一个实施例中，L2高速缓存1642被分区。在至少一个实施例中，图形复合体1640包括但不限于任意数量的计算单元1650以及任意数量(包括零)和类型的高速缓存。在至少一个实施例中，图形复合体1640包括但不限于任意数量的专用图形硬件。

在至少一个实施例中，每个计算单元1650包括但不限于任意数量的SIMD单元1652和共享存储器1654。在至少一个实施例中，每个SIMD单元1652实现SIMD架构并且被配置为并行执行操作。在至少一个实施例中，每个计算单元1650可以执行任意数量的线程块，但是每个线程块在单个计算单元1650上执行。在至少一个实施例中，线程块包括但不限于任意数量的执行线程。在至少一个实施例中，工作组是线程块。在至少一个实施例中，每个SIMD单元1652执行不同的线程束(warp)。在至少一个实施例中，线程束是一组线程(例如16个线程)，其中线程束中的每个线程属于单个线程块，并且被配置为基于单个指令集来处理不同的数据集。在至少一个实施例中，可以使用预测(predication)来禁用线程束中的一个或更多个线程。在至少一个实施例中，通道是线程。在至少一个实施例中，工作项是线程。在至少一个实施例中，波前是线程束。在至少一个实施例中，线程块中的不同波前可一起同步并经由共享存储器1654进行通信。

在至少一个实施例中，结构1660是系统互连，其促进跨核心复合体1610、图形复合体1640、I/O接口1670、存储器控制器1680、显示控制器1692和多媒体引擎1694的数据和控制传输。在至少一个实施例中，除了结构1660之外或代替结构1660，APU 1600还可以包括但不限于任意数量和类型的系统互连，该结构1660促进跨可以在APU 1600内部或外部的任意数量和类型的直接或间接链接的组件的数据和控制传输。在至少一个实施例中，I/O接口1670表示任意数量和类型的I/O接口(例如，PCI，PCI-Extended(“PCI-X”)，PCIe，千兆以太网(“GBE”)，USB等)。在至少一个实施例中，各种类型的外围设备耦合到I/O接口1670。在至少一个实施例中，耦合到I/O接口1670的外围设备可以包括但不限于键盘，鼠标，打印机，扫描仪，操纵杆或其他类型的游戏控制器、媒体记录设备、外部存储设备、网络接口卡等。

在至少一个实施例中，显示控制器AMD92在一个或更多个显示设备(例如液晶显示器(LCD)设备)上显示图像。在至少一个实施例中，多媒体引擎240包括但不限于任意数量和类型的与多媒体相关的电路，例如视频解码器、视频编码器、图像信号处理器等。在至少一个实施例中，存储器控制器1680促进APU 1600与统一系统存储器1690之间的数据传输。在至少一个实施例中，核心复合体1610和图形复合体1640共享统一系统存储器1690。

在至少一个实施例中，APU 1600实现种存储器子系统，其包括但不限于任意数量和类型的存储器控制器1680和可以专用于一个组件或在多个组件之间共享的存储器设备(例如，共享存储器1654)。组件。在至少一个实施例中，APU 1600实现高速缓存子系统，其包括但不限于一个或更多个高速缓存存储器(例如，L2高速缓存1628，L3高速缓存1630和L2高速缓存1642)，每个高速缓存存储器可以是组件私有的或在任意数量的组件(例如，核心1620，核心复合体1610，SIMD单元1652，计算单元1650和图形复合体1640)之间共享。

图17示出了根据至少一个实施例的CPU 1700。在至少一个实施例中，CPU 1700由加利福尼亚州圣克拉拉市的AMD公司开发。在至少一个实施例中，CPU 1700可以被配置为执行应用程序。在至少一个实施例中，CPU 1700被配置为执行主控制软件，例如操作系统。在至少一个实施例中，CPU 1700发出控制外部GPU(未示出)的操作的命令。在至少一个实施例中，CPU 1700可以被配置为执行从CUDA源代码派生的主机可执行代码，并且外部GPU可以被配置为执行从这种CUDA源代码派生的设备可执行代码。在至少一个实施例中，CPU 1700包括但不限于任意数量的核心复合体1710，结构1760，I/O接口1770和存储器控制器1780。

在至少一个实施例中，核心复合体1710包括但不限于核心1720(1)-1720(4)和L3高速缓存1730。在至少一个实施例中，核心复合体1710可以包括但不限于任意数量的核心1720以及任意数量和类型的高速缓存的任何组合。在至少一个实施例中，核心1720被配置为执行特定ISA的指令。在至少一个实施例中，每个核心1720是CPU核心。

在至少一个实施例中，每个核心1720包括但不限于获取/解码单元1722，整数执行引擎1724，浮点执行引擎1726和L2高速缓存1728。在至少一个实施例中，获取/解码单元1722获取指令，对这些指令进行解码，生成微操作，并将单独的微指令分派给整数执行引擎1724和浮点执行引擎1726。在至少一个实施例中，获取/解码单元1722可以同时分派一个微指令至整数执行引擎1724和另一微指令至浮点执行引擎1726。在至少一个实施例中，整数执行引擎1724执行不限于整数和存储器操作。在至少一个实施例中，浮点引擎1726执行不限于浮点和向量运算。在至少一个实施例中，获取-解码单元1722将微指令分派给单个执行引擎，该引擎代替整数执行引擎1724和浮点执行引擎1726两者。

在至少一个实施例中，每个核心1720(i)可以访问包括在核心1720(i)中的L2高速缓存1728(i)，其中i是表示核心1720的特定实例的整数。在至少一个实施例中，包括在核心复合体1710(j)中的每个核心1720经由包括在核心复合体1710(j)中的L3高速缓存1730(j)连接到核心复合体1710(j)中的其他核心1720，其中j是表示核心复合体1710的特定实例的整数。在至少一个实施例中，包括在核心复合体1710(j)中的核心1720可以访问包括在核心复合体1710(j)中的所有L3高速缓存1730(j)，其中j是表示核心复合体1710的特定实例的整数。在至少一个实施例中，L3高速缓存1730可以包括但不限于任意数量的切片。

在至少一个实施例中，结构1760是系统互连，其促进跨核心复合体1710(1)-1710(N)(其中N是大于零的整数)、I/O接口1770和存储器控制器1780的数据和控制传输。在至少一个实施例中，除了结构1760之外或代替结构1760，CPU 1700还可以包括但不限于任意数量和类型的系统互连，该结构1760促进跨可以在CPU 1700内部或外部的任意数量和类型的直接或间接链接的组件的数据和控制传输。在至少一个实施例中，I/O接口1770表示任意数量和类型的I/O接口(例如PCI，PCI-X，PCIe，GBE，USB等)。在至少一个实施例中，各种类型的外围设备耦合到I/O接口1770。在至少一个实施例中，耦合到I/O接口1770的外围设备可以包括但不限于显示器，键盘，鼠标，打印机，扫描仪，操纵杆或其他类型的游戏控制器、媒体记录设备、外部存储设备、网络接口卡等。

在至少一个实施例中，存储器控制器1780促进CPU 1700与系统存储器1790之间的数据传输。在至少一个实施例中，核心复合体1710和图形复合体1740共享系统存储器1790。在至少一个实施例中，CPU 1700实现存储器子系统，其包括但不限于任意数量和类型的存储器控制器1780和可以专用于一个组件或在多个组件之间共享的存储器设备。在至少一个实施例中，CPU 1700实现了高速缓存子系统，其包括但不限于一个或更多个高速缓存存储器(例如，L2高速缓存1728和L3高速缓存1730)，每个高速缓存存储器可以是组件私有的或在任意数量的组件(例如，核心1720和核心复合体1710)之间共享。

图18示出了根据至少一个实施例的示例性加速器集成切片1890。如本文所使用的，“切片”包括加速器集成电路的处理资源的指定部分。在至少一个实施例中，加速器集成电路代表多个图形加速模块种的多个图形处理引擎提供高速缓存管理、存储器访问、环境管理和中断管理服务。图形处理引擎可以各自包括单独的GPU。可选地，图形处理引擎可包括GPU内的不同类型的图形处理引擎，例如图形执行单元、媒体处理引擎(例如，视频编码器/解码器)、采样器和blit引擎。在至少一个实施例中，图形加速模块可以是具有多个图形处理引擎的GPU。在至少一个实施例中，图形处理引擎可以是集成在通用封装、线卡或芯片上的各个GPU。

系统存储器1814内的应用程序有效地址空间1882存储进程元素1883。在一个实施例中，响应于来自处理器1807上执行的应用程序1880的GPU调用1881而存储进程元素1883。进程元素1883包含对应应用程序1880的处理状态。包含在进程元素1883中的工作描述符(WD)1884可以是应用程序请求的单个作业或可能包含指向作业队列的指针。在至少一个实施例中，WD 1884是指向应用程序有效地址空间1882中的作业请求队列的指针。

图形加速模块1846和/或各个图形处理引擎可以由系统中的全部或部分进程共享。在至少一个实施例中，可以包括用于建立处理状态并将WD 1884发送到图形加速模块1846以在虚拟化环境中开始作业的基础设施。

在至少一个实施例中，专用进程编程模型是针对实现的。在该模型中，单个进程拥有图形加速模块1846或个体图形处理引擎。由于图形加速模块1846由单个进程拥有，因此管理程序为拥有的分区初始化加速器集成电路，并且当分配图形加速模块1846时操作系统对加速器集成电路进行初始化以用于拥有的分区。

在操作中，加速器集成切片1890中的WD获取单元1891获取下一个WD 1884，其中包括要由图形加速模块1846的一个或更多个图形处理引擎完成的工作的指示。来自WD 1884的数据可以存储在寄存器1845被存储器管理单元(MMU)1839、中断管理电路1847和/或环境管理电路1848使用，如图所示。例如，MMU 1839的一个实施例包括用于访问OS虚拟地址空间1885内的段/页表1886的段/页面漫游电路。中断管理电路1847可以处理从图形加速模块1846接收到的中断事件(INT)1892。当执行图操作时，由图形处理引擎产生的有效地址1893由MMU 1839转换为实际地址。

在一个实施例中，为每个图形处理引擎和/或图形加速模块1846复制相同的寄存器组1845，并且可以由系统管理程序或操作系统来初始化。这些复制的寄存器中的每一个都可以包含在加速器集成切片1890中。表1中显示了可由管理程序初始化的示例性寄存器。

表1–管理程序初始化的寄存器

表2中示出了可以由操作系统初始化的示例性寄存器。

表2–操作系统初始化寄存器

在一个实施例中，每个WD 1884特定于特定的图形加速模块1846和/或特定图形处理引擎。它包含图形处理引擎进行工作或工作所需的所有信息，或者它可以是指向存储器位置的指针，其中应用程序建立了要完成的工作的命令队列。

图19A-19B示出了根据本文至少一个实施例的示例性图形处理器。在至少一个实施例中，任何示例性图形处理器可以使用一个或更多个IP核心来制造。除了图示之外，在至少一个实施例中可以包括其他逻辑和电路，包括附加的图形处理器/核心、外围接口控制器或通用处理器核心。在至少一个实施例中，示例性图形处理器用于SoC内。

图19A示出了根据至少一个实施例的SoC集成电路的示例性图形处理器1910，其可以使用一个或更多个IP核心来制造。图19B示出了根据至少一个实施例的SoC集成电路的的附加示例性图形处理器1940，其可以使用一个或更多个IP核心来制造。在至少一个实施例中，图19A的图形处理器1910是低功耗图形处理器核心。在至少一个实施例中，图19B的图形处理器1940是更高性能的图形处理器核心。在至少一个实施例中，每个图形处理器1910、1940可以是图14的图形处理器1410的变体。

在至少一个实施例中，图形处理器1910包括顶点处理器1905和一个或更多个片段处理器1915A-1915N(例如1915A、1915B、1915C、1915D至1915N-1和1915N)。在至少一个实施例中，图形处理器1910可以经由单独的逻辑来执行不同的着色器程序，使得顶点处理器1905被优化以执行针对顶点着色器程序的操作，而一个或更多个片段处理器1915A-1915N执行片段(例如，像素)着色操作用于片段或像素或着色器程序。在至少一个实施例中，顶点处理器1905执行3D图形管线的顶点处理阶段并生成图元和顶点数据。在至少一个实施例中，片段处理器1915A-1915N使用由顶点处理器1905生成的图元和顶点数据来生成在显示设备上显示的帧缓冲区。在至少一个实施例中，片段处理器1915A-1915N被优化以执行如在OpenGL API中所提供的片段着色器程序，其可以用于执行与在Direct 3D API中所提供的像素着色器程序类似的操作。

在至少一个实施例中，图形处理器1910附加地包括一个或更多个MMU1920A-1920B、高速缓存1925A-1925B和电路互连1930A-1930B。在至少一个实施例中，一个或更多个MMU 1920A-1920B提供用于图形处理器1910的虚拟到物理地址的映射，包括用于顶点处理器1905和/或片段处理器1915A-1915N，其可以引用存储在存储器中的顶点或图像/纹理数据，除了存储在一个或更多个高速缓存1925A-1925B中的顶点或图像/纹理数据之外。在至少一个实施例中，一个或更多个MMU 1920A-1920B可以与系统内的其他MMU同步，包括与图14的一个或更多个应用处理器1405、图像处理器1415和/或视频处理器1420相关联的一个或更多个MMU，使得每个处理器1405-1420可以参与共享或统一的虚拟存储器系统。在至少一个实施例中，一个或更多个电路互连1930A-1930B使图形处理器1910能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核心相连接。

在至少一个实施例中，图形处理器1940包括图19A的图形处理器1910的一个或更多个MMU 1920A-1920B、高速缓存1925A-1925B和电路互连1930A-1930B。在至少一个实施例中，图形处理器1940包括一个或更多个着色器核心1955A-1955N(例如，1955A、1955B、1955C、1955D、1955E、1955F、至1955N-1和1955N)，其提供了统一的着色器核心架构，其中单个核心或类型或核心可以执行所有类型的可编程着色器代码，包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。在至少一个实施例中，多个着色器核心可以变化。在至少一个实施例中，图形处理器1940包括核心间任务管理器1945，其充当线程分派器以将执行线程分派给一个或更多个着色器核心1955A-1955N和分块单元1958，以加速基于图块渲染的分块操作，其中在图像空间中细分了场景的渲染操作，例如，以利用场景内的局部空间一致性或优化内部缓存的使用。

图20A示出了根据至少一个实施例的图形核心2000。在至少一个实施例中，图形核心2000可以包括在图14的图形处理器1410内。在至少一个实施例中，图形核心2000可以是图19B中统一的着色器核心1955A-1955N。在至少一个实施例中，图形核心2000包括共享指令高速缓存2002、纹理单元2018和高速缓存/共享存储器2020，它们是图形核心2000内的执行资源所共有的。在至少一个实施例中，图形核心2000可以包括多个切片(slice)2001A-2001N或每个核心的分区，图形处理器可以包括图形核心2000的多个实例。切片2001A-2001N可以包括支持逻辑，该支持逻辑包括本地指令高速缓存2004A-2004N、线程调度器2006A-2006N、线程分派器2008A-2008N和一组寄存器2010A-2010N。在至少一个实施例中，切片2001A-2001N可以包括一组附加功能单元(AFU)2012A-2012N、浮点单元(FPU)2014A-2014N、整数算术逻辑单元(ALU)2016A-2016N、地址计算单元(ACU)2013A-2013N、双精度浮点单元(DPFPU)2015A-2015N和矩阵处理单元(MPU)2017A-2017N。

在一个实施例中，FPU 2014A-2014N可以执行单精度(32位)和半精度(16位)浮点运算，而DPFPU 2015A-2015N可以执行双精度(64位)浮点运算点操作。在至少一个实施例中，ALU 2016A-2016N可以以8位、16位和32位精度执行可变精度整数运算，并且可以被配置用于混合精度运算。在至少一个实施例中，MPU 2017A-2017N还可被配置用于混合精度矩阵运算，包括半精度浮点运算和8位整数运算。在至少一个实施例中，MPU 2017A-2017N可以执行各种矩阵操作以加速CUDA程序，包括使得能够支持加速的通用矩阵到矩阵乘法(GEMM)。在至少一个实施例中，AFU 2012A-2012N可以执行浮点数或整数单元不支持的附加逻辑运算，包括三角运算(例如，Sine、Cosine等)。

图20B示出了在至少一个实施例中的通用图形处理单元(GPGPU)2030。在至少一个实施例中，GPGPU 2030是高度并行的并且适合于部署在多芯片模块上。在至少一个实施例中，GPGPU2030可以被配置为使得高度并行的计算操作能够由GPU阵列来执行。在至少一个实施例中，GPGPU2030可以直接链路到GPGPU 2030的其他实例，以创建多GPU集群以提高用于CUDA程序的执行时间。在至少一个实施例中，GPGPU 2030包括主机接口2032以实现与主机处理器的连接。在至少一个实施例中，主机接口2032是PCIe接口。在至少一个实施例中，主机接口2032可以是厂商专用的通信接口或通信结构。在至少一个实施例中，GPGPU 2030从主机处理器接收命令，并使用全局调度器2034将与那些命令相关联的执行线程分派给一组计算集群2036A-2036H。在至少一个实施例中，计算集群2036A-2036H共享高速缓存存储器2038。在至少一个实施例中，高速缓存存储器2038可以用作计算集群2036A-2036H内的高速缓存存储器的高级高速缓存。

在至少一个实施例中，GPGPU 2030包括经由一组存储器控制器2042A-2042B与计算集群2036A-2036H耦合的存储器2044A-2044B。在至少一个实施例中，存储器2044A-2044B可以包括各种类型的存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器，例如同步图形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR)存储器。

在至少一个实施例中，计算集群2036A-2036H各自包括一组图形核心，诸如图20A的图形核心2000，其可以包括多种类型的整数和浮点逻辑单元，可以以各种精度执行计算操作，包括适合与CUDA程序相关的计算。例如，在至少一个实施例中，每个计算集群2036A-2036H中的浮点单元的至少一个子集可以配置为执行16位或32位浮点运算，而不同的浮点单元的子集可以配置为执行64位浮点运算。

在至少一个实施例中，GPGPU 2030的多个实例可以被配置为操作为计算集群。计算集群2036A-2036H可以实现用于同步和数据交换的任何技术上可行的通信技术。在至少一个实施例中，GPGPU 2030的多个实例通过主机接口2032进行通信。在至少一个实施例中，GPGPU 2030包括I/O集线器2039，其将GPGPU 2030与GPU链路2040耦合，使得能够直接连接至GPGPU2030的其他的实例。在至少一个实施例中，GPU链路2040耦合到专用GPU到GPU桥接器，其使得能够在GPGPU 2030的多个实例之间进行通信和同步。在至少一个实施例中，GPU链路2040与高速互连耦合，以向其他GPGPU或并行处理器发送和接收数据。在至少一个实施例中，GPGPU2030的多个实例位于单独的数据处理系统中，并经由可经由主机接口2032访问的网络设备进行通信。在至少一个实施例中，GPU链路2040可被配置为能够连接到主机处理器，附加或替代主机接口2032。在至少一个实施例中，GPGPU 2030可以配置为执行CUDA程序。

图21A示出了根据至少一个实施例的并行处理器2100。在至少一个实施例中，并行处理器2100的各种组件可以使用一个或更多个集成电路设备来实现，例如可编程处理器、专用集成电路(ASIC)或FPGA。

在至少一个实施例中，并行处理器2100包括并行处理单元2102。在至少一个实施例中，并行处理单元2102包括I/O单元2104，其使得能够与其他设备进行通信，包括并行处理单元2102的其他实例。在至少一个实施例中，I/O单元2104可以直接连接到其他设备。在至少一个实施例中，I/O单元2104通过使用集线器或交换机接口(例如，存储器集线器2105)与其他设备连接。在至少一个实施例中，存储器集线器2105与I/O单元2104之间的连接形成通信链路。在至少一个实施例中，I/O单元2104与主机接口2106和存储器交叉开关2116连接，其中主机接口2106接收用于执行处理操作的命令，而存储器交叉开关2116接收用于执行存储器操作的命令。

在至少一个实施例中，当主机接口2106经由I/O单元2104接收命令缓冲区时，主机接口2106可以引导工作操作以执行那些命令到前端2108。在至少一个实施例中，前端2108与调度器2110耦合，调度器2110配置成将命令或其他工作项分配给处理阵列2112。在至少一个实施例中，调度器2110确保在将任务分配给处理阵列2112中的处理阵列2112之前，处理阵列2112被正确地配置并且处于有效状态。在至少一个实施例中，调度器2110通过在微控制器上执行的固件逻辑来实现。在至少一个实施例中，微控制器实现的调度器2110可配置成以粗粒度和细粒度执行复杂的调度和工作分配操作，从而实现对在处理阵列2112上执行的线程的快速抢占和环境切换。在至少一个实施例中，主机软件可以证明用于通过多个图形处理门铃之一在处理阵列2112上进行调度的工作负载。在至少一个实施例中，工作负载然后可以由包括调度器2110的微控制器内的调度器2110逻辑在处理阵列2112上自动分配。

在至少一个实施例中，处理阵列2112可以包括多达“N”个处理集群(例如，集群2114A、集群2114B到集群2114N)。在至少一个实施例中，处理阵列2112的每个集群2114A-2114N可以执行大量并发线程。在至少一个实施例中，调度器2110可以使用各种调度和/或工作分配算法将工作分配给处理阵列2112的集群2114A-2114N，其可以根据每种程序或计算类型产生的工作负载而变化。在至少一个实施例中，调度可以由调度器2110动态地处理，或者可以在配置为由处理阵列2112执行的程序逻辑的编译期间部分地由编译器逻辑来辅助。在至少一个实施例中，可将处理阵列2112的不同的集群2114A-2114N分配用于处理不同类型的程序或用于执行不同类型的计算。

在至少一个实施例中，处理阵列2112可以配置成执行各种类型的并行处理操作。在至少一个实施例中，处理阵列2112配置成执行通用并行计算操作。例如，在至少一个实施例中，处理阵列2112可以包括执行处理任务的逻辑，该处理任务包括对视频和/或音频数据的过滤，执行建模操作，包括物理操作以及执行数据转换。

在至少一个实施例中，处理阵列2112配置成执行并行图形处理操作。在至少一个实施例中，处理阵列2112可以包括附加逻辑以支持这种图形处理操作的执行，包括但不限于执行纹理操作的纹理采样逻辑，以及镶嵌逻辑和其他顶点处理逻辑。在至少一个实施例中，处理阵列2112可以配置成执行与图形处理有关的着色器程序，例如但不限于顶点着色器、曲面细分着色器、几何着色器和像素着色器。在至少一个实施例中，并行处理单元2102可以经由I/O单元2104从系统存储器传送数据以进行处理。在至少一个实施例中，在处理期间，可以在处理期间将传送的数据存储到片上存储器(例如，并行处理器存储器2122)，然后将其写回到系统存储器。

在至少一个实施例中，当并行处理单元2102用于执行图处理时，调度器2110可以配置成将处理工作负载划分为近似相等大小的任务，以更好地将图形处理操作分配给处理阵列2112的多个集群2114A-2114N。在至少一个实施例中，处理阵列2112的部分可以配置成执行不同类型的处理。例如，在至少一个实施例中，第一部分可以配置成执行顶点着色和拓扑生成，第二部分可以配置成执行镶嵌和几何着色，并且第三部分可以配置成执行像素着色或其他屏幕空间操作，以生成用于显示的渲染图像。在至少一个实施例中，可以将由集群2114A-2114N中的一个或更多个产生的中间数据存储在缓冲区中，以允许在集群2114A-2114N之间传输中间数据以进行进一步处理。

在至少一个实施例中，处理阵列2112可以经由调度器2110接收要执行的处理任务，该调度器2110从前端2108接收定义处理任务的命令。在至少一个实施例中，处理任务可以包括要被处理的数据的索引，例如可以包括表面(补丁)数据、原始数据、顶点数据和/或像素数据，以及状态参数和定义如何处理数据的命令(例如，要执行什么程序)。在至少一个实施例中，调度器2110可以配置成获取与任务相对应的索引，或者可以从前端2108接收索引。在至少一个实施例中，前端2108可以配置成确保在启动由传入命令缓冲区(例如，批缓冲区(batch-buffer)、推送缓冲区等)指定的工作负载之前，处理阵列2112配置成有效状态。

在至少一个实施例中，并行处理单元2102的一个或更多个实例中的每一个可以与并行处理器存储器2122耦合。在至少一个实施例中，可以经由存储器交叉开关2116访问并行处理器存储器2122，所述存储器交叉开关2116可以接收来自处理阵列2112以及I/O单元2104的存储器请求。在至少一个实施例中，存储器交叉开关2116可以经由存储器接口2118访问并行处理器存储器2122。在至少一个实施例中，存储器接口2118可以包括多个分区单元(例如，分区单元2120A、分区单元2120B到分区单元2120N)，其可各自耦合至并行处理器存储器2122的一部分(例如，存储器单元)。在至少一个实施例中，多个分区单元2120A-2120N为配置为等于存储器单元的数量，使得第一分区单元2120A具有对应的第一存储器单元2124A，第二分区单元2120B具有对应的存储器单元2124B，第N分区单元2120N具有对应的第N存储器单元2124N。在至少一个实施例中，分区单元2120A-2120N的数量可以不等于存储器设备的数量。

在至少一个实施例中，存储器单元2124A-2124N可以包括各种类型的存储器设备，包括动态随机存取存储器(DRAM)或图形随机存取存储器，例如同步图形随机存取存储器(SGRAM)，包括图形双倍数据速率(GDDR)存储器。在至少一个实施例中，存储器单元2124A-2124N还可包括3D堆叠存储器，包括但不限于高带宽存储器(HBM)。在至少一个实施例中，可以跨存储器单元2124A-2124N来存储诸如帧缓冲区或纹理映射的渲染目标，从而允许分区单元2120A-2120N并行地写入每个渲染目标的部分，以有效地使用并行处理器存储器2122的可用带宽。在至少一个实施例中，可以排除并行处理器存储器2122的本地实例，以有利于利用系统存储器与本地高速缓存存储器结合的统一存储器设计。

在至少一个实施例中，处理阵列2112的集群2114A-2114N中的任何一个都可以处理将被写入并行处理器存储器2122内的任何存储器单元2124A-2124N中的数据。在至少一个实施例中，存储器交叉开关2116可以配置为将每个集群2114A-2114N的输出传输到任何分区单元2120A-2120N或另一个集群2114A-2114N，集群2114A-2114N可以对输出执行其他处理操作。在至少一个实施例中，每个集群2114A-2114N可以通过存储器交叉开关2116与存储器接口2118通信，以从各种外部存储设备读取或写入各种外部存储设备。在至少一个实施例中，存储器交叉开关2116具有到存储器接口2118的连接以与I/O单元2104通信，以及到并行处理器存储器2122的本地实例的连接，从而使不同处理集群2114A-2114N内的处理单元与系统存储器或不是并行处理单元2102本地的其他存储器进行通信。在至少一个实施例中，存储器交叉开关2116可以使用虚拟通道来分离集群2114A-2114N和分区单元2120A-2120N之间的业务流。

在至少一个实施例中，可以在单个插入卡上提供并行处理单元2102的多个实例，或者可以将多个插入卡互连。在至少一个实施例中，并行处理单元2102的不同实例可以配置成相互操作，即使不同实例具有不同数量的处理核心，不同数量的本地并行处理器存储器和/或其他配置差异。例如，在至少一个实施例中，并行处理单元2102的一些实例可以包括相对于其他实例而言更高精度的浮点单元。在至少一个实施例中，结合并行处理单元2102或并行处理器2100的一个或更多个实例的系统可以以各种配置和形式因素来实现，包括但不限于台式机、膝上型计算机或手持式个人计算机、服务器、工作站、游戏机和/或嵌入式系统。

图21B示出了根据至少一个实施例的处理集群2194。在至少一个实施例中，处理集群2194被包括在并行处理单元内。在至少一个实施例中，处理集群2194是图21的处理集群2114A-2114N之一的实例。在至少一个实施例中，处理集群2194可以配置成并行执行许多线程，其中术语“线程”是指在特定的一组输入数据上执行的特定程序的实例。在至少一个实施例中，单指令多数据(SIMD)指令发布技术用于支持大量线程的并行执行而无需提供多个独立的指令单元。在至少一个实施例中，使用单指令多线程(SIMT)技术来支持并行执行大量一般同步的线程，这使用了公共指令单元，该公共指令单元配置成向每个处理集群2194内的一组处理引擎发出指令。

在至少一个实施例中，可以通过将处理任务分配给SIMT并行处理器的管线管理器2132来控制处理集群2194的操作。在至少一个实施例中，管线管理器2132从图21的调度器2110接收指令，通过图形多处理器2134和/或纹理单元2136管理这些指令的执行。在至少一个实施例中，图形多处理器2134是SIMT并行处理器的示例性实例。然而，在至少一个实施例中，处理集群2194内可以包括不同架构的各种类型的SIMT并行处理器。在至少一个实施例中，在处理集群2194内可以包括图形多处理器2134的一个或更多个实例。在至少一个实施例中，图形多处理器2134可以处理数据，并且数据交叉开关2140可以用于将处理后的数据分发到多个可能的目的(包括其他着色器单元)地之一。在至少一个实施例中，管线管理器2132可以通过指定要经由数据交叉开关2140分配的处理后的数据的目的地来促进处理后的数据的分配。

在至少一个实施例中，处理集群2194内的每个图形多处理器2134可以包括相同的一组功能执行逻辑(例如，算术逻辑单元、加载存储单元(LSU)等)。在至少一个实施例中，可以以管线方式配置功能执行逻辑，其中可以在先前的指令完成之前发出新的指令。在至少一个实施例中，功能执行逻辑支持多种运算，包括整数和浮点算术、比较操作、布尔运算、移位和各种代数函数的计算。在至少一个实施例中，可以利用相同的功能单元硬件来执行不同的操作，并且可以存在功能单元的任何组合。

在至少一个实施例中，传送到处理集群2194的指令构成线程。在至少一个实施例中，跨一组并行处理引擎执行的一组线程是线程组。在至少一个实施例中，线程组在不同的输入数据上执行程序。在至少一个实施例中，线程组内的每个线程可被分配给图形多处理器2134内的不同处理引擎。在至少一个实施例中，线程组可包括比图形多处理器2134内的多个处理引擎更少的线程。在至少一个实施例中，当线程组包括的线程数少于处理引擎的数量时，一个或更多个处理引擎在正在处理该线程组的循环期间可能是空闲的。在至少一个实施例中，线程组还可以包括比图形多处理器2134内的多个处理引擎更多的线程。在至少一个实施例中，当线程组包括比图形多处理器2134内的处理引擎的数量更多的线程时，可以在连续的时钟周期内执行处理。在至少一个实施例中，可以在图形多处理器2134上同时执行多个线程组。

在至少一个实施例中，图形多处理器2134包括内部高速缓存存储器，以执行加载和存储操作。在至少一个实施例中，图形多处理器2134可以放弃内部高速缓存并使用处理集群2194内的高速缓存存储器(例如，L1高速缓存2148)。在至少一个实施例中，每个图形多处理器2134还可以访问分区单元(例如，图21A的分区单元2120A-2120N)内的L2高速缓存，这些分区单元在所有处理集群2194之间共享并且可以用于在线程之间传输数据。在至少一个实施例中，图形多处理器2134还可以访问片外全局存储器，其可以包括本地并行处理器存储器和/或系统存储器中的一个或更多个。在至少一个实施例中，并行处理单元2102外部的任何存储器都可以用作全局存储器。在至少一个实施例中，处理集群2194包括图形多处理器2134的多个实例，它们可以共享可以存储在L1高速缓存2148中的公共指令和数据。

在至少一个实施例中，每个处理集群2194可以包括配置成将虚拟地址映射为物理地址的MMU 2145。在至少一个实施例中，MMU 2145的一个或更多个实例可以驻留在图21的存储器接口2118内。在至少一个实施例中，MMU 2145包括一组页表条目(PTE)，其用于将虚拟地址映射到图块(谈论有关图块的更多信息)的物理地址以及可选地映射到高速缓存行索引。在至少一个实施例中，MMU 2145可以包括地址转换后备缓冲区(TLB)或可以驻留在图形多处理器2134或L1高速缓存2148或处理集群2194内的高速缓存。在至少一个实施例中，处理物理地址以分配表面数据访问局部性，以便在分区单元之间进行有效的请求交织。在至少一个实施例中，高速缓存行索引可以用于确定对高速缓存线的请求是命中还是未命中。

在至少一个实施例中，可以配置处理集群2194，使得每个图形多处理器2134耦合到纹理单元2136，以执行纹理映射操作，例如，可以涉及确定纹理样本位置、读取纹理数据以及过滤纹理数据。在至少一个实施例中，根据需要从内部纹理L1高速缓存(未示出)或从图形多处理器2134内的L1高速缓存中读取纹理数据，并从L2高速缓存、本地并行处理器存储器或系统存储器中获取纹理数据。在至少一个实施例中，每个图形多处理器2134将处理后的任务输出到数据交叉开关2140，以将处理后的任务提供给另一处理集群2194以进行进一步处理或将处理后的任务存储在L2高速缓存、本地并行处理器存储器、或经由存储器交叉开关2116的系统存储器中。在至少一个实施例中，光栅前操作单元(preROP)2142配置成从图形多处理器2134接收数据，将数据引导至ROP单元，该ROP单元可以与本文所述的分区单元(例如，图21的分区单元2120A-2120N)一起定位。在至少一个实施例中，PreROP 2142单元可以执行用于颜色混合的优化、组织像素颜色数据以及执行地址转换。

图21C示出了根据至少一个实施例的图形多处理器2196。在至少一个实施例中，图形多处理器2196是图21B的图形多处理器2134。在至少一个实施例中，图形多处理器2196与处理集群2194的管线管理器2132耦合。在至少一个实施例中，图形多处理器2196具有执行管线，该执行管线包括但不限于指令高速缓存2152、指令单元2154、地址映射单元2156、寄存器文件2158、一个或更多个GPGPU核心2162和一个或更多个LSU2166。GPGPU核心2162和LSU 2166与高速缓存存储器2172和共享存储器2170通过存储器和高速缓存互连2168耦合。

在至少一个实施例中，指令高速缓存2152从管线管理器2132接收要执行的指令流。在至少一个实施例中，将指令高速缓存在指令高速缓存2152中并将其分派以供指令单元2154执行。在一个实施例中，指令单元2154可以分派指令作为线程组(例如，线程束)，将线程组的每个线程分配给GPGPU核心2162内的不同执行单元。在至少一个实施例中，指令可以通过在统一地址空间内指定地址来访问任何本地、共享或全局地址空间。在至少一个实施例中，地址映射单元2156可以用于将统一地址空间中的地址转换成可以由LSU 2166访问的不同的存储器地址。

在至少一个实施例中，寄存器文件2158为图形多处理器2196的功能单元提供了一组寄存器。在至少一个实施例中，寄存器文件2158为连接到图形多处理器2196的功能单元(例如，GPGPU核心2162、LSU 2166)的数据路径的操作数提供了临时存储。在至少一个实施例中，在每个功能单元之间划分寄存器文件2158，使得为每个功能单元分配寄存器文件2158的专用部分。在至少一个实施例中，寄存器文件2158在图形多处理器2196正在执行的不同线程组之间划分。

在至少一个实施例中，GPGPU核心2162可以各自包括用于执行图多处理器2196的指令的FPU和/或ALU。GPGPU核心2162在架构上可以相似或架构可能有所不同。在至少一个实施例中，GPGPU核心2162的第一部分包括单精度FPU和整数ALU，而GPGPU核心的第二部分包括双精度FPU。在至少一个实施例中，FPU可以实现用于浮点算法的IEEE 754-2008标准或启用可变精度浮点算法。在至少一个实施例中，图形多处理器2196可以另外包括一个或更多个固定功能或特殊功能单元，以执行特定功能，诸如复制矩形或像素混合操作。在至少一个实施例中，GPGPU核心2162中的一个或更多个也可以包括固定或特殊功能逻辑。

在至少一个实施例中，GPGPU核心2162包括能够对多组数据执行单个指令的SIMD逻辑。在至少一个实施例中，GPGPU核心2162可以物理地执行SIMD4、SIMD8和SIMD9指令，并且在逻辑上执行SIMD1、SIMD2和SIMD32指令。在至少一个实施例中，用于GPGPU核心的SIMD指令可以在编译时由着色器编译器生成，或者在执行针对单程序多数据(SPMD)或SIMT架构编写和编译的程序时自动生成。在至少一个实施例中，可以通过单个SIMD指令来执行为SIMT执行模型配置的程序的多个线程。例如，在至少一个实施例中，可以通过单个SIMD8逻辑单元并行执行执行相同或相似操作的八个SIMT线程。

在至少一个实施例中，存储器和高速缓存互连2168是将图形多处理器2196的每个功能单元连接到寄存器文件2158和共享存储器2170的互连网络。在至少一个实施例中，存储器和高速缓存互连2168是交叉开关互连，其允许LSU 2166在共享存储器2170和寄存器文件2158之间实现加载和存储操作。在至少一个实施例中，寄存器文件2158可以以与GPGPU核心2162相同的频率操作，从而在GPGPU核心2162和寄存器文件2158之间进行数据传输的延迟非常低。在至少一个实施例中，共享存储器2170可以用于启用在图形多处理器2196内的功能单元上执行的线程之间的通信。在至少一个实施例中，高速缓存存储器2172可以用作例如数据高速缓存，以高速缓存在功能单元和纹理单元2136之间通信的纹理数据。在至少一个实施例中，共享存储器2170也可以用作程序管理的高速缓存。在至少一个实施例中，除了存储在高速缓存存储器2172中的自动高速缓存的数据之外，在GPGPU核心2162上执行的线程还可以以编程方式将数据存储在共享存储器中。

在至少一个实施例中，如本文所述的并行处理器或GPGPU通信地耦合到主机/处理器核心，以加速图形操作、机器学习操作、图案分析操作以及各种通用GPU(GPGPU)功能。在至少一个实施例中，GPU可以通过总线或其他互连(例如，诸如PCIe或NVLink的高速互连)通信地耦合到主机处理器/核心。在至少一个实施例中，GPU可以与核心集成在相同的封装或芯片上，并通过内部处理器总线/互连(即，封装或芯片的内部)通信地耦合到核心。在至少一个实施例中，不管GPU连接的方式如何，处理器核心可以以WD包含的命令/指令序列的形式向GPU分配工作。在至少一个实施例中，GPU然后使用专用电路/逻辑来有效地处理这些命令/指令。

图22示出了根据至少一个实施例的图形处理器2200。在至少一个实施例中，图形处理器2200包括环形互连2202、管线前端2204、媒体引擎2237和图形核心2280A-2280N。在至少一个实施例中，环形互连2202将图形处理器2200耦合到其他处理单元，包括其他图形处理器或一个或更多个通用处理器核心。在至少一个实施例中，图形处理器2200是集成在多核心处理系统内的许多处理器之一。

在至少一个实施例中，图形处理器2200经由环形互连2202接收多批命令。在至少一个实施例中，输入命令由管线前端2204中的命令流转化器2203解释。在至少一个实施例中，图形处理器2200包括可缩放执行逻辑，以经由图形核心2280A-2280N执行3D几何处理和媒体处理。在至少一个实施例中，对于3D几何处理命令，命令流转化器2203将命令提供给几何管线2236。在至少一个实施例中，对于至少一些媒体处理命令，命令流转化器2203将命令提供给视频前端2234，其与媒体引擎2237耦合。在至少一个实施例中，媒体引擎2237包括用于视频和图像后处理的视频质量引擎(VQE)2230，以及用于提供硬件加速媒体数据编码和解码的多格式编码/解码(MFX)2233引擎。在至少一个实施例中，几何管线2236和媒体引擎2237各自生成用于由至少一个图形核心2280A提供的线程执行资源的执行线程。

在至少一个实施例中，图形处理器2200包括以模块化图形核心2280A-2280N(有时称为核心切片)为特征的可缩放线程执行资源，每个模块核心具有多个子核心2250A-2250N、2260A-2260N(有时称为核心子切片)。在至少一个实施例中，图形处理器2200可以具有任意数量的图形核心2280A至2280N。在至少一个实施例中，图形处理器2200包括具有至少第一子核心2250A和第二子核心2260A的图形核心2280A。在至少一个实施例中，图形处理器2200是具有单个子核心(例如2250A)的低功率处理器。在至少一个实施例中，图形处理器2200包括多个图形核心2280A-2280N，每个图形核心包括一组第一子核心2250A-2250N和一组第二子核心2260A-2260N。在至少一个实施例中，第一子核心2250A-2250N中的每个子核心至少包括第一组执行单元(EU)2252A-2252N和媒体/纹理采样器2254A-2254N。在至少一个实施例中，第二子核心2260A-2260N中的每个子核心至少包括第二组执行单元2262A-2262N和采样器2264A-2264N。在至少一个实施例中，每个子核心2250A-2250N、2260A-2260N共享一组共享资源2270A-2270N。在至少一个实施例中，共享资源包括共享高速缓冲存储器和像素操作逻辑。

图23示出了根据至少一个实施例的用于处理器2300。在至少一个实施例中，处理器2300可以包括但不限于执行指令的逻辑电路。在至少一个实施例中，处理器2300可以执行指令，包括x86指令、ARM指令、用于ASIC的专用指令等。在至少一个实施例中，处理器2310可以包括用于存储封装数据的寄存器，例如作为加利福尼亚州圣克拉拉市英特尔公司采用MMX技术启用的微处理器中的64位宽MMXTM寄存器。在至少一个实施例中，整数和浮点数形式可用的MMX寄存器可以与封装的数据元素一起运行，所述封装的数据元素伴随SIMD和流式SIMD扩展(“SSE”)指令。在至少一个实施例中，与SSE2、SSE3、SSE4、AVX或更高版本(一般称为“SSEx”)技术有关的128位宽XMM寄存器可以保存此类封装数据操作数。在至少一个实施例中，处理器2310可以执行指令以加速CUAD程序。

在至少一个实施例中，处理器2300包括有序前端(“前端”)2301，以提取要执行的指令并准备稍后在处理器管线中使用的指令。在至少一个实施例中，前端2301可以包括几个单元。在至少一个实施例中，指令预取器2326从存储器中获取指令并将指令提供给指令解码器2328，指令解码器2328又对指令进行解码或解释。例如，在至少一个实施例中，指令解码器2328将接收到的指令解码用于执行的所谓的“微指令”或“微操作”(也称为“微操作”或“微指令”)的一个或更多个操作。在至少一个实施例中，指令解码器2328将指令解析为操作码以及相应的数据和控制字段，其可以由微架构用来使用以执行操作。在至少一个实施例中，跟踪高速缓存2330可以将解码的微指令组装成微指令队列2334中的程序排序的序列或跟踪以供执行。在至少一个实施例中，当跟踪高速缓存2330遇到复杂指令时，微码ROM2332提供完成操作所需的微指令。

在至少一个实施例中，可以将一些指令转换成单个微操作，而另一些指令则需要几个微操作来完成全部操作。在至少一个实施例中，如果需要多于四个的微指令来完成一条指令，则指令解码器2328可以访问微码ROM 2332以执行指令。在至少一个实施例中，可以将指令解码为少量的微指令以在指令解码器2328处进行处理。在至少一个实施例中，如果需要多个微指令完成操作，则可以将指令存储在微码ROM 2332中。在至少一个实施例中，跟踪高速缓存器2330参考入口点可编程逻辑阵列(“PLA”)以确定正确的微指令指针，用于根据至少一个实施例从微码ROM 2332读取微码序列以完成一个或更多个指令。在至少一个实施例中，在微码ROM2332完成对指令的微操作排序之后，机器的前端2301可以恢复从跟踪高速缓存2330获取微操作。

在至少一个实施例中，乱序执行引擎(“乱序引擎”)2303可以准备用于执行的指令。在至少一个实施例中，乱序执行逻辑具有多个缓冲区，以使指令流平滑并重新排序，以在指令沿管线下降并被调度执行时优化性能。乱序执行引擎2303包括但不限于分配器/寄存器重命名器2340、存储器微指令队列2342、整数/浮点微指令队列2344、存储器调度器2346、快速调度器2302、慢速/通用浮点调度器(“慢速/通用FP调度器”)2304和简单浮点调度器(“简单FP调度器”)2306。在至少一个实施例中，快速调度器2302、慢速/通用浮点调度器2304和简单浮点调度器2306也统称为“微指令调度器2302、2304、2306”。分配器/寄存器重命名器2340分配每个微指令按顺序执行所需要的机器缓冲区和资源。在至少一个实施例中，分配器/寄存器重命名器2340将逻辑寄存器重命名为寄存器文件中的条目。在至少一个实施例中，分配器/寄存器重命名器2340还为两个微指令队列之一中的每个微指令分配条目，存储器微指令队列2342用于存储器操作和整数/浮点微指令队列2344用于非存储器操作，在存储器调度器2346和微指令调度器2302、2304、2306的前面。在至少一个实施例中，微指令调度器2302、2304、2306基于它们的从属输入寄存器操作数源的就绪性和需要完成的执行资源微指令的可用性来确定何时准备好执行微指令。在至少一个实施例中，至少一个实施例的快速调度器2302可以在主时钟周期的每个一半上调度，而慢速/通用浮点调度器2304和简单浮点调度器2306可以在每个主处理器时钟周期调度一次。在至少一个实施例中，微指令调度器2302、2304、2306对调度端口进行仲裁，以调度用于执行的微指令。

在至少一个实施例中，执行块2311包括但不限于整数寄存器文件/支路网络2308、浮点寄存器文件/支路网络(“FP寄存器文件/支路网络”)2310、地址生成单元(“AGU”)2312和2314、快速算术逻辑单元(“快速ALU”)2316和2318、慢速ALU 2320、浮点ALU(“FP”)2322和浮点移动单元(“FP移动”)2324。在至少一个实施例中，整数寄存器文件/支路网络2308和浮点寄存器文件/旁路网络2310在本文中也称为“寄存器文件2308、2310”。在至少一个实施例中，AGUS 2312和2314、快速ALU 2316和2318、慢速ALU 2320、浮点ALU 2322和浮点移动单元2324在本文中也称为“执行单元2312、2314、2316、2318、2320、2322和2324”。在至少一个实施例中，执行框可以包括但不限于任意数量(包括零)和类型的寄存器文件、支路网络、地址生成单元和执行单元(以任何组合)。

在至少一个实施例中，寄存器文件2308、2310可以布置在微指令调度器2302、2304、2306与执行单元2312、2314、2316、2318、2320、2322和2324之间。在至少一个实施例中，整数寄存器文件/支路网络2308执行整数运算。在至少一个实施例中，浮点寄存器文件/支路网络2310执行浮点操作。在至少一个实施例中，寄存器文件2308、2310中的每一个可以包括但不限于支路网络，该支路网络可以绕过或转发尚未写入寄存器文件中的刚刚完成的结果到新的从属对象。在至少一个实施例中，寄存器文件2308、2310可以彼此通信数据。在至少一个实施例中，整数寄存器文件/支路网络2308可以包括但不限于两个单独的寄存器文件、一个寄存器文件用于低阶32位数据，第二寄存器文件用于高阶32位数据。在至少一个实施例中，浮点寄存器文件/支路网络2310可以包括但不限于128位宽的条目，因为浮点指令通常具有宽度为64至128位的操作数。

在至少一个实施例中，执行单元2312、2314、2316、2318、2320、2322、2324可以执行指令。在至少一个实施例中，寄存器文件2308、2310存储微指令需要执行的整数和浮点数据操作数值。在至少一个实施例中，处理器2300可以包括但不限于任意数量的执行单元2312、2314、2316、2318、2320、2322、2324及其组合。在至少一个实施例中，浮点ALU 2322和浮点移动单元2324，可以执行浮点、MMX、SIMD、AVX和SSE或其他操作，包括专门的机器学习指令。在至少一个实施例中，浮点ALU 2322可以包括但不限于64位乘64位浮点除法器，以执行除法、平方根和余数微操作。在至少一个实施例中，可以用浮点硬件来处理涉及浮点值的指令。在至少一个实施例中，可以将ALU操作传递给快速ALU 2316、2318。在至少一个实施例中，快速ALUS 2316、2318可以以半个时钟周期的有效延迟执行快速操作。在至少一个实施例中，大多数复杂的整数运算进入慢速ALU 2320，因为慢速ALU 2320可以包括但不限于用于长延迟类型操作的整数执行硬件，例如乘法器、移位、标志逻辑和分支处理。在至少一个实施例中，存储器加载/存储操作可以由AGUS 2312、2314执行。在至少一个实施例中，快速ALU 2316、快速ALU 2318和慢速ALU 2320可以对64位数据操作数执行整数运算。在至少一个实施例中，可以实现快速ALU2316、快速ALU 2318和慢速ALU 2320以支持包括16、32、128、256等的各种数据位大小。在至少一个实施例中，浮点ALU 2322和浮点移动单元2324可以实现为支持具有各种宽度的位的一定范围的操作数。在至少一个实施例中，浮点ALU 2322和浮点移动单元2324可以结合SIMD和多媒体指令对128位宽封装数据操作数进行操作。

在至少一个实施例中，微指令调度器2302、2304、2306在父加载完成执行之前调度从属操作。在至少一个实施例中，由于可以在处理器2300中推测性地调度和执行微指令，处理器2300还可以包括用于处理存储器未命中的逻辑。在至少一个实施例中，如果数据高速缓存中的数据加载未命中，则可能存在在管线中正在运行的从属操作，其使调度器暂时没有正确的数据。在至少一个实施例中，一种重放机制跟踪踪并重新执行使用不正确数据的指令。在至少一个实施例中，可能需要重放从属操作并且可以允许完成独立操作。在至少一个实施例中，处理器的至少一个实施例的调度器和重放机制也可以设计为捕获用于文本串比较操作的指令序列。

在至少一个实施例中，术语“寄存器”可以指代可以用作识别操作数的指令的一部分的机载处理器存储位置。在至少一个实施例中，寄存器可以是那些可以从处理器外部使用的寄存器(从程序员的角度来看)。在至少一个实施例中，寄存器可能不限于特定类型的电路。相反，在至少一个实施例中，寄存器可以存储数据、提供数据并执行本文描述的功能。在至少一个实施例中，本文描述的寄存器可以通过处理器内的电路使用多种不同技术来实现，例如专用物理寄存器、使用寄存器重命名动态分配的物理寄存器、专用和动态分配的物理寄存器的组合等。在至少一个实施例中，整数寄存器存储32位整数数据。至少一个实施例的寄存器文件还包含八个用于封装数据的多媒体SIMD寄存器。

图24示出了根据至少一个实施例的处理器2400。在至少一个实施例中，处理器2400包括但不限于一个或更多个处理器核心(核心)2402A-2402N、集成存储器控制器2414和集成图形处理器2408。在至少一个实施例中，处理器2400可以包括直至并包括由虚线框表示的附加处理器核心2402N的附加核心。在至少一个实施例中，每个处理器核心2402A-2402N包括一个或更多个内部高速缓存单元2404A-2404N。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存的单元2406。

在至少一个实施例中，内部高速缓存单元2404A-2404N和共享高速缓存单元2406表示处理器2400内的高速缓存存储器层次结构。在至少一个实施例中，高速缓存存储器单元2404A-2404N可以包括每个处理器核心内的至少一级指令和数据以及共享中级缓存中的一级或更多级缓存，例如L2、L3、4级(L4)或其他级别的缓存，其中在外部存储器之前将最高级别的缓存归类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持各种高速缓存单元2406和2404A-2404N之间的一致性。

在至少一个实施例中，处理器2400还可包括一组一个或更多个总线控制器单元2416和系统代理核心2410。在至少一个实施例中，一个或更多个总线控制器单元2416管理一组外围总线，例如一个或更多个PCI或PCI Express总线。在至少一个实施例中，系统代理核心2410为各种处理器组件提供管理功能。在至少一个实施例中，系统代理核心2410包括一个或更多个集成存储器控制器2414，以管理对各种外部存储器设备(未示出)的访问。

在至少一个实施例中，一个或更多个处理器核心2402A-2402N包括对多线程同时进行的支持。在至少一个实施例中，系统代理核心2410包括用于在多线程处理期间协调和操作处理器核心2402A-2402N的组件。在至少一个实施例中，系统代理核心2410可以另外包括电源控制单元(PCU)，该电源控制单元包括逻辑和组件以调节处理器核心2402A-2402N和图形处理器2408的一个或更多个电源状态。

在至少一个实施例中，处理器2400另外包括图形处理器2408以执行图处理操作。在至少一个实施例中，图形处理器2408与共享高速缓存单元2406和包括一个或更多个集成存储器控制器2414的系统代理核心2410耦合。在至少一个实施例中，系统代理核心2410还包括用于驱动图形处理器输出到一个或更多个耦合的显示器的显示器控制器2411。在至少一个实施例中，显示器控制器2411也可以是经由至少一个互连与图形处理器2408耦合的独立模块，或者可以集成在图形处理器2408内。

在至少一个实施例中，基于环的互连单元2412用于耦合处理器2400的内部组件。在至少一个实施例中，可以使用替代性互连单元，例如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器2408经由I/O链路2413与环形互连2412耦合。

在至少一个实施例中，I/O链路2413代表多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块2418(例如eDRAM模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心2402A-2402N和图形处理器2408中的每一个使用嵌入式存储器模块2418作为共享的LLC。

在至少一个实施例中，处理器核心2402A-2402N是执行公共指令集架构的同质核心。在至少一个实施例中，处理器核心2402A-2402N在ISA方面是异构的，其中一个或更多个处理器核心2402A-2402N执行公共指令集，而一个或更多个其他处理器核心2402A-2402N执行公共指令集或不同指令集的子集。在至少一个实施例中，就微架构而言，处理器核心2402A-2402N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实施例中，处理器2400可以实现在一个或更多个芯片上或被实现为SoC集成电路。

图25示出了根据所描述的至少一个实施例的图形处理器核心2500。在至少一个实施例中，图形处理器核心2500被包括在图形核心阵列内。在至少一个实施例中，图形处理器核心2500(有时称为核心切片)可以是模块化图形处理器内的一个或更多个图形核心。在至少一个实施例中，图形处理器核心2500是一个图形核心切片的示例，并且本文所述的图形处理器可以基于目标功率和性能包络线包括多个图形核心切片。在至少一个实施例中，每个图形核心2500可以包括与多个子核心2501A-2501F耦合的固定功能块2530，也称为子切片，其包括通用和固定功能逻辑的模块块。

在至少一个实施例中，固定功能块2530包括几何/固定功能管线2536，例如，在较低性能和/或较低功率的图形处理器实施方式中，该几何/固定功能管线2536可以由图形处理器2500中的所有子核心共享。在至少一个实施例中，几何/固定功能管线2536包括3D固定功能管线、视频前端单元，线程产生器和线程分派器以及管理统一返回缓冲区的统一返回缓冲区管理器。

在至少一个实施例中，固定功能块2530还包括图形SoC接口2537、图形微控制器2538和媒体管线2539。图形SoC接口2537提供了图形核心2500以及SoC集成电路系统中的其他处理器核心之间的接口。在至少一个实施例中，图形微控制器2538是可编程子处理器，其可配置为管理图形处理器2500的各种功能，包括线程分派、调度和抢占。在至少一个实施例中，媒体管线2539包括有助于对包括图像和视频数据的多媒体数据进行解码、编码、预处理和/或后处理的逻辑。在至少一个实施例中，媒体管线2539经由对子核心2501-2501F内的计算或采样逻辑的请求来实现媒体操作。

在至少一个实施例中，SoC接口2537使图形核心2500能够与通用应用处理器核心(例如，CPU)和/或SoC内的其他组件通信，包括存储器层次结构元素，诸如共享的LLC存储器、系统RAM和/或嵌入式片上或封装DRAM。在至少一个实施例中，SoC接口2537还可以使得能够与SoC内的固定功能设备(例如，相机成像管线)进行通信，并且使得能够使用和/或实现可以在图形核心2500和SoC内部的CPU之间共享的全局存储器原子。在至少一个实施例中，SoC接口2537还可以实现用于图形核心2500的电源管理控制，并且启用图形核心2500的时钟域与SoC内的其他时钟域之间的接口。在至少一个实施例中，SoC接口2537使得能够从命令流转化器和全局线程分派器接收命令缓冲区，其配置为向图形处理器内的一个或更多个图形核心中的每一个提供命令和指令。在至少一个实施例中，当要执行媒体操作时，可以将命令和指令分派给媒体管线2539，或者当要执行图处理操作时，可以将其分配给几何形状和固定功能管线(例如，几何形状和固定功能管线2536、几何形状和固定功能管线2514)。

在至少一个实施例中，图形微控制器2538可以配置为对图形核心2500执行各种调度和管理任务。在至少一个实施例中，图形微控制器2538可以在子核心2501A-2501F中的执行单元(EU)阵列2502A-2502F、2504A-2504F内的各种图形并行引擎上执行图和/或计算工作负载调度。在至少一个实施例中，在包括图形核心2500的SoC的CPU核心上执行的主机软件可以提交多个图形处理器门铃之一的工作负载，其调用适当的图形引擎上的调度操作。在至少一个实施例中，调度操作包括确定接下来要运行哪个工作负载、将工作负载提交给命令流转化器、抢先在引擎上运行的现有工作负载、监控工作负载的进度以及在工作负载完成时通知主机软件。在至少一个实施例中，图形微控制器2538还可以促进图形核心2500的低功率或空闲状态，从而为图形核心2500提供在图形核心2500内独立于操作系统和/或系统上的图形驱动器软件的跨低功率状态转换的保存和恢复寄存器的能力。

在至少一个实施例中，图形核心2500可以具有比所示的子核心2501A-2501F更多或更少的子核心，达N个模块化子核心。对于每组N个子核心，在至少一个实施例中，图形核心2500还可以包括共享功能逻辑2510、共享和/或高速缓存存储器2512、几何/固定功能管线2514以及附加的固定功能逻辑2516以加速各种图形和计算处理操作。在至少一个实施例中，共享功能逻辑2510可以包括可由图形核心2500内的每个N个子核心共享的逻辑单元(例如，采样器、数学和/或线程间通信逻辑)。共享和/或高速缓存存储器2512可以是图形核心2500内的N个子核心2501A-2501F的LLC，并且还可以用作可由多个子核心访问的共享存储器。在至少一个实施例中，可以包括几何/固定功能管线2514来代替固定功能块2530内的几何/固定功能管线2536，并且可以包括相同或相似的逻辑单元。

在至少一个实施例中，图形核心2500包括附加的固定功能逻辑2516，其可以包括供图形核心2500使用的各种固定功能加速逻辑。在至少一个实施例中，附加的固定功能逻辑2516包括用于仅位置着色中使用的附加的几何管线。在仅位置着色中，存在至少两个几何管线，而在几何/固定功能管线2516、2536内的完整几何管线和剔除管线中，其是可以包括在附加的固定功能逻辑2516中的附加几何管线。在至少一个实施例中，剔除管线是完整几何管线的修整版。在至少一个实施例中，完整管线和剔除管线可以执行应用程序的不同实例，每个实例具有单独的环境。在至少一个实施例中，仅位置着色可以隐藏被丢弃的三角形的长剔除运行，从而在某些情况下可以更早地完成着色。例如，在至少一个实施例中，附加固定功能逻辑2516中的剔除管线逻辑可以与主应用程序并行执行位置着色器，并且通常比完整管线更快地生成关键结果，因为剔除管线获取并遮蔽顶点的位置属性，无需执行光栅化和将像素渲染到帧缓冲区。在至少一个实施例中，剔除管线可以使用生成的临界结果来计算所有三角形的可见性信息，而与这些三角形是否被剔除无关。在至少一个实施例中，完整管线(在这种情况下可以称为重播管线)可以消耗可见性信息来跳过剔除的三角形以仅遮盖最终传递到光栅化阶段的可见三角形。

在至少一个实施例中，附加的固定功能逻辑2516还可包括通用目标处理加速逻辑，例如固定功能矩阵乘法逻辑，用于实现减速CUAD程序。

在至少一个实施例中，在每个图形子核心2501A-2501F内包括一组执行资源，其可用于响应于图形管线、媒体管线或着色器程序的请求来执行图、媒体和计算操作。在至少一个实施例中，图形子核心2501A-2501F包括多个EU阵列2502A-2502F、2504A-2504F，线程分派和线程间通信(TD/IC)逻辑2503A-2503F，3D(例如，纹理)采样器2505A-2505F，媒体采样器2506A-2506F，着色器处理器2507A-2507F和共享本地存储器(SLM)2508A-2508F。EU阵列2502A-2502F、2504A-2504F每个都包含多个执行单元，这些执行单元是GUGPU，能够为图形、媒体或计算操作提供服务，执行浮点和整数/定点逻辑运算，包括图形、媒体或计算着色器程序。在至少一个实施例中，TD/IC逻辑2503A-2503F为子核心内的执行单元执行本地线程分派和线程控制操作，并促进在子核心的执行单元上执行的线程之间的通信。在至少一个实施例中，3D采样器2505A-2505F可以将与纹理或其他3D图形相关的数据读取到存储器中。在至少一个实施例中，3D采样器可以基于与给定纹理相关联的配置的采样状态和纹理格式来不同地读取纹理数据。在至少一个实施例中，媒体采样器2506A-2506F可以基于与媒体数据相关联的类型和格式来执行类似的读取操作。在至少一个实施例中，每个图形子核心2501A-2501F可以可替代地包括统一的3D和媒体采样器。在至少一个实施例中，在每个子核心2501A-2501F内的执行单元上执行的线程可以利用每个子核心内的共享本地存储器2508A-2508F，以使在线程组内执行的线程能够使用片上存储器的公共池来执行。

图26示出了根据至少一个实施例的并行处理单元(“PPU”)2600。在至少一个实施例中，PPU 2600配置有机器可读代码，该机器可读代码如果由PPU 2600执行，则使得PPU2600执行贯穿本文描述的一些或全部过程和技术。在至少一个实施例中，PPU 2600是在一个或更多个集成电路设备上实现的多线程处理器，并且利用多线程作为被设计为处理在多个线程上并行执行的计算机可读指令(也称为机器可读指令或简单的指令)的延迟隐藏技术。在至少一个实施例中，线程是指执行线程，并且是被配置为由PPU 2600执行的一组指令的实例。在至少一个实施例中，PPU 2600是图形处理单元(“GPU”)，图形处理单元配置为实现用于处理三维(“3D”)图形数据的图形渲染管线，以便生成用于在显示设备(诸如LCD设备)上显示的二维(“2D”)图像数据。在至少一个实施例中，PPU 2600用于执行计算，诸如线性代数运算和机器学习运算。图26仅出于说明性目的示出了示例并行处理器，并且应被解释为在至少一个实施例中实现的处理器架构的非限制性示例。

在至少一个实施例中，一个或更多个PPU 2600配置成加速高性能计算(“HPC”)、数据中心和机器学习应用程序。在至少一个实施例中，一个或更多个PPU 2600配置成加速CUDA程序。在至少一个实施例中，PPU2600包括但不限于I/O单元2606、前端单元2610、调度器单元2612、工作分配单元2614、集线器2616、交叉开关(“Xbar”)2620、一个或更多个通用处理集群(“GPC”)2618和一个或更多个分区单元(“存储器分区单元”)2622。在至少一个实施例中，PPU 2600通过一个或更多个高速GPU互连(“GPU互连”)2608连接到主机处理器或其他PPU 2600。在至少一个实施例中，PPU 2600通过系统总线或互连2602连接到主机处理器或其他外围设备。在一实施例中，PPU 2600连接到包括一个或更多个存储器设备(“存储器”)2604的本地存储器。在至少一个实施例中，存储器设备2604包括但不限于一个或更多个动态随机存取存储器(“DRAM”)设备。在至少一个实施例中，一个或更多个DRAM设备配置和/或可配置为高带宽存储器(“HBM”)子系统，并且在每个设备内堆叠有多个DRAM管芯。

在至少一个实施例中，高速GPU互连2608可以指代系统使用其来进行缩放的基于线的多通道通信链路，并包括与一个或更多个CPU结合的一个或更多个PPU 2600(“CPU”)，支持PPU 2600和CPU之间的高速缓存一致性以及CPU主控。在至少一个实施例中，高速GPU互连2608通过集线器2616将数据和/或命令传输到PPU 2600的其他单元，例如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元和/或在图26中可能未明确示出的其他组件。

在至少一个实施例中，I/O单元2606配置为通过系统总线2602从主机处理器(图26中未示出)发送和接收通信(例如，命令、数据)。在至少一个实施例中，I/O单元2606直接通过系统总线2602或通过一个或更多个中间设备(例如存储器桥)与主机处理器通信。在至少一个实施例中，I/O单元2606可以经由系统总线2602与一个或更多个其他处理器(例如一个或更多个PPU 2600)通信。在至少一个实施例中，I/O单元2606实现PCIe接口，用于通过PCIe总线进行通信。在至少一个实施例中，I/O单元2606实现用于与外部设备通信的接口。

在至少一个实施例中，I/O单元2606对经由系统总线2602接收的分组进行解码。在至少一个实施例中，至少一些分组表示被配置为使PPU2600执行各种操作的命令。在至少一个实施例中，I/O单元2606如命令所指定的那样将解码的命令发送到PPU 2600的各种其他单元。在至少一个实施例中，命令被发送到前端单元2610和/或被发送到集线器2616或PPU2600的其他单元，例如一个或更多个复制引擎、视频编码器、视频解码器、电源管理单元等(图26中未明确示出)。在至少一个实施例中，I/O单元2606配置为在PPU 2600的各种逻辑单元之间路由通信。

在至少一个实施例中，由主机处理器执行的程序在缓冲区中对命令流进行编码，该缓冲区将工作负载提供给PPU 2600以进行处理。在至少一个实施例中，工作负载包括指令和要由那些指令处理的数据。在至少一个实施例中，缓冲区是可由主机处理器和PPU2600两者访问(例如，读/写)的存储器中的区域—主机接口单元可以配置为访问经由I/O单元2606通过系统总线2602传输的存储器请求连接到系统总线2602的系统存储器中的缓冲区。在至少一个实施例中，主机处理器将命令流写入缓冲区，然后将指示命令流开始的指针发送给PPU 2600，使得前端单元2610接收指向一个或更多个命令流指针并管理一个或更多个命令流，从命令流中读取命令并将命令转发到PPU 2600的各个单元。

在至少一个实施例中，前端单元2610耦合到调度器单元2612，该调度器单元2612配置各种GPC 2618以处理由一个或更多个命令流定义的任务。在至少一个实施例中，调度器单元2612配置为跟踪与调度器单元2612管理的各种任务有关的状态信息，其中状态信息可以指示任务被分配给哪个GPC 2618，任务是活跃的还是非活跃的，与任务相关联的优先级等等。在至少一个实施例中，调度器单元2612管理在一个或更多个GPC 2618上执行的多个任务。

在至少一个实施例中，调度器单元2612耦合到工作分配单元2614，该工作分配单元2614配置为分派任务以在GPC 2618上执行。在至少一个实施例中，工作分配单元2614跟踪从调度器单元2612接收到的多个调度任务并且工作分配单元2614管理每个GPC 2618的待处理任务池和活跃任务池。在至少一个实施例中，待处理任务池包括多个时隙(例如32个时隙)，这些时隙包含分配给要由特定的GPC 2618处理的任务；活跃任务池可包括用于由GPC 2618主动处理的任务的多个时隙(例如4个时隙)，以使随着GPC 2618中的一个完成任务的执行，该任务将从GPC 2618的活动任务池中逐出，并且从待处理任务池中选择其他任务之一，并安排其在GPC 2618上执行。在至少一个实施例中，如果活跃任务在GPC 2618上处于空闲状态，例如在等待数据依赖性解决时，则活跃任务从GPC 2618中驱逐并返回到待处理任务池，同时选择了待处理任务池中的另一个任务并调度在GPC 2618上执行。

在至少一个实施例中，工作分配单元2614经由XBar 2620与一个或更多个GPC2618通信。在至少一个实施例中，XBar 2620是互连网络，其将PPU 2600的许多单元耦合到PPU 2600的其他单元，并且可以配置为将工作分配单元2614耦合到特定的GPC2618。在至少一个实施例中，一个或更多个PPU 2600的其他单元也可以通过集线器2616连接到XBar2620。

在至少一个实施例中，任务由调度器单元2612管理，并由工作分配单元2614分配给GPC 2618之一。GPC 2618配置为处理任务并产生结果。在至少一个实施例中，结果可以由GPC 2618中的其他任务消耗，通过XBar2620路由到不同的GPC 2618或存储在存储器2604中。在至少一个实施例中，结果可以通过分区单元2622写到存储器2604中，其实现了用于向存储器2604写入数据或从存储器2604读取数据的存储器接口。在至少一个实施例中，结果可以经由高速GPU互连2608传输到另一PPU 2600或CPU。在至少一个实施例中，PPU 2600包括但不限于U个分区单元2622，其等于耦合到PPU 2600的分离且不同的存储器设备2604的数量。

在至少一个实施例中，主机处理器执行驱动器核心，该驱动器核心实现应用程序编程接口(API)，该应用程序编程接口使在主机处理器上执行的一个或更多个应用程序能够调度操作以在PPU 2600上执行。在一个实施例中，多个计算应用由PPU 2600同时执行，并且PPU 2600为多个计算应用程序提供隔离、服务质量(“QoS”)和独立的地址空间。在至少一个实施例中，应用程序生成指令(例如，以API调用的形式)，该指令使驱动器核心生成一个或更多个任务以供PPU 2600执行，并且驱动器核心将任务输出至由PPU 2600处理的一个或更多个流。在至少一个实施例中，每个任务包括一个或更多个相关线程组，其可以被称为线程束(warp)。在至少一个实施例中，线程束包括可以并行执行的多个相关线程(例如32个线程)。在至少一个实施例中，协作线程可以指代多个线程，包括用于执行任务并且通过共享存储器交换数据的指令。

图27示出了根据至少一个实施例的GPC 2700。在至少一个实施例中，GPC 2700是图26的GPC 2618。在至少一个实施例中，每个GPC 2700包括但不限于用于处理任务的多个硬件单元，并且每个GPC 2700包括但不限于管线管理器2702、预光栅操作单元(“PROP”)2704、光栅引擎2708、工作分配交叉开关(“WDX”)2716、存储器管理单元(“MMU”)2718、一个或更多个数据处理集群(“DPC”)2706，以及部件的任何合适组合。

在至少一个实施例中，GPC 2700的操作由管线管理器2702控制。在至少一个实施例中，管线管理器2702管理一个或更多个DPC 2706的配置，以处理分配给GPC 2700的任务。在至少一个实施例中，管线管理器2702配置一个或更多个DPC 2706中的至少一个以实现图形渲染管线的至少一部分。在至少一个实施例中，DPC 2706配置为在可编程流式多处理器(“SM”)2714上执行顶点着色器程序。在至少一个实施例中，管线管理器2702配置为将从工作分配单元接收的数据包路由到GPC 2700内的适当逻辑单元，以及在至少一个实施例中，可以将一些数据包路由到PROP 2704和/或光栅引擎2708中的固定功能硬件单元，而可以将其他数据包路由到DPC 2706以由原始引擎2712或SM 2714进行处理。在至少一个实施例中，管线管理器2702配置DPC 2706中的至少一个以实现神经网络模型和/或计算管线。在至少一个实施例中，管线管理器2702配置DPC 2706中的至少一个以执行CUDA程序的至少一部分。

在至少一个实施例中，PROP单元2704配置为将由光栅引擎2708和DPC 2706生成的数据路由到分区单元中的光栅操作(“ROP”)单元，例如上面结合图25更详细描述的存储器分区单元2522等。在至少一个实施例中，PROP单元2704配置为执行用于颜色混合的优化、组织像素数据、执行地址转换等等。在至少一个实施例中，光栅引擎2708包括但不限于配置为执行各种光栅操作的多个固定功能硬件单元，并且在至少一个实施例中，光栅引擎2708包括但不限于设置引擎、粗光栅引擎、剔除引擎、裁剪引擎、精细光栅引擎、图块聚合引擎及其任意合适的组合。在至少一个实施例中，设置引擎接收变换后的顶点并生成与由顶点定义的几何图元相关联的平面方程；平面方程式被传送到粗光栅引擎以生成基本图元的覆盖信息(例如，图块的x、y覆盖范围掩码)；粗光栅引擎的输出将传输到剔除引擎，在剔除引擎中与z测试失败的图元相关联的片段将被剔除，并传输到剪切引擎，在剪切引擎中剪切位于视锥范围之外的片段。在至少一个实施例中，将经过裁剪和剔除的片段传递给精细光栅引擎，以基于设置引擎生成的平面方程式生成像素片段的属性。在至少一个实施例中，光栅引擎2708的输出包括将由任何适当的实体(例如，由在DPC 2706内实现的片段着色器)处理的片段。

在至少一个实施例中，包括在GPC 2700中的每个DPC 2706包括但不限于M管线控制器(“MPC”)2710；图元引擎2712；一个或更多个SM2714；及其任何合适的组合。在至少一个实施例中，MPC 2710控制DPC2706的操作，将从管线管理器2702接收的分组路由到DPC 2706中的适当单元。在至少一个实施例中，将与顶点相关联的分组路由到图元引擎2712，图元引擎2712配置为从存储器中获取与顶点关联的顶点属性；相反，可以将与着色器程序相关联的数据包发送到SM 2714。

在至少一个实施例中，SM 2714包括但不限于可编程流式处理器，其配置为处理由多个线程表示的任务。在至少一个实施例中，SM 2714是多线程的并且配置为同时执行来自特定线程组的多个线程(例如32个线程)，并且实现单指令、多数据(“SIMD”)架构，其中将一组线程(例如，线程束)中的每个线程配置为基于相同的指令集来处理不同的数据集。在至少一个实施例中，线程组中的所有线程执行相同的指令。在至少一个实施例中，SM 2714实施单指令、多线程(“SIMT”)架构，其中一组线程中的每个线程配置为基于相同的指令集来处理不同的数据集，但是其中线程组中的各个线程允许在执行期间发散。在至少一个实施例中，为每个线程束维护程序计数器、调用栈和执行状态，从而当线程束中的线程发散时，实现线程束和线程束内的串行执行之间的并发性。在另一个实施例中，为每个单独的线程维护程序计数器、调用栈和执行状态，从而使得在线程束内和线程束之间的所有线程之间具有相等的并发性。在至少一个实施例中，为每个单独的线程维持执行状态，并且可以收敛并并行地执行执行相同指令的线程以提高效率。下面结合图28更详细地描述SM 2714的至少一个实施例。

在至少一个实施例中，MMU 2718在GPC 2700和存储器分区单元(例如，图25的分区单元2522)之间提供接口，并且MMU 2718提供虚拟地址到物理地址的转换、存储器保护以及存储器请求的仲裁。在至少一个实施例中，MMU 2718提供一个或更多个转换后备缓冲区(“TLB”)，用于执行虚拟地址到存储器中的物理地址的转换。

图28示出了根据至少一个实施例的流式多处理器(“SM”)2800。在至少一个实施例中，SM 2800是图27的SM 2714。在至少一个实施例中，SM 2800包括但不限于指令高速缓存2802；一个或更多个调度器单元2804；寄存器文件2808；一个或更多个处理核心(“核心”)2810；一个或更多个特殊功能单元(“SFU”)2812；一个或更多个加载/存储单元(“LSU”)2814；互连网络2816；共享存储器/一级(“L1”)高速缓存2818；及其任何合适的组合。在至少一个实施例中，工作分配单元调度任务以在并行处理单元(“PPU”)的通用处理集群(“GPC”)上执行，并且每个任务被分配给GPC内部的特定数据处理集群(“DPC”)，并且如果任务与着色器程序相关联，则将任务分配给SM 2800之一。在至少一个实施例中，调度器单元2804从工作分配单元接收任务并管理分配给SM 2800的一个或更多个线程块的指令调度。在至少一个实施例中，调度器单元2804调度线程块以作为并行线程的线程束来执行，其中，每个线程块被分配至少一个线程束。在至少一个实施例中，每个线程束执行线程。在至少一个实施例中，调度器单元2804管理多个不同的线程块，将线程束分配给不同的线程块，然后在每个时钟周期内将来自多个不同的协作组的指令分派给各种功能单元(例如，处理核心2810、SFU 2812和LSU 2814)。

在至少一个实施例中，“合作组”可以指用于组织通信线程组的编程模型，其允许开发人员表达线程正在通信的粒度，从而能够表达更丰富、更有效的并行分解。在至少一个实施例中，协作启动API支持线程块之间的同步以执行并行算法。在至少一个实施例中，常规编程模型的API提供了用于同步协作线程的单一、简单的构造：跨线程块的所有线程的屏障(例如，syncthreads()函数)。但是，在至少一个实施例中，程序员可以在小于线程块粒度的情形下来定义线程组，并在所定义的组内进行同步，以实现更高的性能、设计灵活性以及以集合组范围功能接口的形式实现软件重用。在至少一个实施例中，协作组使程序员能够以子块和多块粒度明确定义线程组，并执行集合操作，例如对协作组中的线程进行同步。在至少一个实施例中，子块粒度与单个线程一样小。在至少一个实施例中，编程模型支持跨软件边界的干净组合，从而库和实用程序功能可以在其本地环境中安全地同步，而不必进行关于收敛的假设。在至少一个实施例中，协作组图元使协作并行的新图案成为可能，包括但不限于生产者-消费者并行，机会主义并行以及整个线程块网格上的全局同步。

在至少一个实施例中，分派单元2806配置为将指令发送到功能单元中的一个或更多个，并且调度器单元2804包括但不限于两个分派单元2806，该两个分派单元2806使得来自相同线程束的两个不同指令能够在每个时钟周期被分派。在至少一个实施例中，每个调度器单元2804包括单个分派单元2806或附加分派单元2806。

在至少一个实施例中，每个SM 2800在至少一个实施例中包括但不限于寄存器文件2808，该寄存器文件2808为SM 2800的功能单元提供了一组寄存器。在至少一个实施例中，寄存器文件2808在每个功能单元之间划分，从而为每个功能单元分配寄存器文件2808的专用部分。在至少一个实施例中，寄存器文件2808在由SM 2800执行的不同线程束之间划分，并且寄存器文件2808为连接到功能单元的数据路径的操作数提供临时存储。在至少一个实施例中，每个SM 2800包括但不限于多个L个处理核心2810。在至少一个实施例中，SM2800包括但不限于大量(例如128个或更多)不同的处理核心2810。在至少一个实施例中，每个处理核心2810在至少一个实施例中包括但不限于全管线、单精度、双精度和/或混合精度处理单元，其包括但不限于浮点算术逻辑单元和整数算术逻辑单元。在至少一个实施例中，浮点算术逻辑单元实现用于浮点算术的IEEE 754-2008标准。在至少一个实施例中，处理核心2810包括但不限于64个单精度(32位)浮点核心、64个整数核心、32个双精度(64位)浮点核心和8个张量核心。

在至少一个实施例中，张量核心配置为执行矩阵运算。在至少一个实施例中，一个或更多个张量核心包括在处理核心2810中。在至少一个实施例中，张量核心配置为执行深度学习矩阵算术，例如用于神经网络训练和推理的卷积运算。在至少一个实施例中，每个张量核心在4×4矩阵上操作并且执行矩阵乘法和累加运算D＝A×B+C，其中A、B、C和D是4×4矩阵。

在至少一个实施例中，矩阵乘法输入A和B是16位浮点矩阵，并且累加矩阵C和D是16位浮点或32位浮点矩阵。在至少一个实施例中，张量核心对16位浮点输入数据进行32位浮点累加运算。在至少一个实施例中，16位浮点乘法使用64个运算，并得到全精度乘积，然后使用32位浮点加法与其他中间乘积累加起来，以进行4x4x4矩阵乘法。在至少一个实施例中，张量核心用于执行由这些较小的元件构成的更大的二维或更高维度的矩阵运算。在至少一个实施例中，API(诸如CUDA-C++API)公开专门的矩阵加载、矩阵乘法和累加以及矩阵存储操作，以有效地使用来自CUDA-C++程序的张量核心。在至少一个实施例中，在CUDA级别，线程束级别接口假定跨越所有32个线程束线程的16×16大小的矩阵。

在至少一个实施例中，每个SM 2800包括但不限于执行特殊功能(例如，属性评估、倒数平方根等)的M个SFU 2812。在至少一个实施例中，SFU 2812包括但不限于配置为遍历分层树数据结构的树遍历单元。在至少一个实施例中，SFU 2812包括但不限于配置为执行纹理映射过滤操作的纹理单元。在至少一个实施例中，纹理单元配置为从存储器中加载纹理映射(例如，纹理像素的2D阵列)和采样纹理映射，以产生采样的纹理值以供由SM 2800执行的着色器程序使用。在至少一个实施例中，将纹理映射存储在共享存储器/L1高速缓存2818中。在至少一个实施例中，纹理单元使用mip映射(mip-maps)(例如，细节级别不同的纹理映射)来实现纹理操作(诸如过滤操作)。在至少一个实施例中，每个SM 2800包括但不限于两个纹理单元。

在至少一个实施例中，每个SM 2800包括但不限于实现共享存储器/L1高速缓存2818与寄存器文件2808之间的加载和存储操作的N个LSU 2814。在至少一个实施例中，每个SM 2800包括但不限于互连网络2816，互连网络2816将每个功能单元连接到寄存器文件2808，并且LSU 2814连接到寄存器文件2808和共享存储器/L1高速缓存2818。在至少一个实施例中，互连网络2816是交叉开关，其可以配置为将任何功能单元连接到寄存器文件2808中的任何寄存器，并且将LSU 2814连接到寄存器文件2808和共享存储器/L1高速缓存2818中的存储器位置。

在至少一个实施例中，共享存储器/L1高速缓存2818是片上存储器的阵列，其在至少一个实施例中允许SM 2800与图元引擎之间以及SM2800中的线程之间的数据存储和通信。在至少一个实施例中，共享存储器/L1高速缓存2818包括但不限于128KB的存储容量，并且位于从SM 2800到分区单元的路径中。在至少一个实施例中，共享存储器/L1高速缓存2818在至少一个实施例中用于高速缓存读取和写入。在至少一个实施例中，共享存储器/L1高速缓存2818、L2高速缓存和存储器中的一个或更多个是后备存储。

在至少一个实施例中，将数据高速缓存和共享存储器功能组合到单个存储器块中，为两种类型的存储器访问提供了改进的性能。在至少一个实施例中，容量由不使用共享存储器的程序使用或将其用作高速缓存，例如如果共享存储器配置为使用一半容量，则纹理和加载/存储操作可以使用剩余容量。根据至少一个实施例，在共享存储器/L1高速缓存2818内的集成使共享存储器/L1高速缓存2818能够用作用于流传输数据的高吞吐量管线，同时提供对频繁重用的数据的高带宽和低延迟访问。在至少一个实施例中，当配置用于通用并行计算时，与图形处理相比，可以使用更简单的配置。在至少一个实施例中，绕过固定功能GPU，从而创建了更加简单的编程模型。在至少一个实施例中，在通用并行计算配置中，工作分配单元直接将线程的块分配和分布给DPC。在至少一个实施例中，块中的线程执行相同的程序，在计算中使用唯一的线程ID以确保每个线程生成唯一的结果，使用SM 2800执行程序并执行计算，使用共享存储器/L1高速缓存2818在线程之间进行通信，以及使用LSU2814通过共享存储器/L1高速缓存2818和存储器分区单元来读写全局存储器。在至少一个实施例中，当被配置用于通用并行计算时，SM 2800向调度器单元2704写入可以用来在DPC上启动新工作的命令。

在至少一个实施例中，PPU被包括在台式计算机、膝上型计算机、平板电脑、服务器、超级计算机、智能电话(例如，无线、手持设备)、PDA、数码相机、车辆、头戴式显示器、手持式电子设备等中或与之耦合。在至少一个实施例中，PPU被实现在单个半导体衬底上。在至少一个实施例中，PPU与一个或更多个其他设备(例如附加的PPU、存储器、RISCCPU，MMU、数模转换器(“DAC”)等)一起被包括在片上系统(“SoC”)中。

在至少一个实施例中，PPU可以被包括在包括一个或更多个存储设备的图形卡上。图形卡可以配置为与台式计算机主板上的PCIe插槽相连接。在至少一个实施例中，PPU可以是包括在主板的芯片组中的集成GPU(“iGPU”)。

通用计算的软件构造

以下各图阐述但不限于用于实现至少一个实施例的示例性软件构造。

图29示出了根据至少一个实施例的编程平台的软件栈。在至少一个实施例中，编程平台是用于利用计算系统上的硬件来加速计算任务的平台。在至少一个实施例中，软件开发人员可以通过库、编译器指令和/或对编程语言的扩展来访问编程平台。在至少一个实施例中，编程平台可以是但不限于CUDA，Radeon开放计算平台(“ROCm”)，OpenCL(由Khronosgroup开发的OpenCL

在至少一个实施例中，编程平台的软件栈2900为应用程序2901提供执行环境。在至少一个实施例中，应用程序2901可以包括能够在软件栈2900上启动的任何计算机软件。在至少一个实施例中，应用程序2901可以包括但不限于人工智能(“AI”)/机器学习(“ML”)应用程序，高性能计算(“HPC”)应用程序，虚拟桌面基础架构(“VDI”)或数据中心工作负载。

在至少一个实施例中，应用程序2901和软件栈2900在硬件2907上运行。在至少一个实施例中，硬件2907可以包括一个或更多个GPU，CPU，FPGA，AI引擎和/或支持编程平台的其他类型的计算设备。在至少一个实施例中，例如采用CUDA，软件栈2900可以是厂商专用的，并且仅与来自特定厂商的设备兼容。在至少一个实施例中，例如在采用OpenCL中，软件栈2900可以与来自不同供应商的设备一起使用。在至少一个实施例中，硬件2907包括连接到一个或更多个设备的主机，该设备可经由应用程序编程接口(API)调用被访问以执行计算任务。在至少一个实施例中，与硬件2907内的主机相比，其可以包括但不限于CPU(但还可以包括计算设备)及其存储器，硬件2907内的设备可以包括但不限于GPU，FPGA，AI引擎或其他计算设备(但还可以包括CPU)及其存储器。

在至少一个实施例中，编程平台的软件栈2900包括但不限于多个库2903，运行时(runtime)2905和设备内核驱动器2906。在至少一个实施例中，库2903中的每个库可以包括可以由计算机程序使用并在软件开发期间利用的数据和编程代码。在至少一个实施例中，库2903可以包括但不限于预写的代码和子例程，类，值，类型规范，配置数据，文档，帮助数据和/或消息模板。在至少一个实施例中，库2903包括被优化用于在一种或更多种类型的设备上执行的函数。在至少一个实施例中，库2903可以包括但不限于用于在设备上执行数学、深度学习和/或其他类型的运算的函数。在至少一个实施例中，库2903与对应的API 2902相关联，API 2902可包括一个或更多个API，其暴露在库2903中实现的函数。

在至少一个实施例中，将应用程序2901编写为源代码，该源代码被编译成可执行代码，如下面结合图34-36更详细讨论的。在至少一个实施例中，应用程序2901的可执行代码可以至少部分地在由软件栈2900提供的执行环境上运行。在至少一个实施例中，在应用程序2901的执行期间，可以得到需要在设备(与主机相比)上运行的代码。在这种情况下，在至少一个实施例中，可以调用运行时2905以在设备上加载和启动必需的代码。在至少一个实施例中，运行时2905可以包括能够支持应用程序2901的执行的任何技术上可行的运行时系统。

在至少一个实施例中，运行时2905被实现为与对应的API(其被示为API 2904)相关联的一个或更多个运行时库。在至少一个实施例中，一个或更多个这样的运行时库可以包括但不限于用于存储器管理，执行控制，设备管理，错误处理和/或同步等等的函数。在至少一个实施例中，存储器管理函数可以包括但不限于用于分配、解除分配和复制设备存储器以及在主机存储器和设备存储器之间传输数据的函数。在至少一个实施例中，执行控制函数可以包括但不限于在设备上启动函数(当函数是可从主机调用的全局函数时，有时称为“内核”)的函数，和用于在运行时库为要在设备上执行的给定函数维护的缓冲区中设置属性值的函数。

在至少一个实施例中，可以任何技术上可行的方式来实现运行时库和相应的API2904。在至少一个实施例中，一个(或任意数量的)API可以公开用于设备的细粒度控制的低级函数集，而另一(或任意数量的)API可以公开这样的较高级的函数集。在至少一个实施例中，可以在低级API之上构建高级运行时API。在至少一个实施例中，一个或更多个运行时API可以是在与语言无关的运行时API之上分层的特定于语言的API。

在至少一个实施例中，设备内核驱动器2906被配置为促进与底层设备的通信。在至少一个实施例中，设备内核驱动器2906可以提供诸如API2904之类的API和/或其他软件所依赖的低级函数。在至少一个实施例中，设备内核驱动器2906可以被配置为在运行时将中间表示(“IR”)代码编译成二进制代码。在至少一个实施例中，对于CUDA，设备内核驱动器2906可以在运行时将非硬件专用的并行线程执行(“PTX”)IR代码编译为用于特定目标设备的二进制代码(高速缓存已编译的二进制代码)，其有时也称为“最终”代码。在至少一个实施例中，这样做可以允许最终代码在目标设备上运行，而当源代码最初被编译为PTX代码时，该目标设备可能不存在。备选地，在至少一个实施例中，设备源代码可以离线地编译成二进制代码，而不需要设备内核驱动器2906在运行时编译IR代码。

图30示出了根据至少一个实施例的图29的软件栈2900的CUDA实现。在至少一个实施例中，可在其上启动应用程序3001的CUDA软件栈3000包括CUDA库3003，CUDA运行时3005，CUDA驱动器3007和设备内核驱动器3008。在至少一个实施例中，CUDA软件栈3000在硬件3009上执行，该硬件3009可以包括支持CUDA的GPU，其由加利福尼亚州圣克拉拉市的NVIDIA公司开发。

在至少一个实施例中，应用程序3001、CUDA运行时3005和设备内核驱动器3008可以分别执行与应用程序2801、运行时2805和设备内核驱动器2906类似的功能，以上结合图29对其进行了描述。在至少一个实施例中，CUDA驱动器3007包括实现CUDA驱动器API 3006的库(libcuda.so)。在至少一个实施例中，类似于由CUDA运行时库(cudart)实现的CUDA运行时API 3004，CUDA驱动器API 3006可以公开但不限于用于存储器管理、执行控制、设备管理、错误处理、同步和/或图形互操作性等的函数。在至少一个实施例中，CUDA驱动器API3006与CUDA运行时API 3004的不同之处在于，CUDA运行时API 3004通过提供隐式初始化、上下文(类似于进程)管理和模块(类似于动态加载的库)管理来简化设备代码管理。与高级CUDA运行时API 3004相反，在至少一个实施例中，CUDA驱动器API 3006是提供对设备的更细粒度控制的低级API，特别是关于上下文和模块加载。在至少一个实施例中，CUDA驱动器API 3006可以公开没有由CUDA运行时API 3004公开的用于上下文管理的函数。在至少一个实施例中，CUDA驱动器API 3006也与语言无关，并且除了支持CUDA运行时API3004之外，还支持例如OpenCL。此外，在至少一个实施例中，包括CUDA运行时3005在内的开发库可被视为与驱动器组件分离，包括用户模式的CUDA驱动器3007和内核模式的设备驱动器3008(有时也称为“显示”驱动器)。

在至少一个实施例中，CUDA库3003可以包括但不限于数学库，深度学习库，并行算法库和/或信号/图像/视频处理库，并行计算应用程序(例如应用程序3001)可以利用这些库。在至少一个实施例中，CUDA库3003可包括数学库，例如cuBLAS库，其是用于执行线性代数运算的基本线性代数子程序(“BLAS”)的实现；用于计算快速傅立叶变换(“FFT”)的cuFFT库，以及用于生成随机数的cuRAND库等。在至少一个实施例中，CUDA库3003可以包括深度学习库，诸如用于深度神经网络的基元的cuDNN库和用于高性能深度学习推理的TensorRT平台等等。

图31示出了根据至少一个实施例的图29的软件栈2900的ROCm实现。在至少一个实施例中，可在其上启动应用程序3101的ROCm软件栈3100包括语言运行时3103，系统运行时3105，thunk 3107和ROCm内核驱动器3108。在至少一个实施例中，ROCm软件栈3100在硬件3109上执行，硬件3109可以包括支持ROCm的GPU，其由加利福尼亚州圣克拉拉市的AMD公司开发。

在至少一个实施例中，应用程序3101可以执行与以上结合图29讨论的应用程序2901类似的功能。另外，在至少一个实施例中，语言运行时3103和系统运行时3105可以执行与以上结合图29讨论的运行时2905类似的功能。在至少一个实施例中，语言运行时3103和系统运行时3105的不同之处在于，系统运行时3105是实现ROCr系统运行时API 3104并利用异构系统架构(“HSA”)运行时API的语言无关运行时。在至少一个实施例中，HSA运行时API是一种瘦用户模式API，它公开接口以供访问和与AMDGPU交互，包括用于存储器管理、通过架构分派内核的执行控制、错误处理、系统和代理信息以及运行时初始化和关闭等的函数。在至少一个实施例中，与系统运行时3105相比，语言运行时3103是ROCr系统运行时API3104之上分层的特定于语言的运行时API 3102的实现。在至少一个实施例中，语言运行时API可以包括但不限于可移植异构计算接口(“HIP”)语言运行时API，异构计算编译器(“HCC”)语言运行时API或OpenCL API等等。特别是，HIP语言是C++编程语言的扩展，具有CUDA机制的功能相似版本，并且在至少一个实施例中，HIP语言运行时API包括与以上结合图30讨论的CUDA运行时API 3004相似的函数，例如用于存储器管理、执行控制、设备管理、错误处理和同步等的函数。

在至少一个实施例中，thunk(ROCt)3107是可用于与底层ROCm驱动器3108交互的接口3106。在至少一个实施例中，ROCm驱动器3108是ROCk驱动器，其是AMDGPU驱动器和HSA内核驱动器(amdkfd)的组合。在至少一个实施例中，AMDGPU驱动器是由AMD开发的用于GPU的设备内核驱动器，其执行与以上结合图29讨论的设备内核驱动器2906类似的功能。在至少一个实施例中，HSA内核驱动器是允许不同类型的处理器经由硬件特征更有效地共享系统资源的驱动器。

在至少一个实施例中，各种库(未示出)可以被包括在语言运行时3103上方的ROCm软件栈3100中，并且提供与以上结合图30讨论的CUDA库3003相似的功能。在至少一个实施例中，各种库可以包括但不限于数学、深度学习和/或其他库，例如实现与CUDA cuBLAS类似的函数的hipBLAS库，类似于CUDA cuFFT用于计算FFT的rocFFT库等。

图32示出了根据至少一个实施例的图29的软件栈2900的OpenCL实现。在至少一个实施例中，可以在其上启动应用程序3201的OpenCL软件栈3200包括OpenCL框架3210，OpenCL运行时3206和驱动器3207。在至少一个实施例中，OpenCL软件栈3200在不是特定于供应商的硬件3009上执行。在至少一个实施例中，由于由不同厂商开发的设备支持OpenCL，因此可能需要特定的OpenCL驱动器才能与来自此类厂商的硬件进行互操作。

在至少一个实施例中，应用程序3201，OpenCL运行时3206，设备内核驱动器3207和硬件3208可以分别执行与上面结合图29讨论的应用程序2901、运行时2905、设备内核驱动器2906和硬件2907类似的功能。在至少一个实施例中，应用程序3201还包括具有将在设备上执行的代码的OpenCL内核3202。

在至少一个实施例中，OpenCL定义了一种“平台”，其允许主机控制连接到该主机的设备。在至少一个实施例中，OpenCL框架提供平台层API和运行时API，示出为平台API3203和运行时API 3205。在至少一个实施例中，运行时API 3205使用上下文来管理设备上内核的执行。在至少一个实施例中，每个标识的设备可以与各自的上下文相关联，运行时API3205可以使用该上下文来管理该设备的命令队列、程序对象和内核对象、共享存储器对象等。在至少一个实施例中，平台API 3203公开了允许设备上下文用于选择和初始化设备，经由命令队列将工作提交给设备，以及使得能够进行来自和去往设备的数据传输等的函数。另外，在至少一个实施例中，OpenCL框架提供各种内置函数(未示出)，包括数学函数、关系函数和图像处理函数等。

在至少一个实施例中，编译器3204也被包括在OpenCL框架3210中。在至少一个实施例中，源代码可以在执行应用程序之前被离线编译或者在执行应用程序期间被在线编译。与CUDA和ROCm相反，至少一个实施例中的OpenCL应用程序可以由编译器3204在线编译，编译器3204被包括以代表可以用于将源代码和/或IR代码(例如标准可移植中间表示(“SPIR-V”)代码)编译为二进制代码的任意数量的编译器。可替代地，在至少一个实施例中，可以在执行这样的应用程序之前离线编译OpenCL应用程序。

图33示出了根据至少一个实施例的由编程平台支持的软件。在至少一个实施例中，编程平台3304被配置为支持应用程序3300可以依赖的各种编程模型3303，中间件和/或库3302以及框架3301。在至少一个实施例中，应用程序3300可以是使用例如深度学习框架(例如，MXNet，PyTorch或TensorFlow)实现的AI/ML应用，其可以依赖于诸如cuDNN，NVIDIACollective Communications Library(“NCCL”)”和/或NVIDIA开发人员数据加载库(“DALI”)CUDA库之类的库，以在底层硬件上提供加速的计算。

在至少一个实施例中，编程平台3304可以是以上分别结合图30、图31和图32描述的CUDA、ROCm或OpenCL平台之一。在至少一个实施例中，编程平台3304支持多个编程模型3303，其是底层计算系统的抽象，其允许算法和数据结构的表达。在至少一个实施例中，编程模型3303可以暴露底层硬件的特征以便改善性能。在至少一个实施例中，编程模型3303可以包括但不限于CUDA，HIP，OpenCL，C++加速大规模并行性(“C++AMP”)，开放多处理(“OpenMP”)，开放加速器(“OpenACC”)和/或Vulcan计算(Vulcan Compute)。

在至少一个实施例中，库和/或中间件3302提供编程模型3304的抽象的实现。在至少一个实施例中，这样的库包括可由计算机程序使用并在软件开发期间利用的数据和编程代码。在至少一个实施例中，除了可以从编程平台3304获得的那些之外，这样的中间件还包括向应用程序提供服务的软件。在至少一个实施例中，库和/或中间件3302可以包括但不限于cuBLAS、cuFFT、cuRAND和其他CUDA库，或rocBLAS、rocFFT、rocRAND和其他ROCm库。另外，在至少一个实施例中，库和/或中间件3302可以包括NCCL和ROCm通信集合库(“RCCL”)库，其提供用于GPU的通信例程，用于深度学习加速的MIOpen库和/或用于线性代数、矩阵和向量运算、几何变换、数值求解器以及相关算法的本征库。

在至少一个实施例中，应用程序框架3301依赖于库和/或中间件3302。在至少一个实施例中，每个应用程序框架3301是用于实现应用软件的标准结构的软件框架。回到上面讨论的AI/ML示例，在至少一个实施例中，可以使用框架(诸如Caffe，Caffe2，TensorFlow，Keras，PyTorch或MxNet深度学习框架)来实现AI/ML应用。

图34示出了根据至少一个实施例的编译代码以在图29-32的编程平台之一上执行。在至少一个实施例中，编译器3401接收源代码3400，其包括主机代码以及设备代码两者。在至少一个实施例中，编译器3401被配置为将源代码3400转换为用于在主机上执行的主机可执行代码3402以及用于在设备上执行的设备可执行代码3403。在至少一个实施例中，源代码3400可以在执行应用程序之前离线编译，或者在执行应用程序期间在线编译。

在至少一个实施例中，源代码3400可以包括编译器3401支持的任何编程语言的代码，例如C++、C、Fortran等。在至少一个实施例中，源代码3400可以包括在单一源(single-source)文件中，其具有主机代码和设备代码的混合，并在其中指示了设备代码的位置。在至少一个实施例中，单一源文件可以是包括CUDA代码的.cu文件或包括HIP代码的.hip.cpp文件。备选地，在至少一个实施例中，源代码3400可以包括多个源代码文件，而不是单一源文件，在该单一源文件中主机代码和设备代码是分开的。

在至少一个实施例中，编译器3401被配置为将源代码3400编译成用于在主机上执行的主机可执行代码3402和用于在设备上执行的设备可执行代码3403。在至少一个实施例中，编译器3401执行操作，包括将源代码3400解析为抽象系统树(AST)，执行优化以及生成可执行代码。在源代码3400包括单一源文件的至少一个实施例中，编译器3401可以将设备代码与主机代码在这种单一源文件中分开，将设备代码和主机代码分别编译成设备可执行代码3403和主机可执行代码3402，以及将设备可执行代码3403和主机可执行代码3402在单个文件中链接到一起，如下面关于图35更详细讨论的。

在至少一个实施例中，主机可执行代码3402和设备可执行代码3403可以是任何合适的格式，例如二进制代码和/或IR代码。在CUDA的情况下，在至少一个实施例中，主机可执行代码3402可以包括本地对象代码，而设备可执行代码3403可以包括PTX中间表示的代码。在至少一个实施例中，在ROCm的情况下，主机可执行代码3402和设备可执行代码3403都可以包括目标二进制代码。

图35是根据至少一个实施例的编译代码以在图29-32的编程平台之一上执行的更详细图示。在至少一个实施例中，编译器3501被配置为接收源代码3500，编译源代码3500，并输出可执行文件3510。在至少一个实施例中，源代码3500是单一源文件，例如.cu文件，.hip.cpp文件或其他格式的文件，其包括主机代码和设备代码两者。在至少一个实施例中，编译器3501可以是但不限于用于在.cu文件中编译CUDA代码的NVIDIACUDA编译器(“NVCC”)，或用于在.hip.cpp文件中编译HIP代码的HCC编译器。

在至少一个实施例中，编译器3501包括编译器前端3502，主机编译器3505，设备编译器3506和链接器3509。在至少一个实施例中，编译器前端3502被配置为在源代码3500中将设备代码3504与主机代码3503分开。在至少一个实施例中，设备代码3504由设备编译器3506编译成设备可执行代码3508，如所描述的，其可以包括二进制代码或IR代码。在至少一个实施例中，主机代码3503由主机编译器3505单独地编译成主机可执行代码3507。在至少一个实施例中，对于NVCC，主机编译器3505可以是但不限于输出本机目标代码的通用C/C++编译器，而设备编译器3506可以是但不限于基于低级虚拟机(“LLVM”)的编译器，其将LLVM编译器基础架构分叉，并输出PTX代码或二进制代码。在至少一个实施例中，对于HCC，主机编译器3505和设备编译器3506两者可以是但不限于输出目标二进制代码的基于LLVM的编译器。

在至少一个实施例中，在将源代码3500编译成主机可执行代码3507和设备可执行代码3508之后，链接器3509将主机和设备可执行代码3507和3508在可执行文件3510中链接到一起。在至少一个实施例中，主机和PTX的本机目标代码或设备的二进制代码可以在可执行和可链接格式(“ELF”)文件中链接在一起，该文件是用于存储目标代码的容器格式。

图36示出了根据至少一个实施例的在编译源代码之前转换源代码。在至少一个实施例中，源代码3600通过转换工具3601传递，转换工具3601将源代码3600转换成转换后的源代码3602。在至少一个实施例中，编译器3603用于将转换后的源代码3602编译成主机可执行代码3604和设备可执行代码3605，其过程类似于由编译器3401将源代码3400编译成主机可执行代码3402和设备可执行代码3403的过程，如以上结合图34所讨论的。

在至少一个实施例中，由转换工具3601执行的转换被用于移植(port)源代码3600，以在与最初打算在其上运行的不同的环境中执行。在至少一个实施例中，转换工具3601可以包括但不限于HIP转换器，其用于将用于CUDA平台的CUDA代码“移植(hipify)”为可以在ROCm平台上编译和执行的HIP代码。在至少一个实施例中，源代码3600的转换可以包括：解析源代码3600，并将对由一个编程模型(例如，CUDA)提供的API的调用转换为对由另一编程模型(例如，例如，HIP)提供的API的相应调用，如下面结合图37A-38更详细地讨论的。返回到移植CUDA代码的示例，在至少一个实施例中，对CUDA运行时API、CUDA驱动器API和/或CUDA库的调用可以被转换为对应的HIP API调用。在至少一个实施例中，由转换工具3601执行的自动转换有时可能是不完整的，需要额外的人工来完全移植源代码3600。

配置GPU用于通用计算

以下各图阐述但不限于根据至少一个实施例的用于编译和执行计算源代码的示例性架构。

图37A示出了根据至少一个实施例的被配置为使用不同类型的处理单元来编译和执行CUDA源代码3710的系统3700。在至少一个实施例中，系统3700包括但不限于CUDA源代码3710，CUDA编译器3750，主机可执行代码3770(1)，主机可执行代码3770(2)，CUDA设备可执行代码3784，CPU 3790，启用CUDA的GPU 3794，GPU 3792，CUDA到HIP转换工具3720，HIP源代码3730，HIP编译器驱动器3740，HCC 3760和HCC设备可执行代码3782。

在至少一个实施例中，CUDA源代码3710是CUDA编程语言的人类可读代码的集合。在至少一个实施例中，CUDA代码是CUDA编程语言的人类可读代码。在至少一个实施例中，CUDA编程语言是C++编程语言的扩展，其包括但不限于定义设备代码以及区分设备代码和主机代码的机制。在至少一个实施例中，设备代码是在编译之后可在设备上并行执行的源代码。在至少一个实施例中，设备可以是针对并行指令处理而优化的处理器，例如启用CUDA的GPU 3790、GPU 37192或另一GPGPU等。在至少一个实施例中，主机代码是在编译后可以在主机上执行的源代码。在至少一个实施例中，主机是针对顺序指令处理而优化的处理器，例如CPU 3790。

在至少一个实施例中，CUDA源代码3710包括但不限于，任意数量(包括零)的全局函数3712，任意数量(包括零)的设备函数3714，任意数量(包括零)的主机函数3716，以及任意数量(包括零)的主机/设备函数3718。在至少一个实施例中，全局函数3712，设备函数3714，主机函数3716和主机/设备函数3718在CUDA源代码3710中可以混合。在至少一个实施例中，每个全局函数3712可在设备上执行并且可从主机调用。因此，在至少一个实施例中，全局函数3712中的一个或更多个可以充当设备的入口点。在至少一个实施例中，每个全局函数3712是内核。在至少一个实施例中以及在一种称为动态并行性的技术中，一个或更多个全局函数3712定义了一内核，该内核可以在设备上执行并且可以从这样的设备调用。在至少一个实施例中，内核在执行期间由设备上的N个不同线程并行执行N次(其中N为任何正整数)。

在至少一个实施例中，每个设备函数3714在设备上执行并且只能从这样的设备调用。在至少一个实施例中，每个主机函数3716在主机上执行并且只能从这样的主机调用。在至少一个实施例中，每个主机/设备函数3716既定义了在主机上可执行并且只能从这样的主机调用的函数的主机版本，也定义了在设备上可执行并且只能从这样的设备调用的函数的设备版本。

在至少一个实施例中，CUDA源代码3710还可包括但不限于对通过CUDA运行时API3702定义的任意数量的函数的任意数量的调用。在至少一个实施例中，CUDA运行时API3702可以包括但不限于在主机上执行的任意数量的函数，用于分配和解除分配设备存储器，在主机存储器和设备存储器之间传输数据，管理具有多个设备的系统等。在至少一个实施例中，CUDA源代码3710还可以包括对在任意数量的其他CUDA API中指定的任意数量的函数的任意数量的调用。在至少一个实施例中，CUDA API可以是被设计为由CUDA代码使用的任何API。在至少一个实施例中，CUDA API包括但不限于CUDA运行时API 3702，CUDA驱动器API，用于任意数量的CUDA库的API等。在至少一个实施例中并且相对于CUDA运行时API3702，CUDA驱动器API是较低级别的API，但可以提供对设备的更细粒度的控制。在至少一个实施例中，CUDA库的示例包括但不限于cuBLAS，cuFFT，cuRAND，cuDNN等。

在至少一个实施例中，CUDA编译器3750编译输入的CUDA代码(例如，CUDA源代码3710)以生成主机可执行代码3770(1)和CUDA设备可执行代码3784。在至少一个实施例中，CUDA编译器3750是NVCC。在至少一个实施例中，主机可执行代码3770(1)是在CPU 3790上可执行的输入源代码中包括的主机代码的编译版本。在至少一个实施例中，CPU3790可以是针对顺序指令处理而优化的任何处理器。

在至少一个实施例中，CUDA设备可执行代码3784是在启用CUDA的GPU 3794上可执行的输入源代码中包括的设备代码的编译版本。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于二进制代码。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于IR代码，例如PTX代码，该IR代码在运行时被设备驱动器进一步编译为用于特定目标设备(例如，启用CUDA的GPU 3794)的二进制代码。在至少一个实施例中，启用CUDA的GPU3794可以是针对并行指令处理而优化并且支持CUDA的任何处理器。在至少一个实施例中，启用CUDA的GPU 3794由加利福尼亚州圣克拉拉市的NVIDIA公司开发。

在至少一个实施例中，CUDA到HIP转换工具3720被配置为将CUDA源代码3710转换成功能上相似的HIP源代码3730。在至少一个实施例中，HIP源代码3730是HIP编程语言的人类可读代码的集合。在至少一个实施例中，HIP代码是HIP编程语言的人类可读代码。在至少一个实施例中，HIP编程语言是C++编程语言的扩展，其包括但不限于CUDA机制的功能上相似的版本，用于定义设备代码并区分设备代码和主机代码。在至少一个实施例中，HIP编程语言可以包括CUDA编程语言的功能的子集。在至少一个实施例中，例如，HIP编程语言包括但不限于定义全局函数3712的机制，但是这样的HIP编程语言可能缺乏对动态并行性的支持，因此，在HIP代码中定义的全局函数3712仅可从主机调用。

在至少一个实施例中，HIP源代码3730包括但不限于任意数量(包括零)的全局函数3712，任意数量(包括零)的设备函数3714，任意数量(包括零)的主机函数3716以及任意数量(包括零)的主机/设备函数3718。在至少一个实施例中，HIP源代码3730还可以包括对在HIP运行时API3732中指定的任意数量的函数的任意数量的调用。在一个实施例中，HIP运行时API 3732包括但不限于CUDA运行时API 3702中包括的函数的子集的功能上相似的版本。在至少一个实施例中，HIP源代码3730还可以包括对在任意数量的其他HIP API中指定的任意数量的函数的任意数量的调用。在至少一个实施例中，HIP API可以是被设计为供HIP代码和/或ROCm使用的任何API。在至少一个实施例中，HIP API包括但不限于HIP运行时API 3732，HIP驱动器API，用于任意数量的HIP库的API，用于任意数量的ROCm库的API等。

在至少一个实施例中，CUDA到HIP转换工具3720将CUDA代码中的每个内核调用从CUDA语法转换为HIP语法，并将CUDA代码中的任意数量的其他CUDA调用转换为任意数量的其他功能上相似的HIP调用。在至少一个实施例中，CUDA调用是对在CUDA API中指定的函数的调用，并且HIP调用是对在HIP API中指定的函数的调用。在至少一个实施例中，CUDA到HIP转换工具3720将对在CUDA运行时API 3702中指定的函数的任意数量的调用转换为对在HIP运行时API 3732中指定的函数的任意数量的调用。

在至少一个实施例中，CUDA到HIP转换工具3720是被称为hipify-perl的工具，其执行基于文本的转换过程。在至少一个实施例中，CUDA到HIP转换工具3720是被称为hipify-clang的工具，相对于hipify-perl，其执行更复杂且更鲁棒的转换过程，该过程涉及使用clang(编译器前端)解析CUDA代码，然后转换得到的符号。在至少一个实施例中，除了由CUDA到HIP转换工具3720执行的那些修改之外，将CUDA代码正确地转换成HIP代码可能还需要修改(例如，手动编辑)。

在至少一个实施例中，HIP编译器驱动器3740是确定目标设备3746，然后配置与目标设备3746兼容的编译器以编译HIP源代码3730的前端。在至少一个实施例中，目标设备3746是针对并行指令处理而优化的处理器。在至少一个实施例中，HIP编译器驱动器3740可以以任何技术上可行的方式确定目标设备3746。

在至少一个实施例中，如果目标设备3746与CUDA兼容(例如，启用CUDA的GPU3794)，则HIP编译器驱动器3740生成HIP/NVCC编译命令3742。在至少一个实施例中并且结合图37B更详细地描述的，HIP/NVCC编译命令3742配置CUDA编译器3750以使用但不限于HIP到CUDA转换头和CUDA运行时库来编译HIP源代码3730。在至少一个实施例中并且响应于HIP/NVCC编译命令3742，CUDA编译器3750生成主机可执行代码3770(1)和CUDA设备可执行代码3784。

在至少一个实施例中，如果目标设备3746与CUDA不兼容，则HIP编译器驱动器3740生成HIP/HCC编译命令3744。在至少一个实施例中并且如结合图37C更详细地描述的，HIP/HCC编译命令3744配置HCC 3760以使用HCC头和HIP/HCC运行时库编译HIP源代码3730。在至少一个实施例中并且响应于HIP/HCC编译命令3744，HCC 3760生成主机可执行代码3770(2)和HCC设备可执行代码3782。在至少一个实施例中，HCC设备可执行代码3782是HIP源代码3730中包含的可在GPU 3792上执行的设备代码的编译版本。在至少一个实施例中，GPU3792可以是针对并行指令处理而优化的、与CUDA不兼容且与HCC兼容的任何处理器。在至少一个实施例中，GPU 3792由加利福尼亚州圣克拉拉市的AMD公司开发。在至少一个实施例中，GPU 3792是不启用CUDA的GPU 3792。

仅出于说明性目的，在图37A中描绘了在至少一个实施例中可以实现为编译CUDA源代码3710以在CPU 3790和不同设备上执行的三个不同流程。在至少一个实施例中，直接CUDA流程编译CUDA源代码3710以在CPU 3790和启用CUDA的GPU 3794上执行，而无需将CUDA源代码3710转换为HIP源代码3730。在至少一个实施例中，间接CUDA流程将CUDA源代码3710转换为HIP源代码3730，然后编译HIP源代码3730以在CPU 3790和启用CUDA的GPU 3794上执行。在至少一个实施例中，CUDA/HCC流程将CUDA源代码3710转换为HIP源代码3730，然后编译HIP源代码3730以在CPU 3790和GPU 3792上执行。

可以通过虚线和一系列气泡注释A1-A3描绘可以在至少一个实施例中实现的直接CUDA流程。在至少一个实施例中，并且如气泡注释A1所示，CUDA编译器3750接收CUDA源代码3710和配置CUDA编译器3750以编译CUDA源代码3710的CUDA编译命令3748。在至少一个实施例中，直接CUDA流程中使用的CUDA源代码3710是用CUDA编程语言编写的，该CUDA编程语言基于除C++之外的其他编程语言(例如C，Fortran，Python，Java等)。在至少一个实施例中，并且响应于CUDA编译命令3748，CUDA编译器3750生成主机可执行代码3770(1)和CUDA设备可执行代码3784(用气泡注释A2表示)。在至少一个实施例中并且如用气泡注释A3所示，主机可执行代码3770(1)和CUDA设备可执行代码3784可以分别在CPU 3790和启用CUDA的GPU3794上执行。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于二进制代码。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于PTX代码，并且在运行时被进一步编译成用于特定目标设备的二进制代码。

可以通过虚线和一系列气泡注释B1-B6来描述可以在至少一个实施例中实现的间接CUDA流程。在至少一个实施例中并且如气泡注释B1所示，CUDA到HIP转换工具3720接收CUDA源代码3710。在至少一个实施例中并且如气泡注释B2所示，CUDA到HIP转换工具3720将CUDA源代码3710转换为HIP源代码3730。在至少一个实施例中并如气泡注释B3所示，HIP编译器驱动器3740接收HIP源代码3730，并确定目标设备3746是否启用了CUDA。

在至少一个实施例中并且如气泡注释B4所示，HIP编译器驱动器3740生成HIP/NVCC编译命令3742，并将HIP/NVCC编译命令3742和HIP源代码3730两者都发送到CUDA编译器3750。在至少一个实施例中并且如结合图37B更详细地描述的，HIP/NVCC编译命令3742配置CUDA编译器3750以使用但不限于HIP到CUDA转换头和CUDA运行时库来编译HIP源代码3730。在至少一个实施例中并且响应于HIP/NVCC编译命令3742，CUDA编译器3750生成主机可执行代码3770(1)和CUDA设备可执行代码3784(用气泡注释B5表示)。在至少一个实施例中并且如气泡注释B6所示，主机可执行代码3770(1)和CUDA设备可执行代码3784可以分别在CPU 3790和启用CUDA的GPU 3794上执行。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于二进制代码。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于PTX代码，并且在运行时被进一步编译成用于特定目标设备的二进制代码。

可以通过实线和一系列气泡注释C1-C6来描述可以在至少一个实施例中实现的CUDA/HCC流程。在至少一个实施例中并且如气泡注释C1所示，CUDA到HIP转换工具3720接收CUDA源代码3710。在至少一个实施例中并且如气泡注释C2所示，CUDA到HIP转换工具3720将CUDA源代码3710转换为HIP源代码3730。在至少一个实施例中并且如气泡注释C3所示，HIP编译器驱动器3740接收HIP源代码3730，并确定目标设备3746未启用CUDA。

在至少一个实施例中，HIP编译器驱动器3740生成HIP/HCC编译命令3744，并且将HIP/HCC编译命令3764和HIP源代码3730两者发送到HCC 3760(用气泡注释C4表示)。在至少一个实施例中并且如结合图37C更详细地描述的，HIP/HCC编译命令3764配置HCC 3760以使用但不限于HCC头和HIP/HCC运行时库编译HIP源代码3730。在至少一个实施例中并且响应于HIP/HCC编译命令3744，HCC 3760生成主机可执行代码3770(2)和HCC设备可执行代码3782(用气泡注释C5表示)。在至少一个实施例中并且如气泡注释C6所示，主机可执行代码3770(2)和HCC设备可执行代码3782可以分别在CPU 3790和GPU 3792上执行。

在至少一个实施例中，在将CUDA源代码3710转换为HIP源代码3730之后，HIP编译器驱动器3740可随后用于生成用于启用CUDA的GPU 3794或GPU 3792的可执行代码，而无需将CUDA重新执行为HIP转换工具3720。在至少一个实施例中，CUDA到HIP转换工具3720将CUDA源代码3710转换为HIP源代码3730，然后将其存储在存储器中。在至少一个实施例中，HIP编译器驱动器3740然后配置HCC 3760以基于HIP源代码3730生成主机可执行代码3770(2)和HCC设备可执行代码3782。在至少一个实施例中，HIP编译器驱动器3740随后配置CUDA编译器3750以基于存储的HIP源代码3730生成主机可执行代码3770(1)和CUDA设备可执行代码3784。

图37B示出了根据至少一个实施例的被配置为使用CPU 3790和启用CUDA的GPU3794来编译和执行图37A的CUDA源代码3710的系统3704。在至少一个实施例中，系统3704包括但不限于CUDA源代码3710，CUDA到HIP转换工具3720，HIP源代码3730，HIP编译器驱动器3740，CUDA编译器3750，主机可执行代码3770(1)，CUDA设备可执行代码3784，CPU 3790和启用CUDA的GPU 3794。

在至少一个实施例中并且如本文先前结合图37A所描述的，CUDA源代码3710包括但不限于任意数量(包括零)的全局函数3712，任意数量(包括零)的设备函数3714，任意数量(包括零)的主机函数3716以及任意数量(包括零)的主机/设备函数3718。在至少一个实施例中，CUDA源代码3710还包括但不限于对在任意数量的CUDA API中指定的任意数量的函数的任意数量的调用。

在至少一个实施例中，CUDA到HIP转换工具3720将CUDA源代码3710转换成HIP源代码3730。在至少一个实施例中，CUDA到HIP转换工具3720将CUDA源代码3710中的每个内核调用从CUDA语法转换为HIP语法，并将CUDA源代码3710中任意数量的其他CUDA调用转换为任意数量的其他功能上相似的HIP调用。

在至少一个实施例中，HIP编译器驱动器3740确定目标设备3746是启用CUDA的，并且生成HIP/NVCC编译命令3742。在至少一个实施例中，然后HIP编译器驱动器3740经由HIP/NVCC编译命令3742配置CUDA编译器3750以编译HIP源代码3730。在至少一个实施例中，作为配置CUDA编译器3750的一部分，HIP编译器驱动器3740提供对HIP到CUDA转换头3752的访问。在至少一个实施例中，HIP到CUDA转换头3752将任意数量的HIP API中指定的任意数量的机制(例如，函数)转换为任意数量的CUDA API中指定的任意数量的机制。在至少一个实施例中，CUDA编译器3750将HIP到CUDA转换头3752与对应于CUDA运行时API3702的CUDA运行时库3754结合使用，以生成主机可执行代码3770(1)和CUDA设备可执行代码3784。在至少一个实施例中，然后可以分别在CPU 3790和启用CUDA的GPU 3794上执行主机可执行代码3770(1)和CUDA设备可执行代码3784。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于二进制代码。在至少一个实施例中，CUDA设备可执行代码3784包括但不限于PTX代码，并且在运行时被进一步编译成用于特定目标设备的二进制代码。

图37C示出了根据至少一个实施例的系统3706，该系统3706被配置为使用CPU3790和未启用CUDA的GPU 3792来编译和执行图37A的CUDA源代码3710。在至少一个实施例中，系统3706包括但不限于CUDA源代码3710，CUDA到HIP转换工具3720，HIP源代码3730，HIP编译器驱动器3740，HCC 3760，主机可执行代码3770(2)，HCC设备可执行代码3782，CPU3790和GPU 3792。

在至少一个实施例中，并且如本文先前结合图37A所描述的，CUDA源代码3710包括但不限于任意数量(包括零)的全局函数3712，任意数量(包括零)的设备函数3714，任意数量(包括零)的主机函数3716以及任意数量(包括零)的主机/设备函数3718。在至少一个实施例中，CUDA源代码3710还包括但不限于对在任意数量的CUDA API中指定的任意数量的函数的任意数量的调用。

在至少一个实施例中，CUDA到HIP转换工具3720将CUDA源代码3710转换成HIP源代码3730。在至少一个实施例中，CUDA到HIP转换工具3720将CUDA源代码3710中的每个内核调用从CUDA语法转换为HIP语法，并将源代码3710中任意数量的其他CUDA调用转换为任意数量的其他功能上相似的HIP调用。

在至少一个实施例中，HIP编译器驱动器3740随后确定目标设备3746不是启用CUDA的，并生成HIP/HCC编译命令3744。在至少一个实施例中，然后HIP编译器驱动器3740配置HCC 3760以执行HIP/HCC编译命令3744，从而编译HIP源代码3730。在至少一个实施例中，HIP/HCC编译命令3744将HCC 3760配置为使用但不限于HIP/HCC运行时库3758和HCC头3756来生成主机可执行代码3770(2)和HCC设备可执行代码3782。在至少一个实施例中，HIP/HCC运行时库3758对应于HIP运行时API3732。在至少一个实施例中，HCC头3756包括但不限于用于HIP和HCC的任意数量和类型的互操作性机制。在至少一个实施例中，主机可执行代码3770(2)和HCC设备可执行代码3782可以分别在CPU 3790和GPU 3792上执行。

图38示出了根据至少一个实施例的由图37C的CUDA到HIP转换工具3720转换的示例性内核。在至少一个实施例中，CUDA源代码3710将给定内核被设计为解决的总体问题划分为可以使用线程块独立解决的相对粗糙的子问题。在至少一个实施例中，每个线程块包括但不限于任意数量的线程。在至少一个实施例中，每个子问题被划分为相对细小的部分(pieces)，这些部分可以由线程块中的线程协作并行地解决。在至少一个实施例中，线程块内的线程可以通过共享存储器共享数据并通过同步执行以协调存储器访问来协作。

在至少一个实施例中，CUDA源代码3710将与给定内核相关联的线程块组织成线程块的一维、二维或三维网格。在至少一个实施例中，每个线程块包括但不限于任意数量的线程，并且网格包括但不限于任意数量的线程块。

在至少一个实施例中，内核是使用“__global__”声明说明符(specifier)定义的设备代码中的函数。在至少一个实施例中，使用CUDA内核启动语法3810来指定针对给定内核调用执行内核的网格的尺寸以及相关联的流。在至少一个实施例中，CUDA内核启动语法3810被指定为“KernelName<<>>(KernelArguments)；”。在至少一个实施例中，执行配置语法是“<<<...>>>”构造，其被插入在内核名称(“KernelName”)和内核参数的括号列表(“KernelArguments”)之间。在至少一个实施例中，CUDA内核启动语法3810包括但不限于CUDA启动函数语法而不是执行配置语法。

在至少一个实施例中，“GridSize”是dim3类型的，并且指定网格的尺寸和大小。在至少一个实施例中，类型dim3是CUDA定义的结构，其包括但不限于无符号整数x，y和z。在至少一个实施例中，如果未指定z，则z默认为1。在至少一个实施例中，如果未指定y，则y默认为1。在至少一个实施例中，网格中的线程块的数量等于GridSize.x、GridSize.y和GridSize.z的乘积。在至少一个实施例中，“BlockSize”是dim3类型的，并且指定每个线程块的尺寸和大小。在至少一个实施例中，每线程块的线程数等于BlockSize.x、BlockSize.y和BlockSize.z的乘积。在至少一个实施例中，给定执行内核的每个线程唯一的线程ID，该线程ID可通过内置变量(例如“threadIdx”)在内核内访问。

在至少一个实施例中，关于CUDA内核启动语法3810，“SharedMemorySize”是一可选参数，它指定共享存储器中除静态分配的存储器外，针对给定内核调用为每个线程块动态分配的字节数。在至少一个实施例中并且关于CUDA内核启动语法3810，SharedMemorySize默认为零。在至少一个实施例中并且关于CUDA内核启动语法3810，“流”是可选的参数，其指定相关联的流并且默认为零以指定默认流。在至少一个实施例中，流是按顺序执行的命令序列(其可能由不同的主机线程发出)。在至少一个实施例中，不同的流可以相对于彼此无序地或同时地执行命令。

在至少一个实施例中，CUDA源代码3710包括但不限于用于示例性内核“MatAdd”的内核定义和主函数。在至少一个实施例中，主函数是在主机上执行的主机代码，并且包括但不限于使内核MatAdd在设备上执行的内核调用。在至少一个实施例中，如图所示，内核MatAdd将大小为NxN的两个矩阵A和B相加，其中N为正整数，并将结果存储在矩阵C中。在至少一个实施例中，主函数将threadsPerBlock变量定义为16x16，numBlocks变量为N/16xN/16。在至少一个实施例中，然后主函数指定内核调用“MatAdd<<>>(A，B，C)；”。在至少一个实施例中，并且根据CUDA内核启动语法3810，使用尺寸为N/16×N/16的线程块网格来执行内核MatAdd，其中每个线程块的尺寸为16×16。在至少一个实施例中，每个线程块包括256个线程，创建具有足够块的网格以使每个矩阵元素具有一个线程，并且该网格中的每个线程执行内核MatAdd以执行一个逐对的加法。

在至少一个实施例中，在将CUDA源代码3710转换成HIP源代码3730的同时，CUDA到HIP转换工具3720将CUDA源代码3710中的每个内核调用从CUDA内核启动语法3810转换成HIP内核启动语法3820，并将源代码3710中的任意数量的其他CUDA调用转换为任意数量的其他功能上相似的HIP调用。在至少一个实施例中，HIP内核启动语法3820被指定为“hipLaunchKernelGGL(KernelName,GridSize,BlockSize,SharedMemorySize,Stream,KernelArguments)；”。在至少一个实施例中，KernelName，GridSize，BlockSize，ShareMemorySize，Stream和KernelArguments中的每一个在HIP内核启动语法3820中具有与在CUDA内核启动语法3810中(本文先前描述)相同的含义。在至少一个实施例中，参数SharedMemorySize和Stream在HIP内核启动语法3820中是必需的，而在CUDA内核启动语法3810中是可选的。

在至少一个实施例中，除了使内核MatAdd在设备上执行的内核调用之外，图38中描绘的HIP源代码3730的一部分与图38中描绘的CUDA源代码3710的一部分相同。在至少一个实施例中，在HIP源代码3730中定义内核MatAdd，具有与在CUDA源代码3710中定义内核MatAdd相同的“__global__”声明说明符。在至少一个实施例中，在HIP源代码3730中的内核调用是“hipLaunchKernelGGL(MatAdd，numBlocks，threadsPerBlock，0、0，A，B，C)；”，而CUDA源代码3710中的相应内核调用是“MatAdd<<>>(A，B，C)；”。

图39更详细地示出了根据至少一个实施例的图37C的未启用CUDA的GPU 3792。在至少一个实施例中，GPU 3792由圣塔克拉拉市的AMD公司开发。在至少一个实施例中，GPU3792可以被配置为以高度并行的方式执行计算操作。在至少一个实施例中，GPU 3792被配置为执行图形管线操作，诸如绘制命令、像素操作、几何计算以及与将图像渲染到显示器相关联的其他操作。在至少一个实施例中，GPU 3792被配置为执行与图形无关的操作。在至少一个实施例中，GPU 3792被配置为执行与图形有关的操作和与图形无关的操作两者。在至少一个实施例中，GPU 3792可以被配置为执行HIP源代码3730中包括的设备代码。

在至少一个实施例中，GPU 3792包括但不限于任意数量的可编程处理单元3920，命令处理器3910，L2高速缓存3922，存储器控制器3970，DMA引擎3980(1)，系统存储器控制器3982，DMA引擎3980(2)和GPU控制器3984。在至少一个实施例中，每个可编程处理单元3920包括但不限于工作负载管理器3930和任意数量的计算单元3940。在至少一个实施例中，命令处理器3910读取来自一个或更多个命令队列(未示出)的命令，并将命令分发给工作负载管理器3930。在至少一个实施例中，对于每个可编程处理单元3920，相关的工作负载管理器3930将工作分发给包括在可编程处理单元3920中的计算单元3940。在至少一个实施例中，每个计算单元3940可以执行任意数量的线程块，但是每个线程块在单个计算单元3940上执行。在至少一个实施例中，工作组是线程块。

在至少一个实施例中，每个计算单元3940包括但不限于任意数量的SIMD单元3950和共享存储器3960。在至少一个实施例中，每个SIMD单元3950实现SIMD架构并且被配置为并行执行操作。在至少一个实施例中，每个SIMD单元3950包括但不限于向量ALU 3952和向量寄存器文件3954。在至少一个实施例中，每个SIMD单元3950执行不同的线程束。在至少一个实施例中，线程束是一组线程(例如16个线程)，其中线程束中的每个线程属于单个线程块，并且被配置为基于单个指令集来处理不同的数据集。在至少一个实施例中，可以使用预测来禁用线程束中的一个或更多个线程。在至少一个实施例中，通道是线程。在至少一个实施例中，工作项是线程。在至少一个实施例中，波前是线程束。在至少一个实施例中，线程块中的不同波前可一起同步并经由共享存储器3960进行通信。

在至少一个实施例中，可编程处理单元3920被称为“着色引擎”。在至少一个实施例中，除了计算单元3940之外，每个可编程处理单元3920还包括但不限于任意数量的专用图形硬件。在至少一个实施例中，每个可编程处理单元3920包括但不限于任意数量(包括零)的几何处理器，任意数量(包括零)的光栅化器，任意数量(包括零)的渲染后端，工作负载管理器3930和任意数量的计算单元3940。

在至少一个实施例中，计算单元3940共享L2高速缓存3922。在至少一个实施例中，L2高速缓存3922被分区。在至少一个实施例中，GPU3792中的所有计算单元3940可访问GPU存储器3990。在至少一个实施例中，存储器控制器3970和系统存储器控制器3982促进GPU3792与主机之间的数据传输，并且DMA引擎3980(1)使能GPU 3792与此主机之间的异步存储器传输。在至少一个实施例中，存储器控制器3970和GPU控制器3984促进GPU 3792与其他GPU 3792之间的数据传输，并且DMA引擎3980(2)使能GPU 3792与其他GPU 3792之间的异步存储器传输。

在至少一个实施例中，GPU 3792包括但不限于任意数量和类型的系统互连，该系统互连促进在GPU 3792内部或外部的任意数量和类型的直接或间接链接的组件之间的数据和控制传输。在至少一个实施例中，GPU3792包括但不限于耦合到任意数量和类型的外围设备的任意数量和类型的I/O接口(例如，PCIe)。在至少一个实施例中，GPU 3792可以包括但不限于任意数量(包括零)的显示引擎和任意数量(包括零)的多媒体引擎。在至少一个实施例中，GPU 3792实现了存储器子系统，该存储器子系统包括但不限于任意数量和类型的存储器控制器(例如，存储器控制器3970和系统存储器控制器3982)以及专用于一个组件或在多个组件之间共享的存储器设备(例如，共享存储器3960)。在至少一个实施例中，GPU3792实现了高速缓存子系统，该高速缓存子系统包括但不限于一个或更多个高速缓存存储器(例如，L2高速缓存3922)，每个高速缓存存储器可以是私有的或在任意数量的组件(例如，SIMD单元3950，计算单元3940和可编程处理单元3920)之间共享。

图40示出了根据至少一个实施例的示例性CUDA网格4020的线程如何被映射到图39的不同计算单元3940。在至少一个实施例中，并且仅出于说明目的，网格4020具有BX乘以BY乘以1的GridSize和TX乘以TY乘以1的BlockSize。因此，在至少一个实施例中，网格4020包括但不限于(BX*BY)线程块4030，每个线程块4030包括但不限于(TX*TY)线程4040。线程4040在图40中被描绘为波浪形的箭头。

在至少一个实施例中，网格4020被映射到可编程处理单元3920(1)，该可编程处理单元3920(1)包括但不限于计算单元3940(1)-3940(C)。在至少一个实施例中并且如图所示，将(BJ*BY)线程块4030映射到计算单元3940(1)，并且将其余线程块4030映射到计算单元3940(2)。在至少一个实施例中，每个线程块4030可以包括但不限于任意数量的线程束，并且每个线程束被映射到图39的不同的SIMD单元3950。

在至少一个实施例中，给定线程块4030中的线程束可以一起同步并通过关联的计算单元3940中包括的共享存储器3960进行通信。例如并且在至少一个实施例中，线程块4030(BJ，1)中的线程束可以一起同步并通过共享存储器3960(1)进行通信。例如并且在至少一个实施例中，线程块4030(BJ+1，1)中的线程束可以一起同步并通过共享存储器3960(2)进行通信。

图41示出了根据至少一个实施例的如何将现有的CUDA代码迁移到数据并行C++代码。数据并行C++(DPC++)可以指单架构专有语言的一种开放的、基于标准的替代方案，其允许开发人员可以跨硬件目标(CPU和加速器，诸如GPU和FPGA)重用代码，并且还为特定加速器执行自定义调整。DPC++根据开发人员可能熟悉的ISO C++使用类似和/或相同的C和C++构造。DPC++结合了Khronos集团(The Khronos Group)的标准SYCL，以支持数据并行性和异构编程。SYCL是指跨平台的抽象层，它建立在OpenCL的底层概念、可移植性和效率之上，它使异构处理器的代码能够使用标准C++以“单源”风格编写。SYCL可以实现单源开发，其中C++模板函数可以包含主机代码和设备代码两者，以构建使用OpenCL加速的复杂算法，然后在不同类型的数据的整个源代码中重用它们。

在至少一个实施例中，使用DPC++编译器来编译可以跨各种硬件目标部署的DPC++源代码。在至少一个实施例中，DPC++编译器用于生成可跨各种硬件目标部署的DPC++应用程序，并且DPC++兼容性工具可用于将CUDA应用程序迁移到DPC++中的多平台程序。在至少一个实施例中，DPC++基础工具包包括：DPC++编译器，用于跨各种硬件目标部署应用程序；DPC++库，用于提高CPU、GPU和FPGA的生产力和性能；DPC++兼容性工具，用于将CUDA应用程序迁移到多平台应用程序；及其任何合适的组合。

在至少一个实施例中，DPC++编程模型用于通过使用现代C++特征来表达与称为数据并行C++的编程语言的并行性来简化与编程CPU和加速器有关的一个或更多个方面。DPC++编程语言可用于针对使用单源语言的主机(例如CPU)和加速器(例如GPU或FPGA)进行代码重用，并清楚地传达执行和存储器依赖性。DPC++代码内的映射可用于将应用程序转换为在最能加速工作负载的硬件或硬件设备集上运行。即使在没有可用加速器的平台上，主机也可用于简化设备代码的开发和调试。

在至少一个实施例中，CUDA源代码4100作为输入提供给DPC++兼容性工具4102以生成人类可读的DPC++4104。在至少一个实施例中，人类可读的DPC++4104包括由DPC++兼容性工具4102生成的内联注释，其指导开发人员如何和/或在何处修改DPC++代码以完成编码和调整到所需性能4106，从而生成DPC++源代码4108。

在至少一个实施例中，CUDA源代码4100是或包括CUDA编程语言中人类可读源代码的集合。在至少一个实施例中，CUDA源代码4100是采用CUDA编程语言的人类可读源代码。在至少一个实施例中，CUDA编程语言是C++编程语言的扩展，其包括但不限于定义设备代码和区分设备代码和主机代码的机制。在至少一个实施例中，设备代码是源代码，其在编译后可在设备(例如，GPU或FPGA)上执行，并且可以包括可在设备的一个或更多个处理器核上执行的一个或更多个可并行工作流。在至少一个实施例中，设备可以是处理器，其针对并行指令处理进行优化，例如启用CUDA的GPU、GPU或另一GPGPU等。在至少一个实施例中，主机代码是在编译后可在主机上执行的源代码。在至少一个实施例中，主机代码和设备代码中的一些或全部可以跨CPU和GPU/FPGA并行执行。在至少一个实施例中，主机是针对顺序指令处理而优化的处理器，例如CPU。结合图41描述的CUDA源代码4100可与本文档中其他地方讨论的内容一致。

在至少一个实施例中，DPC++兼容性工具4102指的是用于促进将CUDA源代码4100迁移到DPC++源代码4108的可执行工具、程序、应用程序或任何其他合适类型的工具。在至少一个实施例中，DPC++兼容性工具4102是一种基于命令行的代码迁移工具，其可用作DPC++工具包的一部分，用于将现有的CUDA源移植到DPC++。在至少一个实施例中，DPC++兼容性工具4102将CUDA应用程序的一些或全部源代码从CUDA转换为DPC++，并生成至少部分用DPC++编写的结果文件，称为人类可读的DPC++4104。在至少一个实施例中，人类可读的DPC++4104包括由DPC++兼容性工具4102生成的注释，以指示可能需要用户干预的地方。在至少一个实施例中，当CUDA源代码4100调用没有类似DPC++API的CUDA API时，用户干预是必要的；需要用户干预的其他示例将在后面更详细地讨论。

在至少一个实施例中，用于迁移CUDA源代码4100(例如，应用程序或其部分)的工作流包括创建一个或更多个编译数据库文件；使用DPC++兼容性工具4102将CUDA迁移到DPC++；完成迁移并验证正确性，从而生成DPC++源代码4108；并使用DPC++编译器编译DPC++源代码4108以生成DPC++应用程序。在至少一个实施例中，兼容性工具提供了一种实用程序，该实用程序截获Makefile执行时使用的命令并将它们存储在编译数据库文件中。在至少一个实施例中，文件以JSON格式存储。在至少一个实施例中，拦截构建命令将Makefile命令转换为DPC兼容性命令。

在至少一个实施例中，拦截-构建(intercept-build)是一种实用程序脚本，其拦截构建进程以捕获编译选项、宏定义和包括路径，并将该数据写入编译数据库文件。在至少一个实施例中，编译数据库文件是JSON文件。在至少一个实施例中，DPC++兼容性工具4102解析编译数据库并在迁移输入源时应用选项。在至少一个实施例中，拦截-构建的使用是可选的，但强烈推荐用于基于Make或CMake的环境。在至少一个实施例中，迁移数据库包括命令、目录和文件：命令可以包括必要的编译标志；目录可包括到报头文件的路径；文件可包括到CUDA文件的路径。

在至少一个实施例中，DPC++兼容性工具4102通过尽可能生成DPC++来将用CUDA编写的CUDA代码(例如，应用程序)迁移到DPC++。在至少一个实施例中，DPC++兼容性工具4102作为工具包的一部分是可用的。在至少一个实施例中，DPC++工具包包括拦截-构建工具。在至少一个实施例中，拦截-构建工具创建编译数据库，该编译数据库捕获编译命令以迁移CUDA文件。在至少一个实施例中，DPC++兼容性工具4102使用拦截-构建工具生成的编译数据库将CUDA代码迁移到DPC++。在至少一个实施例中，非CUDA C++代码和文件被原样迁移。在至少一个实施例中，DPC++兼容性工具4102生成人类可读的DPC++4104，其可以是DPC++代码，如由DPC++兼容性工具4102生成的，不能由DPC++编译器编译并且需要额外的管道来验证未正确迁移的代码部分，并且可能涉及手动干预，例如由开发人员进行干预。在至少一个实施例中，DPC++兼容性工具4102提供嵌入代码中的提示或工具以帮助开发人员手动迁移无法自动迁移的附加代码。在至少一个实施例中，迁移是针对源文件、项目或应用程序的一次性活动。

在至少一个实施例中，DPC++兼容性工具41002能够成功地将CUDA代码的所有部分迁移到DPC++，并且可以简单地存在用于手动验证和调整所生成的DPC++源代码的性能的可选步骤。在至少一个实施例中，DPC++兼容性工具4102直接生成由DPC++编译器编译的DPC++源代码4108，而不需要或不利用人工干预来修改由DPC++兼容性工具4102生成的DPC++代码。在至少一个实施例中，DPC++兼容性工具生成可编译的DPC++代码，开发人员可以根据性能、可读性、可维护性和其他各种考虑因素或其任何组合选择性地对其进行调整。

在至少一个实施例中，至少部分地使用DPC++兼容性工具4102将一个或更多个CUDA源文件迁移到DPC++源文件。在至少一个实施例中，CUDA源代码包括一个或更多个头(header)文件，该头文件可以包括CUDA头文件。在至少一个实施例中，CUDA源文件包括可用于打印文本的头文件和头文件。在至少一个实施例中，向量加法内核CUDA源文件的一部分可以写成或相关于：

在至少一个实施例中，并结合以上呈现的CUDA源文件，DPC++兼容性工具4102解析CUDA源代码并且用适当的DPC++和SYCL头文件替换头文件。在至少一个实施例中，DPC++头文件包括助手声明。在CUDA中，存在线程ID的概念，相应地，在DPC++或SYCL中，针对每个元素都有本地标识符。

在至少一个实施例中，并且与以上呈现的CUDA源文件相关，有两个向量A和B，它们被初始化并且向量相加结果作为VectorAddKernel()的一部分被放入向量C中。在至少一个实施例中，作为将CUDA代码迁移到DPC++代码的一部分，DPC++兼容性工具4102经由本地ID将用于索引工作元素的CUDA线程ID转换为工作元素的SYCL标准寻址。在至少一个实施例中，可以优化由DPC++兼容性工具4102生成的DPC++代码——例如，通过降低nd_item的维度，从而增加存储器和/或处理器利用率。

在至少一个实施例中并且结合以上呈现的CUDA源文件，存储器分配被迁移。在至少一个实施例中，依赖于诸如平台、设备、上下文和队列之类的SYCL概念，将cudaMalloc()迁移到设备和上下文被传递到的统一共享存储器SYCL调用malloc_device()。在至少一个实施例中，SYCL平台可以具有多个设备(例如，主机和GPU设备)；设备可具有多个队列，可以向其提交作业；每个设备都可具有上下文；并且上下文可具有多个设备并管理共享存储器对象。

在至少一个实施例中并结合以上呈现的CUDA源文件，main()函数调用(invoke)或调用(call)VectorAddKernel()以将两个向量A和B相加并将结果存储在向量C中。在至少一个实施例中，调用VectorAddKernel()的CUDA代码被DPC++代码替换，以将内核提交到命令队列以供执行。在至少一个实施例中，命令组处理程序cgh传递提交到队列的数据、同步和计算，parallel_for被调用用于调用VectorAddKernel()的该工作组中的多个全局元素和多个工作项。

在至少一个实施例中并结合以上呈现的CUDA源文件，将复制设备存储器和然后向量A、B和C的空闲存储器的CUDA调用迁移到对应的DPC++调用。在至少一个实施例中，C++代码(例如，用于打印浮点变量向量的标准ISO C++代码)被原样迁移，无需由DPC++兼容性工具4102进行修改。在至少一个实施例中，DPC++兼容性工具4102修改用于存储器设置和/或主机调用以在加速设备上执行内核的CUDA API。在至少一个实施例中并结合以上呈现的CUDA源文件，相应的人类可读DPC++4104(例如，可编译的)被编写为或相关于：

/>

在至少一个实施例中，人类可读的DPC++4104指的是由DPC++兼容性工具4102生成的输出并且可以以一种或另一种方式进行优化。在至少一个实施例中，由DPC++兼容性工具4102生成的人类可读的DPC++4104可以在迁移后由开发人员手动编辑以使其更易于维护、性能或其他考虑。在至少一个实施例中，由DPC++兼容性工具41002生成的DPC++代码(例如公开的DPC++)可以通过为每个malloc_device()调用删除对get_current_device()和/或get_default_context()的重复调用来优化。在至少一个实施例中，上面生成的DPC++代码使用3维nd_range，其可以重构为仅使用单个维度，从而减少存储器使用。在至少一个实施例中，开发人员可以手动编辑由DPC++兼容工具4102生成的DPC++代码，用访问器替换统一共享存储器的使用。在至少一个实施例中，DPC++兼容性工具4102具有改变其如何将CUDA代码迁移到DPC++代码的选项。在至少一个实施例中，DPC++兼容性工具4102是冗长的，因为它使用通用模板将CUDA代码迁移到DPC++代码，DPC++代码适用于大量情况。

在至少一个实施例中，CUDA到DPC++的迁移工作流包括以下步骤：使用拦截-构建脚本准备迁移；使用DPC++兼容性工具4102执行CUDA项目到DPC++的迁移；审查和编辑迁移的源文件以确保其完整性和正确性；以及编译最终的DPC++代码以生成DPC++应用程序。在至少一个实施例中，在一种或更多种场景中可能需要人工审查DPC++源代码，包括但不限于：迁移的API不返回错误代码(CUDA代码可以返回错误代码，该错误代码随后可以被应用程序使用，但是SYCL使用异常来报告错误，因此不会使用错误代码来显露错误)；DPC++不支持CUDA计算能力相关逻辑；无法删除语句。在至少一个实施例中，DPC++代码需要人工干预的场景可以包括但不限于：错误代码逻辑替换为(*,0)代码或注释掉；等效的DPC++API不可用；CUDA计算能力相关逻辑；硬件相关API(clock())；缺少特征不受支持的API；执行时间测量逻辑；处理内置向量类型冲突；cuBLAS API的迁移；以及更多。

在至少一个实施例中，本文描述的一种或更多种技术利用oneAPI编程模型。在至少一个实施例中，oneAPI编程模型是指用于与各种计算加速器架构交互的编程模型。在至少一个实施例中，oneAPI指的是设计用于与各种计算加速器架构交互的应用程序编程接口(API)。在至少一个实施例中，oneAPI编程模型利用数据并行C++(DPC++)编程语言。在至少一个实施例中，DPC++编程语言是指用于数据并行编程生产力的高级语言。在至少一个实施例中，DPC++编程语言至少部分地基于C和/或C++编程语言。在至少一个实施例中，oneAPI编程模型是诸如由加利福尼亚州圣克拉拉的英特尔公司开发的那些编程模型。

在至少一个实施例中，oneAPI和/或oneAPI编程模型用于与各种加速器、GPU、处理器和/或其变体、架构交互。在至少一个实施例中，oneAPI包括一组实现各种功能的库。在至少一个实施例中，oneAPI至少包括oneAPI DPC++库、oneAPI数学内核库、oneAPI数据分析库、oneAPI深度神经网络库、oneAPI集合通信库、oneAPI线程构建块库、oneAPI视频处理库和/或其变体。

在至少一个实施例中，oneAPI DPC++库，也称为oneDPL，是实现算法和函数以加速DPC++内核编程的库。在至少一个实施例中，oneDPL实现一个或更多个标准模板库(STL)函数。在至少一个实施例中，oneDPL实现一个或更多个并行STL功能。在至少一个实施例中，oneDPL提供一组库类和函数，例如并行算法、迭代器、函数对象类、基于范围的API和/或其变体。在至少一个实施例中，oneDPL实现了C++标准库的一个或更多个类和/或函数。在至少一个实施例中，oneDPL实现一个或更多个随机数生成器功能。

在至少一个实施例中，oneAPI数学内核库，也称为oneMKL，是为各种数学函数和/或运算实现各种优化和并行化例程的库。在至少一个实施例中，oneMKL实现一个或更多个基本线性代数子程序(BLAS)和/或线性代数分组(LAPACK)密集线性代数例程。在至少一个实施例中，oneMKL实现一个或更多个稀疏BLAS线性代数例程。在至少一个实施例中，oneMKL实现一个或更多个随机数生成器(RNG)。在至少一个实施例中，oneMKL实现了一个或更多个向量数学(VM)例程，用于对向量进行数学运算。在至少一个实施例中，oneMKL实现一个或更多个快速傅里叶变换(FFT)函数。

在至少一个实施例中，oneAPI数据分析库，也称为oneDAL，是实现各种数据分析应用和分布式计算的库。在至少一个实施例中，oneDAL以批处理、在线和分布式计算处理模式实现用于数据分析的预处理、转换、分析、建模、验证和决策制定的各种算法。在至少一个实施例中，oneDAL实现了各种C++和/或Java API以及到一个或更多个数据源的各种连接器。在至少一个实施例中，oneDAL实现了对传统C++接口的DPC++API扩展，并使GPU能够用于各种算法。

在至少一个实施例中，oneAPI深度神经网络库，也称为oneDNN，是实现各种深度学习功能的库。在至少一个实施例中，oneDNN实现了各种神经网络、机器学习和深度学习功能、算法和/或其变体。

在至少一个实施例中，oneAPI集体通信库，也称为oneCCL，是实现用于深度学习和机器学习工作负载的各种应用的库。在至少一个实施例中，oneCCL建立在诸如消息传递接口(MPI)和libfabrics之类的较低级别的通信中间件之上。在至少一个实施例中，oneCCL启用一组深度学习特定优化，例如优先级、持久运算、乱序执行和/或其变体。在至少一个实施例中，oneCCL实现各种CPU和GPU功能。

在至少一个实施例中，oneAPI线程构建块库，也称为oneTBB，是为各种应用实现各种并行化过程的库。在至少一个实施例中，oneTBB用于主机上基于任务的共享并行编程。在至少一个实施例中，oneTBB实现通用并行算法。在至少一个实施例中，oneTBB实现并发容器。在至少一个实施例中，oneTBB实现了可扩展的存储器分配器。在至少一个实施例中，oneTBB实现工作窃取任务调度器。在至少一个实施例中，oneTBB实现低级同步原语。在至少一个实施例中，oneTBB独立于编译器并且可用于各种处理器，例如GPU、PPU、CPU和/或其变体。

在至少一个实施例中，oneAPI视频处理库，也称为oneVPL，是用于在一个或更多个应用程序中加速视频处理的库。在至少一个实施例中，oneVPL实现各种视频解码、编码和处理功能。在至少一个实施例中，oneVPL为CPU、GPU和其他加速器上的介质管线实现各种功能。在至少一个实施例中，oneVPL在以媒体为中心和视频分析工作负载中实现设备发现和选择。在至少一个实施例中，oneVPL实现了用于零拷贝缓冲区共享的API原语。

在至少一个实施例中，oneAPI编程模型利用DPC++编程语言。在至少一个实施例中，DPC++编程语言是一种编程语言，其包括但不限于功能相似版本的CUDA机制以定义设备代码并区分设备代码和主机代码。在至少一个实施例中，DPC++编程语言可以包括CUDA编程语言的功能子集。在至少一个实施例中，一个或更多个CUDA编程模型运算是使用oneAPI编程模型使用DPC++编程语言来执行的。

其他变型在本公开的精神内。因此，尽管公开的技术易于进行各种修改和替代构造，但是某些示出的其实施例在附图中示出并且已经在上面进行了详细描述。然而，应理解，无意将公开内容限制为所公开的一种或更多种特定形式，而是相反，其意图是涵盖落入如所附权利要求书所定义的本公开内容的精神和范围内的所有修改、替代构造和等同物。

除非另有说明或显然与上下文矛盾，否则在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)，术语“一”和“一个”和“该”以及类似指代的使用应被解释为涵盖单数和复数，而不是作为术语的定义。除非另有说明，否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(意味着“包括但不限于”)。术语“连接”(在未经修改时指的是物理连接)应解释为部分或全部包含在内、附接到或连接在一起，即使有某些介入。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独叙述一样。除非另外指出或与上下文矛盾，否则术语“集”(例如“项目集”)或“子集”的使用应解释为包括一个或更多个成员的非空集合。此外，除非另外指出或与上下文矛盾，否则术语相应集的“子集”不一定表示对应集的适当子集，而是子集和对应集可以相等。

除非以其他方式明确指出或与上下文明显矛盾，否则诸如“A，B和C中的至少一个”或“A，B与C中的至少一个”形式的短语之类的连接语在上下文中理解为通常用来表示项目、条款等，其可以是A或B或C，也可以是A和B和C集的任何非空子集。例如，在具有三个成员的集的说明性示例中，连接短语“A，B和C中的至少一个”和“A，B与C中的至少一个”是指以下任意集：{A}，{B}，{C}，{A，B}，{A，C}，{B，C}，{A，B，C}。因此，这种连接语言通常不旨在暗示某些实施例要求存在A中的至少一个，B中的至少一个和C中的至少一个。另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态(例如，“多个项目”表示多个项目)。多个项目中项目的数量至少为两个，但如果明确指示或通过上下文指示，则可以更多。此外，除非另有说明或从上下文中可以清楚得知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。

除非本文另外指出或与上下文明显矛盾，否则本文描述的过程的操作可以任何合适的顺序执行。在至少一个实施例中，诸如本文所述的那些过程(或其变形和/或其组合)之类的过程在配置有可执行指令的一个或更多个计算机系统的控制下执行，并且被实现为代码(例如，可执行指令，一个或更多个计算机程序或一个或更多个应用程序)，该代码通过硬件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以例如计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读存储介质，其排除了暂时性信号(例如，传播的瞬态电或电磁传输)，但包括非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令的一组一个或更多个非暂时性计算机可读存储介质(或用于存储可执行指令的其他存储器)上，该可执行指令在由计算机系统的一个或更多个处理器执行时(即，作为被执行的结果)，使得计算机系统执行本文所述的操作。在至少一个实施例中，一组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，并且多个非暂时性计算机可读存储介质中的个体非暂时性存储介质中的一个或更多个缺少全部代码，而是多个非暂时性计算机可读存储介质共同存储全部代码。在至少一个实施例中，可执行指令被执行，以使得不同的指令由不同的处理器执行，例如，非暂时性计算机可读存储介质存储指令，并且主中央处理单元(“CPU”)执行一些指令，而图形处理单元(“GPU”)执行其他指令。在至少一个实施例中，计算机系统的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。

因此，在至少一个实施例中，计算机系统被配置为实现单独地或共同地执行本文所述的过程的操作的一个或更多个服务，并且这样的计算机系统被配置有使能实施操作的适用的硬件和/或软件。此外，实现本公开的至少一个实施例的计算机系统是单个设备，并且在另一实施例中是分布式计算机系统，其包括以不同方式操作的多个设备，使得分布式计算机系统执行本文所述的操作，并且使得单个设备不执行所有操作。

本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施例，并且不对公开的范围构成限制，除非另有要求。说明书中的任何语言都不应被解释为表示任何未要求保护的要素对于实践公开内容是必不可少的。

本公开的至少一个实施例可以考虑以下条款来描述：

1.一种处理器，包括：

一个或更多个电路，用于至少部分地基于与图像的第一区域重叠的第二区域中的一个或更多个像素的运动来计算所述图像的所述第一区域中的一个或更多个像素的运动。

2.如条款1所述的处理器，其中所述一个或更多个电路进一步用于：

获得所述图像和流图，其中至少部分地基于所述图像和第二图像来计算所述流图；

使所述第二区域中的所述一个或更多个像素的子集形成一组像素，其中所述一个或更多个像素的子集共享与强度和梯度中的至少一个相对应的一个或更多个特征；

基于所述流图执行操作，以指示所述一组像素是否包括一个或更多个有效或无效像素；以及

使用所述一个或更多个有效像素将所述一组像素中的一个或更多个无效像素迭代地转换为有效像素。

3.如条款1或2所述的处理器，其中所述一个或更多个电路进一步用于：

使用来自所述第二区域的一个或更多个有效像素将所述第一区域中的一个或更多个无效像素迭代地转换为一个或更多个有效像素；以及

更新流图以至少部分基于所述转换生成第二流图。

4.如条款3所述的处理器，其中所述一个或更多个电路进一步用于遍历所述第二流图的一行或更多行或一列或更多列，并通过使用所述一行或更多行或所述一列或更多列中的所述一个或更多个无效像素将所述一个或更多个无效像素转换为有效像素来更新所述第二流图。

5.如条款1至4中任一项所述的处理器，其中所述一个或更多个电路进一步用于从稀疏光流图生成密集光流图。

6.如条款5所述的处理器，其中所述一个或更多个电路进一步用于将中值滤波器应用于所述密集光流图。

7.一种系统，包括：

一个或更多个处理器，用于至少部分地基于与图像的第一区域重叠的第二区域中的一个或更多个像素的运动来计算所述图像的所述第一区域中的一个或更多个像素的运动。

8.如条款7所述的系统，其中所述一个或更多个处理器进一步用于：

从所述第二区域中的所述一个或更多个像素中识别像素的子集，其中至少部分地基于所述图像的强度、梯度和深度中的至少一个来识别所述像素的子集；

至少部分地基于获得的与所述图像和第二图像相对应的流图执行操作，以指示所述像素的子集是否包括有效像素；

使用所述有效像素为所述像素的子集内插光流以在所述第二区域中生成有效像素的子集；以及

使用所述第二区域中的所述有效像素的子集为所述第一区域中的一个或更多个像素内插光流，以生成所述第一区域中的有效像素的子集。

9.如条款7或8所述的系统，其中所述一个或更多个处理器进一步用于更新流图以至少部分地基于所述第一区域中的有效像素的子集和所述第二区域中的有效像素的子集来生成第二流图。

10.如条款7至9中任一项所述的系统，其中所述一个或更多个处理器进一步用于：

扫描所述图像的所述第二区域中的一行或更多行像素；以及

至少部分地基于一行或更多行像素中的有效像素为所述一行或更多行像素中的像素内插光流，以生成内插光流像素。

11.如条款7至10中任一项所述的系统，其中所述一个或更多个处理器进一步用于：

扫描所述图像的所述第二区域中的一列或更多列像素；以及

至少部分地基于所述一列或更多列像素中的有效像素为所述一列或更多列像素中的像素内插光流，以生成内插光流像素。

12.如条款7所述的系统，其中所述一个或更多个处理器进一步用于计算所述图像的所述第一区域中的所述一个或更多个像素的运动，以用于帧速率上转换、视频编码、机器人导航或图像分类。

13.一种方法，包括：

至少部分地基于与图像的第一区域重叠的第二区域中的一个或更多个像素的运动来计算所述图像的所述第一区域中的一个或更多个像素的运动。

14.如条款13所述的方法，还包括：

获得与所述图像和后续图像相对应的第一流图；

使用所述第一流图确定所述图像中一个或更多个像素的有效性；

对所述第二区域中的一个或更多个像素的子集进行分组；

使用所述第一流图来识别所述第二区域中的所述一个或更多个像素的子集中的有效像素；以及

至少部分地基于所述有效像素为所述第二区域中的所述一个或更多个像素的子集内插光流，以便为所述第二区域中的所述一个或更多个像素的子集生成内插光流。

15.如条款14所述的方法，其中计算所述图像的所述第一区域中的所述一个或更多个像素的运动包括使用所述第二区域中的所述一个或更多个像素的子集的内插光流来为所述第一区域中的一个或更多个像素内插光流。

16.如条款13至15中任一项所述的方法，应用成本函数来确定所述图像中的所述一个或更多个像素的有效性。

17.如条款13至16中任一项所述的方法，还包括：

至少部分地基于计算的所述图像的所述第一区域和所述第二区域中的所述一个或更多个像素的运动来生成更新的流图。

18.如条款17所述的方法，还包括：

应用滤波器来细化更新的流图。

19.一种机器可读介质，其上存储有一组指令，如果所述一组指令由一个或更多个处理器执行，则使一个或更多个处理器至少：

至少部分地基于与图像的第一区域重叠的第二区域中的一个或更多个像素的运动来计算所述图像的所述第一区域中的一个或更多个像素的运动。

20.如条款19所述的机器可读介质，其中所述一组指令还包括指令，如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器：

基于所述图像和第二图像获得稀疏流图；

生成所述第二区域中的所述一个或更多个像素的子集，其中所述子集中的至少一个像素是有效像素；

在一次或更多次迭代中，使用所述有效像素替换来自所述第二区域中的所述一个或更多个像素的子集中的一个或更多个无效像素；以及

在一次或更多次附加的迭代中，使用来自所述第二区域的被替换的一个或更多个像素来替换来自所述第一区域中的所述一个或更多个像素的一个或更多个无效像素，以在所述第一区域中生成一组替换像素。

21.如条款19或20所述的机器可读介质，其中所述一组指令还包括指令，如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器：

在一次或更多次迭代中，扫描所述第一区域和所述第二区域中的一行或更多行和一列或更多列；

通过使用所述第一区域或所述第二区域中的一个或更多个有效像素替换所述第一区域和所述第二区域中的一个或更多个像素；以及

基于所述第一区域和所述第二区域中的一个或更多个像素的替换，生成密集流图。

22.如条款21所述的机器可读介质，其中所述一组指令还包括指令，如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器使用中值滤波器更新所述密集流图。

23.如条款19至22中任一项所述的机器可读介质，其中所述一组指令还包括指令，如果所述指令由所述一个或更多个处理器执行，则使所述一个或更多个处理器使用稀疏流图来指示所述第一区域和所述第二区域中的一个或更多个像素中的像素是有效的还是无效的。

24.如条款19至23中任一项所述的机器可读介质，其中所述第二区域中的所述一个或更多个像素不包括计算被标记为背景的所述一个或更多个像素的运动。

25.一种系统，包括：

一个或更多个计算机，其具有一个或更多个处理器，所述一个或更多个处理器用于至少部分地基于与图像的第一区域重叠的第二区域中的一个或更多个像素的运动来计算所述图像的所述第一区域中的一个或更多个像素的运动。

26.如条款25所述的系统，其中所述一个或更多个处理器进一步用于：

接收基于所述图像和第二图像的流图；

识别所述第二区域的所述一个或更多个像素中的无效像素；

从包括至少一个有效像素的所识别的无效像素中识别一个或更多个相邻像素；

使用至少一个有效像素替换所述无效像素和来自所述一个或更多个相邻像素的一个或更多个无效像素以生成所述第二区域中的替换像素；以及

使用所述第二区域中的所述替换像素来替换所述第一区域中的一个或更多个无效像素。

27.如条款26所述的系统，其中所述一个或更多个处理器进一步用于：

使用所述第一区域或所述第二区域中的所述替换像素来替换所述图像的第三区域中的一个或更多个像素，其中所述第一区域或所述第二区域与所述第三区域重叠。

28.如条款25至27中任一项所述的系统，其中所述一个或更多个处理器进一步用于经由一行或更多行或一列或更多列遍历所述第一区域中的像素，并使用有效像素替换无效像素。

29.如条款25至28中任一项所述的系统，其中所述图像是使用半自主车辆的视频捕获的。

30.如条款25至29中任一项所述的系统，其中所计算的所述第一区域中的一个或更多个像素的运动被用作对视频中的帧执行帧速率上转换的一部分。

本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度就如同每个参考文献被单独且具体地指示为以引用的方式并入本文并且其全部内容在本文中阐述一样。

在说明书和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”也可能意味着两个或更多个元素彼此不直接接触，但仍彼此协作或交互。

除非另有明确说明，否则可以理解，在整个说明书中，诸如“处理”、“计算”、“计算”、“确定”等之类的术语，是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其将计算系统的寄存器和/或存储器中表示为物理量(例如电子)的数据处理和/或转换为类似表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。

以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或存储器的一部分。作为非限制性示例，“处理器”可以是CPU或GPU。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”进程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个过程可以指代多个过程，以连续地或间歇地顺序地或并行地执行指令。术语“系统”和“方法”在本文中可以互换使用，只要系统可以体现一种或更多种方法，并且方法可以被认为是系统。

在本文件中，可以参考获得、获取、接收或将模拟或数字数据输入子系统、计算机系统或计算机实现的机器中。可以通过多种方式来完成获得、获取、接收或输入模拟和数字数据的过程，例如通过接收作为函数调用或对应用程序编程接口的调用的参数的数据。在一些实现方式中，可以通过经由串行或并行接口传输数据来完成获得、获取、接收或输入模拟或数字数据的过程。在另一实现方式中，可以通过经由计算机网络将数据从提供实体传输到获取实体来完成获得、获取、接收或输入模拟或数字数据的过程。也可以参考提供、输出、传送、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数进行传输来实现。

尽管上面的讨论阐述了所描述的技术的示例实现，但是其他架构可以用于实现所描述的功能，并且旨在落入本公开的范围内。此外，尽管出于讨论的目的在上面定义了具体的职责分配，但是根据情况，可以以不同的方式分配和划分各种功能和职责。

此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书所要求保护的主题不必限于所描述的特定特征或动作。而是，公开了特定的特征和动作作为实现权利要求的示例性形式。