涉及边缘和服务器SOC的人工智能和云技术的系统和方法

相关申请的交叉引用

本申请要求2021年5月5日提交的题为“Systems and Methods InvolvingArtificial Intelligence and Cloud Technology for Edge and Server SOC”的美国临时申请NO.63/184,576、2021年5月5日提交的题为“Systems and Methods InvolvingArtificial Intelligence and Cloud Technology for Edge and Server SOC”的美国临时申请NO.63/184,630、以及2022年4月29日提交的题为“IMPLEMENTATIONS AND METHODSFOR PROCESSING NEURAL NETWORK IN SEMICONDUCTOR HARDWARE”的PCT申请no.PCT/US22/27035的权益和优先权，上述公开的内容通过引用完全并入本文。

技术领域

本公开总体涉及人工智能系统，更具体地说，涉及硬件和软件中的人工智能(AI)和云技术的系统和方法。

背景技术

数字内容有多种形式。术语“数字内容”可以包括消费者消化的任何视觉、听觉和/或语言内容。例如，数字内容可以由图像、视频、声音和/或文本组成。数字内容的传送机制可以包括以太网、蜂窝电话网络、卫星、电缆、互联网、WIFI等。可以用于向消费者交付内容的设备可以包括电视、移动电话、汽车显示器、监控摄像机显示器、个人计算机(PC)、平板电脑、增强现实(AR)设备、虚拟现实(VR)设备和各种物联网(IoT)设备。数字内容可以分为“实时”内容，如现场体育赛事或其它现场活动，以及“准备好的”内容，如电影、情景喜剧或其它预录制的或非现场活动。

“实时的”和“准备好的”数字内容都是在没有任何进一步处理或注释的情况下呈现给消费者。图1示出了可以包括体育赛事(例如，篮球比赛)的“实时”内容的示例。数字内容可以在显示设备(例如，电视)上显示，而不需要进一步处理或相关注释。在某些情况下，数字内容可以包括与内容相关的注释，例如但不限于体育赛事或广告中所涉及的团队的分数，但此类注释是由向消费者广播数字内容的实体先验地包括的。然而，这样的注释并不是处理数字内容并找到内容的相关注释的结果。

发明内容

本文描述的示例实施方式针对一种新方法，该方法处理数字内容以获得关于内容的智能信息，例如来自对象检测、对象分类、面部识别、文本检测、自然语言处理的智能信息，并将在云/互联网/系统/数据库/人中找到的适当和相关的信息与经过处理以准备呈现给消费者的数字内容的部分连接/补充。示例实施方式提供了将处理的数字内容与在云/互联网中找到的相关和适当的信息连接/注释的方法，例如在硬件、软件或它们的某种组合中实现的。所提出的示例实施方式可以允许消费者与处理的数字内容和注释的云/互联网信息之间的交互，这可以在消费数字内容的同时增强消费者体验。

本文描述的示例实施方式可以处理视觉和/或音频数字内容。例如，处理数字内容可能需要对视觉和音频数字内容中的人、对象、概念、场景、文本和/或语言进行分类、识别和/或检测。在另一个示例中，数字内容可以被处理以将音频内容转换为文本并识别转换后的文本中的相关信息。分类或识别过程可以包括处理数字内容中的图像、视频、声音和/或语言，以识别一个或更多个人(例如，存在或身份)、对象类型(例如，汽车、船等)、文本或语言的含义、任何概念或任何场景。例如，各种AI模型、神经网络模型和/或机器学习模型可以被用来处理和分类数字内容中的图像、视频和/或语言，但也可以使用其它模型或算法。数字内容可以被处理以获取关于该内容的有用信息，以便将来自云或互联网的任何适当信息连接起来，并将找到的信息注释到处理的视觉和音频数字内容，然后将视觉和音频数字内容准备好在可以显示视觉和音频数字内容和播放音频数字内容的设备上呈现给消费者。云或互联网可以包括存在于任何服务器、任何形式的数据库、任何计算机存储器、任何存储设备或任何消费设备中的任何信息。

在本文描述的示例实施方式中，网络设备(例如，服务器或集线器)可以被配置为处理数字内容以连接与数字内容有关的相关云信息。该网络设备可以利用AI模型、神经网络模型和/或机器学习模型来处理数字内容，以检测和/或分析数字内容中与观看者相关或感兴趣的项目。该网络设备可以向具有显示设备的边缘设备提供处理的数字内容。该网络设备可以用与数字内容有关的相关云/互联网信息补充数字内容，使得至少一些云信息可以根据观看者的方向与数字内容一起显示。用与数字内容有关的相关云/互联网信息补充数字内容，可以增强消费者在消费数字内容时的体验。

在本文描述的示例实施方式中，具有显示设备的边缘设备可以被配置为接收来自网络设备的数字内容流。该边缘设备可以显示由网络设备处理的补充有云信息的数字内容。该边缘设备也可以被配置为在没有网络设备的情况下处理数字内容流。例如，该边缘设备可以处理数字内容以识别和检测人、物体、文本和场景，从而从云和互联网获取内容的相关信息和补充信息。该边缘设备可以用来自云/互联网的与数字内容有关的相关信息来补充数字内容，并将补充的数字内容呈现给消费者/观看者。该边缘设备可以允许观看者和补充有云信息的数字内容的自定义交互，以允许观看者的交互体验。

本公开的方面可以涉及用于处理数字内容的边缘系统，该边缘系统包括存储器，该存储器被配置为以由一个或更多个对数量化参数值表示的训练的神经网络的形式存储对象检测模型，该对象检测模型被配置为根据训练的神经网络的对数量化参数值通过一个或更多个神经网络操作对图像数据上的一个或更多个对象进行分类；以及片上系统(SoC)，该片上系统被配置为接收图像/音频数据；通过与图像数据相关的一个或更多个神经网络操作来执行一个或更多个训练的神经网络模型；基于来自图像/音频数据的一个或更多个分类对象，向图像数据添加一个或更多个叠加图(overlay)；并且提供具有添加的叠加图的图像/音频数据作为输出。

本公开的方面可以涉及用于处理数字内容的电视实施方法，该电视实施方法包括接收电视广播；通过与电视广播相关的训练的神经网络的一个或更多个神经网络操作来执行一个或更多个训练的神经网络模型；基于来自图像数据的一个或更多个分类对象向电视数据添加一个或更多个叠加图；以及在电视的显示器上显示具有添加的叠加图的电视数据。

本公开的方面可以涉及存储用于处理数字内容的指令的计算机程序，该计算机程序包括存储器，该存储器被配置为以由一个或更多个对数量化参数值表示的训练的神经网络的形式存储对象检测模型，该对象检测模型被配置为根据训练的神经网络的对数量化参数值通过一个或更多个神经网络操作对图像数据上的一个或更多个对象进行分类；以及片上系统(SoC)，该片上系统被配置为接收图像数据；通过与图像数据相关的一个或更多个神经网络操作来执行一个或更多个训练的神经网络模型；基于来自图像数据的一个或更多个分类对象向图像数据添加一个或更多个叠加图；并提供具有添加的叠加图的图像数据作为输出。

本公开的方面可以涉及用于处理数字内容的边缘系统，该边缘系统包括用于接收电视广播的装置；用于通过与电视广播相关的训练的神经网络的一个或更多个神经网络操作来执行一个或更多个训练的神经网络模型的装置；用于基于来自图像数据的一个或更多个分类对象向电视数据添加一个或更多个叠加图的装置；以及用于在电视的显示器上显示具有添加的叠加图的电视数据的装置。

本公开的方面可以包括边缘系统，该边缘系统可以包括被配置为存储一个或更多个训练的人工智能/神经网络(AI/NN)模型AI/神经网络模型的存储器；以及片上系统(SoC)，该片上系统被配置为接收广播或流式数字内容；利用一个或更多个训练的AI/NN模型处理广播或流式数字内容；基于利用一个或更多个训练的AI/NN模型对广播或流式数字内容的处理，将从另一设备检索到的一个或更多个补充内容添加到广播或流式数字内容；并且提供具有从另一设备检索的补充内容的广播或流式数字内容作为输出。

本公开的方面可以包括边缘系统，该边缘系统可以包括用于存储一个或更多个训练的人工智能/神经网络(AI/NN)模型AI/神经网络模型的存储装置；接收广播或流式数字内容的装置；用于利用一个或更多个训练的AI/NN模型处理广播或流式数字内容的装置；用于基于利用一个或更多个训练的AI/NN模型对广播或流式内容的处理，将从另一设备检索到的补充内容添加到广播或流式数字内容的装置；以及用于提供具有从另一设备检索的补充内容的广播或流式数字内容作为输出的装置。

本公开的方面可以包括一种用于边缘系统的方法，该方法可以包括接收广播或流式数字内容；利用一个或更多个训练的AI/NN模型处理广播或流式数字内容；基于利用一个或更多个训练的AI/NN模型对广播或流式数字内容的处理，将检索到的补充内容添加到广播或流式数字内容；并提供具有从另一设备检索的补充内容的广播或流式数字内容作为输出。

本公开的方面可以包括用于边缘系统的计算机程序，该计算机程序可以包括指令，该指令包括接收广播或流式数字内容；利用一个或更多个训练的AI/NN模型处理广播或流式数字内容；基于利用一个或更多个训练的AI/NN模型对广播或流式数字内容的处理，将检索到的补充内容添加到广播或流式数字内容；并提供具有从另一设备检索的补充内容的广播或流式数字内容作为输出。该指令可以存储在非暂态计算机可读介质上并由一个或更多个处理器执行。

附图说明

图1示出了根据现有技术的数字内容的示例。

图2A和2B示出了根据示例实施方式的由AI边缘SoC补充的相关云/互联网信息的数字内容的示例。

图3A和3B示出了根据示例实施方式的AI边缘设备的整体架构的示例。

图4A和4B示出了根据示例实施方式的具有神经网络处理的数字内容处理架构的示例。

图5示出了根据示例实施方式的用于数字内容处理SoC的整体数据路径架构。

图6示出了根据示例实施方式如何细分输入数据帧的示例。

图7A示出了根据示例实施方式的AI/神经网络模型的参数结构的示例。

图7B示出了根据示例实施方式的轴突(例如，神经网络层的输出)结构的示例。

图8A-8D示出了根据示例实施方式的各种系统中的AI边缘设备的示例。

图9示出了根据示例实施方式的用于通过执行各种神经网络操作来处理数字内容的AI处理元件(AIPE)的示例。

图10示出了根据示例实施方式的AIPE阵列的示例。

图11A和11B示出了根据示例实施方式的用于使用处理的数字内容的AI数字内容应用的软件堆栈的示例。

图12A-12H示出了根据示例实施方式使用处理的数字内容的应用的示例。

图13示出了根据示例实施方式的使用检测算法的处理的数字内容的示例。

图14示出了根据示例实施方式的使用人物检测算法的处理的数字内容的示例。

图15示出了根据示例实施方式的使用人体姿态估计算法的处理的数字内容的示例。

图16示出了根据示例实施方式的使用对象和人分析算法的处理的数字内容的示例。

图17示出了根据示例实施方式的使用文本检测和自然语言处理算法的处理的数字内容的示例。

图18A和18B示出了根据示例实施方式的补充有在云、互联网、系统和任何数据库中找到的相关信息的处理的数字内容的示例。

图19示出了根据示例实施方式的补充有在云、互联网、系统和任何数据库中找到的相关信息的处理的数字内容的示例。

图20A和20B示出了根据示例实施方式的补充有在云、互联网、系统和任何数据库中找到的相关信息的处理的数字内容的示例。

图21A和21B示出了根据示例实施方式的补充有来自社交媒体平台的相关信息的处理的数字内容的示例。

图22A和22B示出了根据示例实施方式的补充有在电子商务平台中找到的相关信息的处理的数字内容的示例。

图23示出了根据示例实施方式的使用来自数字内容的处理的信息的自定义的数字内容的示例。

图24示出了根据示例实施方式的使用来自数字内容的处理的信息的自定义的数字内容示例。

图25示出了根据示例实施方式在用各种算法对输入图像进行处理之前的各种输入图像预处理方法的示例。

具体实施方式

下列详细描述提供了本申请的附图和示例实施方式的细节。为清楚起见，省略了附图之间的附图标记和冗余元素的描述。在整个描述中使用的术语是作为示例提供的，并不旨在进行限制。例如，术语“自动”的使用可以包括全自动或半自动的实施方式，包括用户或管理员对实施方式的某些方面的控制，这取决于实践本申请的实施方式的本领域普通技术人员所需的实施方式。选择可以由用户通过用户界面或其它输入方式进行，也可以通过所需的算法实现。如本文所描述的示例实施方式可以单独使用或组合使用，并且示例实施方式的功能可以根据所需的实施方式通过任何方式实现。

图2A和2B示出了根据示例实施方式如何处理数字内容以及如何用来自云、互联网、系统、任何数据库和人员(例如，作为来自它们的设备的输入)的相关信息来补充数字内容的示例。具体地说，图2B示出了如何用图2A的示例中使用的相关信息补充数字内容的流程。在210处，该流程用一个或更多个算法处理数字内容。例如，数字内容202可以被提供给具有人工智能处理元件(AIPE)204的边缘SoC设备以处理数字内容202。SoC 204可以是网络的一部分或独立的边缘设备(例如，支持互联网的电视等)。SoC 204可以接收数字内容202，并且可以处理数字内容以检测或分类数字内容202中的对象。例如，SoC 204可以处理数字内容202，并检测数字内容202包含篮球运动员、篮球和篮筐。在212处，该流程可以搜索并找到相关的补充信息。SoC 204可以在云/互联网/系统/数据库/人206中搜索并找到与处理的数字内容相关的信息，例如关于篮球运动员的信息。例如，SoC 204可以检测或识别实时体育赛事中涉及的一个或更多个运动员以及各自的团队。云/互联网/系统/数据库/人206可以包括关于运动员的相关信息，并且SoC 204可以用来自云/互联网/系统/数据库/人206的相关信息来补充数字内容202。在214处，该流程可以呈现处理的数字内容以及相关补充信息以供查看。SoC 204然后可以将注释有来自云/互联网/系统/数据库/人206的信息的数字内容提供到边缘设备208上，以向观看者显示具有补充信息的数字内容。在216处，该流程可以允许以相关补充信息与数字内容一起显示的方式进行自定义。例如，观看者/消费者可以选择与数字内容一起显示任何补充信息，例如但不限于运动员身份、运动员的实时统计数据、之前比赛的最近统计数据、或者运动员一段时期或职业生涯的赛季统计数据、运动员的社交媒体内容、与运动员相关的电子商务信息。

传统电视和智能电视不具备使用对象检测、对象分类、面部识别和自然语言处理实时(例如，每秒60帧)处理数字内容的能力。传统电视和智能电视可以通过从互联网(例如，智能电视)流式传输内容或者通过机顶盒接收内容来将数字内容传递给消费者。传统电视也可以接收和处理用户输入(例如，遥控器输入、语音输入或相机输入)。

AI电视(AI TV)是处理数字内容，在云/互联网/系统/数据库/人中搜索处理的数字内容的相关信息，用找到的相关信息补充数字内容，并实时(每秒60帧)向消费者/观看者呈现带有补充信息的数字内容的电视。作为由AI TV完成的数字内容处理的示例，AI TV可以使用神经网络模型实时分类和识别数字内容，并在云/互联网/系统/数据库/人中找到相关信息，以用找到的信息来补充内容。AI TV可以处理数字内容并运行必要的分类和检测算法，例如各种神经网络/AI模型。AI TV也可以被配置成与消费者/观看者交互，这允许消费者选择将与数字内容一起显示哪些补充信息、显示补充信息的方式、在哪里显示以及何时显示补充信息。这样，AI TV可以允许用户在消费数字内容的同时具有交互式体验。

图3A和3B示出了根据示例实施方式的AI-云电视(AI-Cloud TV)SoC的整体架构。具体地，图3B示出了在图3A的示例中使用的AI-云电视SoC的整体架构的流程。AI-云电视SoC 302可以被配置为处理数字内容。AI-云电视SoC302可以包括在数字内容的处理中使用的多个元素。例如，人工智能-云电视SoC 302可以包括输入/预处理单元(IPU)304、AI处理单元(APU)306、互联网接口308、存储器接口310、输出处理单元(OPU))312和控制器逻辑314。

在320处，流程可以向IPU输入数字内容。IPU 304可以接收数字内容320作为输入。在322处，流程可以预处理输入的数字内容并将准备好的数字内容发送到APU和存储器接口。IPU 304可以准备好供APU和存储器接口使用的数字内容320。例如，IPU 304可以接收作为多个帧和音频数据的数字内容320，并且准备好要由APU处理的多个帧和音频数据。IPU304向APU 306提供准备好的数字内容320。APU 306使用各种神经网络模型和其它算法来处理数字内容，该数字内容是通过存储器接口从存储器中获得的。例如，存储器接口310包括可以被APU 306用来处理数字内容的多个神经网络模型和算法。

在324处，流程可以从存储器接口获取一个或更多个AI/神经网络模型。存储器接口310可以从云/互联网/系统/数据库/人316接收神经网络模型和算法。例如，APU可以从存储器接口获取一个或更多个AI/神经网络模型。在326处，流程可以利用一个或更多个AI/神经网络模型来处理预处理的输入数字内容。例如，APU 306可以利用一个或更多个AI/神经网络模型处理预处理的输入数字内容。在328处，该流程可以搜索并找到处理的数字内容的相关补充信息，并将相关补充信息提供给存储器接口。例如，互联网接口308可以搜索和找到处理的数字内容的相关补充信息，并将相关补充信息提供给存储器接口310。存储器接口310从互联网接口308接收来自云/互联网/系统/数据库/人316的与处理的数字内容相关的信息。在330处，流程可以向OPU提供处理的数字内容和相关补充信息。来自云/互联网/系统/数据库/人316的信息可以存储在存储器318中，也可以提供给OPU 312。在332处，流程可以将处理的数字内容和相关补充信息格式化为可访问的。OPU 312可以利用来自云/互联网/系统/数据库/人316的信息来补充数字内容，并且可以向消费者/观看者提供补充信息和数字内容。来自互联网的信息可以存储在存储器318中，并且可以被OPU访问。OPU可以通过存储器接口310访问存储在存储器318上的信息。存储器318可以是内部存储器或外部存储器。OPU 312准备要在显示设备上显示的补充信息和数字内容322。控制器逻辑314可以包括用于操作IPU 304、APU 306、OPU 312、互联网接口和存储器接口310的指令。

上述过程也可用于处理数字内容320中的音频。例如，APU 306可以处理数字内容的音频部分并将音频转换成文本，并使用自然语言处理神经网络模型或算法来处理音频内容。互联网接口可以从云/互联网/系统/数据库/人找到相关信息并创建补充信息，并且OPU准备补充信息和数字内容，以与类似于以上针对多个帧讨论的方式呈现给边缘设备。

图4A和4B示出了根据示例实施方式如何利用神经网络/AI模型处理数字内容的一般架构的示例。具体地，图4B示出了利用在图4A的示例中使用的神经网络/AI模型处理数字内容的一般架构的流程。AI模型架构402包括输入处理404、神经网络406和输出格式器408。在420处，流程可以接收数字内容并准备数字内容以供处理。AI模型架构402可以接收数字内容410作为输入，其中输入处理404准备好数字内容410。输入处理404可以将数字内容410的视频准备为多个帧，或者可以准备数字内容410的音频。在422处，流程可以向神经网络提供处理的数字内容。例如，输入处理404可以向神经网络406提供准备好的数字内容410。在424处，流程可以对数字内容执行多个神经网络操作。神经网络406可以对数字内容410执行多种操作。例如，神经网络406可以被配置成检测处理的数字内容中的对象。例如，神经网络406可以检测数字内容中的一个或更多个不同对象，例如但不限于人、物体、文本等。

神经网络406还可以处理已经用各种神经网络模型和算法预先处理的数字内容。例如，如果利用第一神经网络模型检测到篮球运动员，那么可以利用其它神经网络模型处理检测到的篮球运动员的图像，以检测身体部位(脸、手、脚等)或者使用面部识别模型来确定运动员是谁。

在输入处理404处理数字内容的音频的情况下，神经网络406可以处理用于语音识别的音频输入。神经网络406可以使用自然语言处理模型来处理检测到的语音以理解语音。自然语言处理可以检测或识别与数字内容有关的相关信息。输出格式化器408可以在云/互联网/系统/数据库/人中找到与处理的数字内容相关的信息，并为观看者/消费者用数字内容补充找到的信息。

在426处，流程可以利用神经网络的输出来准备与数字内容有关的补充信息。输出格式化器408可以利用神经网络406的输出来准备要显示的数字内容412的补充信息。例如，输出格式化器408可以利用从处理数字内容的音频获得的相关信息来显示广告、信息等，以及与从处理音频获得的相关信息有关的数字内容412。在另一个示例中，输出格式化器408可以利用从处理数字内容中获得的与一个或更多个检测到的人或对象有关的信息，以使获得的信息准备好与已经处理的数字内容(一个或更多个检测到的人或对象)一起使用。例如，如果一个或更多个检测到的人是运动员，则相关运动服装(例如，运动衫、制服等)的广告可以是准备好与数字内容、运动员一起使用的补充信息。在又一个示例中，输出格式化器408可以利用从处理数字内容中获得的与检测到的对象(除了检测到的人)相关的信息，并且将获得的信息准备好作为数字内容(检测到的对象)的补充信息，以供观看者/消费者使用。例如，输出格式化器408可以获得补充信息，诸如相关广告或检测到的对象的相关信息，并使它们准备好由AI边缘设备使用。

图5示出了根据示例实施方式的数字内容处理SoC的整体数据路径架构。输入502(例如，数字内容)可以由输入数据缓冲器504和存储器模块524接收。在涉及诸如电视视频/广播视频/流视频数据的图像数据的示例中，这种数据可以被处理成帧508。参数缓冲器506从存储器模块接收参数，其中参数可以通过互联网接口520从互联网获得。互联网接口520也可以提供云数据510，其中云数据510可以包括与处理后的输入502相关的信息。来自参数缓冲器506的参数和输入数据缓冲器504内的输入被提供给AIPE处理引擎516。AIPE处理引擎516利用由来自参数缓冲器的参数表示的神经网络模型来处理输入，并将输出提供给输出514。输出514可以包括对来自输入数据缓冲器504的输入运行神经网络模型的中间结果。AIPE处理引擎516的输出也可以被提供给输入数据缓冲器504，并反馈到AIPE处理引擎516。然而，在某些方面，来自参数512的参数可以是对数量化参数。然而，在某些方面，来自参数512的参数不是对数量化参数。输出514中的信息可以被提供给输入数据缓冲器504，并反馈到AIPE处理引擎516。输出514可以被提供给输出处理单元522，以获得从云/互联网/系统/数据库/人处理的输入数据的相关补充信息，以供观看者/消费者使用。

图6示出了根据示例实施方式如何细分输入数据帧的示例。数字内容可以包括输入数据帧，该输入数据帧可以被细分成多个子帧。例如，多个子帧中的每一个可以具有384×216的大小。图6的帧是如何细分帧的示例，但是本公开不旨在限于图6的帧。

图7A示出了根据示例实施方式的AI/神经网络模型的参数结构的示例。这些参数可以包括许多不同的大小(例如，1k字节、20k字节、75k字节、4M字节)。图7A中的参数由AI/神经网络模型的每一层组织。图7B示出了根据示例实施方式的轴突(层的输出)结构的示例。取决于相应层的结构，轴突可以包括许多不同的大小(例如，5.5M字节、2M字节、1M字节、0.6M字节)。图7B中的轴突由AI/神经网络模型的相应层组织。

图8A-8D示出了根据示例实施方式的各种系统中的AI边缘设备的示例。图8A提供了在完全集成的设备中包括TV SoC、AI TV边缘SoC和显示面板的AI TV 802的示例。AI TV802包括处理数字内容并向数字内容提供补充信息的AI TV边缘SoC，该补充信息包括与从云/互联网/系统/数据库/人获得的数字内容有关的相关数据/信息以供AI TV 802使用。图8B提供了AI机顶盒804的示例，该AI机顶盒804是被配置为连接到TV 806的外部设备。AI机顶盒804可以通过HDMI连接连接到TV 806，但是可以利用其它连接来连接AI机顶盒804和TV806。AI机顶盒804包括机顶盒(STB)SoC和AI机顶盒SoC。AI机顶盒804接收数字内容并处理该数字内容，并且提供数字内容的补充信息作为输出，该补充信息包括与从云/互联网/系统/数据库/人获得的数字内容有关的的相关数据/信息。可以通过HDMI连接将补充信息和数字内容一起提供给TV 806。图8C提供了流系统设备808的示例，该流系统设备808是被配置为连接到TV 810的外部设备。流系统设备808可以通过HDMI连接来连接到TV 810，但是可以利用其它连接来连接流系统设备808和TV 810。流系统设备808包括流SoC和AI流SoC。流系统设备808接收数字内容并处理该数字内容，并且提供数字内容的补充信息作为输出，该补充信息包括与从云/互联网/系统/数据库/人获得的数字内容有关的相关数据。可以通过HDMI连接将补充信息和数字内容一起提供给TV 810。图8D提供了作为独立设备的AI边缘设备814的示例。AI边缘设备814通过HDMI连接从机顶盒812接收数字内容，并处理数字内容以向数字内容提供补充信息，该补充信息包括与从云/互联网/系统/数据库/人获得的数字内容有关的相关数据。AI边缘设备814通过HDMI连接向TV 816提供补充信息以及数字内容。

如本文所描述的，可以有如图8A至8D所示的包括如图3A和3B所示的边缘SoC的边缘系统，该边缘系统可以包括存储器318，该存储器318被配置为存储一个或更多个训练的人工智能/神经网络(AI/NN)模型AI/神经网络模型；以及片上系统(SoC))302，该片上系统被配置为接收广播或流式数字内容(例如，通过IPU 304)；利用一个或更多个训练的AI/NN模型处理广播或流式数字内容(例如，通过APU 306)；基于利用一个或更多个训练的AI/NN模型对广播或流式数字内容的处理将从另一设备(例如，内容服务器、云服务器、互联网服务器/数据库等)检索到的补充内容添加到广播或流式数字内容(例如，通过OPU 312)；并提供具有从另一设备检索的补充内容的广播或流式媒体数字内容作为输出(例如，如322所示)。在示例实施方式中，广播或流式数字内容可以包括电视音频/视频内容、来自流服务器或应用的流式音频/视频内容、互联网音频/视频、本地广播内容(例如，来自诸如相机的另一设备)，或者取决于期望的实施方式。

根据期望的实施方式，从另一设备检索的补充内容可以包括从互联网连接检索的一个或更多个社交媒体帖子，如图21A所示。

根据期望的实施方式，SoC 302可以被配置为通过使用由SoC中的一个或更多个移位器电路执行的逻辑移位操作，利用一个或更多个训练的AI/NN模型来处理广播或流式数字内容，如图9所示。

根据期望的实施方式，对应于利用一个或更多个训练的AI/NN模型对广播或流式数字内容的处理的加法操作可以由SoC中的一个或更多个移位器电路或一个或更多个加法器电路执行，如参考图9所描述的。

根据期望的实施方式，SoC被配置为通过使用由现场可编程门阵列(FPGA)或一个或更多个硬件处理器执行的逻辑移位操作，利用一个或更多个训练的AI/NN模型来处理广播或流式数字内容，如参考图9所描述的。

根据期望的实施方式，边缘系统可以是电视设备，其中，广播或流式数字内容是电视音频/视频数据，如图8A所示。在这样的示例实施方式中，SoC可以被配置为向电视设备的显示器(诸如LCD/OLED面板)提供输出。

根据期望的实施方式，边缘系统可以是机顶盒，其中，广播或流式数字内容是电视音频/视频数据，如图8B所示。在这样的示例实施方式中，SoC被配置为向连接到机顶盒的电视设备提供输出。

根据期望的实施方式，边缘系统是流设备；其中广播或流式数字内容是电视音频/视频数据，如图8C所示。在这样的示例实施方式中，SoC被配置为向连接到流设备的电视设备提供输出。

根据期望的实施方式，边缘系统可以连接到被配置为提供广播或流式数字内容的第一设备(例如，机顶盒、内容服务器等)；其中SoC被配置为向连接到边缘系统的第二设备(例如，电视设备、计算机设备等)提供输出。

根据期望的实施方式，边缘系统可以涉及接口，该接口被配置为从内容服务器检索数据作为补充内容，其中，存储器被配置为存储元数据，该元数据将一个或更多个训练的AI/NN模型的模型输出映射到从内容服务器检索的补充内容；其中SoC被配置为从存储器读取元数据，并基于一个或更多个训练的AI/NN模型的模型输出，通过接口从内容服务器检索相应的补充内容。在示例实施方式中，根据期望的实施方式，训练的AI/NN模型的输出可以与映射到要检索的特定内容的特定标签相关联。例如，对于对象分类模型，分类的对象可以被映射到要检索的期望内容(例如，篮球的分类可以检索火球的图像，如图23所示)。根据所使用的模型，其它映射也是可能的，并且本公开不特别限于此。例如，元数据可以将一个或更多个训练的AI/NN模型的模型输出映射到与可供购买的对象相关的补充内容；其中SoC被配置为从存储器读取元数据，并通过接口从内容服务器检索可供购买的对象中的相应对象，可供购买的对象中的相应对象是基于一个或更多个训练的AI/NN模型的模型输出提供的，如图22A所示。

根据期望的实施方式，一个或更多个训练的AI/NN模型可以包括面部识别模型，该面部识别模型被配置为对广播或流式数字内容进行面部识别；其中SoC被配置为基于从面部识别中识别的面部来添加补充内容。

如参考图9所描述的，边缘系统可以涉及接口，该接口被配置为从服务器(例如，云服务器、内容服务器或被配置为训练AI/NN模型并提供相应参数的任何服务器或设备)检索对应于一个或更多个AI/NN模型的一个或更多个对数量化参数，并将一个或更多个对数量化参数存储在存储器中；其中SoC被配置为通过使用一个或更多个对数量化参数，利用一个或更多个训练的AI/NN模型来处理广播或流式数字内容。

在基于图3A和3B的图8A至8D所示的示例实施方式中，可以提供一种电视实施的方法，该方法包括接收电视广播；通过与电视广播相关的训练的神经网络的一个或更多个神经网络操作来执行一个或更多个训练的神经网络模型；基于来自图像数据的一个或更多个分类对象，将一个或更多个叠加图添加到电视数据；以及在电视的显示器上显示具有添加的叠加图的电视数据。根据期望的实施方式，这种电视实施的方法可以进一步包括基于来自图像数据的一个或更多个分类对象从内容服务器检索数据作为一个或更多个叠加图，和/或从外部设备检索一个或更多个对数量化参数数据并将一个或更多个对数量化参数存储在存储器中。

根据期望的实施方式，边缘系统可以包括存储器，该存储器被配置为以由一个或更多个对数量化参数值表示的训练的神经网络的形式存储对象检测/分类模型，该对象检测/分类模型被配置为根据训练的神经网络的对数量化参数值，通过一个或更多个神经网络操作来检测/分类图像数据上的一个或更多个对象；以及片上系统(SoC)，该片上系统被配置为接收图像数据；执行对象检测模型，以通过一个或更多个神经网络操作对来自图像数据的一个或更多个对象进行分类，基于从存储器读取的一个或更多个对数量化参数值，通过对图像数据的逻辑移位操作执行一个或更多个神经网络操作；基于来自图像数据的一个或更多个分类对象，向图像数据添加一个或更多个叠加图；并且提供具有添加的叠加图的图像数据作为输出。

根据期望的实施方式，可以提供一种用于边缘系统的方法，该方法可以包括对接收的图像数据执行对象检测/分类模型，该对象检测/分类模型被配置为根据训练的神经网络的对数量化参数值通过一个或更多个神经网络操作对图像数据上的一个或更多个对象进行分类/检测，该执行包括基于对数量化参数值对图像数据执行逻辑移位操作；基于分类的一个或更多个对象在图像数据上添加一个或更多个叠加图；以及提供具有添加的一个或更多个叠加图的图像数据作为输出。

图9示出了根据示例实施方式的用于通过执行各种神经网络操作来处理数字内容的AI处理元件(AIPE)的示例。图9的AIPE可以包括算术移位架构，以便通过执行各种神经网络操作(诸如卷积、批量归一化、参数ReLU、递归神经网络和全连接神经网络操作)来处理数字内容。然而，本公开不旨在限于本文公开的算术移位架构。在某些方面，AIPE可以包括加法器或附加移位器来处理数字内容。图9的AIPE利用算术移位器902和加法器904来处理神经网络操作，例如但不限于卷积、密集层、参数ReLU、最大池化、加法和/或乘法。算术移位器902接收从对数量化参数导出的数据906和移位指令908作为输入。数据906可以包括基于二进制补码的32位数据，而从对数量化参数导出的移位指令908可以包括7位数据。例如，算术移位器902可以包括32位算术移位器。算术移位器902基于从对数量化参数导出的移位指令908来移位数据906。算术移位器902的输出经过二进制补码结构，并被加上偏置910。在一些方面，偏置910可以包括32位偏置。加法器904接收算术移位器902的输出作为输入。算术移位器902的输出和符号位912之间的XOR运算的输出然后被馈送到加法器904。加法器904接收偏置910、算术移位器902的输出和符号位912之间的XOR运算的输出，作为要相加在一起的进位输入。加法器904的输出被馈入触发器914。触发器914的数据被反馈到图9的AIPE中。例如，触发器914的输出被馈入多路复用器M1，并与数据906进行数据多路复用。触发器914的输出也被馈入偏置多路复用器M3，并与偏置910多路复用。触发器914的输出也被馈入输出多路复用器M4，并与加法器904的输出多路复用。触发器914的输出可以是二进制补码的形式。触发器914的数据的符号位也被反馈到AIPE，以控制参数多路复用器M2。例如，触发器914的数据的符号位与S2信号一起被馈送到“或”运算器，其中“或”运算的结果被馈送到多路复用器M2，该多路复用器多路复用移位指令908和常数0信号。

图9的示例公开了利用算术移位架构来处理数字内容的AIPE。然而，本公开不旨在限于本文公开的方面。AIPE可以包括包括逻辑移位(例如，通过算术移位、二进制移位等)的不同架构，这些利用各种神经网络操作来处理数字内容，例如，在2022年4月29日提交的名称为“IMPLEMENTATIONS AND METHODS FOR PROCESSING NEURAL NETWORK INSEMICONDUCTOR HARDWARE”的PCT申请PCT/US22/27035中所公开的，该申请的公开内容通过引用完全并入本文。在这样的示例实施方式中，加法器电路也可以用移位器电路来代替以便实现期望的实施方式。

图10示出了根据示例实施方式的AIPE阵列的示例。在图10的示例中，AIPE阵列包括多个AIPE，其中数据和参数(核)被输入到AIPE中，以执行各种神经网络操作来处理数字内容，如本文所公开的。AIPE架构可以包括移位器和逻辑门，但是可以被配置为利用其它元件，并且本公开不旨在限于本文公开的示例。本文公开的示例包括具有从参数导出的7位移位指令的32位数据，其中数据可以从1位到N位，移位指令可以从1位到M位参数，其中N和M是任何正整数。一些示例包括32位移位器；然而，移位器的数量可以多于一个，并且可以从一个移位器变化到O个移位器，其中O是正整数。在某些情况下，该架构依次包括128位数据、从8位对数量化参数导出的移位指令，以及7个串联的移位器。此外，本文所示的逻辑门是可以根据特定的架构而改变的一组典型的逻辑门。

在某些情况下，AIPE架构可以利用移位器、加法器和/或逻辑门。本文公开的示例包括32位数据，其中7位移位指令从对数量化参数导出，数据可以从1位到N位，并且移位指令可以是从1位到M位的数据，其中N和M是任何正整数。一些示例包括一个32位移位器和一个32位双输入加法器，然而移位器和加法器的数量可以多于一个，并且可以从一个移位器变化到O个移位器，从一个加法器变化到P个加法器，其中O和P是正整数。在某些情况下，该架构依次包括128位数据、8位移位指令，2个串联的移位器，以及2个串联的加法器。

本文公开的AIPE架构可以用移位器和逻辑门来实现，其中移位操作代替乘法和加法/累加操作。本文公开的AIPE结构也可以用移位器、加法器和逻辑门来实现，其中移位操作代替乘法和加法/累加操作。然而，在某些方面，AIPE架构可以包括乘法器、加法器和/或移位器。

图11A和11B示出了根据示例实施方式的使用处理的数字内容的AI数字内容应用的软件堆栈的示例。具体地，图11B示出了使用在图11A的示例中使用的处理的数字内容的用于AI数字内容应用的软件堆栈的流程。在1102处，流程预处理由各种算法使用的数字内容(下采样、上采样、裁剪等)。在1104处，流程使用AI/神经网络模型和各种算法来处理数字内容，这些算法例如但不限于对象检测、分类、识别、语音识别、自然语言处理。在1106处，流程使处理的数字数据和来自处理数字数据的信息对操作系统(OS)可用。在1108处，AI数字内容API可以通过操作系统访问处理的数字数据。在1110处，AIDC应用可以通过AIDC API访问处理的数字数据，并与应用的观看者/用户交互，以提供有用的服务和功能。

图12A-12H示出了根据示例实施方式的可以利用处理的数字内容的应用的示例。在图12A中，AI/神经网络模型和其它算法处理体育比赛数字内容，以识别与体育赛事有关的运动员、团队、对象或文本中的至少一个或更多个，并补充在云/互联网/系统/数据库/人中找到的任何相关信息，例如实时统计、历史统计、团队统计、专家意见。可以基于处理的数字内容以及找到的补充信息来开发虚拟体育应用。在图12B中，AI/神经网络模型和其它算法处理数字内容以识别诸如演员的个体。深度伪造应用可以利用处理的数字内容让任何人将处理的数字内容中的已识别的个人与其它人交换。在图12C中，AI/神经网络模型和其它算法处理数字内容以识别人、对象、场景和文本，并补充在云/互联网/系统/数据库/人中找到的关于数字内容的任何相关信息。社交应用可利用处理的数字内容，使得朋友或任何个人群组可通过处理的数字内容彼此连接和交互，例如投票表决采取什么动作或决定在处理的内容上放置某种类型的图像叠加图。在图12D中，AI/神经网络模型和其它算法处理数字内容以识别出现在数字内容中的一个或更多个人。游戏应用可以利用处理的内容来生成与处理的内容相关的游戏或交互式娱乐应用。例如，游戏应用可以提供提示，以允许观看者说出出现在内容上的人的名字。在图12E中，AI/神经网络模型和其它算法处理数字内容以识别人、事件和文本。新闻应用可以利用处理的数字内容，并获得与被识别的人、事件和文本相关的新闻文章或故事，并将文章或故事与处理的内容相联系。在图12F中，AI/神经网络模型和其它算法处理数字内容以识别人、物体和文本。视觉叠加应用可以利用处理的数字内容供观看者与处理数字内容交互。例如，视觉叠加应用可以允许用户在处理的内容上放置任何视觉叠加图。在图12G中，AI/神经网络模型和其它算法处理数字内容以识别数字内容中的所有字符。聊天机器人应用可以利用处理的数字内容供观看者与数字内容中识别的角色进行对话。在图12H中，AI/神经网络模型和其它算法处理数字内容以识别与电子商务平台有关的任何对象。电子商务应用可以利用处理的数字内容将适当的电子商务平台连接到处理的数字内容的视图。例如，数字内容可以包括体育赛事(例如，篮球比赛)，并且电子商务应用可以允许用户购买所识别的团队的运动服装，或者允许用户购买即将到来的体育赛事的门票。

图13示出了根据示例实施方式的利用检测算法处理的数字内容的示例。检测算法可以检测数字内容中的对象和人。例如，检测算法可以检测篮球运动员、身体部位(例如，手、脸、腿、脚、躯干等)，篮球，篮板，还有篮筐。检测算法还可以检测数字内容中的文本，例如广告或数字内容中涉及的运动员/团队的得分。例如，如图14所示，在检测到人时，诸如面部识别或球衣号码识别算法之类的人识别算法可以进一步处理检测到的人，以努力识别运动员。在图14中，识别算法可以识别一个或更多个运动员，并提供正在处理的数字内容中的运动员的名字。

图15示出了根据实施方式的用姿态估计算法处理的数字内容的示例。在图15的示例中，姿态估计算法可以检测数字内容中的人的姿势。可以获得关于用姿态估计算法处理的数字内容的有用信息，例如运动员站着或坐着、运动员行走、运动员传球或运动员看球。例如，在诸如篮球比赛的实时体育赛事中，通过利用检测算法、识别算法和/或姿态估计算法处理数字内容而收集的有用信息可以用于分析更多关于内容的信息，例如如图16所示，运动员是在进攻(进攻方)还是运动员在防守(防守方)。

图17示出了根据示例实施方式的用文本检测算法和自然语言处理算法处理的数字内容的示例。在图17的示例中，文本检测算法可以检测数字内容中的文本。例如，检测算法可以检测数字内容中的一个或更多个广告中的文本(例如，汽车制造商等)。在另一个示例中，检测算法可以检测与数字内容相关的文本，例如与实时赛事中的分数或剩余时间相关的信息。在使用文本检测算法检测到各种文本之后，可以使用自然语言处理算法来获得关于检测到的文本的更有洞察力的信息，例如获得汽车的制造商或关于篮球比赛的信息(例如，分数、哪一局、比赛剩余时间等)。

图18A和18B示出了根据示例实施方式的补充有来自云/互联网/系统/数据库/人的相关信息的处理的数字内容的示例。具体地，图18B示出了补充有在图18A的示例中使用的相关信息的处理的数字内容的流程。在1810处，流程使用一个或更多个算法来处理数字内容。数字内容(例如，篮球相关内容)可以用一种或多种算法来处理，例如但不限于对象检测、文本检测、面部检测、姿势估计等。对象检测算法可以检测数字内容中的运动员、篮球、篮筐、篮板。文本检测算法可以检测数字内容中的文本(例如制服上的文本或数字)。面部识别算法可以识别数字内容中的运动员或人。姿态估计算法可以检测数字内容中运动员的姿势。在1812处，流程识别进攻或防守的一个或更多个运动员。例如，一个或更多个算法可以基于哪个(哪些)球员拥有篮球来识别进攻或防守的球员。在1814处，流程计算一个或更多个运动员到篮筐的距离。一个或更多个算法可以计算每个运动员到篮筐的距离。在1816处，流程获得一个或更多个运动员的补充信息。例如，一个或更多个运动员的补充信息可以基于一个或更多个运动员到篮筐的距离。每个运动员的补充信息可以包括基于到篮筐距离的投篮命中率，或者与运动员到篮筐距离相关的其它统计信息。每个运动员的补充信息可以从云/互联网/系统/数据库/人获得。在1818处，流程自定义与数字内容一起显示的补充信息。例如，观看者可以结合数字内容自定义显示在显示设备上的补充信息。具有来自云/互联网/系统/数据库/人的补充信息的带注释的数字内容1802可以包括诸如从云1804中检索的用于在数字内容中检测到的运动员的统计信息的信息。观看者可以根据他们的偏好选择在他们的设备上显示在云1804中找到的补充信息。在AI边缘设备用各种算法(包括但不限于对象检测算法、识别算法、文本检测算法、自然语言处理算法)处理数字内容，并用来自云/互联网/系统/数据库/人的相关信息补充数字内容之后，观看者可以决定显示什么补充信息、在设备中的何处显示、在他们的设备上何时显示。

图19示出了根据示例实施方式的补充有来自云/互联网/系统/数据库/人的相关信息的处理的数字内容的示例。在图19的示例中，从云/互联网/系统/数据库/人找到的相关补充信息可以叠加在数字内容上以供查看。图19中的数字内容可以用检测算法来处理以检测运动员、篮筐和篮球。在检测到运动员和篮筐之后，可以使用一种或多种算法来处理每个运动员，以获得每个运动员到篮筐的距离。一旦获得了球员到篮筐的距离，就可以从云/互联网/系统/数据库/人搜索并获得相关信息，例如给定到篮筐的距离的球员的投篮命中率(FGP)。然后，该运动员的特定距离投篮命中率可以被补充到数字内容中，以备观看者在他们选择的任何时间显示这种信息。

图20A和20B示出了根据示例实施方式的补充有来自云/互联网/系统/数据库/人的相关信息的处理的数字内容的示例。具体地，图20B示出了补充有在图20A的示例中使用的相关信息的处理的数字内容的流程。在2002处，流程用一个或更多个算法处理数字内容。例如，数字内容(例如，新闻内容)可以用各种算法来处理，例如检测文本的文本检测算法。可以用自然语言处理算法来处理检测到的文本。在图20A处，利用文本检测和自然语言处理算法来处理诸如新闻内容的数字内容，以将该内容识别为各种候选人的选举的投票结果。在2004处，流程获得处理的数字内容的补充信息。一旦数字内容被处理以获得上述信息，任何相关的补充信息可以在云/互联网/系统/数据库/人员中被搜索和找到，例如由不同的民意调查者完成的其它民意调查信息。在2006处，流程用所获得的补充信息来补充处理的数字内容。在2008处，流程自定义要显示哪些补充信息。例如，当用户选择时，他们可以决定在他们的显示设备上显示补充信息。

图21A和21B示出了根据示例实施方式的补充有来自社交媒体平台的相关信息的处理的数字内容的示例。具体而言，图21B示出了补充有在图21A的示例中使用的相关信息的处理的数字内容的流程。在2102处，流程用一个或更多个算法处理数字内容。一个或更多个算法可以用各种算法处理数字内容(例如，棒球内容)，例如检测一个或更多个棒球运动员的对象检测算法。面部识别算法可以基于运动员的面部来检测运动员。文本识别算法可以检测运动员的球衣号码以识别棒球运动员。在图21A的示例中，用各种算法处理数字内容以检测棒球比赛中的投手、击球手、接球手和裁判。可以使用面部识别算法和/或球衣号码识别算法来识别数字内容中的所有运动员。在2104处，流程获得处理的数字内容的相关补充信息。例如，可以找到来自云/互联网/系统/数据库/人(在这种情况下是互联网中的社交媒体平台和/或连接到互联网或云的人)的相关信息，并将其补充到处理的数字内容中。在2106处，流程将观看者与社交媒体平台联系起来以及将观众与观众相互联系。在图21A处，来自社交媒体的帖子或来自观看比赛的人的实时评论可以被补充到数字内容中。在2108处，流程自定义要显示哪些补充信息。例如，观看者可以决定在数字内容上叠加补充信息。这种叠加被称为社交叠加，因为补充信息来自与人的社交互动或来自社交媒体平台。

图22A和22B示出了根据示例实施方式的补充有来自云/互联网/系统/数据库/人的相关信息的处理的数字内容的示例。具体地，图22B示出了补充有在图22A的示例中使用的相关信息的处理的数字内容的流程。在2202处，流程用一个或更多个算法处理数字内容。一个或更多个算法可以用各种算法来处理数字内容(例如，篮球内容)，例如检测一个或更多个运动员的对象检测算法。面部识别算法可以基于运动员的面部来检测运动员。文本识别算法可以检测运动员的球衣号码来识别运动员。在图22A处，用各种算法处理数字内容以检测穿着运动衫、鞋和篮球的篮球运动员。可以使用识别算法来识别运动员和运动员的团队。在2204处，流程从电子商务平台查找相关补充信息。在这个示例中，在云/互联网/系统/数据库/人中找到的相关补充信息可以与电子商务平台相关，例如在哪里购买运动衫、鞋或篮球，或者到一些电子商务网站的链接，或者到这些产品的广告的链接。在2206处，流程将观看者连接到电子商务平台。在2208处，流程自定义显示哪些补充信息。在用相关的补充信息补充数字内容之后，观看者可以决定显示和使用这些信息来订购产品或检查这些产品的价格或可用性。广告商和电子商务实体可以通过处理后的数字内容直接接触消费者。

图23示出了根据示例实施方式的使用来自数字内容的处理信息的自定义数字内容的示例。在某些方面，在检测到处理的数字内容内的对象时，可以修改检测到的对象来包括可自定义的叠加图。例如，图23提供了实时篮球比赛的示例，其中篮球已经被检测到。篮球可以被选择为包括可以自定义的叠加图，在图23的示例中，该叠加图包括由爆炸和烟火组成的叠加图。在某些情况下，具有爆炸和烟火的叠加图的篮球可以被用来指示篮球的射手正在进行一场精彩的比赛，使得该球员成为“风云”。然而，在某些情况下，许多不同的叠加图可以与检测到的对象结合使用，并且本公开不旨在限于由爆炸和烟火组成的叠加图。

图24示出了根据示例实施方式使用来自数字内容的处理信息的自定义数字内容的示例。在某些方面，在检测到包括检测到的对象的事件的发生时，可以导致显示可以自定义的叠加图。例如，图24提供了实时篮球比赛的示例，其中篮球已经被检测到。在实时篮球比赛期间，运动员可以扣篮被检测到的篮球，从而篮球被扣篮的发生被检测到，并且在被检测到的篮球上提供叠加图。在图24的示例中，检测到的篮球的扣篮的发生可以提供由爆炸或烟火组成的叠加图。然而，在某些情况下，许多不同的叠加图可以与包括被检测对象的事件的发生的检测结合使用，并且本公开不旨在限于包括爆炸或烟火的叠加图。

图25示出了根据示例实施方式在用各种算法对各种输入图像进行处理之前对各种输入图像预处理方法进行处理的示例。数字内容2502可以包括原始数据。原始数据可能包括高分辨率(例如，4K或高清晰度)，其可以包括太多信息而不能被有效或高效地处理。这样，原始数据可以被提供给输入模块2504、2506或2508以修改原始数据。原始数据的修改可以允许有效或高效的处理。在某些方面，输入模块2504可以接收原始数据并对原始数据进行下采样。例如，分辨率的下采样可以将原始数据的分辨率降低到低得多的分辨率，例如但不限于400×200。在一些方面，输入模块2506可以接收原始数据，并以100∶1的压缩因子压缩原始数据。压缩因子可以包括许多不同的值，使得本公开不旨在限于100∶1的压缩因子。在某些方面，输入模块2508可以接收原始数据，并且不对原始数据进行下采样或压缩，使得输入模块2508包括原始数据的全帧版本。在原始数据具有高分辨率的情况下，输入模块2504可用于对原始数据进行下采样，使得高分辨率原始数据的处理将占用太多的时间和处理资源。在原始数据具有高分辨率的情况下，输入模块2506可用于压缩原始数据，使得高分辨率原始数据的处理将占用太多时间和处理资源。输入模块2508可用于在AI准确性重要或必要的情况下提供原始数据的全帧，使得处理资源可用于处理原始数据的全帧。输入模块的输出然后被提供给相应的神经网络阵列2510、2512、2514用于处理。各个神经网络阵列2510、2512、2514的输出可以用于补充数字内容2516。

本公开不旨在限于本文讨论的实施方式，其它实施方式也是可能的。根据期望的实施方式，本文提出的AI SoC还可以扩展到可以利用这些功能的其它边缘或服务器系统，包括移动设备、监视设备(例如，连接到中心站或本地用户控制系统的摄像机或其它传感器)、个人计算机、平板电脑或其它用户设备、车辆(例如，ADAS系统或基于ECU的系统)、物联网边缘设备(例如，聚合器、网关、路由器)、AR/VR系统、智能家居和其它智能系统实施方式等。

详细描述的某些部分是根据计算机内操作的算法和符号表示来呈现的。这些算法描述和符号表示是数据处理领域的技术人员用来向本领域的其它技术人员传达他们的创新的本质的手段。算法是导致期望的最终状态或结果的一系列定义的步骤。在示例实施方式中，所执行的步骤需要对有形量进行物理操纵，以实现有形结果。

除非另有具体说明，否则从讨论中可以明显看出，可以理解，在整个说明书中，使用诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“显示”等术语的讨论可以包括计算机系统或其它信息处理设备的动作和过程，这些计算机系统或其它信息处理设备将计算机系统的寄存器和存储器中表示为物理(电子)量的数据操纵和转换为计算机系统的存储器或寄存器或其它信息存储、传输或显示设备中类似地表示为物理量的其它数据。

示例实施方式也可涉及用于执行本文操作的装置。该装置可以为所需目的而专门构造，或者它可以包括一个或更多个通用计算机，该计算机由一个或更多个计算机程序选择性地激活或重新配置。这种计算机程序可以存储在计算机可读介质中，例如计算机可读存储介质或计算机可读信号介质。计算机可读存储介质可以包括有形介质，例如但不限于光盘、磁盘、只读存储器、随机存取存储器、固态设备和驱动器，或者适于存储电子信息的任何其它类型的有形或非暂时性介质。计算机可读信号介质可以包括诸如载波的介质。本文给出的算法和显示并不固有地与任何特定的计算机或其它设备相关。计算机程序可以包括纯软件实现，其包括执行所需实现的操作的指令。

根据本文的示例，各种通用系统可以与程序和模块一起使用，或者可以证明构造更专用的装置来执行期望的方法步骤是方便的。此外，没有参考任何特定的编程语言来描述示例实施方式。应当理解，可以使用各种编程语言来实现本文描述的示例实施方式的技术。编程语言的指令可以由一个或更多个处理设备执行，例如中央处理单元(CPU)、处理器或控制器。

如本领域所知，上述操作可由硬件、软件或软件和硬件的某种组合来执行。示例实施方式的各个方面可以使用电路和逻辑设备(硬件)来实现，而其它方面可以使用存储在机器可读介质(软件)上的指令来实现，这些指令如果被处理器执行，将使得处理器执行一种方法来实现本申请的实施方式。此外，本申请的一些示例实施方式可以仅在硬件中执行，而其它示例实施方式可以仅在软件中执行。此外，所描述的各种功能可以在单个单元中执行，或者可以以任何数量的方式分布在多个部件上。当由软件执行时，该方法可以由处理器，例如通用计算机，基于存储在计算机可读介质上的指令来执行。如果需要，指令可以以压缩和/或加密格式存储在介质上。

此外，考虑到本申请技术的说明和实践，本申请的其它实施方式对本领域技术人员来说是显而易见的。所描述的示例实施方式的各个方面和/或部件可以单独使用或以任何组合使用。本说明书和示例实施方式旨在仅被视为示例，本申请的真实范围和精神由所附权利要求来指示。