一种用于增强智能终端的AI性能的方法及系统

技术领域

本发明涉及AI芯片技术领域，尤其涉及一种用于增强智能终端的AI性能的方法及系统。

背景技术

目前市面上的手机等移动终端设备都具备了AI计算能力，可以实现语音唤醒、声纹解锁、人脸识别和拍照美化等功能，还有手机内的智能功耗管理等等。实现方法可以是采用SOC芯片内的CPU、GPU、DSP等计算单元协同进行AI运算处理，也可以是SOC芯片内增加专用的神经网络单元(NPU)进行AI运算处理。

目前最典型的AI应用是AI拍照，通过摄像模块获得的图像数据，经过CPU/GPU/DSP/NPU模块加一定的AI算法，可以实现人脸识别/解锁、人像美颜/背景虚化/场景识别/特效处理。

SOC芯片内的AI算力在不断提升，但始终由于移动终端芯片的限制，算力提升有限，仅限于做语音和图像处理，没有能力做更多更强的应用。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种增强的AI算力以实现AI游戏超分、AI视频超分、AI视频降噪的方法及系统。

本发明公开了一种用于增强智能终端的AI性能的方法，包括如下步骤：通过独立的AI处理芯片从所述智能终端的SOC芯片接收待增强内容进行AI处理，以获取初级AI增强内容；所述AI处理芯片还从所述SOC芯片接收UI数据，所述UI数据包括界面数据和交互数据，所述AI处理芯片将所述界面数据和交互数据与所述初级AI增强内容进行融合，以获取终级AI增强内容；所述AI处理芯片将所述终级AI增强内容输出直接进行显示，并传输至所述SOC芯片进行储存。

优选地，所述AI处理芯片将所述终级AI增强内容输出直接进行显示，并传输至所述SOC芯片进行储存包括：所述终级AI增强内容先通过所述AI处理芯片进行显示，再传输至所述SOC芯片进行储存；或所述终级AI增强内容先通过所述AI处理芯片传输至所述SOC芯片进行储存，再进行显示。

优选地，所述SOC芯片控制所述AI处理芯片通过AI增强模式或直通模式进行工作；当所述AI处理芯片进行AI增强模式时，所述AI处理芯片待增强内容进行AI增强处理并与所述UI数据融合后输出显示；当所述AI处理芯片进行直通模式时，所述AI处理芯片从所述智能终端的SOC芯片接收待增强内容直接输出显示。

优选地，所述待增强内容包括影像数据和音频数据，所述终级AI增强内容包括游戏数据包和视频数据包，所述游戏数据包和视频数据包包括影像数据和音频数据。

优选地，所述AI处理芯片内预设有分辨率参数阈值、帧率参数阈值和图像质量参数阈值，所述SOC芯片控制所述AI处理芯片依据分辨率参数阈值、帧率参数阈值和图像质量参数阈值进行所述AI增强模式工作或所述直通模式工作。

一种用于增强智能终端AI性能的系统，包括SOC芯片和AI处理芯片，SOC芯片和AI处理芯片设有若干个高速数据接口，所述AI处理芯片通过所述高速数据接口从所述SOC芯片接收待增强内容；所述AI处理芯片上设有第一嵌入式神经网络处理器，对所述待增强内容进行AI处理，以获取初级AI增强内容；所述AI处理芯片上还设有图像融合模块，所述AI处理芯片通过所述高速数据接口从所述SOC芯片接收UI数据，所述UI数据包括界面数据和交互数据，所述AI处理芯片将所述界面数据和交互数据与所述初级AI增强内容进行融合，以获取终级AI增强内容；还包括显示模块，所述显示模块与所述SOC芯片和/或所述AI处理芯片电连接；所述AI处理芯片将所述终级AI增强内容输出至所述显示模块进行显示，并传输至所述SOC芯片的存储模块进行储存。

优选地，所述显示模块与所述SOC芯片和所述AI处理芯片电连接；所述终级AI增强内容先通过所述AI处理芯片传输至所述显示模块进行显示，再传输至所述SOC芯片进行储存；或所述终级AI增强内容先通过所述AI处理芯片传输至所述SOC芯片进行储存，所述显示模块再通过所述SOC芯片获取终级AI增强内容进行显示。

优选地，所述SOC芯片控制所述AI处理芯片通过AI增强模式或直通模式进行工作；当所述AI处理芯片进行AI增强模式时，所述AI处理芯片待增强内容进行AI增强处理并与所述UI数据融合后输出显示；当所述AI处理芯片进行直通模式时，所述AI处理芯片从所述智能终端的SOC芯片接收待增强内容直接输出显示；所述SOC芯片包括第二嵌入式神经网络处理器，所述第二嵌入式神经网络处理器与所述AI增强模式时的所述第一嵌入式神经网络处理器同时工作、或单独在所述AI处理芯片进行所述直通模式时工作、或不工作。

优选地，所述SOC芯片和AI处理芯片的所述高速数据接口之间包括内容传输通道、UI数据传输通道和增强数据回传传输通道；所述AI处理芯片通过所述内容传输通道从所述SOC芯片获取待增强内容、通过所述UI数据传输通道从所述SOC芯片获取UI数据、并通过所述增强数据回传传输通道将所述终级AI增强内容回传至所述SOC芯片。

优选地，所述AI处理芯片还包括AI性能分析模块，所述AI性能分析模块内预设有分辨率参数阈值、帧率参数阈值和图像质量参数阈值；所述SOC芯片控制所述AI处理芯片依据分辨率参数阈值、帧率参数阈值和图像质量参数阈值进行所述AI增强模式工作或所述直通模式工作。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.通过独立的所述AI处理芯片承担智能终端的大部分AI增强任务，实现包括但不限于游戏和视频的低画质增强、低帧率插帧等，提供高分辨率、高帧率的游戏和视频效果，提升用户体验；由于所述AI处理芯片内置所述图像融合模块，可实现实时游戏和视频内容与UI内容的融合处理，获取完整的输出影像和音频，通过所述显示模块实时显示，而不需要回传到SOC芯片再显示，故能实现超低延时，从而不影响用户体验；

2.在特殊情况下，需要对获得的所述终级AI增强内容进行保存，故允许所述终级AI增强内容先通过所述AI处理芯片传输至所述SOC芯片进行储存，再进行显示，此时允许一定的延时；

3.所述AI处理芯片由所述SOC芯片控制，在一般场景下可以由所述SOC芯片直接处理并进行显示，仅在需要高效AI处理时才控制所述AI处理芯片开启，以节省功耗；

4.所述SOC芯片依据所述AI性能分析模块的各项参数进行分配指导所述AI处理芯片进行AI增强模式或直通模式，为所述第二嵌入式神经网络处理器分担算力。

附图说明

图1为本发明提供的用于增强智能终端的AI性能的方法的流程图；

图2为本发明提供的用于增强智能终端的AI性能的系统的结构框图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参见附图1，本发明公开了一种用于增强智能终端的AI性能的方法，包括如下步骤：

S1、通过独立的AI处理芯片从智能终端的SOC芯片接收待增强内容进行AI处理，以获取初级AI增强内容；

S2、AI处理芯片还从SOC芯片接收UI数据，UI数据包括界面数据和交互数据，AI处理芯片将界面数据和交互数据与初级AI增强内容进行融合，以获取终级AI增强内容；

S3、AI处理芯片将终级AI增强内容输出直接进行显示，并传输至SOC芯片进行储存。

本发明通过AI处理芯片分担大部分原来由SOC芯片进行的AI增强任务，功能集中从而高效且效果佳，AI处理芯片实时将游戏和视频内容与UI内容进行融合处理，获取完整的输出影像和音频的终级AI增强内容，该终级AI增强内容可直接进行显示，而不需要回传到SOC芯片再显示，实现超低延时，从而实现在对内容进行AI增强的同时不影响用户体验。

由于手机的偏向综合功能而AI处理功能较为不突出，故本发明优选应用于手机，同时也可应用于运算量大、需求较高的平板、游戏机等智能终端。本发明实现的AI增强包括但不限于AI游戏超分、AI视频超分、AI视频降噪等。例如可将720p30fps的视频通过AI处理提升到1080p60fps或者更高，实现更佳的观影体验和游戏体验。

较佳地，终级AI增强内容先通过所述AI处理芯片进行实时显示，减小延迟，再传输至SOC芯片进行储存。在特殊情况下，需要对获得的终级AI增强内容先进行保存，故作为另一种优选的，允许终级AI增强内容先通过AI处理芯片传输至SOC芯片进行储存，再进行显示，以对该终级AI增强内容进行备份。

较佳地，SOC芯片控制AI处理芯片通过AI增强模式或直通模式进行工作，在一般场景下，对于小进程的AI增强任务，SOC芯片控制AI处理芯片进行直通模式时，AI处理芯片从智能终端的SOC芯片接收待增强内容直接输出显示，仅在需要高效AI处理时才控制AI处理芯片进行AI增强模式，即AI处理芯片待增强内容进行AI增强处理并与UI数据融合后输出显示，以减少功耗。

待增强内容包括影像数据和音频数据，终级AI增强内容包括游戏数据包和视频数据包，游戏数据包和视频数据包包括影像数据和音频数据。而游戏数据包可以来自本地或者网络或者云端，视频数据包可以来自智能终端的实时拍摄、本地视频或者网络或者云端视频。

较佳地，AI处理芯片内预设有分辨率参数阈值、帧率参数阈值和图像质量参数阈值，SOC芯片控制AI处理芯片依据分辨率参数阈值、帧率参数阈值和图像质量参数阈值进行AI增强模式工作或直通模式工作。

参见附图2，本发明还提供了一种用于增强智能终端AI性能的系统，可用于实施上述的用于增强智能终端的AI性能的方法，包括：

-SOC芯片，SOC作为智能终端的主芯片，承担智能终端的基本控制功能、处理功能及部分简单AI处理功能；

-AI处理芯片，AI芯片作为增强智能终端AI性能的芯片，进行复杂AI运算、数据融合、数据回传和显示输出。

SOC芯片和AI处理芯片都设有若干个高速数据接口，相互之间通过高速数据接口进行传输连接，AI处理芯片通过高速数据接口从SOC芯片接收待增强内容。

AI处理芯片上设有第一嵌入式神经网络处理器(Neural-network ProcessingUnit，NPU)，对待增强内容进行AI处理，以获取初级AI增强内容。

AI处理芯片上还设有图像融合模块，AI处理芯片通过高速数据接口从SOC芯片接收UI数据，UI数据包括界面数据和交互数据，AI处理芯片将界面数据和交互数据与初级AI增强内容进行融合，获取终级AI增强内容。由于与界面数据和交互数据进行了融合，生成的终级AI增强内容可直接进行显示，延时很小，用户可实时获取AI增强后的游戏数据和视频数据，体验感强。

系统还包括显示模块，显示模块为显示屏，显示模块可同时与SOC芯片和AI处理芯片电连接，或设计为仅与其中一个电连接，被连接的芯片承担输出显示的作用。在本实施例中，显示模块直接与AI处理芯片电连接，由AI处理芯片承担输出显示的作用。AI处理芯片将终级AI增强内容输出至显示模块进行显示，并传输至SOC芯片的存储模块进行储存。

较佳地，显示模块同时与SOC芯片和AI处理芯片电连接，终级AI增强内容先通过AI处理芯片传输至SOC芯片进行储存，显示模块再通过SOC芯片获取终级AI增强内容进行显示，以应对需要对获得的终级AI增强内容进行保存的特殊情况。

而在本实施例中，显示模块仅与AI处理芯片电连接，即从AI处理芯片获取终级AI增强内容直接进行显示。

较佳地，SOC芯片包括CPU模块、GPU模块、DSP模块和第二嵌入式神经网络处理器。SOC芯片控制AI处理芯片通过AI增强模式或直通模式进行工作；当AI处理芯片进行AI增强模式时，AI处理芯片待增强内容进行AI增强处理并与UI数据融合后输出显示；当AI处理芯片进行直通模式时，AI处理芯片从智能终端的SOC芯片接收待增强内容直接输出显示。

需要说明的是，第一嵌入式神经网络处理器和第二嵌入式神经网络处理器都为嵌入式神经网络处理器(Neural-network Processing Unit，NPU)，两者都可分别单独工作，或协同工作，即：第二嵌入式神经网络处理器可不工作、或与AI增强模式时的第一嵌入式神经网络处理器同时工作、或单独在AI处理芯片进行直通模式时工作。通过分配第一嵌入式神经网络处理器和第二嵌入式神经网络处理器的工作状态来应对不同的应用场景，从而整体减小算力。第一嵌入式神经网络处理器和第二嵌入式神经网络处理器在协同工作时可应用相同的算法、进行相同的工作内容，亦可采用不同的算法，分别进行不同的工作内容，此处不做限制，具体由SOC芯片进行控制。

SOC芯片与智能终端的摄像模块电连接，以获取影像数据，还与语音模块电连接，以获取音频数据。摄像模块通常为照相机，语音模块通常为麦克风。

较佳地，SOC芯片和AI处理芯片的高速数据接口之间包括内容传输通道、UI数据传输通道和增强数据回传传输通道。AI处理芯片通过内容传输通道从SOC芯片获取待增强内容、通过UI数据传输通道从SOC芯片获取UI数据、并通过增强数据回传传输通道将终级AI增强内容回传至SOC芯片进行储存。

较佳地，AI处理芯片还包括AI性能分析模块，AI性能分析模块内预设有分辨率参数阈值、帧率参数阈值和图像质量参数阈值。SOC芯片控制AI处理芯片依据分辨率参数阈值、帧率参数阈值和图像质量参数阈值进行AI增强模式工作或直通模式工作。

作为AI性能分析模块的一种可选应用，AI性能分析模块还可分析当终级AI增强内容的分辨率达到预设分辨率参数时，则允许输出该终级AI增强内容进行显示和储存；而当分辨率未达到预设分辨率参数时，则将终级AI增强内容退返至第一嵌入式神经网络处理器再次进行AI处理直至达到预设分辨率。

智能终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是智能终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。