一种用于边缘AI设备软件分配调度方法

技术领域

本发明涉及软件调度技术领域，尤其涉及一种用于边缘AI设备软件分配调度方法。

背景技术

边缘AI设备上通常运行多个不同软件，需要对软件资源进行合理的分配和调度，以优化系统性能、降低延迟和提高能源效率，满足边缘计算场景中对低延迟和实时响应的需求。

然而边缘AI设备的通常在计算能力、存储空间和能源供应等资源有限，需要科学管理，以满足不同需求。在实时性要求较高场景中，需要考虑任务分配，数据传输等因素。另外在调度过程中，也要考虑通信开销，能源效率等因素，这些对边缘AI设备软件分配调度策略是一种技术挑战。

发明内容

本发明为了解决上述问题，提供了一种用于边缘AI设备软件分配调度方法，包括以下步骤：

步骤S1：设计智能软件调度算法，在所述智能软件调度算法中通过预设策略来管理和分配边缘AI设备的计算资源；

步骤S2：针对所述边缘AI设备的计算能力和储存限制，进行AI模型优化；

步骤S3：在所述边缘AI设备中配置多主板，根据算力分配软件模型；

步骤S4：在所述边缘AI设备中多主板协同计算，通过内部通信，共同完成复杂软件调度任务；

步骤S5：在所述边缘AI设备上进行所述软件调度任务分布前进行数据预处理；

步骤S6：在所述边缘AI设备上所述软件调度任务下发过程中进行数据压缩和标准化处理；

步骤S7：在所述软件调度任务进行的过程中，对共有资源采用单资源多复用方案；

步骤S8：所述软件调度任务结束立刻释放产生的缓存资源。

进一步地，在步骤S1中，所述智能软件调度算法中的所述预设策略采用混合调度策略，设定任务的优先级，支撑随时中断正在执行的任务，把CPU等资源分配给更高优先级的任务，同时将一定的资源预留给特定的任务。

进一步地，在步骤S2中，所述AI模型优化通过减少算法模型参数数量实现，移除网络中一些冗余的连接和权重，用于减少计算量和内存占用。

更优地，所述减少算法模型参数数量具体通过将模型的权重和激活值从高精度转换为低精度来实现降低模型的内存占用和计算复杂度。

进一步地，在步骤S3中，所述配置多主板，用于计算不同主板的算力资源，部署不同软件模型，分别调度多张主板算力资源。

进一步地，在步骤S4中，所述复杂软件调度通过将复杂任务分解成更小的子任务，每个所述子任务在单独的主板执行，采用任务发放、结果收集和进度同步方式，避免资源竞争和过载。

进一步地，在步骤S5中，所述数据预处理包括数据清洗、去除异常值、矫正偏差和数据格式转换操作，确保数据质量和数据一致性。

进一步地，在步骤S6中，所述数据压缩和标准化处理，通过映射到一个统一标准的尺度实现。

进一步地，在步骤S7中，所述多复用方案在资源有限的边缘设备上实时性能监控，通过有效管理和共享计算资源进行多任务并行，共享模型和缓存，并且共享资源切换和调度方式。

与现有技术相比，本发明的有益效果是：

(1)通过合理的智能软件调度，充分科学地利用资源；

(2)通过对AI模型进行优化以及数据压缩和标准化处理解决数据传输过大问题，以确保数据的质量和一致性,减少数据传输量；

(3)通过装配多个主板协同计算，减少计算量和内存占用，避免过多依赖单一主板资源导致资源竞争和过载；

(4)通过复杂软件调度方案，有效提高任务执行效率，协作完成复杂任务过程，提高系统软件调度的整体性能，降低时延。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明一种用于边缘AI设备软件分配调度方法处理流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施方式,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅用以解释本发明,并不用于限定本发明。

技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

边缘AI设备的通常在计算能力、存储空间和能源供应等资源有限，需要科学管理，以满足不同需求。在实时性要求较高场景中，需要考虑任务分配，数据传输等因素。另外在调度过程中，也要考虑通信开销，能源效率等因素，这些对边缘AI设备软件分配调度策略是一种技术挑战。

本方法通过合理的智能软件调度算法，在智能软件调度算法中通过预设策略来管理和分配边缘AI设备的计算资源；通过对AI模型进行优化以及数据压缩和标准化处理解决数据传输过大问题，以确保数据的质量和一致性,减少数据传输量；同时通过装配多个主板协同计算，减少计算量和内存占用，避免过多依赖单一主板资源导致资源竞争和过载；通过复杂软件调度方案，有效提高任务执行效率，协作完成复杂任务过程，提高系统软件调度的整体性能，降低时延。

以下通过具体实施例进行说明：

第一实施例

如图1所示，为本实施例的一种用于边缘AI设备软件分配调度方法处理流程图，包括如下步骤：

步骤S1：设计智能软件调度算法，在所述智能软件调度算法中通过预设策略来管理和分配边缘AI设备的计算资源；

步骤S2：针对所述边缘AI设备的计算能力和储存限制，进行AI模型优化；

步骤S3：在所述边缘AI设备中配置多主板，根据算力分配软件模型；

步骤S4：在所述边缘AI设备中多主板协同计算，通过内部通信，共同完成复杂软件调度任务；

步骤S5：在所述边缘AI设备上进行所述软件调度任务分布前进行数据预处理；

步骤S6：在所述边缘AI设备上所述软件调度任务下发过程中进行数据压缩和标准化处理；

步骤S7：在所述软件调度任务进行的过程中，对共有资源采用单资源多复用方案；

步骤S8：所述软件调度任务结束立刻释放产生的缓存资源。

其中，在步骤S1中，所述智能软件调度算法中的所述预设策略采用混合调度策略，设定任务的优先级，支撑随时中断正在执行的任务，具体的，在本实施例中，把CPU等资源分配给更高优先级的任务，同时将一定的资源预留给特定的任务，确保这些任务的执行需求得到满足，确保边缘设备能够在满足多样化应用需求的同时，保持高效的运行状态。

具体的，确保这些任务的执行需求得到满足，确保边缘设备能够在满足多样化应用需求的同时，保持高效的运行状态。

进一步地，在步骤S2中，所述AI模型优化通过减少算法模型参数数量实现，移除网络中一些冗余的连接和权重，用于减少计算量和内存占用。

具体的，所述减少算法模型参数数量具体通过将模型的权重和激活值从高精度转换为低精度来实现，其中，在本实施例中，通过将模型的权重和激活值从32位浮点数转换为8位整数来实现降低模型的内存占用和计算复杂度，从而使模型更适合边缘AI设备等资源受限的环境中部署，进而减少软件调度消耗。

进一步地，在步骤S3中，所述配置多主板用于计算不同主板的算力资源，部署不同软件模型，分别调度多张主板算力资源，避免过多依赖单一主板资源导致资源竞争和过载。

进一步地，在步骤S4中，所述复杂软件调度通过将复杂任务分解成更小的子任务，具体的，在本实施例中，每个所述子任务在单独的主板执行，采用任务发放、结果收集和进度同步方式，可以有效提高任务执行效率，协作完成复杂任务过程，提高系统软件调度的整体性能，降低时延。

进一步地，在步骤S5中，所述数据预处理包括数据清洗、去除异常值、矫正偏差和数据格式转换操作，确保数据质量和数据一致性，以确保数据的质量和一致性,减少数据传输量。

进一步地，在步骤S6中，所述数据压缩和标准化处理通过映射到一个统一标准的尺度实现。

具体的，在本实施例中，将所有图像数据调整为相同的宽度和高度224x224像素，这样可以降低通信开销，有助于模型更好地处理数据。

进一步地，在步骤S7中，所述多复用方案在资源有限的边缘设备上实时性能监控，通过有效管理和共享计算资源进行多任务并行，共享模型和缓存，并且共享资源切换和调度方式，使得不同任务能够共享同一套资源以提高资源利用率。

软件调度结束，立刻释放产生的缓存资源，用于再次回收利用。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。