一种数字人智能生产平台

技术领域

本申请涉及数字人智能生产技术领域，尤其涉及一种数字人智能生产平台。

背景技术

配合相关的声音克隆、智能问答等技术，普通用户可以通过自己的数字人完成在线交流、短视频制作等媒体生产工作，作为个人的数字分身，具有非常显著的经济价值和应用潜力。

现有技术中的2D数字人生产平台，主要致力于提供2D数字人模型训练的不同方法，并没有关注端到端的数字人生产流程，进而导致现有技术中搭建的2D数字人生产流程的智能化程度较低，无法为用户提供定制化服务。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中搭建的2D数字人生产流程的智能化程度较低，无法为用户提供定制化服务的技术缺陷。

本申请提供了一种数字人智能生产平台，所述智能生产平台包括：

交互界面，用于在数字人的整个生产流程中与用户进行实时交互，并将交互过程中产生的与数字人生产相关的数据存储至数据存储服务；

模块化算法服务，用于利用预先安装的多类插件以及所述数据存储服务中存储的、与数字人生产相关的数据，对数字人模型进行训练、测试并部署；

消息中心，用于获取所述模块化算法服务中各个处理环节产生的处理信息，并向所述交互界面以及下一处理环节进行信息发布；

数据存储服务，用于保存所述交互界面以及所述模块化算法服务中产生的与数字人生产相关的数据。

可选地，所述模块化算法服务包括视频数据提交环节；

所述视频数据提交环节调用视频分析插件，对所述数据存储服务中存储的、对数字人模型进行训练时所使用的视频数据的各项指标进行检测，并将检测结果发送至所述消息中心；

所述消息中心将所述检测结果发送至所述交互界面进行展示，并在所述检测结果符合要求时，将所述检测结果发送至所述模块化算法服务中的下一处理环节。

可选地，当所述检测结果不符合要求时，所述交互界面接收用户依据所述检测结果重新提交的视频数据，并将重新提交的视频数据保存至所述数据存储服务；

所述视频数据提交环节调用视频分析插件，对所述数据存储服务中存储的、重新提交的视频数据的各项指标进行检测，并将检测结果发送至所述消息中心。

可选地，所述生产平台还包括任务等待队列；

所述模块化算法服务在计算资源不足时，将所述视频数据提交环节检测的符合要求的视频数据发送至所述任务等待队列进行保存；

所述模块化算法服务在计算资源充足时，将所述视频数据提交环节检测的符合要求的视频数据发送至下一处理环节进行处理；

所述模块化算法服务在计算资源空闲时，通过所述消息中心检查所述任务等待队列中是否有正在排队的任务，若有，则拉取正在排队的任务进行处理。

可选地，所述模块化算法服务还包括数据预处理环节；

所述数据预处理环节调用视频预处理类插件，对所述数据存储服务中存储的、各项指标符合要求的视频数据进行预处理操作，并将预处理后得到的用于对数字人模型进行训练的训练数据提交到所述数据存储服务，以及向所述消息中心登记处理进度；

所述消息中心将所述处理进度发送至所述交互界面进行展示。

可选地，所述模块化算法服务还包括交互式素材提取环节；

所述交互式素材提取环节调用素材提取类插件，对上一处理环节发送的视频数据中用户感兴趣的片段进行素材提取，并将提取到的素材发送至所述交互界面进行展示；

所述交互界面还用于供用户调用所述模块化算法服务中的交互式编辑算法插件，对提取到的素材进行个性化修改，并将修改后的素材提交到所述数据存储服务，以及将用户编辑信息提交到所述消息中心进行记录。

可选地，所述模块化算法服务还包括多级模型训练环节；

所述多级模型训练环节用于从所述数据存储服务中拉取相应的训练数据，并按照预先部署的数字人模型中各个子模型的串并联关系，利用所述训练数据对各个子模型进行分级训练，并将各个子模型在训练过程中的模型备份提交到所述数据存储服务，以及向所述消息中心登记各个子模型的训练进度；

所述消息中心将所述训练进度发送至所述交互界面进行展示。

可选地，所述多级模型训练环节还用于在所述智能生产平台出现资源崩溃，和/或子模型的训练效果未达到预期效果时，将已完成且经过验收的子模型作为起点，并从起点开始对后续关联的子模型重新进行训练。

可选地，所述模块化算法服务还包括效果测试与验收环节；

所述效果测试与验收环节通过预置的模型训练指标，对所述数据存储服务中存储的各个子模型在训练过程中的模型备份进行监控，并根据监控结果确定各个子模型是否结束训练后，将确定结果发送至所述消息中心，以使所述消息中心将所述确定结果发送至所述多级模型训练环节。

可选地，所述效果测试与验收环节还通过同步检测算法插件，对使用所述数据存储服务中存储的测试素材以及所述多级模型训练环节中训练得到的数字人模型，合成数字人时的合成效果进行评估，并将评估得到的符合要求的合成效果发送至所述交互界面进行展示；

所述交互界面提示用户对所述合成效果进行人工核准，并将人工核准结果发送至所述模块化算法服务，以使所述模块化算法服务根据所述人工核准结果确定是否对数字人模型的生产过程进行调整。

可选地，所述模块化算法服务还包括服务部署与上线环节；

所述服务部署与上线环节用于在用户通过所述交互界面触发一键部署指令时，通过镜像打包插件拉取所述数据存储服务中的相关模型和在线推理素材，并根据本地环境对所述相关模型和在线推理素材进行镜像打包；

所述服务部署与上线环节还用于将打包后的镜像发送至所述数据存储服务进行存储、推送至在线服务集群完成服务部署，以及向所述消息中心登记对所述相关模型和在线推理素材进行镜像打包时的打包进度。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请提供的一种数字人智能生产平台，该智能生产平台包括交互界面、模块化算法服务、消息中心和数据存储服务；其中，交互界面用于在数字人的整个生产流程中与用户进行实时交互，并将交互过程中产生的与数字人生产相关的数据存储至数据存储服务；模块化算法服务利用预先安装的多类插件以及数据存储服务中存储的、与数字人生产相关的数据，对数字人模型进行训练、测试并部署，由于数据存储服务中存储的与数字人生产相关的数据都是经用户确认后的数据，因此，使用该数据以及多类插件对数字人模型进行训练、测试并部署后，可以得到符合用户需求的数字人；进一步地，本申请的消息中心可以获取模块化算法服务中各个处理环节产生的处理信息，并向交互界面以及下一处理环节进行信息发布，这样用户可以通过交互界面实时查看处理进度并确认处理信息，以提升用户在数字人生产阶段的参与程度，进而满足用户的个性化、定制化需求；另外，本申请的数据存储服务可以保存交互界面以及模块化算法服务中产生的与数字人生产相关的数据，这样既方便模块化算法服务使用该数据对数字人模型进行训练、测试并部署，又方便用户获取各个阶段的数据。

上述过程中，本申请整合了模型训练、大数据组件、多种算法插件、在线服务部署等方面的技术，实现数字人从用户端到服务端的自动化生产流程。且本方案的设计满足流程高效、可靠的同时，通过引入的过程数据存储、交互等环节，可以满足用户个性化、定制化的需求，这样不仅可以提升数字人生产平台的智能化程度，还可以为数字人相关技术的普惠应用提供一种落地路径。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种数字人智能生产平台的平台架构图；

图2为本申请实施例提供的视频数据提交环节的工作流程示意图；

图3为本申请实施例提供的数据预处理环节的工作流程示意图；

图4为本申请实施例提供的交互式素材提取环节的工作流程示意图；

图5为本申请实施例提供的多级模型训练环节的工作流程示意图；

图6为本申请实施例提供的效果测试与验收环节的工作流程示意图；

图7为本申请实施例提供的服务部署与上线环节的工作流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在一个实施例中，如图1所示，图1为本申请实施例提供的一种数字人智能生产平台的平台架构图；本申请提供了一种数字人智能生产平台，所述智能生产平台可以包括：

交互界面，用于在数字人的整个生产流程中与用户进行实时交互，并将交互过程中产生的与数字人生产相关的数据存储至数据存储服务。

模块化算法服务，用于利用预先安装的多类插件以及所述数据存储服务中存储的、与数字人生产相关的数据，对数字人模型进行训练、测试并部署。

消息中心，用于获取所述模块化算法服务中各个处理环节产生的处理信息，并向所述交互界面以及下一处理环节进行信息发布。

数据存储服务，用于保存所述交互界面以及所述模块化算法服务中产生的与数字人生产相关的数据。

本实施例中，数字人智能生产平台可以包括交互界面、模块化算法服务、消息中心和数据存储服务，这样既可以通过交互界面实现与用户进行实时交互操作，又可以通过数据存储服务将用户交互过程中产生的与数字人生产相关的数据进行存储，以便模块化算法服务通过预先安装的多类插件调用数据存储服务中的相关数据对数字人模型进行训练、测试并部署，并且，在此过程中，消息中心可以获取模块化算法服务中各个处理环节产生的处理信息，并向交互界面以及下一处理环节进行信息发布，这样用户可以通过交互界面实时查看处理进度并确认处理信息，以提升用户在数字人生产阶段的参与程度，进而满足用户的个性化、定制化需求。

其中，本申请中的数字人智能生产平台通过交互界面与用户在数字人的整个生产流程中进行实时交互时，可以将交互过程中产生的与数字人生产相关的数据存储至数据存储服务；例如，当用户通过交互界面提出定制数字人的需求时，数字人智能生产平台可以通过交互界面进一步确认并接收训练数字人模型时所使用的视频数据，交互界面可以展示数字人在整个生产过程中的处理进度以及处理信息，这样用户还可以通过交互界面核对中间过程与测试结果，编辑、选择用于数字人发布的封面和驱动片段等，进而满足用户的个性化、定制化需求。

而本申请的模块化算法服务可以根据数字人模型在生产过程中所使用的各种算法预先安装对应的插件，如数字人训练算法插件、语义分割算法插件、语音检测插件、在线推理插件、镜像打包插件、视频分析插件、视频裁剪插件、混画插件、交互式编辑算法插件、同步检测算法插件等。具体的插件数量和插件类型可视实际生产情况进行设置，在此不做限制。当本申请在模块化算法服务中预先安装多种类型的插件后，本申请可以通过各类插件来调用数据存储服务中存储的与数字人生产流程相关的数据，并利用这些数据来对原始的数字人模型进行训练并测试后，得到符合用户需求的数字人模型，接着，本申请还可以通过相应的插件来将最终生成的数字人模型部署至在线服务集群中，以便用户在使用其定制的数字人时，调用相应的数字人模型来驱动数字人完成在线交流、短视频制作等媒体生产工作。

进一步地，本申请还可以通过消息中心来获取模块化算法服务中各个处理环节产生的处理信息，并向交互界面以及下一处理环节进行信息发布。举例来说，当本申请的模块化算法服务在数据预处理环节对用户提供的原始数据进行预处理时，可以向消息中心登记该预处理进度以及预处理结果，这样消息中心便可以向交互界面发送相应的预处理进度和预处理结果，以便用户实时跟进，并且，消息中心还可以向模块化算法服务中的下一环节发布该预处理进度和预处理结果，以便下一环节提前做好准备工作。本申请通过消息中心订阅模块化算法服务中所有处理环节的状态，并向交互界面和下一处理环节进行信息发布，这样不仅可以提高数字人智能生产平台的生产效率，还可以提高用户在数字人生产过程中的参与程度。

另外，本申请还可以通过数据存储服务保存交互界面以及模块化算法服务中产生的与数字人生产相关的数据。可以理解的是，用户通过交互界面实时参与互动时，可以在任意一个环节产生相关数据，如在数字人预处理环节，用户可以提交用于训练的视频数据，或者是经修改后的视频数据；在素材提取环节，用户可以选择自己感兴趣的素材并提交；在数字人训练环节，用户可以核对中间过程数据，并给出相应的反馈；在数字人测试环节，用户可以对测试结果进行核对，并反馈其满意度等；而在数字人部署环节，用户也可以编辑、选择用于数字人发布的封面和驱动片段等；上述在数字人的整个生产过程中产生的相关数据均可以通过数据存储服务进行保存，这样既方便模块化算法服务使用该数据对数字人模型进行训练、测试并部署，又方便用户获取各个阶段的数据。而模块化算法服务在数字人的各个处理环节中产生的相关数据也可以通过数据存储服务进行保存，这样既方便下一处理环节获取数据，又方便进行模型测试和部署操作。

上述过程中，本申请整合了模型训练、大数据组件、多种算法插件、在线服务部署等方面的技术，实现数字人从用户端到服务端的自动化生产流程。且本方案的设计满足流程高效、可靠的同时，通过引入的过程数据存储、交互等环节，可以满足用户个性化、定制化的需求，这样不仅可以提升数字人生产平台的智能化程度，还可以为数字人相关技术的普惠应用提供一种落地路径。

在一个实施例中，本申请提供的数字人智能生产平台中的模块化算法服务可以包括视频数据提交环节，如图2所示，图2为本申请实施例提供的视频数据提交环节的工作流程示意图。

所述视频数据提交环节调用视频分析插件，对所述数据存储服务中存储的、对数字人模型进行训练时所使用的视频数据的各项指标进行检测，并将检测结果发送至所述消息中心。

所述消息中心将所述检测结果发送至所述交互界面进行展示，并在所述检测结果符合要求时，将所述检测结果发送至所述模块化算法服务中的下一处理环节。

本实施例中，由于本申请的数字人智能生产平台可以接收用户输入的用于数字人模型训练的相关数据，如应用背景、测试素材等视频数据，在此过程中，为了保证模型的训练效果，并提升模型的预测准确度，本申请可以在模块化算法服务中设置视频数据提交环节，该环节可以对用户提交的视频数据进行全方位检测，以判断用户提交的视频数据是否符合数字人模型的训练要求。

具体地，如图2所示，本申请中用户可以通过交互界面提交用于数字人训练、应用背景、测试素材等视频数据，交互界面可以将接收到的视频数据存储到数据存储服务中，这样视频数据提交环节便可以调用视频分析插件来提取数据存储服务中存储的、对数字人模型进行训练时所使用的视频数据，并对提取到的视频数据的各项指标进行检测。接着，视频数据提交环节可以将检测结果登记到消息中心，以便消息中心通知交互界面将检测结果进行展示。

进一步地，当检测结果符合要求时，本申请的消息中心可以将该检测结果发送至模块化算法服务中的下一处理环节，以便下一处理环节及时响应并进行相关处理操作，这样可以极大程度上提高数字人的生产效率以及生产质量。

在一个实施例中，当所述检测结果不符合要求时，所述交互界面接收用户依据所述检测结果重新提交的视频数据，并将重新提交的视频数据保存至所述数据存储服务。

所述视频数据提交环节调用视频分析插件，对所述数据存储服务中存储的、重新提交的视频数据的各项指标进行检测，并将检测结果发送至所述消息中心。

本实施例中，如图2所示，当视频数据提交环节对提取到的视频数据的各项指标进行检测，并确定检测结果不符合要求时，交互界面也可以将该检测结果反馈给用户，以便用户重新提交数据，当交互界面接收到用户依据该检测结果重新提交的视频数据后，可以将重新提交的视频数据保存至数据存储服务，这样视频数据提交环节便可以调用视频分析插件，对数据存储服务中存储的、重新提交的视频数据的各项指标进行检测，并将检测结果发送至消息中心，以便消息中心将该检测结果发布给交互界面，并在本次检测结果为符合要求时，将该检测结果发送至下一处理环节，这样既可以有效控制用户输入的视频数据的质量，又可以提高模型预测的准确度。

在一个实施例中，如图2所示，本申请提供的数字人智能生产平台还可以包括任务等待队列。

所述模块化算法服务在计算资源不足时，将所述视频数据提交环节检测的符合要求的视频数据发送至所述任务等待队列进行保存。

所述模块化算法服务在计算资源充足时，将所述视频数据提交环节检测的符合要求的视频数据发送至下一处理环节进行处理。

所述模块化算法服务在计算资源空闲时，通过所述消息中心检查所述任务等待队列中是否有正在排队的任务，若有，则拉取正在排队的任务进行处理。

本实施例中，数字人智能生产平台还可以设置任务等待队列，这样在模块化算法服务的计算资源不足时，可以将视频数据提交环节检测的符合要求的视频数据发送至任务等待队列进行保存，并在模块化算法服务的计算资源空闲时，通过消息中心检查任务等待队列中是否有正在排队的任务，若有，则拉取正在排队的任务进行处理，若没有，则继续获取下一任务。而当模块化算法服务的计算资源充足时，可以直接将视频数据提交环节检测的符合要求的视频数据发送至下一处理环节进行处理，这样既可以避免下一处理环节从数据存储服务中获取数据的过程，又可以提高数字人的生产效率。

在一个实施例中，本申请提供的数字人智能生产平台中的模块化算法服务还可以包括数据预处理环节；如图3所示，图3为本申请实施例提供的数据预处理环节的工作流程示意图。

所述数据预处理环节调用视频预处理类插件，对所述数据存储服务中存储的、各项指标符合要求的视频数据进行预处理操作，并将预处理后得到的用于对数字人模型进行训练的训练数据提交到所述数据存储服务，以及向所述消息中心登记处理进度。

所述消息中心将所述处理进度发送至所述交互界面进行展示。

本实施例中，为了提高数字人模型的鲁棒性以及预测准确度，本申请在模块化算法服务中预先设置了数据预处理环节，并通过数据预处理环节来对数据存储服务中存储的、各项指标符合要求的视频数据进行预处理操作，以便得到对数字人模型进行训练的训练数据。

具体地，如图3所示，本申请的数据预处理环节可以调用语音检测、图像语义分割、视频裁剪等视频预处理类插件来提取视频数据，并对视频数据进行预处理操作后，得到用于对数字人模型进行训练的训练数据，接着，数据预处理环节可以将该训练数据提交到数据存储服务，并向消息中心实时登记处理进度，以便消息中心通过交互界面向用户展示进度。

其中，数据预处理环节提取的视频数据可以是数据存储服务中存储的、各项指标符合要求的视频数据，也可以是上一处理环节发送的各项指标符合要求的视频数据，如本申请的视频数据提交环节；而本申请的数据预处理环节调用的视频预处理类插件包括但不限于语音检测、图像语义分割、视频裁剪等插件，具体可视实际情况进行设置，在此不做限制。

在一个实施例中，本申请提供的数字人智能生产平台中的模块化算法服务还可以包括交互式素材提取环节；如图4所示，图4为本申请实施例提供的交互式素材提取环节的工作流程示意图。

所述交互式素材提取环节调用素材提取类插件，对上一处理环节发送的视频数据中用户感兴趣的片段进行素材提取，并将提取到的素材发送至所述交互界面进行展示。

所述交互界面还用于供用户调用所述模块化算法服务中的交互式编辑算法插件，对提取到的素材进行个性化修改，并将修改后的素材提交到所述数据存储服务，以及将用户编辑信息提交到所述消息中心进行记录。

本实施例中，模块化算法服务还可以包括交互式素材提取环节，该环节可以接收上一处理环节发送的视频数据，并调用素材提取类插件对该视频数据中用户感兴趣的片段进行素材提取，接着，该环节还可以将提取到的素材发送至交互界面进行展示，这样用户便可以通过交互界面对提取到的素材进行个性化修改。

具体地，结合图3和图4来说，本申请的数据预处理环节对用户提交的各项指标符合要求的视频数据进行预处理后，可以将预处理后得到的视频数据发送至交互式素材提取环节，交互式素材提取环节可以调用语音检测、图像语义分割等素材提取类插件来计算视频数据中用户感兴趣的片段，如数字人驱动片段、测试素材等，接着，素材提取类插件还可以将这些片段进行背景分割、去溢色处理等，并将结果通过交互界面呈现给用户，用户根据可视化的结果进行选择，并可通过模块化算法服务的交互式编辑算法插件，对结果进行个性化修改。进一步地，本申请还可以将处理后的素材提交到数据存储服务，以便后续推理和服务上线，而用户编辑信息也可以提交至消息中心进行记录。

可以理解的是，本申请通过素材提取类插件来计算视频数据中用户感兴趣的片段，并将这些片段进行背景分割、去溢色等处理后通过交互界面发送给用户，此时用户可以根据需求进行编辑，比如对数字人进行抠图。但是抠图的需求也是个性化的，比如除了人还可能需要保留桌子等物体，因此，为了抠图效果得到进一步提升，用户也可以进行颜色点选等其他相关操作，在此不做限制。

在一个实施例中，本申请提供的数字人智能生产平台中的模块化算法服务还可以包括多级模型训练环节；如图5所示，图5为本申请实施例提供的多级模型训练环节的工作流程示意图。

所述多级模型训练环节用于从所述数据存储服务中拉取相应的训练数据，并按照预先部署的数字人模型中各个子模型的串并联关系，利用所述训练数据对各个子模型进行分级训练，并将各个子模型在训练过程中的模型备份提交到所述数据存储服务，以及向所述消息中心登记各个子模型的训练进度。

所述消息中心将所述训练进度发送至所述交互界面进行展示。

本实施例中，模块化算法服务还可以包括多级模型训练环节，该环节可以通过数据存储服务中存储的训练数据来对数字人模型进行训练，以便得到满足用户需求的数字人模型。

进一步地，为了达到逼真的效果，数字人模型经常包含多个子模型，这些子模型在处理流程上以并行、级联的方式组合到一起。因此，本申请的多级模型训练环节启动时，可以从数据存储服务中拉取相应的训练数据，并按照各个子模型的并联、串联关系，分级进行训练。举例来说，如图5所示，本申请的训练数据首先可以用来训练第一级各并行关系的子模型，当完成第N级各子模型的训练时，本申请可以利用这些子模型的推理结果得到第N+1级的训练数据，接着再启动第N+1级子模型的训练，直至完成所有子模型的训练，即可得到训练完成后的数字人模型。其中，每一级子模型在训练时，不仅需要上一级子模型训练好后的输出，还需要本级模型训练时的固定数据，这些数据都用来对本级模型进行训练。

更进一步地，本申请在训练各个子模型的过程中，还可以将各个子模型在训练过程中的模型备份提交到数据存储服务，如本申请可以将各个子模型在每次迭代后的各个loss等评价指标以及每次迭代后模型的中间过程版本对应的模型备份提交到数据存储服务，这样当数字人智能生产平台出现资源崩溃，或者某些子模型训练效果不及预期等情况时，便可以从之前已经训练一段时间的中间版本模型开始继续训练，还可以对各个子模型的训练过程进行监督。另外，本申请还可以向消息中心登记各个子模型的训练进度，以便消息中心将训练进度发送至交互界面进行展示，以供用户进行查看。

在一个实施例中，所述多级模型训练环节还用于在所述智能生产平台出现资源崩溃，和/或子模型的训练效果未达到预期效果时，将已完成且经过验收的子模型作为起点，并从起点开始对后续关联的子模型重新进行训练。

本实施例中，当智能生产平台出现资源崩溃，和/或子模型的训练效果未达到预期效果时，即，智能生产平台出现资源崩溃，或者在效果测试与验收环节通过同步检测算法插件自动评估合成效果不达标，或人工核准不达标时，多级模型训练环节可以将已完成且经过验收的子模型作为起点，并从该起点开始重新对后续关联的子模型进行训练，以便提升智能生产平台的健壮性和生产效能。

举例来说，当智能生产平台出现崩溃的情况时，多级模型训练环节可以从各级中间版本模型开始继续训练；其他情况时，由于训练本级模型除了自己的训练数据，还可能会用到训练好的上一级模型的推理结果，所以上一级的模型已经训练好的话，以上一级训练好的模型为起点对本级训练不达标的模型的重新调参训练也是有帮助的。

在一个实施例中，本申请提供的数字人智能生产平台中的模块化算法服务还可以包括效果测试与验收环节；如图6所示，图6为本申请实施例提供的效果测试与验收环节的工作流程示意图。

所述效果测试与验收环节通过预置的模型训练指标，对所述数据存储服务中存储的各个子模型在训练过程中的模型备份进行监控，并根据监控结果确定各个子模型是否结束训练后，将确定结果发送至所述消息中心，以使所述消息中心将所述确定结果发送至所述多级模型训练环节。

本实施例中，本申请的模块化算法服务还可以包括效果测试与验收环节，该环节可以通过在线推理插件对已经提交到数据存储服务的训练中子模型、测试素材进行推理测试。

具体地，本申请的效果测试与验收环节可以通过预置的模型训练指标，对数据存储服务中存储的各个子模型在训练过程中的模型备份进行监控，并根据监控结果确定各个子模型是否结束训练后，将确定结果发送至消息中心，以便消息中心将确定结果发送至多级模型训练环节。这样多级模型训练环节便可以根据该确定结果来判断当前正在训练的子模型是否需要继续训练，以保证训练收敛情况符合预期的情况下才能结束训练。其中，本申请预置的模型训练指标可以是模型的迭代次数或者是损失函数计算的损失值等，具体可视实际情况进行设置，在此不做限制。

在一个实施例中，所述效果测试与验收环节还通过同步检测算法插件，对使用所述数据存储服务中存储的测试素材以及所述多级模型训练环节中训练得到的数字人模型，合成数字人时的合成效果进行评估，并将评估得到的符合要求的合成效果发送至所述交互界面进行展示；

所述交互界面提示用户对所述合成效果进行人工核准，并将人工核准结果发送至所述模块化算法服务，以使所述模块化算法服务根据所述人工核准结果确定是否对数字人模型的生产过程进行调整。

本实施例中，效果测试与验收环节可以分别效果测试与验收两个环节，其中，效果测试环节可以通过在线推理插件对已经提交到数据存储服务的训练中子模型、测试素材进行推理测试；而验收环节则可以通过同步检测算法插件对使用数据存储服务中存储的测试素材以及多级模型训练环节中训练得到的数字人模型合成数字人时的合成效果进行评估，并将评估得到的符合要求的合成效果发送至交互界面进行展示。

具体来说，如图6所示，本申请可以通过同步检测算法插件对使用测试素材以及训练得到的数字人模型合成数字人时的合成效果进行评估，例如，本申请可以使用一些公开的技术来检测一段视频中语音和嘴型的匹配程度，进而对数字人效果进行验收和评价。当评价后得到的同步分数超过阈值后，再提交到交互页面，提示用户人工核准，经过用户确认并通过后，即可确认完成相应模型的训练任务，此时模块化算法服务便无需对数字人模型的生产过程进行调整，而当用户确认不通过时，模块化算法服务还可以通过调整中间某些相关模型的训练参数等，再重新训练，或者是调整驱动片段、训练数据等重新进行训练。

可以理解的是，由于训练时看起来收敛的模型，最终数字人的效果可能还会出现问题，比如嘴型幅度不自然等等。这种情况只能在训练完成后，对数字人的整体效果再进行一次评价。因此，本申请可以将评价后得到的同步分数超过阈值后的模型提交到交互界面进行效果展示，以便通过人工进行核准，进而提升模型的合成效果。

在一个实施例中，本申请提供的数字人智能生产平台中的模块化算法服务还可以包括服务部署与上线环节；如图7所示，图7为本申请实施例提供的服务部署与上线环节的工作流程示意图。

所述服务部署与上线环节用于在用户通过所述交互界面触发一键部署指令时，通过镜像打包插件拉取所述数据存储服务中的相关模型和在线推理素材，并根据本地环境对所述相关模型和在线推理素材进行镜像打包。

所述服务部署与上线环节还用于将打包后的镜像发送至所述数据存储服务进行存储、推送至在线服务集群完成服务部署，以及向所述消息中心登记对所述相关模型和在线推理素材进行镜像打包时的打包进度。

本实施例中，模块化算法服务还可以包括服务部署与上线环节，该环节既可以将训练好的模型进行打包并发送给数据存储服务进行存储，又可以将其推送至在线服务集群进行服务部署，还可以向消息中心登记打包进度。

在一种具体的实施方式中，如图7所示，当用户从交互界面中确认数字人生产效果后，可从该界面操作一键部署服务，此时服务部署与上线环节的镜像打包插件可以拉取数据存储服务中的相关模型和在线推理素材，并根据本地环境进行镜像打包；打包后的镜像可以推送回数据存储服务进行存储，并推送到在线服务集群完成服务部署，相关进度向消息中心进行登记，以便用户进行实时跟踪。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。