一种数字人动作控制系统和方法

技术领域

本发明涉及数字人工智能虚拟人技术领域，包含一种数字人动作控制系统和方法。

背景技术

数字人工智能虚拟人技术领域近年来得到了广泛的发展和应用。数字人工智能虚拟人可以通过计算机程序和人工智能技术实现与人的互动，这一技术具有重要的应用价值，被广泛应用于机器人、游戏、虚拟现实等领域。

虽然目前已经有了一些数字人工智能虚拟人的实现，但是这些数字人工智能虚拟人通常不能真正实现与人的强交互。例如，它们只是根据预设的规则或语音命令进行简单的响应，缺乏灵活性，并且行为单一，不能适应不同的情境和对话内容。这个问题一直是数字人工智能虚拟人技术面临的挑战。

发明内容

基于上述问题，本发明提供一种数字人动作控制系统和方法，旨在提高数字人的交互性、灵活性、行为丰富性以及行为可扩展性。

本发明包括一种数字人动作控制系统，其内容包括：

规划模块，将所述数字人的行为规划分解成若干状态，并将所述状态关联的动作存入数字人动作库；

状态监测模块，用于监测数字人的当前状态；

事件监测模块，用于监测状态触发事件的发生；

状态确定模块，连接事件监测模块，用于根据发生的状态触发事件确定数字人的目标状态；

状态切换模块，分别连接状态监测模块和状态确定模块，用于将数字人从当前状态切换成目标状态；

执行模块，分别连接规划模块和状态切换模块，用于当数字人处于目标状态时，执行数字人动作库中与目标状态关联的动作。

进一步的，还包括：

过渡计算模块，所述状态监测模块和所述状态切换模块，用于当切换成所述数字人的目标状态后，使用预设过渡算法计算所述数字人从当前状态下到所述目标状态过渡的目标过渡动作；

所述执行模块，还连接所述过渡计算模块，用于使所述数字人执行所述目标过渡动作，并在完成所述目标过渡动作之后使所述数字人执行与所述目标状态关联的动作。

进一步的，规划模块规划的状态包括交互状态和闲置状态；交互状态的状态触发事件包括检测到交互对象的存在；

闲置状态的状态触发事件包括交互对象离开超过第一预定时长；切换模块用于：

若当前状态为交互状态且目标状态为闲置状态，直接将数字人从交互状态切换成闲置状态；

若当前状态为闲置状态且目标状态为交互状态，直接将数字人从闲置状态切换成交互状态。

进一步的，规划模块规划的状态还包括自由活动状态；

自由活动状态的状态触发事件包括数字人处于闲置状态超过第二预定时长；

若当前状态为闲置状态且目标状态为自由活动状态，目标过渡动作包括数字人旋转第一预设角度；

若当前状态为自由活动状态且目标状态为交互状态，目标过渡动作依次包括将数字人旋转第二预设角度、数字人走向第一预设位置以及到达第一预设位置后旋转使数字人面朝交互对象。

进一步的，规划模块规划的状态还包括唱歌状态；

所述唱歌状态的状态触发条件包括接收到唱歌指令；

若当前状态为唱歌状态且目标状态为交互状态，目标过渡动作依次包括在第二预设位置使数字人旋转第三预设角度、数字人走向第一预设位置以及到达第一预设位置后旋转使数字人面向交互对象；

若当前状态为交互状态或者闲置状态，且目标状态为唱歌状态，目标过渡动作依次包括数字人旋转第四预设角度、数字人走向第二预设位置。

进一步的，闲置状态的状态触发事件还包括数字人处于自由活动状态时满足预设条件。

进一步的，动作控制系统还包括：

信息接收处理模块，用于当数字人处于交互状态时，接收来自交互对象的输入信息并进行处理，得到信息处理结果；

执行模块，连接信息接收处理模块，用于：当数字人处于交互状态时，执行数字人动作库中与信息处理结果对应的动作。

进一步的，动作控制系统还包括：

情境分析模块，用于当数字人处于交互状态时，获取并分析交互对象的当前情境，得到情境分析结果；

执行模块还用于：当数字人处于交互状态时，执行数字人动作库中与情境分析结果对应的动作。

进一步的，数字人动作库中的包括多个与自由活动状态关联的动作；

执行模块用于：当数字人在自由活动状态时，从自由活动状态关联的动作中随机选择一种动作执行。

本发明还包括一种数字人动作控制方法，预先将所述数字人的行为规划分解成若干状态，并将所述状态关联的动作存入数字人动作库，包括：

步骤A1，监测数字人的当前状态以及状态触发事件的发生；

步骤A2，根据发生的状态触发事件确定数字人的目标状态；

步骤A3，将数字人从当前状态切换成目标状态；

步骤A4，当数字人处于目标状态时，执行数字人动作库中与目标状态关联的动作。

本发明的技术长处在于，通过对数字人进行状态划分，划分为多个状态，每个状态下执行相应的动作，丰富了数字人的行为，提高数字人行为的灵活性和互动性，根据需要可以对数字人的状态和动作进行添加和扩充，提高数字人行为状态的可扩展性。

附图说明

图1-3为本发明一种数字人动作控制系统的模块示意图；

图4为本发明一种数字人动作控制方法的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

参见图1，本发明提供一种数字人动作控制系统，包括：

规划模块(1)，将所述数字人的行为规划分解成若干状态，并将所述状态关联的动作存入数字人动作库；

状态监测模块(2)，用于监测数字人的当前状态；

事件监测模块(3)，用于监测状态触发事件的发生；

状态确定模块(4)，连接事件监测模块(2)，用于根据发生的状态触发事件确定数字人的目标状态；

状态切换模块(5)，分别连接状态监测模块(2)和状态确定模块(4)，用于将数字人从当前状态切换成目标状态；

执行模块(6)，分别连接规划模块(1)和状态切换模块(5)，用于当数字人处于目标状态时，执行数字人动作库中与目标状态关联的动作。

进一步的，数字人动作库的动作通过动画方式展示。当数字人处于目标状态时，执行模块(6)根据控制调用与目标状态关联的动画展示。

具体的，数字人动作库中具有与每个状态关联的数字人的动作。

本发明通过对数字人进行状态划分，划分为多个状态，每个状态下执行相应的动作，丰富了数字人的行为，提高数字人行为的灵活性，根据需要可以对数字人产品如新状态、新动作进行扩充和发散，提高数字人行为状态的可扩展性，使数字人更加逼真和生动，提高数字人的应用价值和使用体验。

参见图2，进一步的，还包括：

过渡计算模块(7)，所述状态监测模块(2)和所述状态切换模块(5)，用于当切换成所述数字人的目标状态后，使用预设过渡算法计算所述数字人从当前状态下到所述目标状态过渡的目标过渡动作；

所述执行模块(6)，还连接所述过渡计算模块(7)，用于使所述数字人执行所述目标过渡动作，并在完成所述目标过渡动作之后使所述数字人执行与所述目标状态关联的动作。

根据预设过渡算法可以计算某些状态过渡之间存在的目标过渡动作，通过目标过渡动作，实现状态和状态之间的自然、平滑、灵活过渡效果，提高观感。

进一步的，规划模块规划的状态包括交互状态和闲置状态；

交互状态的状态触发事件包括检测到交互对象的存在，基于交互对象的存在从而唤醒数字人进入交互状态；

闲置状态的状态触发事件包括交互对象离开超过第一预定时长，基于交互对象的离开主动关闭交互，数字人可以进入闲置状态；

切换模块(6)用于：

若当前状态为交互状态，且目标状态为闲置状态，即闲置状态的状态触发事件发生，直接将数字人从交互状态切换成闲置状态；

若当前状态为闲置状态，且目标状态为交互状态，即交互状态的状态触发事件发生，直接将数字人从闲置状态切换成交互状态。

有人互动时，切换成交互状态，交互状态可以与交互对象进行对话沟通，回答交互对象的问题，并根据相关内容或者相关情境做出相应的动作，使互动更加流畅和自然。长时间无人互动时，切换成闲置状态，在闲置状态下，数字人可以为保持在第一预设位置上，静止或者做出一些动作，从而提高数字人的行为灵活性和多样性。交互状态和闲置状态，数字人可以处于相同的第一预设位置，状态相互切换时，可以无需执行目标过渡动作。

参见图3，进一步的，动作控制系统还包括：

信息接收处理模块(8)，用于当数字人处于交互状态时，接收来自交互对象的输入信息并进行处理，得到信息处理结果；

执行模块(6)，还连接信息接收处理模块(8)，用于：当数字人处于交互状态时，执行与数字人动作库中与信息处理结果对应的动作。

根据用户输入内容做出相应的动作，提高行为灵活性。

具体的，输入信息为语音类型。通过语音采集模块采集用于的语音信息，对语音信息进行解析处理得到交互对象想要表达的内容。

具体的，输入信息为肢体语言类型，例如手势。通过相机等采集设备捕捉交互对象的姿势，对姿势进行解析处理得到交互对象想要表达的内容。

此外，事件监测模块(3)还连接信息接收处理模块(8)，用于实时监测信息处理结果是否产生状态触发事件，如果产生状态触发事件，告知状态确定模块(4)，由状态确定模块(4)确定目标状态以进行状态切换。例如信息处理结果表示用户的语音输入信息是请唱一首歌；则事件监测模块(3)监测到“唱歌”为状态触发事件之一，则告知状态确定模块(4)，由状态确定模块(4)确定是进入唱歌状态的状态触发事件，则确定为数字人的目标状态为唱歌状态。具体的，数字人动作控制系统还包括：

答复模块(9)，连接信息接收处理模块(8)，用于当信息处理结果控制数字人与交互对象进行对话。

通过答复模块实现数字人和交互对象的对话沟通，实现实时交互。

例如，根据交互对象呼出菜单，可以触发数字人做出相应的呼出菜单(例如天气、地图等)的动作。又例如，可以在数字人与交互对象对话过程中调整数字人的动作，做出一些与人对话的动作。也可以在数字人无法回答问题时，控制数字人表现出困惑的动作。又例如，捕捉到交互对象招手时，控制数字人执行招手动作。提高数字人和交互对象之间的互动性，使得数字人更加真实和灵活，提高交互对象的体验。

进一步的，动作控制系统还包括：

情境分析模块(10)，用于当数字人处于交互状态时，获取并分析交互对象的当前情境，得到情境分析结果；

执行模块(6)还连接所述情境分析模块(10)，用于：当数字人处于交互状态时，执行与数字人动作库中与情境分析结果对应的动作。

此外，事件监测模块(3)还连接情境分析模块(10)，用于实时监测情境分析结果是否产生状态触发事件，如果产生状态触发事件，告知状态确定模块(4)，由状态确定模块(4)确定目标状态以进行状态切换。例如情境分析结果表示用户的在挥动手臂；则事件监测模块(3)监测到挥动手臂为状态触发事件之一，则告知状态确定模块(4)，由状态确定模块(4)确定挥动手臂是进入唱歌状态的状态触发事件之一，则确定为数字人的目标状态为唱歌状态。

例如，通过相机等采集设备捕捉到交互对象蹲下或者弯腰等，交互对象的整体高度变低，或者捕捉到交互对象的身高低于预设高度等情境时，控制数字人蹲下或者半蹲下，还可以控制数字人在蹲下或者半蹲下时招手的动作。根据不同身高做出自适应调整，进一步提高体验效果。又例如，捕捉到交互对象的脸部的情境时，控制数字人执行注视目标客人的动作。还可以识别交互对象的表情来执行不同的动作，使得互动自然有趣，丰富数字人的行为和灵活性，更好的融入情境中。

进一步的，规划模块规划的状态还包括自由活动状态；

自由活动状态的状态触发事件包括数字人处于闲置状态超过第二预定时长；

若当前状态为闲置状态，且目标状态为自由活动状态，目标过渡动作包括数字人旋转第一预设角度；

若当前状态为自由活动状态，且目标状态为交互状态，目标过渡动作依次包括将数字人旋转第二预设角度、数字人走向第一预设位置以及到达第一预设位置后旋转数字人面朝交互对象。

在闲置状态下，执行模块播放闲置动作。

当数字人处于闲置状态太久，例如超多第二预定时长，可以将数字人通过目标过渡动作平滑过渡到自由活动状态，使得数字人自由活动，在房间里自由漫步。丰富数字人在非交互状态的行为。在自由活动状态，一旦交互状态的状态触发事件发生，便可以将数字人通过目标过渡动作后从自由活动状态过渡到交互状态，使得状态过渡自然，数字人随时响应呼叫。数字人动作库中的包括多个与自由活动状态关联的动作，在切换成自由活动状态时，可以随机选择一种动作执行。

目标过渡动作也可以是数字人动画展现，如数字人走向第一预设位置的走路动作为动画。具体的，对数字人的旋转不涉及动画，也即对数字人的旋转操作是直接旋转数字人。

在数字人处于自由活动状态时，控制数字人在预定场地范围内自由漫步。

进一步的，闲置状态的状态触发事件还包括数字人处于自由活动状态时满足预设条件。例如，当数字人自由走完一圈路程回到第一预设位置时，将数字人从自由活动状态切换成闲置状态，此时因为已经回到第一预设位置，通过计算可以有也可以没有目标过渡动作。

进一步的，数字人动作库中的包括多个与自由活动状态关联的动作；

执行模块(6)用于：当数字人在自由活动状态时，从自由活动状态关联的动作中随机选择一种动作执行。

进一步的，规划模块规划的状态还包括唱歌状态；

唱歌状态的状态触发条件包括接收到唱歌指令；

若当前状态为唱歌状态，且目标状态为交互状态，目标过渡动作依次包括在第二预设位置使数字人旋转第三预设角度、数字人走向第一预设位置以及到达第一预设位置后旋转数字人面向交互对象；

若当前状态为交互状态或者闲置状态时，且目标状态为唱歌状态，目标过渡动作依次包括数字人旋转第四预设角度、数字人走向第二预设位置；切换模块在到达第二预设位置后切换成唱歌状态。

所述第一预设角度、所述第二预设角度、所述第三预设角度和所述第四预设角度由根据过渡计算模块根据所述预设过渡算法计算所得。

第二预设位置例如是沙发。

数字人在唱歌状态时，可以是坐在沙发上唱歌。此时，切换成唱歌状态的目标过渡动作还包括到达沙发后坐在沙发上。从唱歌状态切换成其他目标状态如交互状态时，目标过渡动作还包括使数字人旋转第三预设角度之前使数字人站立的动作。

具体的，数字人的当前状态可以是自由活动状态，目标状态可以是唱歌状态。从自由活动状态切换成唱歌状态时的目标过渡动作可以依次是旋转、走向第二预设位置以及达到第二预设位置后坐下。

具体的，执行模块将要控制数字人旋转时，在旋转前，根据旋转角度大小选择旋转模式，使用选择的旋转模式对数字人进行旋转。对数字人的旋转操作可以有不同旋转速度的旋转模式，每一种旋转模式对应于一定的角度范围，例如，如果需要的旋转角度较大，可以使用快速旋转模式，实现快速过渡。如果需要的旋转角度较小，可以选择慢速旋转模式，提高过渡所用的时间，使得两状态切换之间的目标过渡动作更加的自然和谐，使数字人的动作看上去没有突兀感。

此外，数字人控制系统通过动画分层技术，将数字人身体各个部位进行动画分层，从而使身体各部位动画的单独控制成为可能。执行模块可以对身体各部位进行单独动画调用和控制。例如，数字人招手动画时，只需展现数字人手部的招手。

此外，数字人动作控制系统还根据实际应用，对不同的动画图层使用蒙版，实现对身体某些部位的屏蔽，达到播放部分部位的动画的效果，其他部位会处于主层中执行别的动画。

此外，数字人动作控制系统还根据实际应用，对两种动画进行融合使得数字人整体效果更加自然。例如，数字人站立不动与交互对象对话比较呆板，闲置状态数字人站立的动画摇晃身体，较为活跃，执行模块将两种动画融合，达到轻微的摇晃身体的效果，使得数字人整体比较自然。

参见图4，本发明还提供一种数字人动作控制方法，使用前述的一种数字人动作控制系统，预先将所述数字人的行为规划分解成若干状态，并将所述状态关联的动作存入数字人动作库，包括：

步骤A1，监测数字人的当前状态以及状态触发事件的发生；

步骤A2，根据发生的状态触发事件确定数字人的目标状态；

步骤A3，将数字人从当前状态切换成目标状态；

步骤A4，当数字人处于目标状态时，执行数字人动作库中与目标状态关联的动作。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。