决定运动序列的系统、游戏装置、方法以及程序

技术领域

本发明涉及一种用于决定虚拟空间内的虚拟对象的运动序列的系统、游戏装置、方法以及程序。

背景技术

作为用于使虚拟空间内的虚拟角色自然地活动的技术，有运动匹配的技术(非专利文献1)。运动匹配是从庞大的动画的数据库中检索角色的最适合于当前状况的步行、跑步等的动画片段的暴力(穷举)方式的运动合成。运动匹配是用于得到符合运动条件的适当的动画片段的容易理解的方法，能够将所找到的运动合成到正在执行的动画中。作为在虚拟空间内使三维的虚拟角色活动的游戏，有如专利文献1所示的游戏。

现有技术文献

专利文献

专利文献1：日本专利6549301号

非专利文献

非专利文献1：S.Clavet,“Motion matching and the road to next-genanimation,”in Proc.of GDC,Jul.2016.

发明内容

发明要解决的问题

以往的运动匹配例如在游戏状况等上下文发生了变化时，必须变更特征向量整体，存在难以应对多种多样的上下文这样的问题。本发明是为了解决这样的问题而完成的，其目的在于提供一种能够实现灵活性更高的运动匹配的系统等。

用于解决问题的方案

〔1〕本发明的一个实施方式的系统用于决定虚拟空间内的虚拟对象的运动序列，所述系统具备：

运动数据库，其将多个运动序列中的各个运动序列与多个种类的副特征量相关联地进行存储，其中，与一个运动序列相关联的多个种类的副特征量中的各个副特征量是与该运动序列关联的特征量；

副特征量提取部，其从与虚拟对象关联的特征量中提取规定种类的副特征量；以及

运动序列决定部，其通过将由所述副特征量提取部提取出的规定种类的各个副特征量与所述运动数据库所存储的各运动序列的该规定种类的各个副特征量进行比较，来从所述运动数据库中决定出一个运动序列。

〔2〕在本发明的一个实施方式中，根据〔1〕所记载的系统，其中，

所述副特征量提取部从与虚拟对象关联的特征量中提取与虚拟对象的状态相应的规定种类的副特征量。

〔3〕在本发明的一个实施方式中，根据〔2〕所记载的系统，其中，

虚拟对象的状态包括作为被决定运动序列的目标的虚拟对象与预先决定的其它虚拟对象之间的距离处于规定范围内。

〔4〕在本发明的一个实施方式中，根据〔2〕或〔3〕所记载的系统，其中，

所述系统是提供在虚拟空间内配置虚拟对象来进展的游戏的游戏系统，在该游戏中决定该虚拟对象的运动序列，

所述副特征量提取部从由所述系统生成的游戏状态所包含的与虚拟对象关联的特征量中提取由所述系统生成的游戏状态所包含的与虚拟对象的状态相应的规定种类的副特征量。

〔5〕在本发明的一个实施方式中，根据〔1〕至〔4〕中的任一项所记载的系统，其中，

所述运动序列决定部按由所述副特征量提取部提取出的副特征量的每个种类计算一个种类的副特征量与所述运动数据库所存储的各运动序列的该一个种类的副特征量之间的类似程度，并基于所计算出的该类似程度来决定出一个运动序列。

〔6〕在本发明的一个实施方式中，根据〔5〕所记载的系统，其中，

所述运动序列决定部按由所述副特征量提取部提取出的副特征量的每个种类执行邻近搜索来计算类似程度。

〔7〕在本发明的一个实施方式中，根据〔1〕至〔6〕中的任一项所记载的系统，其中，

在由所述副特征量提取部提取出的一个种类的副特征量与所述运动数据库所存储的一个运动序列的该一个种类的副特征量之间的类似程度不满足规定基准的情况下，所述运动序列决定部决定除该运动序列以外的运动序列。

〔8〕本发明的一个实施方式的游戏装置用于提供在虚拟空间内配置虚拟对象来进展的游戏，所述游戏装置具备：

运动数据库，其将多个运动序列中的各个运动序列与多个种类的副特征量相关联地进行存储，其中，与一个运动序列相关联的多个种类的副特征量中的各个副特征量是与该运动序列关联的特征量；

副特征量提取部，其从与虚拟对象关联的特征量中提取规定种类的副特征量；以及

运动序列决定部，其通过将由所述副特征量提取部提取出的规定种类的各个副特征量与所述运动数据库所存储的各运动序列的该规定种类的各个副特征量进行比较，来从所述运动数据库中决定出一个运动序列。

〔9〕本发明的一个实施方式的方法用于决定虚拟空间内的虚拟对象的运动序列，其中，

多个种类的副特征量是与一个运动序列关联的特征量，

所述方法包括以下步骤：

从与虚拟对象关联的特征量中提取规定种类的副特征量；以及

通过将提取出的所述规定种类的各个副特征量同将多个运动序列中的各个运动序列与多个种类的副特征量相关联地存储的运动数据库所存储的各运动序列的该规定种类的各个副特征量进行比较，来从所述运动数据库中决定出一个运动序列。

〔10〕本发明的一个实施方式的程序使计算机执行〔9〕所记载的方法的各步骤。

发明的效果

根据本发明，能够实现灵活性更高的运动匹配。

附图说明

图1是示出本发明的一个实施方式的游戏装置的硬件结构的框图。

图2是本发明的一个实施方式的游戏装置的功能框图。

图3是示出运动DB的数据结构的一例的图。

图4是示出本发明的一个实施方式的游戏装置的处理的流程图。

图5是示出图4的步骤102的处理的一例的流程图。

具体实施方式

下面，参照附图来对本发明的实施方式进行说明。本发明的实施方式的游戏装置10提供在虚拟空间内配置虚拟角色等虚拟对象来进展的游戏(下面为游戏A)。例如在游戏A中，用户经由控制器来使作为操作目标的虚拟角色移动。在本实施方式中，虚拟空间是三维空间，虚拟对象是三维模型。虚拟角色等虚拟对象由已知的骨骼和关节等要素构成。

游戏装置10是构成为包括一个或多个装置的游戏系统的一例，在下面的实施方式中，为了便于说明，设为一个装置来进行说明。

图1是示出本发明的一个实施方式的游戏装置10的硬件结构的框图。游戏装置10具备处理器11、输入装置12、显示装置13、存储装置14以及通信装置15。这些各构成装置通过总线16进行连接。此外，设为在总线16与各构成装置之间根据需要而存在接口。游戏装置10包括与一般的服务器、PC等同样的结构。

处理器11控制游戏装置10整体的动作。处理器11例如是CPU。处理器11通过读取存储装置14中保存的程序、数据并执行程序、数据，来执行各种各样的处理。处理器11也可以由多个处理器构成。

输入装置12是用于受理用户对游戏装置10的输入的用户接口，例如是触摸面板、触摸垫、键盘、鼠标或者按钮。显示装置13是按照处理器11的控制来向游戏装置10的用户显示应用程序画面等的显示器。

存储装置14包括主存储装置和辅助存储装置。主存储装置例如是RAM那样的半导体存储器。RAM是能够进行高速的信息读写的易失性的存储介质，被用作由处理器11处理信息时的存储区域和作业区域。主存储装置也可以包括读取专用的非易失性存储介质即ROM。辅助存储装置保存各种各样的程序、由处理器11在执行各程序时使用的数据。辅助存储装置只要能够保存信息，则可以是任意的非易失性存储装置或非易失性存储器，也可以是能够装卸的存储装置。

通信装置15是能够经由网络来与用户终端或服务器等其它计算机之间进行数据的交换的模块、设备或者装置。通信装置15既能够设为无线通信用的设备、模块等，也能够设为有线通信用的设备、模块等。在游戏装置10不与其它装置进行通信的情况下，游戏装置10也可以不具备通信装置15。

图2是本发明的一个实施方式的游戏装置10的功能框图。游戏装置10具备游戏控制部21和运动数据库22(下面称为“运动DB 22”。)，游戏控制部21具备副特征量提取部24和运动序列决定部25。在本实施方式中，通过由处理器11执行存储在存储装置14中或经由通信装置15接收到的程序来实现这些功能。例如，由存储装置14存储数据库用的数据(例如表)、程序，通过程序被执行来实现运动DB 22。由于像这样通过读取程序来实现各种功能，因此一个部分(功能)的一部分或全部也可以由其它部分具有。但是，也可以通过构成用于实现各功能的一部分或全部的电路等，来由硬件实现这些功能。

游戏控制部21进行实现游戏A时的基本控制，能够具备已知的游戏程序、由游戏服务器所具备的功能。游戏控制部21按帧频等既定的处理时间来生成(更新)包含与虚拟角色关联的特征量的游戏状态。与虚拟角色关联的特征量例如包括构成虚拟角色的各骨骼的位置姿势、(相对于其它骨骼的)相对距离、速度、加速度、方向、角速度等与虚拟角色的动作关联的特征量。例如游戏控制部21基于现状的游戏状态中的与虚拟角色的动作关联的特征量以及来自玩游戏A的用户的操作信息，来计算更新后的游戏状态中的与虚拟角色的动作关联的信息。另外，与虚拟角色关联的特征量包含构成虚拟角色的规定的骨骼与虚拟角色以外的另外的虚拟对象的规定的点之间的相对距离或有无接触等虚拟角色的状态的信息。与虚拟角色关联的特征量中的位置、速度、加速度、方向等信息只要能够使游戏运行即可，能够设为相对于规定的基准点、基准坐标的相对的信息(例如相对位置、相对速度、相对加速度、相对方向)。

图3是示出运动DB 22的数据结构的一例的图。运动DB 22存储通过已知的方法从预先获取到的角色的一系列的运动序列(整体运动序列或动画)中按每个帧(时间框)提取出的多个运动序列(运动片段(motion clip))。在本实施方式中，各运动序列(运动片段)按时间顺序与索引相关联地被存储到运动DB 22中。在该情况下，当按索引顺序将运动序列连接时，成为原本的角色的一系列的运动序列(动画)。一个帧是规定的时间(时间框)，例如是2秒。在本实施方式中，各帧的时间为相同的规定的时间，但不限定于此。此外，运动DB 22的数据结构是一个例示，但不限定于此。例如，用于识别各运动序列的索引是一个例示。

运动DB 22将从一个运动序列中得到的该运动序列的帧内的既定的时刻的角色姿势与同该运动序列相关联的索引相关联地进行存储。在一个例子中，帧内的既定的时刻的角色姿势是帧内的开始时或结束时的角色姿势。角色姿势包含构成虚拟角色的各骨骼的位置姿势信息(位置信息、旋转信息)。

角色的运动序列在具有该角色所附带的附带对象的情况下，成为包含该附带对象的运动序列。图3的运动DB 22中存储的虚拟角色的运动序列如图示那样包括角色所持有的剑的对象作为附带对象(虚拟对象)。运动DB 22将从一个运动序列中得到的该运动序列的帧内的既定的时刻的对象姿势与同该运动序列相关联的索引相关联地进行存储。对象姿势在与角色姿势相同的时刻包含与角色姿势同样的信息。一部分或全部角色的运动序列也可以不包含附带对象，还可以包含多个附带对象(例如角色持有的剑、盾的对象)。运动DB 22能够根据附带对象的数量来与索引相关联地存储附带对象。

运动DB 22也能够将在使通过已知的方法从运动序列中得到的三维模型进行动作时所需要的信息与同该运动序列相关联的索引相关联地进行存储。

运动DB 22将各运动序列的行动的类别与同所对应的运动序列相关联的索引相关联地进行存储。在本实施方式中，类别为0～2中的任一者，“0”为不在活动的状态，“1”为正在走路的状态，“2”为正在跑步的状态，但不限定于此。例如，在预先获取角色的一系列的运动序列并将各运动序列按时间顺序存储到运动DB 22中时，也存储与各运动序列相应的类别。

运动DB 22将一个运动序列所关联的多个种类的副特征量与同该运动序列相关联的索引相关联地进行存储。副特征量是与同此时的运动序列有关的状态具有相关性的信息。在一个例子中，一个种类的副特征量是与虚拟角色的动作关联的特征量中的一个特征量或该特征量的一部分。在该情况下，例如一个种类的副特征量是与构成虚拟角色的骨骼中的规定部分的骨骼有关的信息。规定部分的骨骼是规定部分处的一个或多个骨骼，例如能够设为右脚部分的骨骼、右膝部分的骨骼或者右肘部分的骨骼等。例如在该情况下，右脚部分的骨骼、右膝部分的骨骼或者右肘部分的骨骼分别为一个种类的副特征量。例如，与规定部分的骨骼有关的信息是规定部分的骨骼的相对距离、规定部分的骨骼的相对速度、规定部分的骨骼的相对加速度、规定部分的骨骼的相对方向、规定部分的骨骼的角速度、规定部分的骨骼与规定的点之间的距离等。在一个例子中，一个种类的副特征量是虚拟角色的状态的信息之一。在该情况下，例如一个种类的副特征量是与虚拟对象相对于椅子、墙壁、地面等规定的虚拟对象的距离或有无接触有关的信息。在一个例子中，一个种类的副特征量是运动序列的行动的类别。

副特征量提取部24从与虚拟角色关联的特征量中提取规定种类的副特征量。在本实施方式中，副特征量提取部24从由游戏控制部21生成的游戏状态所包含的与虚拟角色关联的特征量中提取与虚拟角色的状态相应的规定种类的副特征量。通过设为这样的结构，副特征量提取部24能够提取与所进展的游戏的上下文相应的副特征量。

在一个例子中，副特征量提取部24从与虚拟角色关联的特征量中提取与虚拟角色同椅子对象、墙壁对象等其它虚拟对象之间的距离相应的规定种类的副特征量。在该情况下，副特征量提取部24构成为根据虚拟角色与其它虚拟对象之间的距离来提取不同种类的副特征量。在一个例子中，副特征量提取部24从与虚拟角色关联的特征量中提取虚拟角色的右脚位于地面上而左脚悬空等与虚拟角色的姿势相应的规定种类的副特征量。

运动序列决定部25通过将由副特征量提取部24提取出的规定种类的各个副特征量与运动DB 22所存储的各运动序列的该规定种类的各个副特征量进行比较，来从所述运动DB 22中决定出一个运动序列。

游戏控制部21合成所决定出的运动序列来生成虚拟角色的动画(运动)。在本实施方式中，除了利用副特征量提取部24和运动序列决定部25的运动序列的决定方法以外，还能够应用已知的运动匹配的技术来生成虚拟角色的动画。在一个例子中，副特征量提取部24从当前的游戏状态提取规定种类的副特征量，运动序列决定部25决定用于由游戏控制部21生成下一个游戏状态的运动序列。

在本实施方式中，运动序列决定部25按由副特征量提取部24提取出的副特征量的每个种类，计算一个种类的副特征量与运动DB 22所存储的各运动序列的该一个种类的副特征量之间的类似程度，并基于计算出的该类似程度来决定出一个运动序列。

在一个例子中，副特征量提取部24从当前的游戏状态中的与虚拟角色关联的特征量中提取出SF-1、SF-2以及SF-3这三个副特征量。运动序列决定部25计算所提取出的SF-1与同运动DB 22的各索引相关联的同SF-1相同种类的各个副特征量之间的类似程度。通过这样，运动序列决定部25针对所提取出的SF-1的副特征量的种类，计算运动DB 22的全部运动序列(全部索引)的与提取出的该副特征量之间的类似程度。同样地，运动序列决定部25针对所提取出的SF-2的副特征量的种类和SF-3的副特征量的种类，分别计算运动DB 22的全部运动序列的与提取出的该副特征量之间的类似程度。运动序列决定部25基于针对运动DB 22的全部运动序列所计算出的SF-1、SF-2以及SF-3的类似程度，来决定出一个运动序列。由副特征量提取部24提取的副特征量(副特征量的种类)的数量不限定于上述的例示。

在一个例子中，运动序列决定部25通过按由副特征量提取部24提取出的副特征量的每个种类，执行所提取出的副特征量与同运动DB 22的各索引相关联的同所提取出的副特征量相同种类的各个副特征量的邻近搜索(nearest neighbor search)，来计算距离，并决定与所计算出的距离对应的类似程度。

在一个实施例中，运动序列决定部25在针对规定部分的骨骼的相对距离、相对速度以及相对加速度的各副特征量计算类似程度时，使用欧几里德距离作为距离函数。例如关于速度，运动序列决定部25将沿v轴的旋转θ编码为四元数

并使用式(1)的四元数距离(d

d

(1)

在本实施方式中，运动序列决定部25所计算的各副特征量的种类的类似程度的标度不同，因此运动序列决定部25将所计算出的类似程度的值标准化，或者计算以规定的方法打分而得到的类似度得分。在一个例子中，运动序列决定部25按由副特征量提取部24提取出的副特征量的每个种类，计算运动DB 22的全部索引(全部运动序列)的类似度得分，并基于每个索引的多个副特征量的种类的类似度得分的合计(例如SF-1～SF-3的类似度得分的合计)，来决定出一个索引(运动序列)。

在一个例子中，在由副特征量提取部24提取出的一个种类的副特征量与运动DB22所存储的一个运动序列的该一个种类的副特征量之间的类似程度不满足规定基准的情况下，运动序列决定部25决定出除不满足规定基准的运动序列以外的运动序列。通过设为这样的结构，运动序列决定部25能够关于不能允许一定以上的位置偏差的一个种类的副特征量，将不满足该基准的运动序列与其它种类的副特征量的类似程度的大小无关地排除。

在一个实施例中，运动序列决定部25使用式(5)所示的argmin函数来决定运动序列。在此，将D设为运动DB 22所存储的全部运动序列，将η

在此，d

运动序列决定部25根据F

接受百分位数η

运动序列决定部25利用式(2)～式(4)等来计算标准化后的得分，并使用式(5)来获取具有最低得分的运动序列(索引)。

在此，

为S

在上述的实施例中，在式(4)中不存在有效的索引的情况下，运动序列决定部25输出最低得分的索引，并登记或发出表明所选择的阈值过于严格或需要更多的数据的错误事件。与此相对，运动序列决定部25设为使用接受百分位数η

接着，使用图4所示的流程图来说明本发明的一个实施方式的游戏装置10的处理。

在步骤101中，副特征量提取部24从与虚拟对象关联的特征量中提取规定种类的副特征量。在步骤102中，运动序列决定部25通过将在步骤101中提取出的规定种类的各个副特征量与运动DB 22所存储的各运动序列的该规定种类的各个副特征量进行比较，来从运动DB 22中决定出一个运动序列。

接着，使用图5所示的流程图，来对图4的步骤102的处理的一例进行说明。

在步骤201中，运动序列决定部25接收由副特征量提取部24从当前的游戏状态提取出的多个副特征量，并从运动DB 22获取与由副特征量提取部24提取出的多个副特征量的种类对应的各个副特征量。在步骤202中，运动序列决定部25针对多个副特征量的各个种类按索引来计算类似度得分。在步骤203中，运动序列决定部25通过使用类似度得分来对各索引进行排序(投票法(voting))，来决定出一个索引、即与该索引相关联的运动序列。

在步骤202中，针对各索引计算多个类似度得分。在一个例子中，在步骤203中，运动序列决定部25计算每个索引的多个类似得分的平均值，并基于计算出的该平均值来决定出一个索引，并决定出与该索引相关联的运动序列。例如在该情况下，运动序列决定部25决定出与平均值最高的索引相关联的运动序列。

在一个例子中，在步骤203中，在由副特征量提取部24提取出的规定种类的副特征量包括预先设定的作为规定基准判定目标的副特征量的情况下，运动序列决定部25判定各索引的作为规定基准判定目标的副特征量的类似度得分是否为预先设定的阈值以上，并提取具有阈值以上的类似度得分的索引。运动序列决定部25以所提取出的索引为目标，来计算每个索引的多个类似得分的平均值，并基于计算出的该平均值来决定出一个索引，并决定出与该索引相关联的运动序列。例如在该情况下，运动序列决定部25决定出与平均值最高的索引相关联的运动序列。

在一个例子中，在步骤203中，运动序列决定部25按副特征量的每个种类，使用类似度得分来对索引进行排序。由此，针对各索引赋予多个位次。运动序列决定部25按每个索引计算位次的平均值，并基于平均值来决定出与一个索引相关联的运动序列。在该情况下，例如，运动序列决定部25决定出与平均值最低的索引相关联的运动序列。

在一个例子中，在步骤203中，在由副特征量提取部24提取出的规定种类的副特征量包括预先设定的作为规定基准判定目标的副特征量的情况下，运动序列决定部25判定各索引的作为规定基准判定目标的副特征量的类似度得分是否为预先设定的阈值以上，并提取具有阈值以上的类似度得分的索引。运动序列决定部25按副特征量的每个种类，使用类似度得分来对所提取出的索引进行排序，并按每个索引计算位次的平均值，基于平均值来决定出与一个索引相关联的运动序列。在该情况下，例如，运动序列决定部25决定出与平均值最低的索引相关联的运动序列。

接着，对本发明的实施方式的游戏装置10的主要的作用效果进行说明。本实施方式的游戏装置10为了通过运动匹配生成虚拟角色的动画而具备副特征量提取部24和运动序列决定部25，该游戏装置10包括以往的运动匹配技术中所没有的用于处理副特征量的处理。

像这样，通过设为例如根据虚拟角色的状态等游戏状态(上下文)来选择要提取的副特征量、并基于像这样提取出的副特征量的类似程度来决定出一个运动序列的结构，能够进行与状况相应的运动匹配的控制。由此，能够实现灵活性更高的运动匹配。例如，在以往的运动匹配中，在离椅子远的角色接近了椅子的情况等上下文发生了变化的情况下，需要切换运动匹配控制器。与此相对，在本实施方式中，例如只需要将“到椅子的距离”这一副特征量(副特征量的种类)设为有效或设为无效即可。

另外，通过限定为与上下文相应的副特征量来进行匹配，能够再生更自然的运动或动画。由此，能够实现灵活性更高的运动匹配。另外，在本实施方式中，能够在与以往的运动匹配相比不导致性能劣化的情况下实现这样的与状况相应的控制和更自然的运动的再生。

在没有特别提及的情况下，上述的作用效果在其它实施方式、变形例中也是同样的。

在本发明的其它实施方式中，也能够设为用于实现上述所说明的本发明的实施方式的功能、流程图所示的信息处理的程序、保存有该程序的计算机可读的存储介质。另外，在其它实施方式中，还能够设为用于实现上述所说明的本发明的实施方式的功能、流程图所示的信息处理的方法。另外，在其它实施方式中，还能够设为能够向计算机提供用于实现上述所说明的本发明的实施方式的功能、流程图所示的信息处理的程序的服务器。另外，在其它实施方式中，还能够设为用于实现上述所说明的本发明的实施方式的功能、流程图所示的信息处理的虚拟机或云端系统。

在本发明的一个或多个实施方式中，能够设为仅具备副特征量提取部24和运动序列决定部25的、构成为能够与已知的游戏程序、游戏服务器进行通信的游戏装置、游戏系统等。

在本发明的一个或多个实施方式中，能够设为，在游戏装置10是构成为包括多个装置的游戏系统的情况下，游戏系统具备受理由用户进行的输入的智能手机等客户终端、以及与用户终端进行通信的具备游戏控制部21和运动DB 22的功能的游戏服务器等服务器装置。

在本发明的一个或多个实施方式中，游戏装置10能够设为代替提供游戏A而提供在虚拟空间内配置虚拟角色等虚拟对象来进展的规定的应用程序的装置或系统、或者在提供该规定的应用程序的装置或系统中决定虚拟对象的运动序列的装置或系统。

在本发明的一个或多个实施方式中，作为操作目标的虚拟角色例如能够设为载具等除角色以外的任意的虚拟对象。

在上面所说明的处理或动作中，只要不产生在某个步骤中利用该步骤应当还无法利用的数据等在处理或动作上的矛盾，就能够自由地变更处理或动作。另外，上面所说明的各实施例是用于说明本发明的例示，本发明不限定于这些实施例。本发明只要不脱离其主旨就能够以各种方式来实施。

附图标记说明

10：游戏装置；11：处理器；12：输入装置；13：显示装置；14：存储装置；15：通信装置；16：总线；21：游戏控制部；22：运动数据库；24：副特征量提取部；25：运动序列决定部。