一种应用于仿生动物中的多源数据处理方法

技术领域

本说明书涉及空间动态曲线耦合领域，特别涉及一种应用于仿生动物中的多源数据处理方法。

背景技术

目前动物运动行为观察分析方法主要有卫星定位技术(GPS)、传感器监测技术、机器视觉监测技术、无线射频识别模块(RFID)监测技术、超宽带(UWB)定位技术等。其中，卫星定位技术多适用于监测面积广阔且目标动物位置要求精度较低的候鸟迁徙等野生动物活动的监测；传感器监测技术多适用于畜禽养殖中对猪、牛、羊等大型畜禽的站、卧、跑等运动行为模式进行识别监测；机器视觉监测技术、RFID监测技术、UWB定位技术均需要较为复杂的监测设备和分析方法，对上述监测设备获取的动物行为数据复杂，很难进行有效数据的提取。

中国专利公告号CN114494337A，公告日2022年05月14日，发明的名称为一种蛙类动物运动行为量化模拟方法，包括：运动行为观察步骤，按设定时间间隔定时利用相机采集实际蛙类动物的运动图像，形成图像数据集，所述图像数据集中记录有蛙类动物位置信息；运动行为分析步骤，基于所述图像数据集提取蛙类动物位置变化信息和蛙类运动行为参数，并绘制蛙类动物运动轨迹；模拟步骤，基于所述蛙类动物运动轨迹在稻蛙生态种养模式中进行蛙类动物的模拟。与现有技术相比，本发明采用成本较低、应用便捷的蛙类动物运动行为观测方式实现在稻蛙生态种养模式中的蛙类动物运动行为模拟，为分解蛙的排泄和运动行为提供了新的思路，对研究蛙的运动行为对环境和其它生物的影响具有重要意义。

上述蛙类行为通过图像进行提取，产生的数据结果虽然单一容易处理，仅仅只能连贯该动物的行为，无法同步该行为时所产生的音频，对数据处理经停留在图像平面的研究阶段。

因此，需要提供一种应用于仿生动物中的多源数据处理方法，能够对动物的动作数据和音频数据的同步处理，实现多源数据进行修正。

发明内容

本说明书实施例之一提供一种应用于仿生动物中的多源数据处理方法，将动物运动形态进行连续的数字模拟，对于动物的物理模型进行关节定位式驱动，将声音、动作、仪态等多源数据整理成多组仿真动态反馈存储在物理模型中，当物理模型的指定位置被触摸后能够快速按照仿真动态反馈进行响应。

在一些实施例中，包括一种应用于仿生动物中的多源数据处理方法，具体包括下列步骤：

S1：活体生态采集，包括摄录动物在不同兴奋值下的状态图像和连续兴奋值之间的状态图像；

S2：动态图像处理，包括将连续多帧图像进行仿真点位捕捉，生成音频曲线和每个仿真点位跟随曲线；

S3：关联点位模拟，包括获取骨架运动模型确定关节点位，将关节点位与仿真点位进行关联，将跟随曲线上载至关节点位，得到标准跟随曲线；

S4：实际动作修正，获取骨架运动模型在不同兴奋值下的动态视频，根据标准跟随曲线调节关节点位的跟随曲线作实际曲线，叠加音频曲线进行动态修正；

S5：训练触点响应逻辑，触摸将修正后的曲线函数进行自主学习模型进行训练，得到多组合触点响应逻辑；

S6：仿真动态输出，将训练完成的函数进行输入骨架运动模型。

进一步的，所述活体生态采集包括下列步骤：

S11：设置动物生活环境的纯色布景，限定动物的活动范围；

S12：调整第一摄录器的拍摄角度，设置第一摄录器的采样时间；

S13：调整第二摄录器的拍摄角度，设置第二摄录器的采样时间；

S14：获取每组相对设置的摄录器的图像，其中第一摄录器与第二摄录器相对设置为一组摄录单元。

进一步的，计算动物在时段T内的兴奋值为，

其中，

进一步的，所述动态图像处理包括下列步骤：

S21：确定动物的仿真点位，录入仿真点位的特征参数；

S22：划分摄录背景的空间坐标，锁定图像中仿真点位的空间坐标值；

S23：按照时间顺序依次连接仿真点位的空间坐标，得到跟随曲线；

S24：根据摄录音频的时间点，插入至相应时间点的跟随曲线。

进一步的，所述关联点位模拟包括下列步骤：

S31：将相同位置处的关节点位与仿真点位进行关联，当关节点位与仿真点位关联成功时，执行S32，关节点位与仿真点位关联失败时，执行S33；

S32：将所述仿真点位的跟随曲线上载至所述关节点位，执行S35；

S33：若该位置处存在多个仿真点位，选择其中至少一个仿真点位执行S32，若该位置处无邻近仿真点位，执行S34；

S34：选择离该位置最近的至少2个仿真点位进行曲线均差计算，得到虚拟仿真点位，将该虚拟仿真点位的跟随曲线上载至所述关节点位，执行S35；

S35：得到骨架运动模型上所有关节点位的标准跟随曲线。

进一步的，所述S4还包括下列步骤：

S41：通过后台输入兴奋值，驱动骨架运动模型播放执行音频，关节点位产生执行行为；

S42：根据执行行为得到关节行为的执行曲线，与该兴奋值下的标准跟随曲线进行容差，得到调节后的关节点位实际曲线；

S43：动态修正包括将实际曲线与步骤S24中跟随曲线重合部分处的音频进行截取，在驱动结构模型按照该重合部分处实际曲线动作时，播放截取的音频。

进一步的，所述S5包括下列具体步骤：

S51：将曲线函数作为输入发送至自主学习模型中，通过调整仿生系数

S52：自主学习模型通过输出优化曲线，提取优化曲线中的音频发生逻辑发送至骨架运动模型，骨架运动模型驱动发声装置工作；

S53：将优化曲线中的关节点位发生逻辑发送至骨架运动模型，骨架运动模型驱动各个关节进行时间和角度转动。

进一步的，所述自主学习模型的工作过程还包括下列步骤：

S511：获取所有状态下的骨架运动模型，根据骨架运动模型获得对应的每个关节在不同状态下的运动曲线，梳理以单个关节为首，以单个关节相邻的关节为尾的运动曲线，得到该关节的多条趋势运动曲线；

S512：当关节获取响应信号时，根据趋势运动曲线和骨架运动模型，映射多种趋势形态；

S513：结合数据库中预存的触摸动态图像，计算在趋势形态中的精确度最高趋势运动曲线作为优化曲线，其中触摸动态图像基于触摸动物身体上对应触点进行拍摄。

进一步的，步骤S513中，精确度的计算包括动物身上触点的位置与骨架运动模型上的真实触点间的位置差值。

进一步的，所述骨架运动模型上设置多个触点，当至少一个触点启动时，骨架运动模型上至少产生一组组合运动模式，运动模式包括发声单元、尾部单元、头部单元、心跳单元。

本发明的有益效果是：

1、相对于现有技术在动物身上佩戴监测设备影响动物的真实感知表现，本申请能够捕获动物的真实动作和音频；

2、对捕获的多源数据进行处理，同步图像数据与音频数据，将多源连贯性的数据进行拆分重构得到指令化下的动物模型反馈系统。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的工作原理示意图；

图2是根据本说明书一些实施例所示的骨架运动模型示意图；

图3是根据本说明书一些实施例所示的骨架运动模型上触点的示意图。

附图标记说明：101、骨架运动模型；102、触点。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

实施例：

本实施例包括一种应用于仿生动物中的多源数据处理方法，旨在对单一的图像数据、单一的音频数据、图像音频混合数据等进行动态处理，请参照图1，具体包括下列步骤：

S1：活体生态采集，包括摄录动物在不同兴奋值下的状态图像和连续兴奋值之间的状态图像；

S2：动态图像处理，包括将连续多帧图像进行仿真点位捕捉，生成音频曲线和每个仿真点位跟随曲线；

S3：关联点位模拟，包括获取骨架运动模型确定关节点位，将关节点位与仿真点位进行关联，将跟随曲线上载至关节点位，得到标准跟随曲线；

S4：实际动作修正，获取骨架运动模型在不同兴奋值下的动态视频，根据标准跟随曲线调节关节点位的跟随曲线作实际曲线，叠加音频曲线进行动态修正；

S5：训练触点响应逻辑，触摸将修正后的曲线函数进行自主学习模型进行训练，得到多组合触点响应逻辑；

S6：仿真动态输出，将训练完成的函数进行输入骨架运动模型。

其中所述活体生态采集包括下列步骤：

S11：设置动物生活环境的纯色布景，限定动物的活动范围；

S12：调整第一摄录器的拍摄角度，设置第一摄录器的采样时间；

S13：调整第二摄录器的拍摄角度，设置第二摄录器的采样时间；

S14：获取每组相对设置的摄录器的图像，其中第一摄录器与第二摄录器相对设置为一组摄录单元。

在本实施例中，通过在纯色的空间下捕获动物的形态，通过限定活动范围进行多角度拍摄动物，其中每组摄录单元捕获的数据为同一组数据，进行后续的图像处理，且，每组摄录单元中，第一摄录器与第二摄录器分别设置在空间的两侧相对设置，且摄像镜头相对平行，确保获取的动物图像能够进行耦合，直接进行图像之间的差值互补。

值得说明的是，不同的刺激方式作用在动物上，记录当下的兴奋值并用图像、视频、音频的方式记录动物在该兴奋值下的变化、移动、发声等，通过兴奋值来定义动物产生刺激性反馈的输入，计算动物在时段T内的兴奋值为，

其中，

表1在不同时刻下仿真点在空间中的位置参数

值得说明的是，Y1、Y2、Y3、S1、S2和S3均为

值得说明的是，通过兴奋值量化动物发生变化的动态程度，通过收集动物在不同兴奋值下的动态变化，便于后续图像视频中的动物动作的提取。

值得说明的是，本实施例通过动物形体确定图像像素值后，进一步锁定图像中动物体的位置，通过RsTP图像处理系统在锁定首张图像中的动物体后，自动索引后续图像中的动物体，再通过图像确定动物体的平面坐标，进一步通过每组图像，确定空间体三维坐标，即，通过第一摄录器获取的第一图像确定动物体上仿真点的横、纵坐标，通过第二图像确定该仿真的另一横、纵坐标，第一图像中得到连续的仿真点动态曲线，第二图像得到连续的仿真点动态曲线，将两者曲线进行融合，当两者出现差值时，保留曲线波动大的动态，剔除曲线波动小的动态，确保该仿真点的动态不遗漏，例如，当相对的摄录器拍摄到动物的背面，这时对面的摄录器捕获的动态具有更精细的动态效果，还例如，位移参数

值得说明的是，所述动态图像处理包括下列步骤：

S21：确定动物的仿真点位，录入仿真点位的特征参数；

S22：划分摄录背景的空间坐标，锁定图像中仿真点位的空间坐标值；

S23：按照时间顺序依次连接仿真点位的空间坐标，得到跟随曲线；

S24：根据摄录音频的时间点，插入至相应时间点的跟随曲线。

值得说明的是，对于摄录器获取的图像进行时间顺序排列逐张对每组图像进行处理,包括S21中，首先确定动物的仿真点位，在本实施例中以猫为例,成年猫身上共有200多块骨头,其中肉眼能看到其关节动作的有18枚骨头(颈骨、胸骨、腰骨、尾骨、颅骨、股骨、指骨、髌骨等等)以及20枚尾骨,在上述能产生肉眼变化的关节的骨头选取若干作为仿真点,并录入仿真点的位置，在步骤S22中，在活体猫活动区间中划分空间坐标，并套取仿真点的空间坐标值，包括但不限于通过像素的识别套取仿真点的坐标值等等，进一步得到S23中的跟随曲线，其中活体猫在监测的采样周期T内会发生不同的叫声，按照时间顺序记录叫声类型和大小，将音频插入到对应的跟随曲线的时间点上，得到若干个带音频的关节仿真点动态曲线。

值得说明的是，本实施例中包括但不限于采用自动输入坐标、图像圈定等方式进行仿真点的选择、设定，本申请还包括图像处理平台，图像处理平台中预存有多组摄录器获取的相对角度拍摄的动物视频、图像，通过在图像处理平台上输入待选择追踪的仿真点，输出每个仿真点的时序跟随曲线。

所述关联点位模拟包括下列步骤：

S31：将相同位置处的关节点位与仿真点位进行关联，当关节点位与仿真点位关联成功时，执行S32，关节点位与仿真点位关联失败时，执行S33；

S32：将所述仿真点位的跟随曲线上载至所述关节点位，执行S35；

S33：若该位置处存在多个仿真点位，选择其中至少一个仿真点位执行S32，若该位置处无邻近仿真点位，执行S34；

S34：选择离该位置最近的至少2个仿真点位进行曲线均差计算，得到虚拟仿真点位，将该虚拟仿真点位的跟随曲线上载至所述关节点位，执行S35；

S35：得到骨架运动模型上所有关节点位的标准跟随曲线。

实际在制造仿生的骨架运动模型时，为了能够更贴近动物真实的状态通过分析动物的真实关节数量和尺寸进行物理结构构建，关联点的模拟旨在将活体动物的关节点与物理模型中的关节点进行关联配对，仿真点的选择旨在通过图像获取动物动作明显的部位，物理模型中关节点位的选择旨在配合物理机械机构能够变化的部位，通过步骤S31至S35进行两者配对，便于骨架运动模型上的关节能够产生仿真点的动态运动，确保与图像上的动作相同。

值得注意的是，当物理结构模型上所有的关节点位均有对应的仿真点配对时，则完成步骤S31至S35，其中，本实施例中上载的技术是通过骨架运动模型或云端进行通信控制对应关节点位的运动。

值得说明的是，所述S4还包括下列步骤：

S41：通过后台输入兴奋值，驱动骨架运动模型播放执行音频，关节点位产生执行行为；

S42：根据执行行为得到关节行为的执行曲线，与该兴奋值下的标准跟随曲线进行容差，得到调节后的关节点位实际曲线；

S43：动态修正包括将实际曲线与步骤S24中跟随曲线重合部分处的音频进行截取，在驱动结构模型按照该重合部分处实际曲线动作时，播放截取的音频。

值得说明的是，当配对成功后，进行音频动作的双重测试，确保骨架运动模型上每个关节点位的动态、以及音频符合图像中的多源参数，对于不符合的进行校准，其中符合与否的标准通过二次拍摄骨架运动模型，并将关节点位作为曲线测试的跟踪点，将执行曲线与跟随曲线进行差值比较，即通过空间坐标曲线的差值比较，同时，获取骨架运动模型中各个关节的位移、动作的极限区间，在极限区间内，将执行曲线与跟随曲线进行调整，并将调整后的曲线示数反馈至骨架运动模型的对应关节处，其中容差的标准即为极限区间的大小。

值得注意的还是，所述S5包括下列具体步骤：

S51：将曲线函数作为输入发送至自主学习模型中，通过调整仿生系数

S52：自主学习模型通过输出优化曲线，提取优化曲线中的音频发生逻辑发送至骨架运动模型，骨架运动模型驱动发声装置工作；

S53：将优化曲线中的关节点位发生逻辑发送至骨架运动模型，骨架运动模型驱动各个关节进行时间和角度转动。

值得注意的是，将修正后的数学曲线函数发送至自主学习模型，曲线函数旨在是单个关节点在单一兴奋值下时间顺序上的动态响应函数，对于单个关节点在多个兴奋值下，产生的动态响应则通过自主学习模型进行训练生成，其中S51中，仿生系数

值得说明的是，所述自主学习模型的工作过程还包括下列步骤：

S511：获取所有状态下的骨架运动模型，根据骨架运动模型获得对应的每个关节在不同状态下的运动曲线，梳理以单个关节为首，以单个关节相邻的关节为尾的运动曲线，得到该关节的多条趋势运动曲线；其中该不同状态对应的是在不同兴奋值下的动物运动状态；

S512：当关节获取响应信号时，根据趋势运动曲线和骨架运动模型，映射多种趋势形态；

S513：结合数据库中预存的触摸动态图像，计算在趋势形态中的精确度最高趋势运动曲线作为优化曲线，其中触摸动态图像基于触摸动物身体上对应触点进行拍摄。其中数据库为动物的在不同兴奋值状态下的图像合集。

值得注意的是，步骤S513中，精确度的计算包括动物身上触点的位置与骨架运动模型上的真实触点间的位置差值，通过触点被接触顺序和时长，结合环境音得出刺激值

式中，

本实施例以猫为例，得到表2运动模式启动表，表2中，当刺激值达到兴奋值时，触发对应的运动模式，

表2运动模式启动表

值得注意的是，请参照图2，所述骨架运动模型101上设置多个触点，当至少一个触点启动时，骨架运动模型上至少产生一组组合运动模式，运动模式包括发声单元、尾部单元、头部单元、心跳单元，其中发声单元包括5种声音，表2中仅展示部分的运动模式。参照图3，本实施例中包括设置在头部触点102、背部2个触点（图中未标记）、喉颈部触点（图中未示出）等，心跳单元包括模拟活体猫咪正常的心跳功能。心跳长按触发：手放在背部触点，长按超过两秒心跳震动才会触发，只要触点被触摸，就一直心跳，手一旦离开，就停止心跳震动。

值得注意的是，本实施例还包括在待机模式下的自反馈模式，连续15秒没有触摸的情况条件下，进入自反馈模式（15秒＜自反馈＜3分钟）。自反馈模式为每间隔15秒,自主随机触发动作或猫叫声（a.自反馈模式下的猫叫声为其中指定的5种声音，作为猫叫随机发声；b.进入睡眠前的最后一次的自反馈发声为指定声音，作为睡眠音源）。

值得说明的是，本实施例通过在骨架运动模型上设置有中控中心和无线通信单元，云端通过无线通信单元发送指令/修改参数，中控中心驱动各个关节按照自主学习的曲线产生相应的运动模式，包括但不限于使用comTool发送命令的方式修改，修改的参数包括但不限于猫咪叫声音频的音量大小调节、心跳每秒频率和触发所需时长、尾摆角度和时间、头部摆动角度和时间等等。