一种基于视频和被动声学的企鹅监测方法及装置

技术领域

本发明涉及海洋生态环境监测技术领域，特别是涉及一种基于视频和被动声学的企鹅监测方法及装置。

背景技术

评估生物种群行为模式的变化和多样性是生态学研究的经典问题。监测和研究动物的行为变化也有助于回答动物交流领域的一些基础性问题，例如理解交流信号的模态和功能。南极企鹅的监测主要是通过高空如无人机、卫星遥感进行远距离监测。又因南极自然环境恶略、企鹅的栖息地与觅食地点较远，长时间近距离的采集企鹅音频以及视频数据较为困难。随着近几十年大量的南极企鹅海洋馆建立，对南极企鹅的数据采集很多由野外转到了室内。而室内由于空间有限，大量不同种类的企鹅混杂在一起，当企鹅发出叫声时通过视频和拾音器很难辨别是哪只企鹅发出的，以致获取到的音频信号无法有效的正确分类。

目前的企鹅观测手段主要通过高分辨率的卫星遥感影像、空中无人机拍摄、定点伪装相机、穿戴式的观测设备、以及遥控机器人等，但这些监测手段都各有缺点。其中，高分辨率的卫星遥感影像数据有一定的时延性，无法获取声音信号、图像角度只有正上方、而且企鹅信息非常微小模糊；空中无人机空中作业时间短，不能实现长期监测；定点伪装相机容易被企鹅发现甚至进行破坏，采集到的数据无法覆盖整个企鹅的活动范围，也无法多角度获取所需数据；穿戴式的观测设备对穿戴的企鹅有一定伤害，而且也无法控制多角度的数据获取；遥控机器人每次只能对一只企鹅进行近距离数据采集，数据采集需要人工操作，所以作业时间有一定限制，而且遥控机器人的续航不能支撑长期观测，直接接近企鹅获取数据也会对企鹅的日常活动造成一定干扰或威胁。

发明内容

本发明提供了一种基于视频和被动声学的企鹅监测方法及装置，提高了数据采集的全面性和有效性，提高了企鹅定位的准确性，进一步加深了对企鹅交流方式的研究。

为了解决上述技术问题，本发明提供了一种基于视频和被动声学的企鹅监测方法，包括：

采用若干组采集设备同时采集目标区域的音频数据和视频数据；其中，每组采集设备包括视频采集器和音频采集器；

根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标；

根据发声企鹅的相对空间坐标和所述视频数据，在所述视频数据确定发声企鹅的像素坐标；

根据发声企鹅的像素坐标，在所述视频数据截取所述发声企鹅的视频片段；

在发声企鹅在视频片段中提取所述发声企鹅的若干个企鹅行为，并对各企鹅行为关联的声音片段进行标注，构建发声企鹅的交流行为知识图谱。

进一步地，所述采用若干组采集设备同时采集目标区域的音频数据和视频数据，具体为：

采用长距离定向拾音器作为声音采集器；

采用超高清监控摄像头作为视频采集器；

组合所述声音采集器和所述视频采集器，形成采集设备；

根据预设的设备位置信息，利用支架将若干组采集设备进行固定，并通过若干组所述采集设备实时采集目标区域的音频数据和视频数据。

进一步地，所述根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标，具体为：

获取各音频采集器的相对空间位置，以及各音频采集器接收发声企鹅的声音信号的时间差；

根据标准空气中的声速和所述时间差，计算得出各音频采集器与所述发声企鹅的距离；

结合各音频采集器的相对空间位置和各音频采集器与所述发声企鹅的距离，计算得出发声企鹅的相对空间坐标。

进一步地，所述根据发声企鹅的像素坐标，在所述视频数据截取所述发声企鹅的视频片段，具体为：

根据发声企鹅的像素坐标，采用追踪算法在所述视频数据上追踪所述发声企鹅的行动轨迹，并根据所述行动轨迹提取发声企鹅的视频片段。

进一步地，所述在发声企鹅在视频片段中提取所述发声企鹅的若干个企鹅行为，具体为：

在发声企鹅在视频片段中，利用姿态识别算法提取所述发声企鹅的骨架表示，利用动作估计算法提取所述发声企鹅的动作特征；

利用预设的多模态大模型分别对所述发声企鹅的骨架表示和动作特征进行语义分析，得出取所述发声企鹅的若干个企鹅行为。

进一步地，对各企鹅行为关联的声音片段进行标注，具体为：

利用聚类算法对发声企鹅的若干个企鹅行为进行聚类分析，分析企鹅行为的各种类型，得出各企鹅行为对应的类别；

根据各企鹅行为对应的视频片段，确定与各企鹅行为对应的声音片段；

根据各企鹅行为对应的类别，将企鹅行为对应的声音片段进行标注。

进一步地，在所述根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标后，还包括：

根据发声企鹅的相对空间坐标，在所述音频数据截取所述发声企鹅的声音片段；

利用预设的企鹅种属检测分类模型对所述发声企鹅的声音片段进行识别，得出所述发声企鹅的所属种类。

进一步地，所述构建发声企鹅的交流行为知识图谱，具体为：

通过分析所述企鹅行为对应的声音片段，将所述发声企鹅的声音信号和企鹅行为关联，构建所述发声企鹅的所属种类的交流行为知识图谱。

进一步地，在所述采用若干组采集设备同时采集目标区域的音频数据和视频数据后，还包括：

对采集到的音频数据进行波束形成、降噪和去混响的信号预处理；

根据频谱特性，对预处理后的音频数据进行检测，并在音频数据中去除检测结果为背景噪音的声音信号。

本发明提供了一种基于视频和被动声学的企鹅监测方法，通过设计采集设备，长时间多角度地采集目标区域的音频数据及视频数据；通过拾音器阵列，根据接收音频信号之间的时间差来计算出发声企鹅的相对空间坐标，并对相关音频信号进行正确标签分类；转换发声企鹅的相对空间坐标，配合视频数据得出发声企鹅的像素坐标，从而在视频数据中截取发声企鹅的视频片段，以确认企鹅在发声时在实施的行为，通过对企鹅行为进行识别及语义分析，关联发声企鹅的声音信号和企鹅行为，推断企鹅交流对象和模式。本发明在不打扰企鹅日常活动的前提下实现了长时间多角度地采集企鹅数据，提高了数据采集的全面性和有效性，提高了企鹅定位的准确性，进一步加深了对企鹅交流方式的研究。

相应的，本发明提供了一种基于视频和被动声学的企鹅监测装置，包括：采集模块、定位模块、坐标转换模块、截取模块和关联模块；

所述采集模块用于采用若干组采集设备同时采集目标区域的音频数据和视频数据；其中，每组采集设备包括视频采集器和音频采集器；

所述定位模块用于根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标；

所述坐标转换模块用于根据发声企鹅的相对空间坐标和所述视频数据，在所述视频数据确定发声企鹅的像素坐标；

所述截取模块用于根据发声企鹅的像素坐标，在所述视频数据截取所述发声企鹅的视频片段；

所述关联模块用于在发声企鹅在视频片段中提取所述发声企鹅的若干个企鹅行为，并对各企鹅行为关联的声音片段进行标注，构建发声企鹅的交流行为知识图谱。

本发明提供了一种基于视频和被动声学的企鹅监测装置，以模块间的有机结合为基础，通过设计采集设备，长时间多角度地采集目标区域的音频数据及视频数据；通过拾音器阵列，根据接收音频信号之间的时间差来计算出发声企鹅的相对空间坐标，并对相关音频信号进行正确标签分类；转换发声企鹅的相对空间坐标，配合视频数据得出发声企鹅的像素坐标，从而在视频数据中截取发声企鹅的视频片段，以确认企鹅在发声时在实施的行为，通过对企鹅行为进行识别及语义分析，关联发声企鹅的声音信号和企鹅行为，推断企鹅交流对象和模式。本发明在不打扰企鹅日常活动的前提下实现了长时间多角度地采集企鹅数据，提高了数据采集的全面性和有效性，提高了企鹅定位的准确性，进一步加深了对企鹅交流方式的研究。

附图说明

图1为本发明提供的基于视频和被动声学的企鹅监测方法的一种实施例的流程示意图；

图2为本发明采集设备的布放方法的一种实施例的示意图；

图3为本发明提供的坐标转换方法的一种实施例的示意图；

图4为本发明提供的基于视频和被动声学的企鹅监测装置的一种实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

实施例1

参见图1，是本发明提供的基于视频和被动声学的企鹅监测方法的一种实施例的流程示意图，该方法应用于企鹅海洋馆，包括步骤101至步骤105，各步骤具体如下：

步骤101：采用若干组采集设备同时采集目标区域的音频数据和视频数据；其中，每组采集设备包括视频采集器和音频采集器。

进一步地，在本发明第一实施例中，采用若干组采集设备同时采集目标区域的音频数据和视频数据，具体为：

采用长距离定向拾音器作为声音采集器；

采用超高清监控摄像头作为视频采集器；

组合所述声音采集器和所述视频采集器，形成采集设备；

根据预设的设备位置信息，利用支架将若干组采集设备进行固定，并通过若干组所述采集设备实时采集目标区域的音频数据和视频数据。

在本发明第一实施例中，采用超高清监控摄像头，通过一个根网线以及相应的PoE交换机实现长时间供电及实时视频数据传输，使其长时间大量获取目标区域所有企鹅影像，为后续企鹅行为、种类等方面的检测识别处理提供训练、验证以及测试样本。采用长距离定向麦克风阵列拾音器，通过一个根网线以及相应的PoE交换机实现长时间供电及实时音频数据传输，使其长时间大量获取目标区域的所有企鹅音频信号。

作为本发明第一实施例的一种举例，参见图2，是本发明采集设备的布放方法的一种实施例的示意图，为同步获取目标区域视频以及音频数据，同时获取不同位置不同角度的企鹅音频信号和视频信号，利用多组音视频记录阵列同时采集数据，每组阵元均由一个超高清监控摄像头和一个长距离定向麦克风阵列拾音器组成，并利用支架固定其相对位置，确保目标与设备的相对位置信息可解。通过多组音视频记录阵列能够获取到海洋馆内目标位置企鹅的同步音频信号及视频数据，通过拾音器阵列可以实现声音定位，定位发声企鹅再与全景视频相应位置的企鹅种类和行为进行确认，为后续企鹅声音通讯交流研究及识别处理提供了数据上的支撑。

进一步地，在本发明第一实施例中，在采用若干组采集设备同时采集目标区域的音频数据和视频数据后，还包括：

对采集到的音频数据进行波束形成、降噪和去混响的信号预处理；

根据频谱特性，对预处理后的音频数据进行检测，并在音频数据中去除检测结果为背景噪音的声音信号。

在本发明第一实施例中，企鹅场馆混响高、背景噪声，其环境噪音源包括制冷设备、游客等，所以在利用采集设备采集到音频数据后，需要先对音频数据进行预处理。首先，对长距离定向拾音器采集到的麦克风阵列数据进行波束形成、降噪、去混响等信号处理操作，提高声信号质量。然后，从定向拾音器阵采集到的音频流中获取包含所有企鹅种类叫声和场馆背景噪声音频数据帧，进行分类标记。根据频谱特性，将音频数据帧中的背景噪音与生物声音分类，分别得到企鹅声音数据集和背景声音数据集，企鹅声音数据集应用在后续的监测分析中。

步骤102：根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标。

进一步地，在本发明第一实施例中，根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标，具体为：

获取各音频采集器的相对空间位置，以及各音频采集器接收发声企鹅的声音信号的时间差；

根据标准空气中的声速和所述时间差，计算得出各音频采集器与所述发声企鹅的距离；

结合各音频采集器的相对空间位置和各音频采集器与所述发声企鹅的距离，计算得出发声企鹅的相对空间坐标。

在本发明第一实施例中，首先各音频采集器的相对空间位置，再通过同一声源发声时每台音频采集器收到信号的时间差，以标准空气中的声速(340m/s)来计算距离差，从而通过计算得到每台音频采集器到声源的距离，最终得到声源的相对空间坐标值。

进一步地，在本发明第一实施例中，在根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标后，还包括：

根据发声企鹅的相对空间坐标，在所述音频数据截取所述发声企鹅的声音片段；

利用预设的企鹅种属检测分类模型对所述发声企鹅的声音片段进行识别，得出所述发声企鹅的所属种类。

在本发明第一实施例中，在获取发声企鹅的相对空间坐标后，在音频数据截取发声企鹅对应的声音片段，作为后续分析的音频数据。将发声企鹅的声音片段输入至企鹅种属检测分类模型，可以识别出发声企鹅的种类。其中，企鹅种属检测分类模型的训练方法是从视频流中获取包企鹅的图像帧，对图像帧中不同的企鹅种类进行分类标记，得到企鹅图像数据集；使用卷积YOLOv5检测算法对企鹅图像数据集进行训练，得到企鹅种属检测分类模型。分别对若干个音频采集器采集的发声企鹅的声音片段进行种类识别，可以提高识别准确率。

步骤103：根据发声企鹅的相对空间坐标和所述视频数据，在所述视频数据确定发声企鹅的像素坐标。

作为本发明第一实施例的一种举例，将发声企鹅的相对空间坐标映射在视频数据中的对应位置，可以将发声企鹅的声音信号和视频信号相关联。具体地，由于发声企鹅的相对空间坐标属于世界坐标系，而视频数据中用到的定位是像素坐标系，这两个坐标系可通过视频采集器本身的参数(如相机摆放角度、位置、焦距、像素等)通过相机坐标系以及图像坐标系进行转换，由此可通过世界坐标系的坐标(x, y, z)推导出视频中的像素坐标系坐标(u, v)。参见图3，是本发明提供的坐标转换方法的一种实施例的示意图，世界坐标转换为相机坐标的公式为：

式中，(

相机坐标转换为图像坐标的公式为：

式中，

图像坐标和像素坐标都在同一个平面上，图像坐标原点在画面的中心，而像素坐标原点在左上角，所以图像坐标到像素坐标的转换需要两个要素的转换，一个是坐标值的平移校正以及像素点距离的换算。图像坐标转换为像素坐标的公式为：

式中，

步骤104：根据发声企鹅的像素坐标，在所述视频数据截取所述发声企鹅的视频片段。

进一步地，在本发明第一实施例中，根据发声企鹅的像素坐标，在所述视频数据截取所述发声企鹅的视频片段，具体为：

根据发声企鹅的像素坐标，采用追踪算法在所述视频数据上追踪所述发声企鹅的行动轨迹，并根据所述行动轨迹提取发声企鹅的视频片段。

在本发明第一实施例中，当确定发声企鹅在视频数据中的像素坐标后，可以利用transformer-assist追踪算法TrSiam在视频数据上对企鹅行动轨迹进行追踪，实现对相关企鹅行为数据的连续提取。具体地，将上述利用企鹅种属检测分类模型识别到的发声企鹅与视频数据中的发声企鹅进行匹配，然后利用transformer-assist追踪算法TrSiam在视频数据上对发声企鹅的行动轨迹进行追踪，以YOLO算法检测目标企鹅得出的框为基础，往外扩大1倍对追踪算法得出的轨迹进行视频截取。比如，YOLO算法对发声企鹅A的检测框四个角的像素坐标为(x1，y1)、(x2，y1)、(x1，y2)、(x2，y2)，扩大一倍后截取范围的四个角的像素坐标为((x1-(x2-x1)/2)，(y1-(y2-y1)/2))、((x2+(x2-x1)/2)，(y1-(y2-y1)/2))、((x1-(x2-x1)/2)，(y2+(y2-y1)/2))、((x2+(x2-x1)/2)，(y2+(y2-y1)/2))。通过截取范围的像素坐标，可利用OpenCV对视频数据进行所需要的目标画面截取。截取时长由5秒起，直至视频中目标消失或停止动作，并记录原视频中的截取时间戳。

步骤105：在发声企鹅在视频片段中提取所述发声企鹅的若干个企鹅行为，并对各企鹅行为关联的声音片段进行标注，构建发声企鹅的交流行为知识图谱。

进一步地，在本发明第一实施例中，在发声企鹅在视频片段中提取所述发声企鹅的若干个企鹅行为，具体为：

在发声企鹅在视频片段中，利用姿态识别算法提取所述发声企鹅的骨架表示，利用动作估计算法提取所述发声企鹅的动作特征；

利用预设的多模态大模型分别对所述发声企鹅的骨架表示和动作特征进行语义分析，得出取所述发声企鹅的若干个企鹅行为。

在本发明第一实施例中，企鹅在发声时，有可能是保持某个姿态，也可能是在做某个动作，因此在截取到的发声企鹅的视频片段中提取发声企鹅的骨架表示和动作特征，可以识别出发声企鹅在发声时的行为，通过多模态神经网络对视频中的目标行为进行解译可以生成解译文字，比如，对视频中的发声企鹅行为生成“企鹅在摇头晃脑”的解释性文字，帮助游客或用户观察企鹅的行为。

进一步地，在本发明第一实施例中，对各企鹅行为关联的声音片段进行标注，具体为：

利用聚类算法对发声企鹅的若干个企鹅行为进行聚类分析，分析企鹅行为的各种类型，得出各企鹅行为对应的类别；

根据各企鹅行为对应的视频片段，确定与各企鹅行为对应的声音片段；

根据各企鹅行为对应的类别，将企鹅行为对应的声音片段进行标注。

在本发明第一实施例中，通过对视频片段进行姿态动作分析后，通过聚类分析将同类语义的归成一类。然后，原视频按截取时间戳进行全幅视频截取保存，并与关联的声频数据按判定的姿态动作进行类别标注，以此来快速高效的按企鹅的不同行为进行初步的分类标记，为不同企鹅叫声的分类研究快速提供大量的数据。

进一步地，在本发明第一实施例中，构建发声企鹅的交流行为知识图谱，具体为：

通过分析所述企鹅行为对应的声音片段，将所述发声企鹅的声音信号和企鹅行为关联，构建所述发声企鹅的所属种类的交流行为知识图谱。

在本发明第一实施例中，将发声企鹅的声音信号与其交流动作等行为的视频信号相关联，构建企鹅交流与行为的知识图谱，结合发声企鹅的种类，可以推断企鹅交流对象和模式，进一步加强对企鹅交流方式的研究。

综上，本发明第一实施例提供了一种基于视频和被动声学的企鹅监测方法，通过设计采集设备，长时间多角度地采集目标区域的音频数据及视频数据；通过拾音器阵列，根据接收音频信号之间的时间差来计算出发声企鹅的相对空间坐标，并对相关音频信号进行正确标签分类；转换发声企鹅的相对空间坐标，配合视频数据得出发声企鹅的像素坐标，从而在视频数据中截取发声企鹅的视频片段，以确认企鹅在发声时在实施的行为，通过对企鹅行为进行识别及语义分析，关联发声企鹅的声音信号和企鹅行为，推断企鹅交流对象和模式。本发明在不打扰企鹅日常活动的前提下实现了长时间多角度地采集企鹅数据，提高了数据采集的全面性和有效性，提高了企鹅定位的准确性，进一步加深了对企鹅交流方式的研究。

实施例2

参见图4，是本发明提供的基于视频和被动声学的企鹅监测装置的一种实施例的结构示意图，该装置包括采集模块201、定位模块202、坐标转换模块203、截取模块204和关联模块205；

采集模块201用于采用若干组采集设备同时采集目标区域的音频数据和视频数据；其中，每组采集设备包括视频采集器和音频采集器；

定位模块202用于根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标；

坐标转换模块203用于根据发声企鹅的相对空间坐标和所述视频数据，在所述视频数据确定发声企鹅的像素坐标；

截取模块204用于根据发声企鹅的像素坐标，在所述视频数据截取所述发声企鹅的视频片段；

关联模块205用于在发声企鹅在视频片段中提取所述发声企鹅的若干个企鹅行为，并对各企鹅行为关联的声音片段进行标注，构建发声企鹅的交流行为知识图谱。

进一步地，在本发明第二实施例中，采用若干组采集设备同时采集目标区域的音频数据和视频数据，具体为：

采用长距离定向拾音器作为声音采集器；

采用超高清监控摄像头作为视频采集器；

组合所述声音采集器和所述视频采集器，形成采集设备；

根据预设的设备位置信息，利用支架将若干组采集设备进行固定，并通过若干组所述采集设备实时采集目标区域的音频数据和视频数据。

进一步地，在本发明第二实施例中，根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标，具体为：

获取各音频采集器的相对空间位置，以及各音频采集器接收发声企鹅的声音信号的时间差；

根据标准空气中的声速和所述时间差，计算得出各音频采集器与所述发声企鹅的距离；

结合各音频采集器的相对空间位置和各音频采集器与所述发声企鹅的距离，计算得出发声企鹅的相对空间坐标。

进一步地，在本发明第二实施例中，根据发声企鹅的像素坐标，在所述视频数据截取所述发声企鹅的视频片段，具体为：

根据发声企鹅的像素坐标，采用追踪算法在所述视频数据上追踪所述发声企鹅的行动轨迹，并根据所述行动轨迹提取发声企鹅的视频片段。

进一步地，在本发明第二实施例中，在发声企鹅在视频片段中提取所述发声企鹅的若干个企鹅行为，具体为：

在发声企鹅在视频片段中，利用姿态识别算法提取所述发声企鹅的骨架表示，利用动作估计算法提取所述发声企鹅的动作特征；

利用预设的多模态大模型分别对所述发声企鹅的骨架表示和动作特征进行语义分析，得出取所述发声企鹅的若干个企鹅行为。

进一步地，在本发明第二实施例中，对各企鹅行为关联的声音片段进行标注，具体为：

利用聚类算法对发声企鹅的若干个企鹅行为进行聚类分析，分析企鹅行为的各种类型，得出各企鹅行为对应的类别；

根据各企鹅行为对应的视频片段，确定与各企鹅行为对应的声音片段；

根据各企鹅行为对应的类别，将企鹅行为对应的声音片段进行标注。

进一步地，在本发明第二实施例中，在根据各音频采集器的相对空间位置分析所述音频数据，获取发声企鹅的相对空间坐标后，还包括：

根据发声企鹅的相对空间坐标，在所述音频数据截取所述发声企鹅的声音片段；

利用预设的企鹅种属检测分类模型对所述发声企鹅的声音片段进行识别，得出所述发声企鹅的所属种类。

进一步地，在本发明第二实施例中，构建发声企鹅的交流行为知识图谱，具体为：

通过分析所述企鹅行为对应的声音片段，将所述发声企鹅的声音信号和企鹅行为关联，构建所述发声企鹅的所属种类的交流行为知识图谱。

进一步地，在本发明第二实施例中，在采用若干组采集设备同时采集目标区域的音频数据和视频数据后，还包括：

对采集到的音频数据进行波束形成、降噪和去混响的信号预处理；

根据频谱特性，对预处理后的音频数据进行检测，并在音频数据中去除检测结果为背景噪音的声音信号。

综上，本发明第二实施例提供了一种基于视频和被动声学的企鹅监测装置，以模块间的有机结合为基础，通过设计采集设备，长时间多角度地采集目标区域的音频数据及视频数据；通过拾音器阵列，根据接收音频信号之间的时间差来计算出发声企鹅的相对空间坐标，并对相关音频信号进行正确标签分类；转换发声企鹅的相对空间坐标，配合视频数据得出发声企鹅的像素坐标，从而在视频数据中截取发声企鹅的视频片段，以确认企鹅在发声时在实施的行为，通过对企鹅行为进行识别及语义分析，关联发声企鹅的声音信号和企鹅行为，推断企鹅交流对象和模式。本发明在不打扰企鹅日常活动的前提下实现了长时间多角度地采集企鹅数据，提高了数据采集的全面性和有效性，提高了企鹅定位的准确性，进一步加深了对企鹅交流方式的研究。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。