水下影像采集识别系统

技术领域

本发明涉及图像处理技术领域，尤其涉及水下影像采集识别系统。

背景技术

随着社会经济的快速发展和人民生活水平的提高，游泳这种适合大众进行的全身型体育运动越来越受到人们的喜爱。但由于游泳是在水中进行的，具有一定危险性，初学者常因在水中不能随意呼吸、行动而导致呛水和失去平衡，进而造成溺水事故。有时候游泳者也可能由于抽筋、相互碰撞、疾病或精神紧张等原因而发生溺水现象。

现有的水下影像采集识别系统通常只能通过水下摄像机采集动态静态图像，当人体漂浮在水面上时，水下摄像机无法全面地采集到人体图像，从而无法及时地识别到人体溺水情况。

由此可见，现有技术中存在对水下影像信息的采集不全面的技术问题。

发明内容

本发明目的在于提供水下影像采集识别系统，以解决上述技术问题。

本发明提供了水下影像采集识别系统，包括：实时视频采集单元，上述实时视频采集单元包括多个水下前端采集视频机以及水上全景视频机，其中，上述水下前端采集视频机包括第一数量的端点视频机以及第二数量的中间视频机；后端中央控制单元，上述后端中央控制单元包括交换机、硬盘录像机、智能服务器、智能手环、报警装置、控制模块及显示器，上述后端中央控制单元与上述多个水下前端采集视频机通过防水线缆连接，上述后端中央控制单元与上述水上全景视频机通过第一5G无线通信模块连接，上述后端中央控制单元用于根据获取到的上述水下前端采集视频机采集到的动态静态图像以及上述水上全景视频机采集到的动态静态图像确定实时全景视频流；其中，上述水下前端采集视频机采集到的动态静态图像被记为第一视频流，上述水上全景视频机采集到的动态静态图像被记为第二视频流，其中，上述第一视频流包括同一时刻的多个视频机采集的多路视频流信息。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明提供的水下影像采集识别系统可以获取多个水下前端采集视频机实时采集到的动态静态图像以及水上全景视频机实时采集到的动态静态图像，对水下影像信息的采集较为全面；

2、本发明提供的水下影像采集识别系统可以结合水上图像以及水下图像，自动化实现智能救生功能、比赛仲裁功能、辅助训练功能以及电视转播功能，可以支持游泳项目水球、花样游泳、跳水、水下曲棍球等比赛。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为根据本申请实施例的一种可选的水下影像采集识别系统的结构图；

图2为根据本申请实施例的一种可选的后端中央控制单元的结构图；

图3为根据本申请实施例的一种可选的游泳池的俯视图；

图4为根据本申请实施例的另一种可选的的游泳池的俯视图；

图5为根据本申请实施例的一种可选的水下影像采集识别系统的应用示意图；

图6为根据本申请实施例的一种可选的预设细拼处理的流程图；

图7为根据本申请实施例的一种可选的确定预设像素点的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

可选地，作为一种可选的实施方式，如图1以及图2所示，本申请提供的水下影像采集识别系统包括：

实时视频采集单元101，实时视频采集单元包括多个水下前端采集视频机以及水上全景视频机，其中，水下前端采集视频机包括第一数量的端点视频机以及第二数量的中间视频机；

在本申请的一些实施例中，本申请提供的水下影像采集识别系统可以应用于游泳池、湖泊、大海等水域，以下实施例中多以游泳池为例进行说明。水上全景视频机可以安装在池中央建筑顶部马道上方，其安装高度可以根据环境来调整，以能够监控到整个池面为佳。

后端中央控制单元102，后端中央控制单元包括交换机201、硬盘录像机202、智能服务器203、智能手环204、报警装置205、控制模块及显示器206，后端中央控制单元与多个水下前端采集视频机通过防水线缆连接，后端中央控制单元与水上全景视频机通过第一5G无线通信模块连接，后端中央控制单元用于根据获取到的水下前端采集视频机采集到的动态静态图像以及水上全景视频机采集到的动态静态图像确定实时全景视频流；

其中，水下前端采集视频机采集到的动态静态图像被记为第一视频流，水上全景视频机采集到的动态静态图像被记为第二视频流，其中，第一视频流包括同一时刻的多个视频机采集的多路视频流信息。

在本申请的一些实施例中，后端中央控制单元102可以基于确定得到的实时全景视频流，实现智能救生功能、比赛仲裁功能、辅助训练功能以及电视转播功能。后端中央控制单元102还可以包括智能机柜、平板等。控制模块可以放在游泳池池边，方便救生员、裁判员、教练员查看。

水下前端采集视频机可以通过防水线缆把视频信号传送给后端中央控制单元，以使得后端中央控制单元可以进行采集、处理、控制、储存、显示和回放。通过后端中央控制单元包括的全景视频拼接单元以及异常姿态识别单元，可以实现智能救生功能、比赛仲裁功能、辅助训练功能以及电视转播功能。

其中，可以通过多个水下前端采集视频机以及水上全景视频机分别采集游泳池图像并传输到后端中央控制单元，异常姿态识别单元可以自动发现、定位、识别、放大溺水者图像和疑似溺水者图像，以及通过声音、图像、振动等方式，提示救生员施救，从而实现智能报警功能。同时，全景视频拼接单元可以将游泳池图像拼接成整幅全景不间断的动态图像，提供给裁判员、教练员作为犯规或视频教学。同时也可以提供给电视台转播，增加观赏娱乐性。从而满足游泳运动项目比赛仲裁、辅助训练、电视转播功能。该功能可以支持所有游泳、水球、花样游泳、跳水、水下曲棍球比赛仲裁录像审议。

在本申请的一些实施例中，以水下影像采集识别系统应用于游泳池为例，如图3所示，图3为游泳池的俯视图，在上述俯视图中，游泳池的泳道303的方向为左右方向。中间视频机301可以包括A1至A14。其中，A1至A7可以沿游泳池50米边池壁以6.25米均匀分布安装于水面标高下0.8至1.6米，A8至A14同理安装于游泳池另一50米池壁。端点视频机302-1可以包括B2及B4，端点视频机302-2可以包括B1及B3。B1至B4分别安装于游泳池50米边两端池壁2米处水面标高下0.8至1.6米。

在本申请的一些实施例中，以水下影像采集识别系统应用于游泳池为例，如图4所示，图4为游泳池的俯视图，在上述俯视图中，游泳池的泳道402的方向为左右方向。中间视频机401-1可以包括A15至A17，中间视频机401-2可以包括A18至A20。其中，A15至A17可以沿游泳池25米边池壁以3.25米均匀分布安装于水面标高下0.8至1.6米，A18至A20同理安装于游泳池另一25米池壁。

应理解，水下前端采集视频机可以在安装在水下的任意位置，上述安装位置仅为示例，本申请实施例对此不作任何限定。

在本申请的一些实施例中，以后端中央控制单元是监控室为例，如图5所示，监控室503可以包括报警装置、显示器504、控制模块505以及智能手环506，水下影像采集识别系统可以包括多个水下前端采集视频机501以及水上全景视频机502。其中，监控室503可以与水下前端采集视频机501通过防水线缆连接，以及与水上全景视频机502通过第一5G无线通信模块连接。监控室305可以用于根据获取到的水下前端采集视频机采集到的动态静态图像以及水上全景视频机采集到的动态静态图像实现智能救生功能、比赛仲裁功能、辅助训练功能以及电视转播功能。

基于本申请提供的实施例，上述系统可以获取多个水下前端采集视频机实时采集到的动态静态图像以及水上全景视频机实时采集到的动态静态图像，对水下影像信息的采集较为全面。并且上述系统可以结合水上图像以及水下图像，自动化实现智能救生功能、比赛仲裁功能、辅助训练功能以及电视转播功能，可以支持游泳项目水球、花样游泳、跳水、水下曲棍球等比赛。

作为一种可选的方案，后端中央控制单元包括全景视频拼接单元；

全景视频拼接单元通过以下方式确定实时全景视频流：

对第一视频流及第二视频流进行畸变校正，得到第一校正视频流和第二校正视频流；

将第一校正视频流分割为第一水面视频流和第一水下视频流，将第二校正视频流分割为第二水面视频流和第二水上视频流；将第一水下视频流中每一路视频流信息对应的静态图像中位于最左侧的图像沿垂直中线分割，并将分割后的左图拼接到第一水下视频流中每一路视频流信息对应的静态图像中位于最右侧的图像的右边，以得到粗拼水下图像；

融合第一水面视频流中每一路视频流信息对应的静态图像以及第二水面视频流中每一路视频流信息对应的静态图像，得到粗拼水面图像；

根据粗拼水下图像、粗拼水面图像、第二水上视频流中每一路视频流信息对应的静态图像，得到全景粗拼图像；

本实施例中，通过拼接水下前端采集视频机采集到的动态静态图像以及水上全景视频机采集到的动态静态图像，可以得到反映水上水下信息的全景粗拼图像。全景粗拼图像中的物体不会因为水体和空气的反射和折射而变形，可以准确地还原真实场景。

对于不同时刻的全景粗拼图像进行预设细拼处理，得到不同时刻的全景视频帧，按照时间顺序将全景视频帧进行合成，得到实时全景视频流；

将实时全景视频流提供给裁判员、教练员作为犯规或视频教学，并提供给电视台转播。

在本申请的一些实施例中，在视频流内有平线或者竖线的情况下，观察矫正前后的平线或者竖线是否为平直状态，如果平线或者竖线从曲线变成直线，说明畸变校正达到效果。其中，平线或者竖线可以包括但不限于建筑物、平面及静物所呈现的线条。对第一视频流及第二视频流进行畸变校正后，可以得到能够直接进行拼接分析的图像，另外，通过畸变校正后的图像能够更加适应人的观察习惯。

作为一种可选的方案，如图6所示，预设细拼处理包括：

S601，确定全景粗拼图像中的重叠区域、重叠关系及拼缝位置；

S602，根据重叠区域及重叠关系对全景粗拼图像进行超像素分割，得到超像素中每个像素点的对比度信息，其中，超像素分割基于简单线性迭代聚类算法；

S603，确定全景粗拼图像与参考图像的重合区域中每个像素点的参考对比度信息，其中，参考图像为根据拼缝位置从全景粗拼图像中确定出的裂缝子图像；

S604，确定对比度信息与参考对比度信息的对比度差值；

S605，根据对比度差值确定预设像素点，其中，预设像素点与重叠区域相关联；

S606，对预设像素点的亮度信息进行调整；

S607，基于调整后的预设像素点对拼缝位置进行融合拼接，以得到全景视频帧。

在本申请的一些实施例中，超像素分割指的是将全景粗拼图像分割为一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息，用少量的超像素代替大量像素表达图像特征，可以降低图像处理的复杂度。

在本申请的一些实施例中，超像素分割可以基于简单线性迭代聚类算法，即SLIC算法。SLIC算法基于K-means聚类算法，能够根据像素的颜色和距离特征进行聚类，从而达到较好的分割效果，相对于其他一些超像素点分割算法，SLIC算法具有简单灵活，效果好，处理速度快等优点。在本申请的一些实施例中，根据对比度差值确定预设像素点可以包括但不限于：将重叠区域对比度差值大于预设阈值的像素点确定为预设像素点。预设像素点可以被认为是失真程度较高。

作为一种可选的方案，如图7所示，根据对比度差值以及裂缝子图像确定预设像素点包括：

S701，基于对比度差值以及裂缝子图像的各个像素点的亮度信息对重叠区域进行仿射变换，得到仿射变换图像；

S702，确定仿射变换图像在预设亮度处理范围内的预设像素点，其中，预设亮度处理范围是0到125的亮度范围。

在本申请的一些实施例中，预设亮度处理范围可以位于0至255亮度范围内的任意一个区间，示例性地，预设亮度处理范围是0至125的亮度范围，可设0至125亮度范围内为亮度调整范围，125至255的亮度范围不做亮度调整，其中，N为自然数。

基于本申请提供的实施例，根据重叠区域及重叠关系对全景粗拼图像进行超像素分割，可以对预设像素点的亮度信息进行调整，提高了全景视频帧的拼接效果，提高最终得到的实时全景视频流还原现实场景的准确性。

作为一种可选的方案，后端中央控制单元包括异常姿态识别单元；

异常姿态识别单元基于Retinex模型对第一视频流中每一路视频流信息对应的静态图像进行第一增强处理，得到第一增强图像；

异常姿态识别单元基于Retinex模型对第二视频流中每一路视频流信息对应的静态图像进行第一增强处理，得到第二增强图像；

异常姿态识别单元将第一增强图像以及第二增强图像输入关键点提取模型，以获取人体关键点数据；

异常姿态识别单元基于预设分类器判断人体是否处于溺水状态或者疑似溺水状态，其中，预设分类器为基于人体关键点数据训练得到的，预设分类器包括二分类溺水模型以及多分类溺水模型；

若异常姿态识别单元判断人体处于溺水状态或者疑似溺水状态，报警装置通过光、声音以及震动的方式提醒救生员。

作为一种可选的方案，预设分类器基于以下步骤训练得到：

对第一训练图像集中溺水人体、第二训练图像集中疑似溺水人体以及第二训练图像集中非溺水人体的人体关键点进行标注，构造二分类训练数据集与多分类训练数据集；

基于二分类训练数据集，对预设神经网络进行训练，直至预设神经网络的第一损失函数达到第一预设收敛条件，得到二分类溺水模型，其中，二分类溺水模型用于判断人体是否处于溺水状态；

基于多分类训练数据集，对预设神经网络进行训练，直至预设神经网络的第二损失函数达到第二预设收敛条件，得到多分类溺水模型，其中，多分类溺水模型用于判断人体是否处于疑似溺水状态。

在本申请的一些实施例中，二分类溺水模型用于预测人体处于溺水状态的概率；多分类溺水模型可以用于预测人体处于各个疑似溺水状态的概率。其中，各个疑似溺水状态包括：静态溺水状态以及动态溺水状态。静态溺水状态可以指人体在单位时间内的移动距离较小并且姿态并且未处于直立状态；动态溺水状态可以指人体在单位时间内的进行了溺水挣扎动作并且频率较高。

作为一种可选的方案，人体关键点数据包括耳朵、眼睛、鼻子、脖子、肩膀、肘部、手腕、腰部、膝盖、脚踝；

第一损失函数及第二损失函数均为交叉熵损失函数。

作为一种可选的方案，报警装置通过光、声音以及震动的方式提醒救生员包括：

报警装置向智能手环发送报警信息，智能手环在接收到报警信息后产生震动并发出危险提示音；

其中，智能手环包括微处理器以及分别与其连接的心率传感器、水压传感器、GPS模块、无线通讯模块和地磁传感器，智能手环与后端中央控制单元通讯连接；

其中，智能手环佩戴在救生员的手腕上；和/或智能手环佩戴在游泳人员的手腕上。

作为一种可选的方案，报警装置通过光、声音以及震动的方式提醒救生员还包括：

报警装置向无线手持终端和控制模块及显示器发送报警信息，无线手持终端与后端中央控制单元通过第二5G无线通信模块连接；

在控制模块及显示器在接收到报警信息的情况下，以第一显示方式显示游泳池中溺水人员的追踪框，以第二显示方式显示游泳池中疑似溺水人员的追踪框，其中，第一显示方式以及第二显示方式均包括闪烁预设颜色的光。

在本申请的一些实施例中，预设颜色可以是任意一种或多种颜色，第一显示方式可以与第二显示方式相同或者不同。第一显示方式可以包括但不限于闪烁红光、放大；第二显示方式可以包括但不限于闪烁紫光、放大。

本申请提供的水下前端采集视频机可以采取多种安装方式，以用于不同场景。示例性地，安装方式可以是预埋式，也可以是壁挂式。其中，预埋式适用于新建游泳馆，安装效果美观、大气。壁挂式适用于已建成的游泳馆、温泉中心等。

作为一种可选的方案，水下前端采集视频机被安装在游泳池水面以下的池壁和/或池底上；

水下前端采集视频机包括水下摄像头、IP68防水密封仓以及预埋螺栓，水下摄像头内嵌第二图像处理单元，其中，第二图像处理单元用于对摄像头采集到的动态静态图像进行第二增强处理得到预处理增强图像，以及将预处理增强图像通过防水线缆传输到后端中央控制单元；水上全景视频机被安装在游泳池正上方位置。

在本申请的一些实施例中，第二增强处理可以包括但不限于灰度变换、直方图修正、图像平滑、图像锐化、高通滤波、低通滤波、同态滤波、伪彩色增强、假彩色增强以及真彩色增强。

在本申请的一些实施例中，水下影像采集识别系统包括的各视频机预埋螺栓的定位过程可以包括：在池壁轴上分别在中心点两侧测量出97毫米并标记好位置，此两点位置为防水密封仓预埋螺栓中心点位置。在定位好各视频机预埋螺栓的位置后，可以将各视频机安装到预埋螺栓上并固定好。

作为一种可选的方案，水下前端采集视频机可以由摄像机、防水仓以及法兰盘组成。基于此，水下影像采集识别系统的安装方式可以包括如下步骤：

S1，进行两根M8不锈钢螺杆安装的步骤；

S2，进行游泳池贴砖的步骤；

S3，将带摄像机的防水仓固定在螺杆上；

S4，将水上360°全景视频机安装在游泳池正上方位置。

在本申请的一些实施例中，进行两根M8不锈钢螺杆安装的步骤包括：将M8不锈钢螺杆在游泳池水平下800毫米至1600毫米之间间隔196毫米安装，其中不锈钢螺杆在磁砖表面尺寸为20毫米。

在游泳池贴完砖之后将带摄像机的防水仓固定在螺杆上。水上全景视频机是安装在游泳池正上方位置，其视角可以覆盖整个游泳池。这样的安装的优点包括：不破坏泳池池壁，不影响游泳池防水作业，无漏水现象；维修、维护、更换方便，无需放水即可作业，大大减少了场馆后期维护成本；摄像机安装呈直射状态，所采集图像直观感很强，图像不变形。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

需要说明的是，对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。