监控大屏内容的抓取方法

技术领域

本发明涉及视频矩阵技术领域，尤其涉及一种监控大屏内容的抓取方法。

背景技术

视频内容抓取是一种涉及提取、存储和处理视频数据的关键技术，通常用于从各种来源，如网络流媒体、监控摄像头或存储设备，获取视频信息。这项技术在多个领域发挥作用，包括媒体监测、安全监控、教育、医疗影像处理等。它涉及图像处理、数据压缩、网络通信和机器学习等领域，以满足各确保高质量的视频数据抓取、传输和分析各种应用场景的需求。随着互联网和数字化技术的不断发展，视频内容抓取技术变得越来越重要，为多样化的视频数据提供了有效的获取和管理方式。

中国专利公开号：CN113452963A公开了一种监控大屏内容的抓取和远程恢复系统，包括监控中心上的拼接屏以及远端显示器，还包括用来接收和处理所述拼接屏上大屏控制器中每个屏幕信号的视频检测处理模块，所述视频检测处理模块与所述拼接屏中每个屏幕是一一对应关系，每个所述视频检测处理模块均连接有视频交叉模块，所述视频交叉模块连接有控制模块，所述控制模块连接有云端，所述远端显示器通过解码恢复模块对所述云端中信息进行解码和恢复，所述远端显示器对拼接屏显示内容的1∶1恢复。该发明在监控拼接屏内容抓取和恢复系统具备屏幕信号拼接检测和同步编码的功能，在不影响清晰度的情况下，可以将传送码流的带宽极大降低，同时对拼接显示的信号恢复后同步性更好。由此可见，该发明未考虑现有技术中抓取信息时间长，抓取信息不准确的问题。

发明内容

为此，本发明提供一种监控大屏内容的抓取方法，用以克服现有技术中抓取信息时间长，抓取信息不准确的问题。

为实现上述目的，一方面，本发明提供一种监控大屏内容的抓取方法，包括以下步骤：

步骤S1，将所述监视大屏显示内容划分成若干区域画面并对各所述区域画面进行位置确定和编号设定；

步骤S2，使用图像识别技术同时对各所述区域画面进行扫描以确定目标对象所在的疑似区域的位置信息，并且，根据所述疑似区域的位置信息确定目标对象所在的特定区域；

步骤S3，根据所述特定区域的位置信息捕捉所述目标对象的图像，并提取图像对应的相关特征信息，其中，所述特征信息包括颜色、形状和纹理；

步骤S4，对提取的所述特征信息和预定义的目标对象进行处理和匹配，以比对验证所述目标对象是否正确；

步骤S5，若所述目标对象的特征信息匹配成功，则分析设定时间内的视频以形成所述目标对象的初步行为信息和实际行为信息；

步骤S6，根据所述实际行为信息预判所述目标对象的行动轨迹。

进一步地，步骤S1中各所述区域画面的面积相等。

进一步地，根据监视大屏的像素数、各所述区域画面的平均像素数、区域分割系数和监视大屏的面积确定所述区域画面的面积s，所述区域画面的面积由以下公式表示：

s＝S×(p/P)×k,

其中，P为监视大屏的像素数，p为各所述区域画面的平均像素数，k为区域分割系数，S为监视大屏的面积。

进一步地，在步骤S2中包括：

步骤S21，根据所述疑似区域的位置信息确定各所述疑似区域是否相连；

若所述疑似区域相连则将相连的各疑似区域整合为一个整体的疑似区域。

进一步地，在步骤S2中还包括：

步骤S22，根据各所述疑似区域是否包括完整的目标对象确定所述疑似区域是否为特定区域；

若各疑似区域不包括完整的目标对象，则检测与该疑似区域相连的各区域画面以使所述特定区域包括完整的目标对象。

进一步地，在步骤S5中，根据目标对象在设定时间内的视频分析其行为以形成该目标的若干初步行为信息，并根据目标对象的初步行为信息以及预设时间节点目标对象的位置形成该目标的实际行为信息。

进一步地，在步骤S4中，预定义目标对象的所述特征信息的阈值以及匹配优先级，并根据所述相关特征信息的关系与预定义目标对象的所述特征信息的关系进行比对确定所述目标对象的正确级别。

进一步地，在步骤S4中，所述特征信息的阈值包括特征信息同时存在的数量、特征信息间的相连关系或排斥关系和特征信息的权重。

进一步地，在所述步骤S4中使用机器学习和深度学习算法训练和优化目标对象的识别和特征提取模型。

进一步地，抓取方法具备自动化和编程接口，以便通过编程方式控制和管理监控大屏内容的抓取，以满足自动化集成和自定义需求。

与现有技术相比，本发明的有益效果在于，本发明提供的抓取方法具有高效的自动化抓取和准确的目标定位和提取，提高了特征匹配的准确性，以及对目标对象的行为分析和轨迹预测的能力，从而提高监控系统的效能和可靠性，提升安全性和保护措施。

进一步地，步骤S1中根据监控大屏的尺寸将显示内容划分成区域画面并进行位置确定和编号设定。这使得整个抓取过程可以自动化和标准化，无需手动干预，提高了效率和准确性。

进一步地，步骤S2使用图像识别技术对各区域画面进行扫描，确定目标对象所在的疑似区域位置信息，并根据该信息确定目标对象所在的特定区域。这使得可以准确地定位和提取目标对象，减少了误判和漏判的风险。

进一步地，步骤S3和步骤S4使用提取的特征信息与预定义的目标对象进行处理和匹配，以比对验证目标对象的准确性，有助于减少误识别，并提高系统的准确性和可靠性。

进一步地，通过分析目标对象一段时间内的视频，步骤S5形成目标对象的初步行为信息和实际行为信息。步骤S6根据实际行为信息预判目标对象的行动轨迹。这提供了对目标对象行为的深入理解和预测，有助于更好地监控和应对潜在风险。

附图说明

图1为本发明实施例监控大屏内容的抓取方法的流程图；

图2为本发明实施例监控大屏内容划分区域画面的第一方法；

图3为本发明实施例监控大屏内容划分区域画面的第二方法；

图4为本发明实施例监控大屏中疑似区域的确定结果。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，其为本发明实施例监控大屏内容的抓取方法的流程图。本发明实施例提供一种监控大屏内容的抓取方法，包括以下步骤：

步骤S1，将所述监视大屏显示内容划分成若干区域画面并对各所述区域画面进行位置确定和编号设定；

步骤S2，使用图像识别技术同时对各所述区域画面进行扫描以确定目标对象所在的疑似区域的位置信息，并且，根据所述疑似区域的位置信息确定目标对象所在的特定区域；

步骤S3，根据所述特定区域的位置信息捕捉所述目标对象的图像，并提取图像对应的相关特征信息，其中，所述特征信息包括颜色、形状和纹理；

步骤S4，对提取的所述特征信息和预定义的目标对象进行处理和匹配，以比对和验证所述目标对象是否正确；

步骤S5，若所述目标对象的特征信息匹配成功，则分析设定时间内的视频以形成所述目标对象的初步行为信息和实际行为信息；

步骤S6，根据所述实际行为信息预判所述目标对象的行动轨迹。

具体而言，步骤S1中各所述区域画面的面积相等。

具体而言，根据监视大屏的像素数、各所述区域画面的平均像素数、区域分割系数和监视大屏的面积确定所述区域画面的面积s，所述区域画面的面积由以下公式表示：

s＝S×(p/P)×k,

其中，P为监视大屏的像素数，p为各所述区域画面的平均像素数，k为区域分割系数，S为监视大屏的面积。

可以理解的是，区域分割系数k由分割监视大屏的方式和布局决定，用于控制分割的精度的常数，它表示了监视大屏被分成多少个区域，以及每个区域的大小与监视大屏整体大小之间的比例关系。

在实施中，假设一个监视大屏的像素数P为1920x1080(1920像素宽，1080像素高)，监视大屏的面积S为20平方米，各区域画面的平均像素数p为640x480，并且设定的区域分割系数k＝0.1；

则根据公式可知各区域画面的面积约为0.3平方米，则需要分成66个区域，此外还剩下一个面积为0.2平方米的区域；

请参阅图2所示，其为本发明实施例监控大屏内容划分区域画面的第一方法。即在切割区域时先在大屏的四边去除0.2平方米的区域1，然后将监控大屏的中间部分分成66个相等区域，每个区域的面积均为0.3。

请参阅图3所示，其为本发明实施例监控大屏内容划分区域画面的第二方法。在实施中，若根据公式计算各区域画面的相等时刚好划分为整数个区域，则直接将监控大屏划分成对应面积的区域个数。

具体而言，在所述步骤S2中包括：

步骤S21，根据所述疑似区域的位置信息确定各所述疑似区域是否相连；

若所述疑似区域相连则将相连的各疑似区域整合为一个整体的疑似区域。

请参阅图3和图4所示，其分别为本发明实施例监控大屏内容划分区域画面的第二方法和本发明实施例监控大屏中疑似区域的确定结果。

可以理解的是，图3中的疑似区域2和疑似区域3相连则将其看作一个整体的疑似区域，疑似区域4和疑似区域5相连则也将其看作一个整体的疑似区域，通过对相连的区域合并将五个疑似区域合并为3个疑似区域，分别为疑似区域23、疑似区域45，以及疑似区域6。

具体而言，在所述步骤S2中还包括：

步骤S22，根据各疑似区域是否包括完整的目标对象确定该疑似区域是否为特定区域；

若各疑似区域不包括完整的目标对象，则检测与该疑似区域相连的各区域画面以确定所述特定区域包括完整的目标对象；

其中，相连的疑似区域包括两区域画面通过顶点相连和两区域画面通过边相连。

可以理解的是，扫描疑似区域23、疑似区域45和疑似区域6，通过扫描结果判断是否包含有完整的目标对象，若包含有完整的目标对象则继续下一步，若不包含有完整的目标对象则对与不包含完整目标对象的疑似区域相连的所有区域进行扫描，以将目标对象所在的各区域划分为整体疑似区域。

在实施中，如在监控中寻找一个戴眼镜的人，在将监控大屏划分为若干区域后在各区域中搜索戴眼镜的眼睛，将包含戴眼镜的眼睛所在的区域设定为疑似区域，先判断这些区域是否相连并将相连的区域当成一个疑似区域；然后扫描各个疑似区域看看这个区域是不是包含一个完整的戴眼镜的人，如果不是一个完整的人就扫描周围与该区域连接的区域将包含戴眼镜的人的区域完整拼成一个特定区域。

具体而言，在所述步骤S5中，根据目标对象在设定时间内的视频分析其行为以形成该目标的若干初步行为信息，并根据目标对象的初步行为信息以及预设时间节点目标对象的位置形成该目标的实际行为信息。

可以理解的是，要追踪这个戴眼镜的人，先分析这个人在设定时间t＝5min内的视频形成若干此人的可能行动路线，然后在预设时间节点如每2min此人的位置通过逐一排除错误的行动路线确定此人的实际行为信息。

具体而言，在步骤S4中，预定义目标对象的所述特征信息的阈值以及匹配优先级，并根据所述相关特征信息的关系与预定义目标对象的所述特征信息的关系进行比对确定所述目标对象的正确级别。

可以理解的是，预假设有一个监控系统，需要识别人员，首先预定义了以下人员特征信息：

戴眼镜

身高：平均身高为175±10厘米。

年龄：年龄在25至40岁之间。

性别：男性。

穿着：蓝色制服。

头发颜色：阈值为黑色或棕色。

为了确定目标对象的正确级别，为每个特征信息分配优先级，本例假设优先级如下：

戴眼镜-最高优先级

身高-高优先级

年龄-高优先级

性别-中优先级

穿着-低优先级

头发颜色-低优先级

系统通过戴眼镜确定特定区域后，从特定区域中提取目标对象的特征信息，并与预定义的特征信息进行比对。比对过程如下：

身高比对：提取目标对象的身高信息，并与平均身高175厘米进行比对。如果在±10厘米内，则为高优先级匹配。

年龄比对：提取目标对象的年龄信息，并与25至40岁之间的范围比对。如果在范围内，则为高优先级匹配。

性别比对：提取目标对象的性别信息，如果是男性则为中优先级匹配。

穿着比对：提取目标对象的穿着信息，如果穿着蓝色制服则为低优先级匹配。

头发颜色比对：提取目标对象的头发颜色信息，如果为黑色或棕色则为低优先级匹配。

最后，系统将不同特征信息的匹配级别组合起来，根据优先级确定目标对象的最终级别。例如，如果身高和年龄都是高优先级匹配，而其他特征是低优先级匹配，那么目标对象将被确定为高级别匹配，表示匹配度较高。

具体而言，在步骤S4中，所述特征信息的阈值包括特征信息同时存在的数量、特征信息间的相连关系或排斥关系和特征信息的权重。

可以理解的是，若在特定区域内的特征信息同时存在的数量越多的则阈值越小，阈值越小则表示与目标对象匹配度更高；根据优先级别来确定特征信息的权重，优先级别越高权重越高，则阈值越小。

具体而言，在所述步骤S4中使用机器学习和深度学习算法训练和优化目标对象的识别和特征提取模型。

在实施中，首先收集包含目标对象的数据集。数据集应该包括各种场景、不同角度、光照条件和遮挡情况下的目标对象图像。每个图像应该被标记，指明包含的特征信息(例如：身高、年龄、性别、穿着、头发颜色等)；其次对图像数据进行预处理，包括图像归一化、res ize、数据增强(以增加数据多样性)、标签编码等操作，以便于输入到机器学习或深度学习模型中；然后选择适合目标对象识别的深度学习模型，例如卷积神经网络、已有的经典模型如VGG、ResNet，或者根据需求设计自定义模型；构建选择的深度学习模型，并将预处理后的数据输入到模型中进行训练。在训练过程中，使用合适的损失函数(例如交叉熵损失函数)和优化算法(例如Adam优化器)来最小化预测值和真实标签的差距。最后使用验证集对模型进行评估，根据评估结果调整模型结构、超参数或者数据预处理策略，以提高模型性能，还可以使用交叉验证更准确地评估模型。

具体而言，抓取方法具备自动化和编程接口，以便通过编程方式控制和管理监控大屏内容的抓取，以满足自动化集成和自定义需求。

可以理解的是，当模型训练和优化完成后，可以将其部署到生产环境中，用于实际目标对象的识别和特征提取任务。部署可以是将模型嵌入到移动应用、嵌入式系统中，或者通过网络API提供服务简化抓取过程的自动化和集成。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。