掌桥专利:专业的专利平台
掌桥专利
首页

一种基于抽象人体模型的预警方法及装置

文献发布时间:2024-04-18 20:01:55


一种基于抽象人体模型的预警方法及装置

技术领域

本申请涉及监控预警领域,尤其涉及一种基于抽象人体模型的预警方法及装置。

背景技术

随着社会的进步和生活水平的提高,人们的平均寿命有了显著的提高。然而,随着年龄的增长,突发疾病的概率也明显增加,这对于独居老人来说尤其需要关注。由于他们独自生活,没有亲属或看护者的日常陪伴,因此现阶段通常通过安装网络摄像头来更好地监控他们的生活。

但是,隐私对于每个人来说都是非常重要的,特别是对于老年人来说更是如此。随着年龄的增长,许多老年人会变得更加敏感和担忧,尤其是在家中的私人空间安装的网络摄像头,可能使他们感到自己的隐私被侵犯,降低了用户的使用体验。

申请内容

本申请提供一种基于抽象人体模型的预警方法及装置,用以克服上述问题或者至少部分地解决上述提到的由于在私人空间安装的网络摄像头,而使用户感到隐私被侵犯,进而降低用户体验的问题。

第一方面,本申请提供了一种基于抽象人体模型的预警方法,包括:

确定目标摄像头针对监控区域采集的图像数据;并利用距离传感器确定图像数据对应的深度信息;

基于预设的参考模型,在图像数据中确定目标用户的多个骨骼节点信息;

基于各骨骼节点信息和参考模型,确定目标用户对应的抽象人体模型;

通过深度信息和预设的位置转换关系,将抽象人体模型映射至监测区域对应的数字孪生空间,并确定抽象人体模型在数字孪生空间的运动状态;

当运动状态满足预设的异常条件时,生成预警信息。

第二方面,本申请提供了一种基于抽象人体模型的预警装置,包括:

深度信息确定模块,用于确定目标摄像头针对监控区域采集的图像数据;并利用距离传感器确定图像数据对应的深度信息;

骨骼节点信息确定模块,用于基于预设的参考模型,在图像数据中确定目标用户的多个骨骼节点信息;

抽象人体模型确定模块,用于基于各骨骼节点坐标和参考模型,确定目标用户对应的抽象人体模型;

运动状态确定模块,用于通过深度信息和预设的位置转换关系,将抽象人体模型映射至监测区域对应的数字孪生空间,并确定抽象人体模型在数字孪生空间的运动状态;

预警信息生成模块,用于当运动状态满足预设的异常条件时,生成预警信息。

第三方面,本申请提供了一种可读介质,包括执行指令,当电子设备的处理器执行所述执行指令时,所述电子设备执行如第一方面中任一所述的方法。

第四方面,本申请提供了一种电子设备,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如第一方面中任一所述的方法。

本申请实施例与现有技术相比存在的有益效果是:本申请提供了一种基于抽象人体模型的预警方法,通过确定目标摄像头针对监控区域采集的图像数据;并利用距离传感器确定图像数据对应的深度信息;基于预设的参考模型,在图像数据中确定目标用户的多个骨骼节点信息;基于各骨骼节点坐标和参考模型,确定目标用户对应的抽象人体模型;通过深度信息和预设的位置转换关系,将抽象人体模型映射至监测区域对应的数字孪生空间,并确定抽象人体模型在数字孪生空间的运动状态;当运动状态满足预设的异常条件时,生成预警信息。本申请实施例实现了利用抽象人体模型监测老年人的活动和姿势,在保证了监护的效率和准确性的同时,实现隐私保护,而不会侵犯老年人的隐私,提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于抽象人体模型的预警方法的流程示意图;

图2是本申请实施例提供的一种基于抽象人体模型的预警装置的结构示意图;

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

图1是本申请实施例提供的一种基于抽象人体模型的预警方法的流程示意图。如图1所示,该基于抽象人体模型的预警方法包括:

S101,确定目标摄像头针对监控区域采集的图像数据;并利用距离传感器确定图像数据对应的深度信息;

S102,基于预设的参考模型,在图像数据中确定目标用户的多个骨骼节点信息;

S103,基于各骨骼节点信息和参考模型,确定目标用户对应的抽象人体模型;

S104,通过深度信息和预设的位置转换关系,将抽象人体模型映射至监测区域对应的数字孪生空间,并确定抽象人体模型在数字孪生空间的运动状态;

S105,当运动状态满足预设的异常条件时,生成预警信息。

具体地,传统的通过网络摄像头监控老年人的方法通常涉及在老年人的居住区域内安装摄像头,以捕捉他们的日常活动。这种方法提供了一种有效的监护手段,让家庭成员、看护者或监护系统能够实时或随后查看视频流,以确保老年人的安全和健康。然而,这种方法伴随着一些不便利和问题。

但是,老年人可能感到这种监控方式侵犯了他们的隐私。摄像头捕捉他们的一切活动,包括私人时刻,这可能引发不适感和抵触情绪。这对于年龄较大或有健康问题的老年人来说尤其重要,因为他们更希望在家中保有一定的自由度和隐私。

例如,老人可能需要偶尔使用浴室、更衣或进行个人卫生,这些都是非常私人的活动。如果家中安装了传统监控摄像头,这位老人可能会感到自己的隐私受到侵犯,因为这些摄像头可能记录下他在浴室或更衣的活动,而这些是他希望保持私密的地方。

另外,监控老年人的目的通常不是为了实时掌握他们的每一刻的动态,主要是为了在可能发生活动异常或紧急情况时提供预警和帮助。这种预警系统的关键目标是保障老年人的安全和健康,而不是侵犯他们的隐私或监视他们的每个细节。

因此,考虑老年人的隐私和尊重他们的个人空间,可以通过将需要监控的用户进行抽象模型的方式来实现监护需求与隐私保护的平衡。这种方法不仅可以实现监测异常活动并提供预警,同时还能显著减少了隐私侵犯的风险。本实施例中,一种基于抽象人体模型的预警方法包括:

进一步地,监控区域用于监视和检测老年人活动的特定地理区域或空间范围。这个区域通常位于老年人的居住环境,例如他们的住宅、房间或特定的房间区域。监控区域明确了那些需要受到监视的地方,以确保老年人的安全和健康。

监控区域的大小和形状可以根据特定的监护需求和老年人的需求而有所不同。通常,这个区域会覆盖老年人的主要活动区域,如起居室、卧室、浴室等,以及可能存在潜在风险的地方,如走廊或楼梯。监控区域的设置是有针对性的,旨在捕捉可能发生异常活动的地点,如跌倒、长时间不活动或其他潜在紧急情况。

摄像头的选择应基于监控区域的特点,如大小、形状和需监控的位置。摄像头可以是标准的监控摄像头,也可以是特定用途的摄像头,例如景深摄像头以捕捉深度信息。选择摄像头的位置和角度需要考虑能够全面覆盖监控区域并捕捉到目标用户的活动。

当摄像头被安装和配置,它将开始采集监控区域的图像数据。这些数据可以以连续的视频流或定期的静态图像的形式捕获,具体取决于监控系统的设计和需求。摄像头记录监控区域中的所有活动,包括老年人的活动,为后续分析提供了关键数据。

深度信息是三维坐标数据,能够帮助确定物体的位置和距离,而不仅仅是二维图像信息。这些深度信息提供了更多关于监控区域中活动的信息,有助于后续步骤中的分析和抽象人体模型的构建。

深度信息可以通过不同的方式来确定,其中包括使用专门的距离传感器或景深摄像头自带的景深功能。距离传感器是专门设计用于测量物体到传感器的距离的设备。它们使用各种技术,如结构光、时间飞行或双目视觉,来获取深度信息。这些传感器提供了非常准确的深度信息,通常以像素或实际距离的形式表示。

某些摄像头具有景深功能,允许它们测量物体的距离。这些摄像头通常使用双摄像头或其他技术来捕获深度信息。摄像头自带的景深功能可以提供一定程度的深度信息,尤其适用于拍摄照片或视频时的特殊效果。然而,与专门的距离传感器相比,它们的精度可能较低,尤其在远距离或复杂场景下。

在监控老年人的情况下,选择使用哪种方式来确定深度信息通常取决于监控系统的具体需求和预算。专门的距离传感器通常提供更准确的深度数据,适合需要高精度的应用。但如果摄像头具备足够的景深功能,并且能够满足监控系统的要求,那么也可以选择使用它们,以降低成本和复杂性。

预设的参考模型通常是一个计算机生成的二维模型,代表了一个标准人体的二维骨骼结构,包括头部、肩膀、手肘、胯部、膝盖等关键的骨骼节点。这个二维模型主要考虑了骨骼结构在图像平面上的位置和相对关系。

骨骼节点信息是指在人体生物学结构中的特定关键点或部位,通常以数字坐标或其他表示方法表示,用于描述人体的姿势、运动和结构。这些节点是分布在人体各个部位的参考点,可以用于分析、识别和跟踪人体的动作、位置和状态。

当监控系统收集到图像数据后,它会使用计算机视觉和图像处理技术来识别和定位目标用户的二维骨骼节点信息。通过分析图像中的特征点,例如头部、手臂、腿等,系统可以确定它们在图像中的位置和相互关系。

这些骨骼节点信息对于监控老年人的活动非常关键。它们提供了详细的数据,有助于监控系统理解目标用户的姿势、活动和位置。这一步骤的结果将被用作后续步骤的输入,以构建抽象人体模型并检测异常情况,实现老年人的监护和安全保障。

将这些骨骼节点信息与预设的参考模型进行匹配。参考模型是一个已知的平面模板,描述了一个标准的人体骨骼结构,包括各个骨骼节点的位置和连接关系。通过将提取的目标用户的骨骼节点信息与参考模型进行比对,系统可以确定用户的骨骼节点如何与参考模型中的对应节点相关联,以及它们之间的关联。

一旦骨骼节点信息成功与参考模型匹配,系统可以创建目标用户的抽象人体模型。这个模型采用二维坐标的数学表示或数据结构来描述用户的身体结构,包括节点之间的连接、关节的位置和角度等信息。这个抽象模型代表了用户在平面上的身体姿势和结构。

抽象人体模型是一种用于描述人体运动状态的平面模型,通常使用二维坐标系统来表示。这个模型通常包括各个骨骼节点的位置,如头、手臂、腿等,可以通过x和y坐标来表示。

例如,可以通过构建的二维火柴人模型作为抽象人体模型。构建二维火柴人模型的第一步是使用视频或图像获取包含人体的身材数据。第二步可以使用姿态预测算法,检测每个图像帧中人体关键点的二维坐标信息。然后直接使用这些二维坐标信息即可绘制出火柴人的模型框架,方法是使用简单的线条将对应的关键点连接起来。这构成了一个二维抽象的火柴人模型。

这个模型可以用于表示用户的姿势和运动状态,尽管在二维平面上有限制。通过不断更新模型,系统可以跟踪用户的动态变化,以捕捉其运动状态,如行走、举手等。这种二维抽象人体模型提供了一种简单而高效的方法来理解和监测用户的动作和姿势,同时保护用户的隐私,因为它不需要直接显示用户的身体图像。

监测区域对应的数字孪生空间是一个虚拟环境,它被精确地映射到实际监测区域,以便更准确地模拟和反映该区域的物理环境和场景。数字孪生空间是通过创建一个虚拟的三维空间,与实际监测区域保持一一对应,以便在其中进行实时监测、分析和模拟。

数字孪生空间通常是一个计算机生成的虚拟环境,它的结构和特性尽可能地模仿实际监测区域,包括房间、建筑、设备和其他物体。该空间可能包括各种元素,如墙壁、地板、家具,以及监控摄像头和其他传感器的位置。

为了将二维的抽象人体模型映射至数字孪生空间,系统需要深度信息。深度信息提供了关于物体在三维空间中的距离和位置的数据。这通常通过距离传感器获得。

预设的位置转换关系是一组规则或方程,用于将二维坐标映射到三维空间。这些规则可以基于系统的摄像头配置、场景特性和深度传感器的性能来确定。位置转换关系将帮助系统将二维抽象人体模型中的节点坐标转换为三维坐标。在确定了三维坐标后,系统可以应用预设的位置转换关系,以将这个三维模型映射到孪生数字空间。

一旦深度信息和位置转换关系都确定后,系统就能够将抽象人体模型映射至数字孪生空间。数字孪生空间是一个虚拟环境,与实际监测区域相对应。在这个空间中,抽象模型的节点位置得以准确地重新定位,以反映用户在真实世界中的位置和运动。这个映射方式使得系统可以在该虚拟环境中进行监测、分析和模拟,以便系统更准确地确定用户的运动状态。

运动状态是指用户的身体动作和姿势的实时状态。在监测和分析系统中,这通常是指用户在特定时间点的身体位置、运动和活动。运动状态的监测通常包括用户的身体姿势,如坐、站、躺、弯曲、伸展等。还可以包括用户的运动活动,如行走、跑步、举手、摆动等。同时,用户的位置也是运动状态的一部分,这包括用户在监测区域中的实际位置坐标。监测系统可以跟踪用户的位置,以确定是否偏离了安全区域或出现异常位置。并且,时间信息对于监测运动状态也很关键,因为它可以用于检测用户的活动时间,例如,用户在一个特定时间段内是否一直保持不动或者是否活跃。

由于图像数据可以是静态的图片,也可以是连续的视频数据。所以当使用单张静态图片时,监测的主要对象通常是用户的当前姿势或位置。通过分析图像中的人体特征和骨骼节点,可以确定用户在该瞬间的姿势和位置。当图像数据是视频数据时,监测系统能够捕捉到用户的动态运动状态。在视频监测中,监测系统可以跟踪用户的动作、活动和姿势随时间的变化,以实时分析用户的行为和位置。

监测系统需要明确定义和设定预设的异常条件。这些条件可以根据具体应用场景和监测目标而有所不同。异常条件通常包括用户可能处于危险的姿势、运动违反了某些安全标准,或者用户需要医疗援助等情况。这些条件可能是单一条件或多个因素的组合,如姿势、运动、时间、位置等。

例如,异常条件可以包括当监测系统检测到用户跌倒时触发预警,这可能包括特定的身体姿势和运动模式,表明用户可能受伤。也可以当老年人在特定时间段内几乎没有动作时触发预警,以防止他们可能需要帮助。或是,老年人离开他们的居住区域,也可以触发异常条件,以通知护理人员。

当监测到用户的运动状态满足事先定义的异常条件时,系统将生成预警信息。这通常包括通过各种通信方式发送通知,如警报声音、手机短信、电子邮件、应用程序通知等。预警信息将被发送给相关的操作员、护理人员、家庭成员或应急服务,以便他们能够采取适当的措施来处理异常情况。

除了生成预警信息,系统还可以实施相应的响应措施。可能包括指导用户采取安全措施,发送急救请求,或者触发自动化系统来帮助用户,具体措施会根据监测系统的目标和功能而定。

通过以上技术方案可知,本实施例存在的有益效果是:确定目标摄像头针对监控区域采集的图像数据;并利用距离传感器确定图像数据对应的深度信息;基于预设的参考模型,在图像数据中确定目标用户的多个骨骼节点信息;基于各骨骼节点坐标和参考模型,确定目标用户对应的抽象人体模型;通过深度信息和预设的位置转换关系,将抽象人体模型映射至监测区域对应的数字孪生空间,并确定抽象人体模型在数字孪生空间的运动状态;当运动状态满足预设的异常条件时,生成预警信息。本实施例实现了利用抽象人体模型监测老年人的活动和姿势,在保证了监护的效率和准确性的同时,实现隐私保护,而不会侵犯老年人的隐私,提高了用户体验。

在一些实施例中,还包括:基于预设的人体关键部分,确定参考节点;并确定各参考节点对应的第一节点标识;基于人体结构信息确定各第一节点标识之间的逻辑连接方式;基于参考节点、第一节点标识和逻辑连接方式确定参考模型。

具体地,人体关键部分通常指的是人体结构中的重要组成部分,通常包括身体的主要部位和器官,这些部位在不同的监测和分析任务中特别重要,因为它们包含了关于人体姿态、动作等关键信息。

人体关键部分的选择和定义将取决于具体的监测任务和应用领域。通常包括头、颈、膝盖、手肘、胯部等部分。这些部分通常被用作参考节点,以帮助系统理解用户的姿态、动作等。它们在监测和分析用户的运动状态、健康状况以及执行特定任务时都起着重要的作用。

第一节点标识是用于标识参考节点的唯一标记或标识符。在监测系统中,这些标识符用于区分不同的参考节点,以确保每个节点都可以被准确地识别和追踪。每个参考节点都会分配一个特定的第一节点标识,使系统能够识别它们的身份。

进一步地,人体结构信息用于描述人体骨骼和关节之间的关系、位置、连接方式和运动范围。然后根据人体骨骼和关节的实际连接结构,确定这些第一节点标识之间的逻辑连接关系

逻辑连接方式反映了人体骨骼之间的生物学联系,表达了各参考节点之间的抽象连接关系。它基于人体的实际生物结构来确定,反映骨骼之间的连接顺序和关节约束条件。按照人体骨骼的自然生长方向确定第一节点标识的连接顺序,如头连接颈部,颈部连接躯干等。

将带有唯一标识的各参考节点按照连接逻辑进行连接,连接成从头部、颈部、躯干到四肢的整体节点结构,作为最终的人体骨骼参考模型。这个模型通常采用图形、树状结构或其他合适的数据表示方式,以描述参考节点、第一节点标识以及它们之间的逻辑连接方式。参考模型是监测系统的基础,它帮助系统理解人体结构中各部位之间的连接和协同作用,从而准确分析和追踪用户的运动状态。

在一些实施例中,基于预设的参考模型,在图像数据中确定目标用户的多个骨骼节点信息包括:利用图像识别技术,在图像数据中确定目标用户的身材数据;将身材数据和参考节点相匹配,以确定目标用户的骨骼节点对应的第二节点标识;确定骨骼节点在图像数据的当前图像中的二位像素坐标作为骨骼节点坐标;根据第二节点标识和骨骼节点坐标,确定骨骼节点信息。

具体地,人体的形态和结构在不同的人之间是相似的。通过使用参考模型,可以在不同用户之间建立一致的骨骼结构标定。这意味着系统可以更容易地识别和追踪不同用户的骨骼节点,而不需要在每个用户上进行独立的训练或标定。

使用预设的参考模型可以加速骨骼节点信息的提取。相较于完全从头开始的分析,参考模型提供了一个已知的框架,可以快速匹配到图像数据中,从而实现实时监测。

参考模型提供了关于骨骼节点的预期位置和连接方式的信息。这有助于提高骨骼节点信息的准确性,因为它们基于人体解剖学的知识建立,而不是完全依赖于图像识别技术。这可以减少误差和提高监测的精确度。

进一步地,使用图像识别技术来识别和提取图像中的目标用户的身材数据。这可以包括身高、体重分布、身体比例和轮廓等方面的信息。图像识别技术可以分析图像中的特征、形状和纹理,以生成这些身材数据。这是基础信息,有助于了解目标用户的整体身体结构。

一旦确定身材数据,下一步是将这些数据与预设的参考模型相匹配。这个匹配过程有助于确定哪些身体特征和形状对应于参考模型中的骨骼节点。例如,特定的身高和肢体比例可以帮助确定躯干和四肢的骨骼节点位置。

第二节点标识是在监测系统中用于标识和跟踪用户骨骼节点的标志或标识符。这些标识是根据提取的身材数据与第一节点标识相匹配后确定的。第二节点标识用于将身材数据中的身体特征或身体部位与参考模型中的骨骼节点相关联。它们是基于身材数据的,以确定哪些身体特征对应于哪些节点。

通过将第一节点标识与第二节点标识关联,监测系统能够在实时监测和分析中准确地识别和跟踪用户的骨骼节点,实现精确的姿态分析和运动监测。这种关系有助于系统更好地理解和解释用户的身体结构和动作。

当第二节点标识确定,系统可以将这些骨骼节点的位置映射到当前图像中的像素坐标。这是通过检测图像中的身体特征和形状来实现的,以确定骨骼节点在当前图像中的位置。这些二维像素坐标表示了节点在当前图像中的具体位置。

通过将第二节点标识与骨骼节点的像素坐标相结合,系统可以确定每个骨骼节点的信息。这包括节点的位置、关联关系以及节点在图像中的具体表现。这些节点信息可以作为后续的骨骼模型构建和运动分析的基础。

总的来说,这个过程结合了图像识别技术和参考模型,以从图像数据中提取目标用户的身材数据和骨骼节点信息。这提供了系统所需的数据,用于构建抽象人体模型和实现精确的监测和预警功能。

在一些实施例中,基于各骨骼节点信息和参考模型,确定目标用户对应的抽象人体模型包括:根据逻辑链接方式将各节点坐标连接,以得到目标用户对应的抽象人体模型。

具体地,抽象人体模型提供了对用户的姿态和动作的抽象表示。通过理解用户的身体结构和骨骼节点之间的关系,系统能够准确分析用户的动作和姿态。在监控系统中,抽象人体模型可以帮助监测异常行为或危险情况。通过了解用户的姿态,系统可以检测到不寻常的姿势或运动,从而触发警报或采取适当的行动。这在安全监控和老年人护理方面特别有用。

逻辑链接方式是用于将各个骨骼节点坐标相互连接的规则和方式。这些规则根据参考模型中的定义和人体解剖学知识确定。它们规定了如何将骨骼节点坐标连接,以构建抽象人体模型。例如,逻辑链接方式可以规定肘部节点连接到手腕节点。逻辑链接方式指导了如何将各骨骼节点的坐标相互连接,以构建抽象的人体模型。这些逻辑连接方式是根据参考模型中的定义和人体解剖学知识来确定的。

进一步地,由于节点坐标中包括了第二节点标识,而逻辑链接方式包括了第一节点标识。根据第一节点标识、第二节点标识和逻辑连接方式,连接节点坐标,以构建抽象人体模型。这个模型将代表用户的身体结构和姿态,有助于系统更好地理解和分析用户的动作。

通过遵循逻辑链接方式,系统将各个骨骼节点的坐标连接在一起,形成了一个抽象的人体模型。这个模型可以被视为一个简化的、几何形状的表示,代表了用户的整体姿态和身体结构。这个抽象模型是系统用于分析和追踪用户动作的基础。

例如,抽象人体模型可以类比为火柴人,用于说明人体结构的简化表示。火柴人是一个由短线段和小圆点组成的图形,用来表示人的头、躯干、四肢和关节。这个抽象的火柴人模型并不包含详细的外貌特征或细节,但它足以表示人体的基本结构和姿势。火柴人可以根据其关节连接来表示不同的动作和姿势,例如举手、跑步、弯腰等。这种抽象表示对于快速理解和可视化人体动作非常有用。

在一些实施例中,还包括:在图像数据中确定至少三个非共线的参考特征点;基于深度信息确定参考特征点对应的三维空间坐标;在数字孪生空间确定参考特征点对应的数字特征点;并确定数字特征点在数字孪生空间对应的数字坐标系下的数字空间坐标;计算各三维空间坐标和对应的各数字空间坐标同时重叠时所需的旋转矩阵和平移矩阵;根据旋转矩阵和平移矩阵确定位置转换关系。

具体地,位置转换关系描述了如何将抽象人体模型从一个坐标系映射到另一个坐标系,确保数据的一致性。通过建立一个空间坐标系,以便将图像数据中的抽象人体模型映射到数字孪生空间中。可以使用静态物体作为参考特征点,可以确保在不同时间点和场景下都具有一致的坐标系,以进行可靠的数据分析和比较。

参考特征点是在图像或监控场景中明确定位并被用作参考的特定点或标志物。这些特征点通常被用来建立坐标系、进行跟踪、测量物体位置或执行其他相关任务。参考特征点的选择通常取决于应用的需求和场景的特性。它们通常应该是容易识别、不容易受到环境变化的影响,并且能够提供必要的信息,以便进行进一步的分析或测量。

进一步地,需要在监控图像中确定至少三个参考特征点,这些特征点通常可以是图像中的显著物体或标记点。这些点应该被选择为非共线,以确保在三维空间中能够构建准确的坐标系。

利用深度信息,可以计算出这些参考特征点在三维空间中的坐标。深度信息提供了有关这些点距离观察者或传感器的距离,从而构建了三维坐标系统。

在数字孪生空间中,需要确定这些参考特征点对应的数字特征点。这些数字特征点通常是数字孪生模型的一部分,用于表示不同部位。确定数字特征点在数字孪生空间中的数字坐标系下的坐标。这确保了数字特征点与数字模型的坐标系一致。

为了将图像数据映射到数字孪生空间,需要计算出旋转矩阵和平移矩阵,这些矩阵描述了如何将坐标从一个坐标系转换到另一个坐标系。这些矩阵的计算通常涉及到线性代数和几何变换。

根据计算出的旋转矩阵和平移矩阵,确定位置转换关系。这个关系描述了如何将抽象人体模型从图像数据映射到数字孪生空间中,以进行进一步的分析和应用。

在一些实施例中,通过深度信息和预设的位置转换关系,将抽象人体模型映射至监测区域对应的数字孪生空间包括:确定抽象人体模型对应的二维模型坐标;根据二维模型坐标和深度信息,确定抽象人体模型对应的三维模型坐标;根据三维模型坐标和位置转换关系,将抽象人体模型映射至数字孪生空间。

具体地,数字孪生空间提供了一个虚拟环境,其中可以进行更广泛的分析和应用。将抽象人体模型映射到数字孪生空间确保了模型在不同环境中的一致性,使得在数字环境中的分析和实验更可靠。将抽象人体模型映射到数字空间中允许进行更准确的姿态估计和运动追踪。

首先,需要确定抽象人体模型在监测图像中的二维坐标。这是在图像平面上的坐标,通常使用像素坐标表示。这些坐标描述了模型在监测图像中的位置。通过将二维模型坐标与深度信息相结合,可以计算出抽象人体模型在三维空间中的坐标。深度信息提供了有关模型与观察者或传感器之间的距离,从而将模型从平面映射到三维。

使用之前计算的位置转换关系,可以将抽象人体模型从监测图像的三维坐标映射到数字孪生空间中。这确保了模型在不同坐标系之间的一致性,从而可以进行进一步的分析和应用。

总之,这个过程的目的是将模型从二维图像数据映射到数字孪生空间中的三维坐标,以便进行更多的分析、姿态估计、运动追踪等任务。这一步骤确保了从实际场景的图像数据到数字孪生空间的数据映射是可行和准确的。

在一些实施例中,图像数据为视频数据中的图像帧,则确定抽象人体模型在数字孪生空间的运动状态包括:根据权利要求1-6任一的方法,监测各图像帧中的目标用户的人体姿态;当图像帧中的人体姿态满足预设的参考姿态时,根据参考姿态确定抽象人体模型在数字孪生空间的运动状态;根据连续图像帧中的人体姿态确定人体动作;当人体动作满足预设的动作模式时,根据动作模式确定抽象人体模型在数字孪生空间的运动状态。

具体地,图像帧是指视频数据中的一个单一图像,它是连续视频流的一部分。这些图像帧通常以固定的时间间隔捕捉,通常以每秒帧数(如30帧/秒)来衡量。每个图像帧都包含有关瞬间的视觉信息,可以用于分析和理解视频中的场景、对象和动作。

视频数据是一系列连续的图像帧,能够捕获目标用户的实时动态。这种连续性允许系统实时跟踪用户的姿态和动作,以获取更全面的信息。通过分析视频数据中的连续图像帧,可以生成用户的运动轨迹,包括速度、方向和变化。

除了连续的图像帧,同样可以根据单帧图像中的目标用户的姿态来确定运动状态,尤其是在那些对实时性要求不高、静态分析足以满足需求的情况下。当监测的场景相对静态,用户的动作相对缓慢或有限时,使用单帧图像分析可能足够了。例如,在监测室内的老年人时,他们的动作可能不太频繁,单帧图像分析可以提供有用的信息。

进一步地,首要任务是在每个图像帧中检测、跟踪和识别目标用户的人体姿态。这可能包括检测关键的人体关键点,例如头、手、肩膀、臀部等,以及骨骼节点的位置。

在系统中,预设的参考姿态是事先定义的姿势,可能代表正常、安全或期望的姿势。这些姿势可以根据具体应用的需要来定义。例如,对于监测老年人的身体姿态,一个参考姿态可以是坐在椅子上的正确姿势。

系统将图像帧中检测到的人体姿态与预设的参考姿态进行比较。这可以涉及计算姿态之间的相似性度量,如欧氏距离、角度差异等。如果当前姿态与参考姿态匹配度足够高,系统认为当前姿态是合适的。

一旦图像帧中的人体姿态满足预设的参考姿态,系统可以根据此信息确定抽象人体模型在数字孪生空间的运动状态。这意味着系统认为用户的运动状态是正常和与参考姿态匹配的。

或者,系统可以连续分析来自摄像头的图像帧,以检测和跟踪目标用户的人体姿态。这可能包括关键的人体关键点的检测,例如手、头、脚、肘、膝等,以便了解姿态的变化。通过比较连续图像帧中的人体姿态,系统可以捕捉用户的运动和动作。这可以用于检测用户是否在行走、举手、弯曲、跳跃等动作。

在系统中,预设的动作模式是根据特定应用需求预先定义的一系列人体动作,可以代表某种活动或状态。这些动作模式的定义可以根据具体情况进行调整。例如,定义一个特殊的动作模式,以监测老年人是否发生跌倒事件。如果系统检测到与跌倒相关的动作,它可以立即生成警报或通知亲属或护理人员。

系统将从连续图像帧中检测到的人体动作与预设的动作模式进行比较。这可以涉及到对动作的特征、序列或姿态的匹配度的计算。如果检测到的动作与预设的动作模式匹配度足够高,系统认为用户正在执行特定动作。

一旦检测到的人体动作满足预设的动作模式,系统可以确定抽象人体模型在数字孪生空间中的运动状态。这意味着系统认为用户的运动是与预设的动作模式相匹配的。

上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

图2是本申请实施例提供的一种基于抽象人体模型的预警装置的结构示意图。如图2所示,该基于抽象人体模型的预警装置包括:

深度信息确定模块201,用于确定目标摄像头针对监控区域采集的图像数据;并利用距离传感器确定图像数据对应的深度信息;

骨骼节点信息确定模块202,用于基于预设的参考模型,在图像数据中确定目标用户的多个骨骼节点信息;

抽象人体模型确定模块203,用于基于各骨骼节点坐标和参考模型,确定目标用户对应的抽象人体模型;

运动状态确定模块204,用于通过深度信息和预设的位置转换关系,将抽象人体模型映射至监测区域对应的数字孪生空间,并确定抽象人体模型在数字孪生空间的运动状态;

预警信息生成模块205,用于当运动状态满足预设的异常条件时,生成预警信息。

在一些实施例中,图2中的骨骼节点信息确定模块202利用图像识别技术,在图像数据中确定目标用户的身材数据;将身材数据和参考节点相匹配,以确定目标用户的骨骼节点对应的第二节点标识;确定骨骼节点在图像数据的当前图像中的二位像素坐标作为骨骼节点坐标;根据第二节点标识和骨骼节点坐标,确定骨骼节点信息。

在一些实施例中,图2中的抽象人体模型确定模块203根据逻辑链接方式将各节点坐标连接,以得到目标用户对应的抽象人体模型。

在一些实施例中,图2中的运动状态确定模块204确定抽象人体模型对应的二维模型坐标;根据二维模型坐标和深度信息,确定抽象人体模型对应的三维模型坐标;根据三维模型坐标和位置转换关系,将抽象人体模型映射至数字孪生空间。

在一些实施例中,图2中的运动状态确定模块204监测各图像帧中的目标用户的人体姿态;当图像帧中的人体姿态满足预设的参考姿态时,根据参考姿态确定抽象人体模型在数字孪生空间的运动状态;根据连续图像帧中的人体姿态确定人体动作;当人体动作满足预设的动作模式时,根据动作模式确定抽象人体模型在数字孪生空间的运动状态。

图3是本申请实施例提供的一种电子设备的结构示意图。在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

存储器,用于存放执行指令。具体地,执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器,并向处理器提供执行指令和数据。

在一种可能实现的方式中,处理器从非易失性存储器中读取对应的执行指令到内存中然后运行,也可从其它设备上获取相应的执行指令,以在逻辑层面上形成一种基于抽象人体模型的预警装置。处理器执行存储器所存放的执行指令,以通过执行的执行指令实现本申请任一实施例中提供的一种基于抽象人体模型的预警方法。

上述如本申请图2所示实施例提供的一种基于抽象人体模型的预警装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。

本申请实施例还提出了一种可读介质,该可读存储介质存储有执行指令,存储的执行指令被电子设备的处理器执行时,能够使该电子设备执行本申请任一实施例中提供的一种基于抽象人体模型的预警方法,并具体用于执行如图1所示的方法。

前述各个实施例中的电子设备可以为计算机。

本领域内的技术人员应明白,本申请的实施例可提供为方法或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例,或软件和硬件相结合的形式。

本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

技术分类

06120116575938