一种跌倒事件检测方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种跌倒事件检测方法、装置、设备及存储介质。

背景技术

在对用户进行跌倒检测时，传统的方式是由用户佩戴可穿戴设备，根据可穿戴设备上报的数据，确定用户是否跌倒。不仅给用户带来不便，而且可穿戴设备的灵敏度较低，影响检测结果的准确性。

申请内容

本申请实施例提供一种跌倒事件检测方法、装置、设备及存储介质，可以提高检测结果的准确性。

第一方面，本申请实施例提供了一种跌倒事件检测方法，应用于电子设备，电子设备与无线感知设备连接，所述方法包括：

获取预设区域内的图像序列和信道状态信息CSI数据，图像序列包括多个图像；

将与图像对应的CSI数据映射到图像的三维空间数据中，得到映射数据；

根据映射数据，进行跌倒事件检测。

第二方面，本申请实施例提供了一种跌倒事件检测装置，应用于电子设备，电子设备与无线感知设备连接，所述装置包括：

获取模块，用于获取预设区域内的图像序列和信道状态信息CSI数据，图像序列包括多个图像；

映射模块，用于将与图像对应的CSI数据映射到图像的三维空间数据中，得到映射数据；

检测模块，用于根据映射数据，进行跌倒事件检测。

第三方面，本申请实施例提供了一种电子设备，包括：

摄像模组，用于采集图像；

处理器；

存储器，用于存储计算机程序指令；

当计算机程序指令被处理器执行时，实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如第一方面所述的方法。

本申请实施例提供的跌倒事件检测方法、装置、设备及存储介质，在进行跌倒事件检测时，将预设区域内与图像对应的CSI数据映射到图像的三维空间数据中，得到映射数据，根据映射数据进行跌倒事件检测。即本申请是利用无线感知技术和视觉技术，进行跌倒事件检测，无需用户佩戴其他设备，为用户提供了方便，同时将CSI数据和图像融合，增加了信息的多样性，提高了检测结果的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种跌倒事件检测方法的场景示意图；

图2为本申请实施例提供的一种无线感知设备的结构图；

图3为本申请实施例提供的一种跌倒事件检测方法的流程图；

图4为本申请实施例提供的另一种跌倒事件检测方法的流程图；

图5为本申请实施例提供的一种用户界面的示意图；

图6为本申请实施例提供的一种参数配置界面的示意图；

图7为本申请实施例提供的一种跌倒事件检测装置的结构图；

图8为本申请实施例提供的一种电子设备的结构图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

相关技术，在对用户进行跌倒检测时，需要用户佩戴可穿戴设备，不仅会给用户带来不便，而且可穿戴设备的灵敏度较低，影响了检测结果的准确性。

为此，本申请实施例提供一种跌倒事件检测方法，无需用户佩戴可穿戴设备，而且提高了检测结果的准确性。

本申请实施例提供的跌倒事件检测方法可以应用于图1所示的场景中，该场景可以包括电子设备10和无线感知设备11，电子设备10与无线感知设备11基于无线网络建立通信连接。

电子设备10可以具备无线通信能力的设备，例如可以是笔记本电脑、台式机、投影仪等。图1以电子设备10为投影仪为例。

无线感知设备11可以是具备无线感知能力的设备，例如可以是路由器。无线感知技术是一种可以利用无线信号感知周围环境的技术，例如可以感知周围环境中由物体、宠物或人的运动而引起的变化。本申请实施例可以利用无线感知设备11检测用户是否跌倒，从而无需用户佩戴任何设备，为用户提供了方便。

示例性地，参考图2，无线感知设备11可以包括设备管理实体(StationManagement Entity，SME)110和层管理实体(Layer Management Entity，LME)111。

LME111可以包括媒体接入层管理实体(MAC Layer Management Entity，MLME)1110和物理层管理实体(physical Layer Management Entity，PLME)1111。

具体地，SME110可以根据电子设备10发送的启动指令，控制LME111执行无线感知进程，获取周围环境的信道状态信息(Channel State Information，CSI)数据。本申请实施例以SME110控制MLME1110执行无线感知进程为例。

电子设备10根据SME110发送的CSI数据，结合预设区域内的图像序列即可判断预设区域内是否存在跌倒事件，也即预设区域内的用户是否跌倒，无需用户佩戴任何设备，为用户提供了方便。

根据上述应用场景，下面结合具体的实施例对本申请实施例提供的跌倒事件检测方法进行说明，该方法可以由图1所示的电子设备10执行。

图3为本申请实施例提供的一种跌倒事件检测方法的流程图。

如图3所示，该跌倒事件检测方法可以包括如下步骤：

S310、获取预设区域内的图像序列和信道状态信息(Channel StateInformation，CSI)数据。

其中，图像序列包括多个图像。

S320、将与图像对应的CSI数据映射到图像的三维空间数据中，得到映射数据。

S330、根据映射数据，进行跌倒事件检测。

在本申请实施例中，在进行跌倒事件检测时，将预设区域内与图像对应的CSI数据映射到图像的三维空间数据中，得到映射数据，根据映射数据进行跌倒事件检测。即本申请是利用无线感知技术和视觉技术，进行跌倒事件检测，无需用户佩戴其他设备，为用户提供了方便，同时将CSI数据和图像融合，增加了信息的多样性，提高了检测结果的准确性。

下面对上述步骤进行详细说明，具体如下所示：

在S310中，预设区域可以是室内的某区域，例如可以是客厅、卧室等。图像序列可以是摄像模组采集预设区域得到的多个图像的集合，其中，摄像模组可以是能够采集图像或视频的装置，例如摄像头。

示例性地，可以按照一定的帧率采样摄像模组拍摄的视频，得到图像序列。在一些实施例中，为了提高检测结果的准确性，可以对图像序列进行预处理，例如可以对图像序列中的图像进行降噪处理，以消除图像的噪声。

在本申请实施例中，摄像模组可以集成在电子设备上，也可以独立于电子设备。当摄像模组独立于电子设备时，摄像模组与电子设备建立通信连接，如此电子设备可以实时获取预设区域内的图像。

CSI数据为无线感知设备感知预设区域内的环境得到的数据，示例性地，这里的CSI数据可以是5*30*3*3个无线感知信号对应的CSI数据，其中，5表示5组无线感知信号，30表示每组CSI数据的大小，3*3表示无线感知信号对应的天线数量。在一些实施例中，电子设备可以通过如下方式获取CSI数据：

向无线感知设备发送启动指令，以使无线感知设备根据启动指令执行无线感知进程，获取预设区域的CSI数据；

接收无线感知设备发送的CSI数据。

在本申请实施例中，启动指令可以包括但不限于Event ID和period，其中，EventID为检测事件的标识，例如对于跌倒检测事件，Event ID可以是fall down testing，当然Event ID也可以采用其他表示方式，本申请实施例不进行限定。period为检测时长，可以设置为T1，示例性地，T1＝0表示一直检测。

SME收到启动指令后，可以执行无线感知进程，获取预设区域内的CSI数据。

在一些实施例中，SME执行无线感知进程的过程如下：

1、SME基于接收到的启动指令，向MLME发送无线感知请求消息。

无线感知请求消息可以包括但不限于参数PeerSTAAddress和Measurementconfiguration，其中，PeerSTAAddress用于表示参与无线感知的设备的地址，Measurementconfiguration用于表示无线感知的测量参数。

示例性地，Measurement configuration可以包括但不限于控制参数Measurementcontrol、周期性测量参数Periodical profile、事件测量参数Event profile。

控制参数Measurement control可以包括但不限于Measurement ID、Measurementtype和M-band。其中，Measurement ID用于标识当前无线感知的测量进程。M-band用于表示无线感知的测量频段，例如可以是5Ghz，6Ghz，60Ghz。

Measurement type可以设置为periodical或event-based。示例性地，当Measurement type设置为periodical时，上述Measurement configuration可以包括周期性测量参数Periodical profile。其中，周期性测量参数Periodical profile可以包括但不限于MLME向SME发送测量报告的时间间隔，测量报告的数量以及测量报告中报告项的数值，报告项可以包括但不限于测量距离、视场角、位置坐标、是否存在用户、用户的心率、呼吸频率等信息。

示例性地，当Measurement type设置为event-based时，上述Measurementconfiguration可以包括事件测量参数Event profile。其中，事件测量参数Event profile可以包括一个或多个事件的事件标识。

在一些实施例中，不同事件的事件标识以及判断条件可以在本地预先设置为如表1的形式。表1各事件在本地的设置形式

其中，Threshold可以根据事件的定义方式确定，示例性地，事件Event A1(falldown)的定义：测量距离在D1以内，视场角范围为(H1,V1)的区域内是否存在用户，用户是否跌倒。则该事件在本地的设置形式可以如表2所示。

表2 Event A1(falldown)在本地的设置形式

如此，当Measurement type设置为event-based时，MLME可以根据SME发送的无线感知请求消息中的事件测量参数Event profile，查找表1，确定对应事件的判断条件，进而根据判断条件测量并上报对应区域内的CSI数据，使电子设备结合该CSI数据进行跌倒事件检测。

2、MLME收到无线感知请求消息后，判断PeerSTAAddress的值是否为本设备的地址。

这里的本设备即为MLME所在的无线感知设备，本申请实施例以Measurement type设置为event-based为例。

2.1、当PeerSTAAddress的值为本设备的地址时，MLME可以根据Event profile中的事件标识，查找本地存储的表1，确定Threshold，然后根据Threshold发送无线感知信号，并基于接收的回波信号得到CSI数据。

2.2、当PeerSTAAddress的值为其他无线感知设备的地址时，MLME可以作为无线感知进程的发起者，向PeerSTAAddress对应的无线感知设备发送sensing request帧。

示例性地，sensing request帧可以包括但不限于帧类型(这里可以设置为sensing request)、参与无线感知的设备的角色、Measurement configuration以及感知业务标识Sensing SID。

其中，参与无线感知进程的设备的角色可以包括以下至少一项：无线感知进程的发起者(发起无线感知进程的设备的地址或标识)、无线感知进程的响应者(响应无线感知进程发起者的设备的地址或标识)、无线感知进程的发送者(在无线感知进程中发送无线感知数据包的设备的地址或标识)、无线感知接收者(在无线感知进程中接收感知数据包并进行测量或计算的设备的地址或标识)。

2.3、无线感知进程的响应者(PeerSTAAddress对应的无线感知设备)收到sensingrequest帧后，根据Sensing SID判断自身是否支持Sensing SID对应的无线感知业务，并向无线感知进程的发起者发送sensing response帧。

示例性地，sensing response帧可以包括但不限于帧类型(这里可以设置为sensing response)、Status code和参与无线感知进程的设备的角色。

其中，Status code用于表示无线感知进程的响应者是否支持Sensing SID对应的无线感知业务，示例性地，如果无线感知进程的响应者支持Sensing SID对应的无线感知业务，Status code的值可以为SUCCESS，否则，Status code的值为REFUSED。

2.4、无线感知进程的发起者(MLME)收到sensing response帧后，向SME发送确认消息，并向无线感知进程的响应者发送第一指示消息，以指示无线感知进程的响应者测量预设区域，得到CSI数据。

该确认消息可以包括但不限于PeerSTAAddress的值以及Status code。

2.5、无线感知进程的发起者(MLME)接收无线感知进程的响应者发送的预设区域内的CSI数据，并发送给SME。如此，SME可以获取预设区域内的CSI数据，为后续进行跌倒事件检测提供依据。

在一些实施例中，无线感知进程的响应者也可以在获取CSI数据后，根据CSI数据生成测量报告，并向无线感知进程的发起者(MLME)发送sensing report帧。

示例性地，sensing report帧可以包括但不限于帧类型(这里可以设置为sensingreport)和Sens-report，Sens-report用于表示测量报告。

示例性地，Sens-report可以包括但不限于Measurement control、Periodicalreport和Event report。Measurement control的相关内容可以参见上述实施例，为简洁描述，此处不再赘述。

Periodical report为Measurement type设置为periodical时，无线感知进程的响应者基于CSI数据生成的测量报告；Event report为Measurement type设置为event-based时，无线感知进程的响应者基于CSI数据生成的测量报告。

示例性地，Periodical report可以包括但不限于报告项的结果以及已报告的次数，其中，报告项的结果也即报告项的具体数值，报告项的相关描述可以参见上述实施例，为简洁描述，此处不再赘述。

Event report可以包括但不限于触发报告的事件标识，检测到该事件的时间，其中，触发报告的事件标识也即检测事件的事件标识。

如此，在Measurement type设置为event-based时，SME也可以根据无线感知进程的发起者(MLME)发送的sensing report帧，初步确定预设区域内是否有跌倒事件发生。

为了保证图像序列和CSI数据同步，示例性地，可以按照每秒20帧的频率采样摄像模组得到的视频，以每秒100Hz的频率采样CSI数据，如此可以保证一个视频帧对应于五个CSI数据。

在S320中，三维空间数据为图像在三维空间中的表示数据，示例性地，可以通过神经网络模型将上述二维的图像转换成三维空间数据，例如可以将图像输入预先训练的3D卷积神经网络模型，由3D卷积神经网络模型输出该图像的三维空间数据。当然，也可以采用其他方式确定该图像的三维空间数据，本申请实施例不进行限定。

示例性地，上述3D卷积神经网络模型可以包括8个卷积层(filter:3×3×3，stride:1×1×1)，5个池化层(filter:2×2×2，stride:2×2×2，除了第一个filter:1×2×2，stride:1×2×2)，2个全链接层(4096)，和1个softmax分类层。该结构简单，由此可以快速得到图像的三维空间数据，提高效率。

其中，卷积层的滤波器数量分别为：64、128、256、256、256，各卷积核的时域深度均为d，通过改变d可以确定上述网络模型的最优架构。池化核的尺寸为2×2×2(除第一层)，第一层为1×2×2，步长为1。两个全连接层分别有2048个输出。

在本申请实施例中，3D卷积神经网络模型的输入为c×l×h×w，其中c是通道数，l是帧数的长度，h和w分别是帧的高度和宽度，3D卷积核的大小指向d×k×k，其中d是核的时间深度，k是核的空间大小，在本申请实施例中，图像的高度和宽度为128×171，帧数设置为16，通道数为3，3D卷积核尺寸为3×3×3。

需要注意的是，上述3D卷积神经网络模型的架构只是一种示例，实际应用时，也可以根据需要调整上述3D卷积神经网络模型的架构，或者采用其他架构，只要可以得到上述图像的三维空间数据即可。

在本申请实施例中，将与图像对应的CSI数据映射到图像的三维空间数据中，也即建立同一时间段内图像的三维空间数据与CSI数据的映射关系，基于该映射关系将CSI数据映射到图像的三维空间数据中，以实现CSI数据和三维空间数据的融合。相较于单一的图像或CSI数据，融合后的数据(映射数据)增加了信息的全面性，如此在进行跌倒事件检测时，可以提高检测结果的准确性。

在一些实施例中，可以利用支持向量机(Support Vector Machine,SVM)，将与图像对应的CSI数据映射到图像的三维空间数据中，实现三维空间数据和CSI数据的融合。当然也可以采用其他方式，本申请实施例不进行限定。

在S330中，根据映射数据，进行跌倒事件检测，也即根据CSI数据和三维空间数据的融合数据进行跌倒事件检测，如此可以提高检测结果的准确性，而且无需用户佩戴任何设备。

为了检测是否有跌倒事件发生，在一些实施例中，参考图4，上述S330可以包括如下所示的S410-S430。

S410、对映射数据进行语义分割，确定检测对象。

S420、提取检测对象的轮廓，得到第一图像。

S430、根据第一图像的第一置信度和检测对象的轮廓，对检测对象进行跌倒事件检测。

其中，第一置信度用于表示基于第一图像得到的跌倒事件检测结果的可信度。

图4所示方法的其他步骤可以参见图3所示实施例的相关描述，为简洁描述，此处不再赘述。

下面对上述步骤进行详细说明，具体如下所示：

在S410中，在一些实施例中，可以利用语义分割网络对映射数据进行语义解析，确定检测对象。示例性地，语义分割网络可以采用U-Net全卷积网络，当然也可以采用其他网络或方式，本申请实施例不进行限定。

在S420中，第一图像为包含检测对象轮廓的图像，也可以称为人体分割掩码图像。在一些实施例中，可以利用Mask R-CNN网络提取检测对象的轮廓，得到第一图像。示例性地，第一图像的尺寸为1*46*82。

在S430中，第一置信度用于表示基于第一图像得到的跌倒事件检测结果的可信度，也即第一图像的置信度，第一图像的置信度(第一置信度)越高，表示在基于第一图像进行跌倒事件检测时，检测结果的置信度越高。第一图像的置信度(第一置信度)可以预先基于经验或历史检测结果确定。

示例性地，可以将检测对象的轮廓和特征模板进行匹配，得到该轮廓和特征模板的匹配度，根据第一置信度和匹配度的加权结果，确定检测对象是否跌倒，例如在加权结果大于设定阈值的情况下，可以确定检测对象跌倒，否则，确定检测对象未跌倒。

示例性地，也可以将检测对象的轮廓输入预先训练的神经网络，由预先训练的神经网络确定检测对象的跌倒概率，根据第一置信度和跌倒概率的加权结果，确定检测对象是否跌倒。

示例性地，神经网络可以采用简化的卷积神经网络(Convolutional NeuralNetwork,CNN)。示例性地，该简化的CNN基于架构Pytorch-0.4.1实现。该简化的CNN可以利用第一样本图像进行训练，与传统的直接利用原始图像进行训练相比，本申请利用第一样本图像进行训练，可以简化训练过程，节省训练时间。第一样本图像为包含样本检测对象轮廓的图像。

本申请实施例对简化的CNN的具体结构不进行限定，例如该简化的CNN可以包括一个卷积核为7×7×64的卷积层、一个激活层、一个卷积核为3×3的最大池化层和两个子模块，每个子模块包括两个卷积核为3×3的卷积层、一个BatchNorm层和一个全连接层，在每个子模块中，两个卷积层通过一个激活层连接。当然，也可以采用其他结构，本申请实施例不进行限定，只要可以基于检测对象的轮廓确定检测对象的跌倒概率即可。

本申请实施例根据第一图像的置信度以及检测对象的轮廓，对检测对象进行跌倒事件检测，不仅考虑了第一图像本身对检测结果的影响程度，还同时考虑了检测对象轮廓对检测结果的影响程度，即综合考虑了多个方面的因素，如此提高了检测结果的准确性。

为了提高检测结果的准确性，在一些实施例中，上述S430可以包括如下所示的S4301和S4302。

S4301、根据轮廓确定检测对象的关键点，并在第一图像中标记关键点，得到第二图像。

检测对象的关键点可以是人体关节的关节点，人体处于不同的状态，例如跌倒状态或站立状态时，关节点的位置有所不同。

在一些实施例中，可以将轮廓和模板进行匹配，确定检测对象的关键点；也可以将第一图像输入Body-25模型，由Body-25模型输入包含关键点的图像(第二图像)。示例性地，第二图像可以包括25个关键点(人体关节的关节点)。

S4302、根据第一图像的第一置信度、第二图像的第二置信度、轮廓以及关键点的位置信息，对检测对象进行跌倒事件检测。

其中，第二置信度用于表示基于第二图像得到的跌倒事件检测结果的可信度，也即第二图像的置信度，第二图像的置信度(第二置信度)越高，表示在基于第二图像进行跌倒事件检测时，检测结果的置信度越高。

为了提高检测结果的准确性，示例性地，S4302可以包括如下步骤：

根据轮廓，确定检测对象跌倒的第一概率；

根据关键点的位置信息确定检测对象跌倒的第二概率；

根据第一概率和第一置信度，以及第二概率和第二置信度的加权和，对检测对象进行跌倒事件检测。

在一些实施例中，可以将检测对象的轮廓输入上述改进的CNN，由上述改进的CNN确定检测对象跌倒的第一概率。

类似地，也可以将包含关键点位置信息的第二图像输入预先训练的神经网络，由预先训练的神经网络确定检测对象跌倒的第二概率。这里预先训练的神经网络的结构可以与上述改进的CNN类似。

在一些实施例中，可以确定第一概率和第一置信度的第一加权结果，第二概率和第二置信度的第二加权结果，根据第一加权结果和第二加权结果确定检测对象是否跌倒。

例如在第一加权结果和第二加权结果的累加和大于设定阈值的情况下，可以确定检测对象跌倒，否则，确定检测对象未跌倒。

在本申请实施例中，根据人体轮廓的基础上，结合体关节点，确定检测对象是否跌倒，提高了检测结果的准确性。

为了提高检测结果的准确性，示例性地，S4302可以包括如下步骤：

根据各关键点之间的关联关系，确定关键点对应的肢体信息，并根据肢体信息连接关键点，得到第三图像；

根据轮廓，确定检测对象跌倒的第一概率；

根据关键点的位置信息确定检测对象跌倒的第二概率；

根据肢体信息以及肢体信息所对应关键点的位置信息，确定检测对象跌倒的第三概率；

根据第一概率和第一置信度、第二概率和第二置信度以及第三概率和第三置信度的加权和，对检测对象进行跌倒事件检测，第三置信度用于表示基于第三图像得到的跌倒事件检测结果的可信度。

关键点对应的肢体信息，也即关键点所属的肢体。第三图像为包含各关键点的位置坐标(x、y坐标)以及各关键点连接关系的图像。

第一概率和第二概率的确定过程可以参见上述实施例，此处不再赘述。

在一些实施例中，可以利用SVM对第三图像的图像数据进行分类，确定该图像数据的状态，这里的状态可以包括跌倒状态、平台状态或正常状态(例如站立状态)等，不同的状态可以对应不同的权重，也即对应不同的概率，因此可以根据SVM输出的权重确定第三概率，也即跌倒状态的权重。

示例性地，可以确定第一概率和第一置信度的第一加权结果，第二概率和第二置信度的第二加权结果，以及第三概率和第三置信度的第三加权结果，然后根据第一加权结果、第二加权结果和第三加权结果的累加和，确定检测对象是否跌倒。

示例性地，P＝λ

在本申请实施例中，利用分别基于检测对象的轮廓、关键点以及关键点的坐标和关键点间的连接关系确定检测对象的跌倒概率，进而根据该概率和对应图像的置信度，确定检测对象是否跌倒，如此提高了检测结果的准确性。

在一些实施例中，在S330之后，该方法还可以包括如下步骤：

在存在跌倒事件的情况下，进行报警；

从图像序列中提取跌倒画面，并向电子设备的注册终端发送跌倒画面。

本申请实施例对报警方式不进行限定，例如可以通过电子设备的音响进行报警，也可以通过指示灯闪烁进行报警，还可以通过语音方式报警。

在本申请实施例中，在确定检测对象跌倒时，进行报警可以提醒室内其他用户及时了解情况，同时还可以向电子设备的注册终端发送检测对象的跌倒画面，及时通知注册终端的用户，如此可以避免造成严重后果。

在一些实施例中，在S310之前，该方法还可以包括如下步骤：

显示用户界面，用户界面包括检测控件，检测控件与检测事件对应；

响应于用户对目标检测控件的第一输入，进入参数配置界面，目标检测控件为跌倒检测事件对应的检测控件，参数配置界面包括区域类型；

响应于用户对区域类型的第二输入，确定预设区域。

示例性地，参考图5，图5为本申请实施例提供的一种用户界面的示意图。该用户界面示例性地包括感知开关50、检测控件51、检测控件52、检测控件53、检测控件54和检测控件55，一个检测控件可以对应一个检测事件，例如检测控件51对应人数检测事件，检测控件52对应跌倒检测事件，检测控件53对应设备检测事件，检测控件54对应睡眠检测事件，检测控件55对应环境检测事件。

在感知开关50开启的情况下，可以触发某检测控件，进行相应检测事件的设置。检测控件53用于确定无线感知设备和电子设备是否连接且正常上电。示例性地，用户点击检测控件53，如果无线感知设备和电子设备连接且正常上电，则图5所示的各控件显示预设颜色，例如显示绿色，否则提示用户无线感知设备异常。如此可以方便用户了解无线感知设备和电子设备的情况。

目标检测控件为第一输入触发的检测控件，第一输入可以是对检测控件进行的点击、触摸等操作。示例性地，在检测到检测控件52被触发时，可以将检测控件52确定为目标检测控件。

此时，电子设备会显示图6所示的参数配置界面，由用户在参数配置界面进行参数配置。如图6所示，该参数配置界面可以包括但不限于电子设备型号、软件版本、硬件版本、区域类型(客厅或卧室等)、孩子(有或无)、老人(有或无)、设备开关按钮。第二输入可以是确定预设区域的输入，例如在区域类型处输入客厅的情况下，表示预设区域为客厅。

在用户点击设备开关按钮时，电子设备会关闭运行或启动运行，在电子设备关闭运行的情况下，设备型号、软件版本等参数栏会变灰，相应参数不再显示。设备开关按钮默认状态下关闭。

在一些实施例中，在S310之前，可以确认电子设备是否连接网络，例如电子设备可以根据图5所示的检测控件的状态判断其是否连接网络，例如如果电子设备未连接网络，则图5所示的检测控件均呈现灰色，且无法点击，此时电子设备可以提示用户连接网络。当然也可以由用户自行判断电子设备是否连接网络。

在电子设备连接网络的情况下，用户可以点击图5所示的检测控件52，此时电子设备向网关发送ping命令，以根据ping命令判断网络信号的强度。示例性地，如果电子设备向网关发送ping命令之后，预设时长内未收到网关的回复，电子设备可以提示用户“当前网络信号弱，无法检测”，以表示当前网络无法进行感知检测。预设时长的大小可以根据实际需要设定，例如可以设置为1s。

在本申请实施例中，将电子设备和无线感知设备结合，利用无线网络信号感知周围的环境，并结合摄像模组采集的图像，从多个维度进行分析，确定检测对象是否跌倒，无需用户佩戴任何设备，提高了检测结果的准确性。

基于相同的发明构思，本申请实施例还提供了一种跌倒事件检测装置，该装置可以应用于图1所示的电子设备，该电子设备与无线感知设备连接。下面结合图7对本申请实施例提供的跌倒事件检测装置进行详细说明。

如图7所示，该跌倒事件检测装置可以包括：

获取模块71，用于获取预设区域内的图像序列和信道状态信息CSI数据，图像序列包括多个图像；

映射模块72，用于将与图像对应的CSI数据映射到图像的三维空间数据中，得到映射数据；

检测模块73，用于根据映射数据，进行跌倒事件检测。

本申请实施例提供的跌倒事件检测方法、装置、设备及存储介质，在进行跌倒事件检测时，将预设区域内与图像对应的CSI数据映射到图像的三维空间数据中，得到映射数据，根据映射数据进行跌倒事件检测。即本申请是利用无线感知技术和视觉技术，进行跌倒事件检测，无需用户佩戴其他设备，为用户提供了方便，同时将CSI数据和图像融合，增加了信息的多样性，提高了检测结果的准确性。

在一个实施例中，检测模块73，包括：

语义分割单元，用于对映射数据进行语义分割，确定检测对象；

提取单元，用于提取检测对象的轮廓，得到第一图像；

检测单元，用于根据第一图像的第一置信度和检测对象的轮廓，对检测对象进行跌倒事件检测，第一置信度用于表示基于第一图像得到的跌倒事件检测结果的可信度。

在一个实施例中，检测单元，包括：

确定子单元，用于根据轮廓确定检测对象的关键点，并在第一图像中标记关键点，得到第二图像；

检测子单元，用于根据第一图像的第一置信度、第二图像的第二置信度、轮廓以及关键点的位置信息，对检测对象进行跌倒事件检测，第二置信度用于表示基于第二图像得到的跌倒事件检测结果的可信度。

在一个实施例中，检测子单元，具体用于：

根据轮廓，确定检测对象跌倒的第一概率；

根据关键点的位置信息确定检测对象跌倒的第二概率；

根据第一概率和第一置信度，以及第二概率和第二置信度的加权和，对检测对象进行跌倒事件检测。

在一个实施例中，检测子单元，具体用于：

根据各关键点之间的关联关系，确定关键点对应的肢体信息，并根据肢体信息连接所述关键点，得到第三图像；

根据轮廓，确定检测对象跌倒的第一概率；

根据关键点的位置信息确定检测对象跌倒的第二概率；

根据肢体信息以及肢体信息所对应关键点的位置信息，确定检测对象跌倒的第三概率；

根据第一概率和第一置信度、第二概率和第二置信度以及第三概率和第三置信度的加权和，对检测对象进行跌倒事件检测，第三置信度用于表示基于第三图像得到的跌倒事件检测结果的可信度。

在一个实施例中，该跌倒事件检测装置还可以包括：

显示模块，用于在获取模块71获取预设区域内的图像序列和信道状态信息CSI数据之前，显示用户界面，用户界面包括检测控件，检测控件与检测事件对应；

第一响应模块，用于响应于用户对目标检测控件的第一输入，进入参数配置界面，目标检测控件为跌倒检测事件对应的检测控件，参数配置界面包括区域类型；

第二响应模块，用于响应于用户对区域类型的第二输入，确定预设区域。

在一个实施例中，获取模块71，具体用于：

向无线感知设备发送启动指令，以使无线感知设备根据启动指令执行无线感知进程，获取预设区域的CSI数据；

接收无线感知设备发送的CSI数据。

图7所示装置中的各个模块具有实现图1-图6所述跌倒事件检测方法中各个实施例的功能并能达到相应的技术效果，为简洁描述，此处不再赘述。

基于相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备可以是具备无线通信功能的物理终端或设备。下面结合图8对本申请实施例提供的电子设备进行详细说明。

如图8所示，该电子设备可以包括摄像模组80、处理器81以及用于存储计算机程序指令的存储器82。

摄像模组80用于采集预设区域的图像，预设区域可以是客厅或卧室等区域。

处理器81可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器82可以包括可移除或不可移除(或固定)的介质，或者存储器82是非易失性固态存储器。在一个实例中，存储器82可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现图1-图6所示的实施例中，并达到图1-图6所示实施例执行其方法达到的相应技术效果，为简洁描述，在此不再赘述。

在一个示例中，该电子设备还可包括通信接口83和总线84。其中，如图8所示，摄像模组80、处理器81、存储器82、通信接口83通过总线84连接并完成相互间的通信。

通信接口83，主要用于实现本申请明实施例中各模块、装置和/或设备之间的通信。

总线84包括硬件、软件或两者，将电子设备的各部件彼此耦接在一起。举例来说而非限制，总线84可包括加速图形端(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(IndustryStandard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线84可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备获取预设区域内的图像序列和信道状态信息CSI数据后可以执行本申请实施例中的跌倒事件检测方法，从而实现结合图1-图6描述的跌倒事件检测方法以及图7描述的跌倒事件检测装置。

另外，结合上述实施例中的跌倒事件检测方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种跌倒事件检测方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请实施例的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。