智能家居及其控制方法、模组、计算机可读介质

技术领域

本申请涉及智能家居技术领域，尤其涉及一种智能家居及其控制方法、模组、计算机可读介质。

背景技术

随着智能家居的快速发展，“智能”的需求范围已经不仅仅局限于一个空间，更多的人希望个性化设置能够更加智能的应用到多个场景中。

目前，相关技术中，“智能”的有效范围受距离、信号强度等因素的影响，用户的个性化设置难以同步到多个空间。

针对用户对智能家居设备的个性化设置难以同步到多个空间的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种智能家居及其控制方法、模组、计算机可读介质，以解决用户对智能家居设备的个性化设置难以同步到多个空间的技术问题。

根据本申请实施例的一个方面，本申请提供了一种智能家居的控制方法，包括：获取对第一对象采集的多媒体数据，第一对象位于第一空间范围内，第一空间范围内安装有第一智能家居设备；将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征；当目标特征与在第二空间范围内对第二对象提取的特征一致的情况下，确定第一对象与所述第二对象为同一个对象，并按照第二空间范围内安装的第二智能家居设备的运行参数来设置第一智能家居设备的运行参数。

可选地，将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征包括：将视频序列输入多个密集卷积块，并获取与每个密集卷积块对应的卷积层输出的第一帧级特征，其中，任意两个密集卷积块的尺寸不同，多媒体数据包括视频序列；将所有卷积层输出的第一帧级特征进行融合，得到目标特征。

可选地，将视频序列输入多个密集卷积块之后，该方法还包括：在密集卷积块中，将视频序列划分为多个视频帧；逐帧对视频序列的视频帧进行图像识别，以提取第一对象的服饰、头饰、体态中的至少一种作为第一帧级特征。

可选地，将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征还包括：将语音序列输入多个密集卷积块，并获取与每个密集卷积块对应的卷积层输出的第二帧级特征，其中，多媒体数据包括语音序列；将所有卷积层输出的第二帧级特征进行融合，得到目标特征。

可选地，将语音序列输入多个密集卷积块之后，该方法还包括：在密集卷积块中，将语音序列划分为多个语音帧；逐帧对语音序列的语音帧进行声纹识别，以提取第一对象的声纹特征作为第二帧级特征。

可选地，将所有卷积层输出的第一帧级特征进行融合，得到目标特征包括：为每一个第一帧级特征分配权重参数，并确定所有第一帧级特征的加权平均值，得到序列级的目标特征；将所有卷积层输出的第二帧级特征进行融合，得到目标特征包括：为每一个第二帧级特征分配权重参数，并确定所有第二帧级特征的加权平均值，得到序列级的目标特征。

可选地，该方法还包括：在已保存的所有对象特征均与目标特征不一致的情况下，确定第一对象为未知对象，并向音频播放设备和/或显示设备发送未知对象身份确认提示消息。

根据本申请实施例的另一方面，本申请提供了一种智能家居的控制模组，包括：数据获取模块，用于获取对第一对象采集的多媒体数据，第一对象位于第一空间范围内，第一空间范围内安装有第一智能家居设备；特征提取模块，用于将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征；运行参数迁移模块，用于当目标特征与在第二空间范围内对第二对象提取的特征一致的情况下，确定第一对象与第二对象为同一个对象，并按照第二空间范围内安装的第二智能家居设备的运行参数来设置第一智能家居设备的运行参数。

根据本申请实施例的另一方面，本申请提供了一种智能家居，包括存储器、处理器、通信接口及通信总线，存储器中存储有可在处理器上运行的计算机程序，存储器、处理器通过通信总线和通信接口进行通信，处理器执行计算机程序时实现上述方法的步骤。

根据本申请实施例的另一方面，本申请还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述的方法。

本申请实施例提供的上述技术方案与相关技术相比具有如下优点：

本申请技术方案为获取对第一对象采集的多媒体数据，第一对象位于第一空间范围内，第一空间范围内安装有第一智能家居设备；将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征；当目标特征与在第二空间范围内对第二对象提取的特征一致的情况下，确定第一对象与所述第二对象为同一个对象，并按照第二空间范围内安装的第二智能家居设备的运行参数来设置第一智能家居设备的运行参数。本申请在需要对第一空间范围的第一智能家居设备进行参数设置时，通过对不同空间采集的用户特征进行对比，若找到存在相同特征的第二空间范围，则按照该用户对第二空间范围内的第二智能家居设备的参数设置来调整第一智能家居设备，从而解决用户对智能家居设备的个性化设置难以同步到多个空间的技术问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例提供的一种可选的智能家居的控制方法硬件环境示意图；

图2为根据本申请实施例提供的一种可选的智能家居的控制方法流程图；

图3为根据本申请实施例提供的一种可选的空间及智能家居的示意图；

图4为根据本申请实施例提供的一种可选的目标检测网络模型示意图；

图5为根据本申请实施例提供的一种可选的智能家居的控制模组框图；

图6为本申请实施例提供的一种可选的智能家居结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种方法的实施例。

可选地，在本申请实施例中，上述方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101包括但不限于PC、手机、平板电脑等。

本申请实施例中的一种方法可以由服务器103来执行，还可以是由服务器103和终端101共同执行，如图2所示，该方法可以包括以下步骤：

步骤S202，获取对第一对象采集的多媒体数据，第一对象位于第一空间范围内，第一空间范围内安装有第一智能家居设备；

步骤S204，将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征；

步骤S206，当目标特征与在第二空间范围内对第二对象提取的特征一致的情况下，确定第一对象与所述第二对象为同一个对象，并按照第二空间范围内安装的第二智能家居设备的运行参数来设置第一智能家居设备的运行参数。

通过上述步骤S202至S206，本申请在需要对第一空间范围的第一智能家居设备进行参数设置时，通过对不同空间采集的用户特征进行对比，若找到存在相同特征的第二空间范围，则按照该用户对第二空间范围内的第二智能家居设备的参数设置来调整第一智能家居设备，从而解决用户对智能家居设备的个性化设置难以同步到多个空间的技术问题。

本申请实施例中，如图3所示，一个独立完整的物理空间内存在相互独立的房间，每个房间内均包括一个功能一致的智能家居设备，即上述第一空间范围的第一智能家居设备和第二空间范围的第二智能家居设备，智能家居设备可以是空调、风扇等。用户可在各个房间内自由移动。以空调为例，安装在每个房间的空调可以包括摄像头，用于对房间检测区域内的用户进行身份的检测，获取用户的身份信息；控制存储单元，用于实现用户身份信息的存储、匹配等操作处理，以及控制指令的传输，存储的用户身份信息通过网络实现信息互联；温度风速调节单元，用于实现温度和送风参数的调控；语音播放单元，用于实现语音及音乐的播放。还可以包括录音设备，用于采集用户的语音；显示设备，用于显示空调的温度、风速、时间、提示信息等。

可选地，步骤S204将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征可以包括：

步骤11，将视频序列输入多个密集卷积块，并获取与每个密集卷积块对应的卷积层输出的第一帧级特征，其中，任意两个密集卷积块的尺寸不同，多媒体数据包括视频序列。

本申请实施例中，将视频序列输入多个密集卷积块之后，可以在密集卷积块中，将视频序列划分为多个视频帧；逐帧对视频序列的视频帧进行图像识别，以提取第一对象的服饰、头饰、体态中的至少一种作为第一帧级特征。

步骤12，将所有卷积层输出的第一帧级特征进行融合，得到目标特征。

本申请实施例中，可以通过摄像头对第一空间范围进行视频拍摄，作为上述视频序列，在将视频序列输入目标检测网络模型中进行特征提取，其中，如图4所示，目标检测网络模型可以是将YOLOv3网络中的残差层替换为密集卷积块，构建含有5个不同尺度卷积层的特征金字塔，将特征金字塔与深度密集网络进行融合，利用Softmax函数对融合的特征进行分类，形成深度融合的快速目标检测模型。上述多个密集卷积块的不同尺度可以是密集卷积块的分辨率不同，不同分辨率的密集卷积块可以得到不同大小的特征图，从而可以得到视频序列的不同尺度的特征。

在进行特征提取时，可以将视频序列逐帧进行图像识别，从而提取出每一帧中该第一对象的服饰、头饰及体态等特征信息，得到每一帧的上述第一帧级特征，再将所有帧的第一帧级特征进行融合，得到序列级的特征，最后再通过Softmax函数来最小化损失得到最优的识别结果。

本申请实施例中，服饰可以包括衣物的样式、类型、颜色等，头饰可以包括帽子、发型等，体态可以包括姿态、外形如高矮胖瘦等。

可选地，将所有卷积层输出的第一帧级特征进行融合，得到目标特征包括：为每一个第一帧级特征分配权重参数，并确定所有第一帧级特征的加权平均值，得到序列级的目标特征。

本申请实施例中，在特征提取时加入正则化约束，即为每一个第一帧级特征分配权重参数，避免权重参数聚集在一帧。在特征融合时，采用注意力机制将帧级特征加权平均，从而将所有帧的第一帧级特征融合得到一个序列级的目标特征。

采用本申请技术方案，可以让人工智能通过衣物、发型、体态等信息，跨摄像头跨场景准确追踪人的位置。利用计算机视觉技术判断第一空间范围内是否存在特定用户(即在第二空间范围对第二智能家居设备进行个性化参数设置的用户)，可以无需识别人脸，只根据穿着、体态、发型等就能识别用户，进而可以将用户在第二空间范围对第二智能家居设备设置的个性化参数同步到第一空间范围的第一智能家居设备，进一步体现智能家居的概念，提升用户体验。

本申请实施例中，不仅可以采用计算机视觉技术来对用户的视频序列进行特征提取，还可以采用声纹识别技术来对用户的声音进行特征提取。

可选地，将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征还可以包括：

步骤21，将语音序列输入多个密集卷积块，并获取与每个密集卷积块对应的卷积层输出的第二帧级特征，其中，多媒体数据包括语音序列。

本申请实施例中，将语音序列输入多个密集卷积块之后，可以在密集卷积块中，将语音序列划分为多个语音帧；逐帧对语音序列的语音帧进行声纹识别，以提取第一对象的声纹特征作为第二帧级特征。

步骤22，将所有卷积层输出的第二帧级特征进行融合，得到目标特征。

本申请实施例中，在进行特征提取时，可以将语音序列逐帧进行识别，从而提取出每一帧中该第一对象声纹特征作为上述第二帧级特征，再将所有语音帧的第二帧级特征进行融合，得到序列级的特征，最后再通过Softmax函数来最小化损失得到最优的识别结果。

本申请实施例中，上述声纹特征可以包括：声学特征(倒频谱)；词法特征(说话人相关的词，音素)；韵律特征；语种、方言和口音信息；通道信息等。

可选地，将所有卷积层输出的第二帧级特征进行融合，得到目标特征包括：为每一个第二帧级特征分配权重参数，并确定所有第二帧级特征的加权平均值，得到序列级的目标特征。

本申请实施例中，在特征提取时加入正则化约束，即为每一个第二帧级特征分配权重参数，避免权重参数聚集在一帧。在特征融合时，采用注意力机制将帧级特征加权平均，从而将所有语音帧的第二帧级特征融合得到一个序列级的目标特征。

采用本申请技术方案，可以让人工智能通过用户的声纹信息，跨空间跨场景准确追踪人的位置。利用声纹识别技术对语音序列提取特征，从而确定第一空间范围内是否存在特定用户(即在第二空间范围对第二智能家居设备进行个性化参数设置的用户)，可以无需识别人脸，只根据语音就能识别用户，进而可以将用户在第二空间范围对第二智能家居设备设置的个性化参数同步到第一空间范围的第一智能家居设备，进一步体现智能家居的概念，提升用户体验。

本申请实施例中，还提供了对陌生人进入第一空间范围后进行提示的安防功能。

可选地，该方法还包括：在已保存的所有对象特征均与目标特征不一致的情况下，确定第一对象为未知对象，并向音频播放设备和/或显示设备发送未知对象身份确认提示消息。

本申请实施例中，若第一对象为陌生人，则第一智能家居设备通过音频播放设备和/或显示设备发出未知对象身份确认提示消息，以及时提醒房主确认陌生人身份。本申请技术方案可以一定程度上防止陌生人闯入，提升用户的使用体验。

根据本申请实施例的又一方面，如图5所示，提供了一种智能家居的控制模组，包括：

数据获取模块501，用于获取对第一对象采集的多媒体数据，第一对象位于第一空间范围内，第一空间范围内安装有第一智能家居设备；

特征提取模块503，用于将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征；

运行参数迁移模块505，用于当目标特征与在第二空间范围内对第二对象提取的特征一致的情况下，确定第一对象与第二对象为同一个对象，并按照第二空间范围内安装的第二智能家居设备的运行参数来设置第一智能家居设备的运行参数。

本申请实施例中，数据获取模块501获取位于第一空间范围内的第一对象的多媒体数据，特征提取模块503将该多媒体数据输入目标检测模型中提取该第一对象的特征，运行参数迁移模块505在该第一对象的特征与第二对象的特征一致时，确定第一对象和第二对象为同一个对象，并将第二对象在第二空间范围内对第二智能家居设备设置的参数迁移到第一空间范围内的第一智能家居设备上，使得在需要对第一空间范围的第一智能家居设备进行参数设置时，通过对不同空间采集的用户特征进行对比，若找到存在相同特征的第二空间范围，则按照该用户对第二空间范围内的第二智能家居设备的参数设置来调整第一智能家居设备，从而解决用户对智能家居设备的个性化设置难以同步到多个空间的技术问题。

需要说明的是，该实施例中的数据获取模块501可以用于执行本申请实施例中的步骤S202，该实施例中的特征提取模块503可以用于执行本申请实施例中的步骤S204，该实施例中的运行参数迁移模块505可以用于执行本申请实施例中的步骤S206。

此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为模组的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。

可选地，该特征提取模块，还包括图像特征提取单元，具体用于：将视频序列输入多个密集卷积块，并获取与每个密集卷积块对应的卷积层输出的第一帧级特征，其中，任意两个密集卷积块的尺寸不同，多媒体数据包括视频序列；将所有卷积层输出的第一帧级特征进行融合，得到目标特征。

可选地，该图像特征提取单元，还用于：在密集卷积块中，将视频序列划分为多个视频帧；逐帧对视频序列的视频帧进行图像识别，以提取第一对象的服饰、头饰、体态中的至少一种作为第一帧级特征。

可选地，该特征提取模块，还包括声纹特征提取单元，具体用于：将语音序列输入多个密集卷积块，并获取与每个密集卷积块对应的卷积层输出的第二帧级特征，其中，多媒体数据包括语音序列；将所有卷积层输出的第二帧级特征进行融合，得到目标特征。

可选地，该声纹特征提取单元，还用于：在密集卷积块中，将语音序列划分为多个语音帧；逐帧对语音序列的语音帧进行声纹识别，以提取第一对象的声纹特征作为第二帧级特征。

可选地，该图像特征提取单元，还用于：为每一个第一帧级特征分配权重参数，并确定所有第一帧级特征的加权平均值，得到序列级的目标特征。

可选地，该声纹特征提取单元，还用于：为每一个第二帧级特征分配权重参数，并确定所有第二帧级特征的加权平均值，得到序列级的目标特征。

可选地，该智能家居的控制模组，还包括安防模块，用于：在已保存的所有对象特征均与目标特征不一致的情况下，确定第一对象为未知对象，并向音频播放设备和/或显示设备发送未知对象身份确认提示消息。

根据本申请实施例的另一方面，本申请提供了一种智能家居，如图6所示，包括存储器601、处理器603、通信接口605及通信总线607，存储器601中存储有可在处理器603上运行的计算机程序，存储器601、处理器603通过通信接口605和通信总线607进行通信，处理器603执行计算机程序时实现上述方法的步骤。

上述智能家居中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。

可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行以下步骤的程序代码：

获取对第一对象采集的多媒体数据，第一对象位于第一空间范围内，第一空间范围内安装有第一智能家居设备；

将多媒体数据输入目标检测网络模型，以利用目标检测网络模型提取第一对象的目标特征；

当目标特征与在第二空间范围内对第二对象提取的特征一致的情况下，确定第一对象与第二对象为同一个对象，并按照第二空间范围内安装的第二智能家居设备的运行参数来设置第一智能家居设备的运行参数。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、模组和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的模组和方法，可以通过其它的方式实现。例如，以上所描述的模组实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。