基于智能手机声波测距的室内平面图构建方法及系统

技术领域

本发明涉及室内设计技术领域，具体涉及一种基于智能手机声波测距的室内平面图构建方法及系统。

背景技术

室内定位服务为我们的现代生活带来了极大的便利，尤其是在大型医院、多层商场和地下停车场。然而，它的部署尚未普及，其主要障碍之一是缺乏室内定位和导航的平面图。

现有的专用地图系统依赖于带有摄像机和其他高精度传感器的移动机器人来构建精确的室内地图。然而，此类系统的成本总是很高，并且没有大规模推广。

目前，传统的室内平面图的构建主要通过图像和惯性传感器的结合来实现。如，Jigsaw从用户拍摄的图像和惯性传感器数据中获取相邻地标对象之间的空间关系，并将用户的轨迹和捕获图像的位置结合起来，生成完整的平面图。Plansketcher使用深度学习技术提取新的综合特征，以识别不同的标志点。然后基于传感数据、深度数据和图像构建室内平面图。IndoorCrowd2D使用众包数据中的图像信息和感官数据来恢复建筑物的结构。MapGENIE使用语法表示建筑物的结构信息，这比简单的轨迹映射效果更好。

而对于使用智能手机结合增强现实/虚拟现实应用程序采用计算机视觉技术为室内物体构建3D点云的方法，由于图像受到环境光条件的影响，导致构建结构不准确，且容易造成用户的隐私泄露风险，Batmapper是一款利用双侧声音信号构建室内地图的系统(ZhouB,Elbadry M,Gao R,et al.BatMapper:Acoustic sensing based indoor floor planconstruction using smartphones[C]//Proceedings of the 15th AnnualInternational Conference on Mobile Systems,Applications,and Services.2017:42-55.)，但其获取到的为墙壁坐标点信息，并无法表示真实的墙壁结构，也无法直接应用于室内定位与导航之中。

发明内容

本发明的目的在于提供一种不受光照条件影响且具有高隐私性的可直接应用于室内导航与定位的基于智能手机声波测距的室内平面图构建方法及系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种基于智能手机声波测距的室内平面图构建方法，包括：

采用智能手机的扬声器发射声波信号；

采用智能手机的两个麦克风接收室内墙壁反射的回波信号；

基于接收的两个回波信号，计算墙壁与智能手机之间的距离；

获取智能手机的惯性数据，以跟踪智能手机的用户轨迹并识别室内连接区域；

结合融墙壁与智能手机之间的距离、用户轨迹和室内连接区域，并通过地图细化算法构建室内平面图。

优选的，使用调频连续波来产生声波信号，生成的声波信号持续时间为3ms，频率范围为8KHz～16KHz。

优选的，回波信号和发射的声波信号的波形一致，具有时间延迟Δt，时间延迟Δt的计算公式为：

其中，f

优选的，用户握住智能手机时在水平行走过程中，智能手机的两个麦克风接收到的信号的传播距离差是智能手机的长度l，墙壁和智能手机之间的距离表示为：

其中，v

优选的，使用航位推算来跟踪步行用户的步幅、步长和方向，使用GPS根据室外轨迹进行自定义；通过检测垂直加速度的峰值和谷值来计算步长；使用智能手机的gamervAPI计算移动方向。

优选的，通过用户轨迹以及墙壁与智能手机之间的距离，将墙段定位为地图上的分散点，在移除检测到的门窗后，将其余分散点点拟合为线段，即f(x)＝kx+b；其中k是梯度，b是偏移；

为了最小化墙段和散射点之间的误差，目标函数为：

其中，e表示误差之和，n表示墙上的点数，(x

为了最小化e，分别计算k和b的偏导数：

因此，

其中，

第二方面，本发明提供一种基于智能手机声波测距的室内平面图构建系统，包括：

发射模块，用于采用智能手机的扬声器发射声波信号；

接收模块，用于采用智能手机的两个麦克风接收室内墙壁反射的回波信号；

计算模块，用于基于接收的两个回波信号，计算墙壁与智能手机之间的距离；

获取模块，用于获取智能手机的惯性数据，以跟踪智能手机的用户轨迹并识别室内连接区域；

优化模块，用于结合融墙壁与智能手机之间的距离、用户轨迹和室内连接区域，通过地图细化算法构建室内平面图。

第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于智能手机声波测距的室内平面图构建方法。

第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于智能手机声波测距的室内平面图构建方法。

第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于智能手机声波测距的室内平面图构建方法的指令。

本发明有益效果：基于智能手机便可以完成室内平面图的构建，降低了室内平面图构建成本，提高了效率；无需拍摄室内环境，不受环境光照条件影响，避免了用户的室内隐私泄露；采用单侧测距，在宽阔的室内环境下Batmapper无法正常使用时，可仍然有效完成平面图的构建，生成更完成的平面图，而非离散点形式，更符合真实的室内结构。

本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的室内平面图构建流程示意图。

图2为本发明实施例所述的通过发射和接收声波信号计算距离的示意图。

图3为本发明实施例所述的使用智能手机进行单侧测距的示意图。

图4为本发明实施例所述的获取的墙壁坐标点示意图。

图5为对应的图4的优化后的墙壁完整平面图。

图6为本发明实施例所述的楼梯处加速度变化示意图。

图7为本发明实施例所述的电梯上升时加速度变化示意图。

图8为本发明实施例所述的电梯下降时加速度变化示意图。

具体实施方式

下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。

还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。

本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。

实施例1

本实施例1提供一种基于智能手机声波测距的室内平面图构建系统，该系统包括：

发射模块，用于采用智能手机的扬声器发射声波信号；

接收模块，用于采用智能手机的两个麦克风接收室内墙壁反射的回波信号；

计算模块，用于基于接收的两个回波信号，计算墙壁与智能手机之间的距离；

获取模块，用于获取智能手机的惯性数据，以跟踪智能手机的用户轨迹并识别室内连接区域；

优化模块，用于结合融墙壁与智能手机之间的距离、用户轨迹和室内连接区域，通过地图细化算法构建室内平面图。

在本实施例1中，利用上述的系统，实现了基于智能手机声波测距的室内平面图构建方法，该方法包括：

使用发射模块采用智能手机的扬声器发射声波信号；

使用接收模块采用智能手机的两个麦克风接收室内墙壁反射的回波信号；

使用计算模块基于接收的两个回波信号，计算墙壁与智能手机之间的距离；

使用获取模块获取智能手机的惯性数据，以跟踪智能手机的用户轨迹并识别室内连接区域；

使用优化模块结合融墙壁与智能手机之间的距离、用户轨迹和室内连接区域，并通过地图细化算法构建室内平面图。

其中，使用调频连续波来产生声波信号，生成的声波信号持续时间为3ms，频率范围为8KHz～16KHz。

回波信号和发射的声波信号的波形一致，具有时间延迟Δt，时间延迟Δt的计算公式为：

其中，f

用户握住智能手机时在水平行走过程中，智能手机的两个麦克风接收到的信号的传播距离差是智能手机的长度l，墙壁和智能手机之间的距离表示为：

其中，v

使用航位推算来跟踪步行用户的步幅、步长和方向，使用GPS根据室外轨迹进行自定义；通过检测垂直加速度的峰值和谷值来计算步长；使用智能手机的gamerv API计算移动方向。

通过用户轨迹以及墙壁与智能手机之间的距离，将墙段定位为地图上的分散点，在移除检测到的门窗后，将其余分散点点拟合为线段，即f(x)＝kx+b；其中k是梯度，b是偏移；

为了最小化墙段和散射点之间的误差，目标函数为：

其中，e表示误差之和，n表示墙上的点数，(x

为了最小化e，分别计算k和b的偏导数：

因此，

其中，

实施例2

本实施例2中，提供了一种基于智能手机结合声波测距的室内平面图构建方法。如图1所示，该方法使用声学信号和惯性数据作为输入。采用调频连续波(FMCW)作为扬声器的输出信号，使用两个麦克风(顶部/底部)接收侧壁反射的回波信号，并计算墙壁与智能手机之间的距离。此外，从智能手机收集惯性数据，以跟踪用户并识别连接区域(例如楼梯和电梯)。最后，融合了距离测量、轨迹和连接区域，并通过地图细化算法构建和完善多层室内平面图。

本实施例2的方法，采用了单侧测距。其中，在声音信号设计部分，声音信号的频率应平衡智能手机的物理能力和背景噪声。智能手机的声音频率通常在110Hz～20KHz之间，而人声的频率始终小于1KHz。因此，我们生成的声信号持续时间为3ms，频率范围为8KHz～16KHz。我们使用调频连续波(FMCW)来产生信号(图2中的实线)。

计算距离墙壁的距离是，当发出的声音信号遇到墙壁时，其回波信号被反射回来，并被智能手机的麦克风接收。如图2所示，接收信号和发射信号的波形一致，具有时间延迟Δt。时间延迟Δt的计算公式为：

其中f

如图3所示，当用户握住智能手机时在水平行走过程中，路径1表示顶部麦克风接收的信号的传播路径，路径2表示底部麦克风接收到的信号的传输路径。两个麦克风接收到的信号的传播距离差是智能手机的长度l。因此，当两个麦克风测量到的与侧壁的距离差接近2l时，接收到的信号很可能是从侧壁反射的回波。墙壁和智能手机之间的距离表示为：

其中，v

本实施例2中，在地图构建与细化设计部分，首先进行用户的轨迹追踪(即智能手机的移动轨迹)。使用航位推算来跟踪步行用户的步幅、步长和方向。成年人的正常步幅约为60cm，使用该值作为默认值，可以使用GPS根据室外轨迹进行自定义。然后通过检测垂直加速度的峰值和谷值来计算步长，将它们的差异阈值设置为3m/s

本实施例2中，在进行地图优化前还进行门窗检测，通过检测智能手机和侧壁之间的距离变化来判断门窗的存在。当变化超过阈值(20cm)时，将该点视为门/窗。当门窗长度太短时，将这些点作为异常值删除。

其中，地图细化过程具体如下：

通过用户轨迹与距离测量的结合，将墙段定位为地图上的分散点。这些分散点不仅包含具有极端误差的异常值，而且此类平面图与实际地图不一致。通常大多数墙是由线段组成的，它们的交点可以通过步行用户的转向事件来识别。在移除检测到的门窗后，将其余点拟合为线段，即：

f(x)＝kx+b

其中k是梯度，b是偏移。为了最小化墙段和散射点之间的误差，将目标函数构造为：

其中e表示误差之和，n表示墙上的点数，(x

因此

其中

最后进行连接区域检测，由于现代建筑总是多层的，具有不同类型的连接区域，自动识别楼梯和电梯，以关联楼层平面的每一层。

在爬楼梯时，加速度总是有很大的变化。为了消除智能手机姿态的影响，计算了智能手机上三轴加速度的幅值，如图6所示。接下来，使用滑动窗口沿加速度序列动态检测峰值和谷值。为了避免握手引起的错误，波峰和波谷之间的最小时间间隔设置为400ms。当电梯启动或停止时，智能手机沿重力方向的加速度会相应变化，当电梯以匀速移动时，它会保持稳定。如图7、图8所示，当电梯下降时，垂直加速度先减小后增大，反之亦然。采用3秒的滑动窗口来检测其上升/下降间隔，并验证这两个周期是否在合理的周期内(30秒)。

实施例3

本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现基于智能手机声波测距的室内平面图构建方法，该方法包括：

采用智能手机的扬声器发射声波信号；

采用智能手机的两个麦克风接收室内墙壁反射的回波信号；

基于接收的两个回波信号，计算墙壁与智能手机之间的距离；

获取智能手机的惯性数据，以跟踪智能手机的用户轨迹并识别室内连接区域；

结合融墙壁与智能手机之间的距离、用户轨迹和室内连接区域，并通过地图细化算法构建室内平面图。

实施例4

本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现基于智能手机声波测距的室内平面图构建方法，该方法包括：

采用智能手机的扬声器发射声波信号；

采用智能手机的两个麦克风接收室内墙壁反射的回波信号；

基于接收的两个回波信号，计算墙壁与智能手机之间的距离；

获取智能手机的惯性数据，以跟踪智能手机的用户轨迹并识别室内连接区域；

结合融墙壁与智能手机之间的距离、用户轨迹和室内连接区域，并通过地图细化算法构建室内平面图。

实施例5

本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现基于智能手机声波测距的室内平面图构建方法的指令，该方法包括：

采用智能手机的扬声器发射声波信号；

采用智能手机的两个麦克风接收室内墙壁反射的回波信号；

基于接收的两个回波信号，计算墙壁与智能手机之间的距离；

获取智能手机的惯性数据，以跟踪智能手机的用户轨迹并识别室内连接区域；

结合融墙壁与智能手机之间的距离、用户轨迹和室内连接区域，并通过地图细化算法构建室内平面图。

综上所述，本发明实施例所述的基于智能手机声波测距的室内平面图构建方法及系统，单侧声学测距。单侧保证了低局限性，在走廊与宽阔室内均有效；声学测距保证了不受光照条件影响，且有较高隐私性。地图构建与细化方法，将表示墙壁结构的离散点转化为可以表示真实墙壁结构的墙壁段，剔除了异常值，并对墙壁信息补全，获取到更完整的平面图。通过对室内不同层连接区域(如楼梯与电梯)的检测与标注，使得平面图可以表示多层的室内结构。与专用地图系统相比，本发明只需一部只能手机便可以完成室内平面图的构建，具有更低的成本。与计算机视觉技术构建室内地图相比，本发明无需拍摄室内环境，不受环境光照条件影响，且具有较高的隐私性。与Batmapper相比，本发明采用单侧测距，在宽阔的室内环境下Batmapper无法正常使用时，本发明任然有效。与此同时，本发明生成的是更完成的平面图，而非离散点形式，更符合真实的室内结构。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。