用于监控室内机器人的摄像机规划设备和方法

相关申请的交叉引用

本申请要求对2022年11月24日提交的美国临时专利申请案63/427,860享有优先权，通过引用将其公开内容并入本文。

技术领域

本发明涉及规划摄像机配置的方案，更具体地，涉及一种设备和方法，其可规划用于监控室内机器人的摄像机配置的通用方案。

背景技术

目前，机器人和自动化的时代已经到来，机器人被广泛应用于室内环境中执行各种任务。机器人可以扮演人类助手的角色，执行重复的手动任务，包括执行检查、执行地板清洁等。近来，无人环境也已经问世，使得具有挑战性的工作均可以完全由机器人执行。例如，对于物流公司而言，其可建立自动化仓库，并且用多个机器人代替人员进行选料，从而显着提高分类效率。甚至，也有科学家设计了一种移动机器人，其可在无人实验室中进行化学实验，这些机器人可以像化学家一样，执行选择想要的成分进行实验。随着部署室内机器人的场景增加，已有研究人员声称，出于人类对情况的误解或偏见而控制系统，可能会导致意外风险。然而，室内机器人的监控手段仍存在进步空间，因此相关领域仍欠缺一种适用于各种机器人场景的通用监控系统。

摄像机是室内监控中最常用的组件，其几乎被拿来当成是监控机器人的主要组件，有以下几个原因。首先，外部摄像机可以采用图像或视频的形式，提供机器人及其周围环境的实时概况，这是内置传感器所不能提供的。在这方面，能连续收集视觉数据对分析机器人状态，这是有价值且直观的。此外，摄像机可以通过物联网(IoT)技术连接到机器人平台，广泛的感测范围使应用程序能有更智能化的用途，例如可以避免产生拥挤区域。除了监控功能外，摄像机的价格也相对较低，商业上也更容易获得。而且，采用摄像机的方式，对正在进行的机器人活动的干扰会最小，且在管理上，这类非侵入性感测的特性更实用。

目前，机器人监控的摄像机放置计划方面，通常是基于管理者的知识而人工进行的，这在大型建筑物中可能耗时且不准确。有些研究已经开始使用智能技术来替代手动规划，以取得更好的性能。总体来说，智能摄像机规划中，会面临到三个子任务：(1)为摄像机模拟进行环境建模；(2)进行摄像机的覆盖分析；以及(3)任务取向的优化。

有相关的研究表示，可利用标准的计算机辅助设计(Computer Aided Design；CAD)软件来建立模拟环境，且仅使用简单的2D多边形来表示即可完成。也有程序是应用建筑信息建模(Building Information Modeling；BIM)，其能实现更准确的几何和语义信息。然而，大多数语义扩展是根据用户经验设计的，这缺乏既要考虑摄像机部署因素，还又要考虑机器人属性的通用模式。此外，现有的覆盖方法仅限于简单环境的几何量化(例如，2D或3D的边界框)。目前除了上述面临到的问题以外，现有的优化方法还忽略了室内物体的访问级别，这将导致不必要的计算。因此，在相关领域中，还需要设计一种准确的覆盖分析方法，以满足复杂的几何和语义需求。

发明内容

根据上述，虽然机器人的应用程序在室内环境中越来越受欢迎，并用来承担重复性、危险性和挑战性的任务；然而，机器人操作的附带风险通常被忽视，基于各种室内条件，这对一般监控来说事实上是一个挑战。在本申请的技术方案中，提出了一种摄像机规划的框架，其可以普遍应用于不同的室内机器人场景来解决这个问题；首先，基于系统文献综述(systematic literature review；SLR)和行业基础分类(Industry Foundation Classes；IFC)模式，构建出摄像机集成建筑信息建模(Building Information Modeling；BIM)，然后对监控区域进行语义体素化。其次，提供了一种摄像机覆盖分析方法来考虑对象的属性，并在此基础上提出了分层公式。最后，提出了一种高效的两阶段遗传算法(efficient two-stage genetic algorithm；ETGA)，以保证优化精度和效率。并且，经过验证。使用ETGA可获得基本对象的完全覆盖，并且覆盖值比基于经验的方法高了20％以上。与基本的遗传算法相比，ETGA节省了大约50％的计算时间，并减少了80％的数据集和搜索空间大小。

本公开的一个方面涉及一种用于监控室内机器人的摄像机规划设备，其特征在于，包括仿真环境建模模块、基于真实摄像机模型的分层公式生成模块以及基于两阶段遗传算法的摄像机放置方案优化模块。仿真环境建模模块用以接收输入材料，并依据所述输入材料的系统文献综述，部署以及确定室内摄像机的放置因素，所述仿真环境建模模块还用以依据所述输入材料，将所述放置因素与建筑信息建模集成，以生成摄像机BIM模型，且所述仿真环境建模模块进一步依据所述输入材料生成用于机器人监视区域的体素。基于真实摄像机模型的分层公式生成模块用以依据所述仿真环境建模模块所生成的所述机器人监视区域的体素，进行摄像机覆盖范围分析，其包括对基本区域、感兴趣区域、禁止区域给出量化的覆盖值，从而输出最佳摄像机位姿。基于两阶段遗传算法的摄像机放置方案优化模块用以依据所述仿真环境建模模块所生成的所述摄像机BIM模型生成基于BIM的搜索空间，并还依据所述基于BIM的搜索空间、依据所述仿真环境建模模块所生成的所述机器人监视区域的体素以及所述真实摄像机模型的分层公式生成模块所输出的所述最佳摄像机位姿，通过两阶段遗传算法生成摄像机的优化放置规划。

本公开的一个方面涉及一种用于监控室内机器人的摄像机规划方法，其特征在于，包括以下步驟：通过仿真环境建模模块接收输入材料，并依据所述输入材料的系统文献综述，部署以及确定室内摄像机的放置因素；通过所述仿真环境建模模块，依据所述输入材料，将所述放置因素与建筑信息建模集成，以生成摄像机BIM模型；通过所述仿真环境建模模块，依据所述输入材料，生成用于机器人监视区域的体素；通过基于真实摄像机模型的分层公式生成模块，依据所述仿真环境建模模块所生成的所述机器人监视区域的体素，进行摄像机覆盖范围分析，其包括对基本区域、感兴趣区域、禁止区域给出量化的覆盖值，从而输出最佳摄像机位姿；通过基于两阶段遗传算法的摄像机放置方案优化模块，依据所述仿真环境建模模块所生成的所述摄像机BIM模型生成基于BIM的搜索空间；以及通过所述基于两阶段遗传算法的摄像机放置方案优化模块，依据所述基于BIM的搜索空间、依据所述仿真环境建模模块所生成的所述机器人监视区域的体素以及所述真实摄像机模型的分层公式生成模块所输出的所述最佳摄像机位姿，通过两阶段遗传算法生成摄像机的优化放置规划。

附图说明

当结合附图阅读时，从以下详细描述中容易理解本公开的各方面。应当注意，各种特征可能没有按比例绘制。也就是说，为了讨论的清楚，各种特征的尺寸可以任意增加或减少。下文将参照附图更详细地描述本公开的实施例，其中:

图1示出了根据本发明的技术方案所提出的用于室内机器人监控的摄像机规划框架的设备。

图2为仿真环境建模模块进行搜寻流程与筛选流程的流程示意图。

图3出示每个因素项目与建筑元素之间的关系。

图4出示了基于BIM和机器人配置的监控区域语义体素化的流程示意图。

图5出示了基于BIM的监测对象体素化计算代码。

图6出示了真实相机的视野FOV模型。

图7出示了真实相机覆盖分析的计算代码。

图8出示了生成搜索空间的说明性示意图。

图9出示了基于BIM的搜索空间自动生成的计算代码。

图10出示了高效的两阶段GA优化算法的计算代码。

图11出示了第一阶段遗传算法的染色体定义。

具体实施方式

在所有附图和详细描述中，使用相同的附图标记来表示相同或相似的组件。从以下结合附图的详细描述中，将容易理解本公开的实施例。

空间描述，例如“上”、“上方”、“下方”、“之上”、“左”、“右”、“下”、“顶”、“底”、“垂直”、“水平”、“侧”、“更高”、“更低”、“更顶”、“超过”、“之下”等，是相对于某个部件或部件组，或者部件或部件组的某个平面，针对相关附图中所示的部件的方位而指定的。应当理解，这里使用的空间描述仅用于说明的目的，并且这里描述的结构的实际实现可以以任何方向或方式进行空间排列，只要这种排列不偏离本公开的实施例的优点。

在下面的描述中，涉及可用于监控室内机器人的摄像机配置方案的规划设备和方法作为优选的例子被阐述。对于本领域技术人员来说，显而易见的是，在不脱离本公开的范围和精神的情况下，可以进行修改，包括添加和/或替换。可以省略具体细节，以免模糊本公开；然而，撰写本公开是为了使本领域技术人员能够在没有过度实验的情况下实践本文的教导。

以下将先对与本申请的技术方案有相关工艺进行说明，并举出本申请的技术方案是针对现有存在的何种缺陷提出改进。

一、摄像机覆盖模拟的环境建模：

由于建筑信息建模(Building Information Modeling；BIM)带有丰富的信息和出色的互操作性，其已成为传感器仿真环境的热门资源。几何信息可表示室内环境中的物理元素，属于最基本一类的信息。有些相关研究采用了室内建筑元素基础的几何信息来生成数据图像以进行二维覆盖分析，其将施工现场映射到二维网格地图，包括占用和未占用的网格。一些相关研究也转向3D-BIM模型，并进行摄像机覆盖分析，同时2D监控区域也转换为网格以方便量化。为了实现3D覆盖量化，也有研究提出了一种基于轴对齐边界框(axis-aligned bounding box；AABB)表示，其方法可将3D-BIM模型转换为体素。与其他计算机辅助设计(Computer-Aided-Design；CAD)软件相比，BIM的主要制图优势在于其语义数据。许多研究人员专注于语义扩展来满足任务要求。例如，一些相关研究还考虑了监测区域内的重要区域，并进一步赋予了相应的重要性值。同样，一项相关研究表示，也可以根据语义要求，设计不同区域的空间权重，使得关键区域能被设计为高权重，例如能将监测区域分为常规区域和核心区域。

先前的研究表明，BIM可以在传感器模拟环境中，提供有用的环境信息，但仍然存在两个局限性。首先，现有用来放置摄像机的语义是根据人工经验设计的，然而，这类基于经验的扩展并非是系统化的，故不能普遍再应用至其他同的室内机器人场景。其次，现有的基于几何信息的建模方法对于准确的覆盖分析来说不够准确。例如，一项相关研究表明，采用的方法只能支持具有“从地板到天花板”墙壁的环境。尽管其中一项相关研究提出了将BIM元素转换为体素的解决方案，但其仍然仅限于具有规则几何形状的元素(例如，垂直墙壁、平坦地面)。为了解决这两个限制，在本发明所提出的技术方案中，旨在通过系统文献综述(systematic literature review；SLR)来确定影响室内摄像机放置因素的完整列表，并将其在机器人背景下进一步优化。这些因素可以与基于行业基础分类(IndustryFoundation Classes；IFC)模式架构的BIM(RBIM)集成，以改进数据管理和重复应用程序。考虑到语义BIM，在本发明所提出的技术方案中，也提出了一种改进的体素化方法，用于精确的语义进行摄像机覆盖分析。

二、摄像机的覆盖分析：

为了给定覆盖模拟的环境设置，需要高质量的视野(field of view；FOV)模型来评估放置计划的适合度。大多数研究手段会采用2D-FOV模型作为摄像机表示，以有效地进行覆盖分析。或是，也能采用二维圆形进行视场能见度评估，这同时还能消除不同摄像机之间的重叠区域。然而，对于这类方法，可以直观理解，简化的2D-FOV模型是以牺牲精度为代价的。也有其他研究手段是考虑了PTZ摄像机的3D-FOV模型，并将水平角度简化为360°。还存在一些相关研究是将3D-FOV建模为矩形金字塔，以获得更真实的表示。

为了给定FOV模型，应进行能见度检查以进行覆盖量化。首先，应确定物体是否被摄像机的视点遮挡。对于2D-FOV模型，一些相关研究提出了类似的方法来检查视线中是否存在障碍物。在3D-FOV模型方面，一项相关研究提出了一种线平面相交方法来检查2D物体是否被遮挡。一些相关研究利用Unity3D游戏引擎来检查2D监控区域的线面相交。此外，也有研究声称现实分析还应考虑3D对象，并提出了一种线盒相交方法用于遮挡检测。此外，可见性质量是影响监控任务的另一个关键因素。大多数研究都设定了最大摄像机覆盖范围，这是由于远处的物体会被认为清晰度不够，导致无法监控。一些相关研究采用瑞利(Rayleigh)分布来进行传感器传播，其中数据的可靠性随着距摄像机距离的增加而逐渐下降。最后，覆盖率评估应根据可见物体进行，基本由可见2D/3D物体的数量决定。此外，一些研究还包括监测对象的属性。一些相关研究采用对象的总重要性值作为评价指标，而一项相关研究则要求以特定比例覆盖核心区域。

尽管之前的研究提出了考虑语义的3D覆盖分析方法，但这些丰富语义对于实际应用来说还不够系统化。例如，一项相关研究表明，其覆盖分析方法在不考虑分辨率的情况下得到了简化，这对于摄像机的放置作业十分重要。因此，本发明的技术方案是能考虑已确定的放置因素(例如，分辨率要求)下，提出一种现实的摄像机覆盖分析。

三、摄像机放置的优化方法：

对于布局任务的最后一步，应要能根据需求而明确优化技术方案。一般来说，摄像机覆盖问题的目标可以分为三种类型，例如最大覆盖问题、最小成本问题和多目标问题。最大覆盖问题旨在最大化固定数量的摄像机的覆盖范围。一些研究提出，可通过迭代改变单个摄像机的位置和方向直到覆盖范围达到最大，从而找到了单个摄像机的最佳放置位置。最小成本问题仅在满足约束的情况下最小化成本。例如，一些研究提出，可将最小化所需摄像机的成本做为目标，同时将覆盖所有点建模为约束，最终输出是所有摄像机的位姿。一些研究提出一种针对3D摄像机传感器的障碍覆盖方法，指出所有感兴趣的区域都应该以最小化的成本完全覆盖。一些研究旨在采用最便宜的计划获得能够覆盖至少70％核心区域的方案。多目标问题通常包括最小化摄像机成本和最大化覆盖区域，其一般可采用Pareto前沿分析来进行成本和覆盖率之间的权衡分析。

考虑到优化目标和约束，应该仔细设计合适的算法。大多数研究人员关注元启发式算法，因为找到最佳放置解决方案始终是非确定性多项式时间(nondeterministicpolynomial-time；NP)的难度级别。最能被接受的是使用遗传算法(genetic algorithm；GA)，因为很容易实现。基本的遗传算法足以解决单目标优化问题，其中适应度直接由目标决定。然而，传统的遗传算法由于适应度计算是独立的，将会非常耗时。因此，一些研究采用了并行修改遗传算法(parallel modified GA；PMGA)，将适应度计算分配给多个CPU内核。为了解决多目标问题，需要非支配Pareto解决方案的GA变体来捕获不同摄像机的覆盖范围和成本之间的权衡。例如，一些研究选择了偏好启发的协同进化算法(preference-inspired coevolutionary algorithm；PICEA)来获取考虑成本和覆盖范围的Pareto前沿解。一些研究采用非支配排序遗传算法(Non-dominated sorting genetic algorithm；NSGA-II)来进行更有效的适应度评估。

先前的研究表明，摄像机成本和覆盖性能是两个主要的优化因素，并在此基础上提出了各种公式。然而，单目标表述仅限于特定场景(例如，最大覆盖范围或最小成本)。尽管多目标公式考虑了成本和覆盖范围，但仍需要Pareto前沿分析才能获得最终的最优解决方案，这对于缺乏经验的用户来说可能具有挑战性。

为了解决这些局限性，在本发明的技术方案中，所提出的是一种基于监控区域访问级别的直观公式，其无需进一步分析即可生成具体的解决方案。此外，现有的优化算法有两个限制会影响其效率。首先，毕竟搜索空间始终是手动生成的，这种过程相当耗时，而且结果很可能不完整。其次，对于覆盖能力有限的计划，尤其是在大型环境中，存在不必要的适应度计算。例如，一些研究旨在找到最大覆盖范围的计划，实现覆盖70％的核心区域。在直观的角度上，廉价的计划无法覆盖所有核心区域(约束)，但是可以避免其他区域的覆盖计算成本。此外，像之前的研究中，若是根据经验或随机搜索来确定最低摄像机数量，这类方式是不完整的，且可能会错过最便宜的计划。因此，本发明的技术方案提出了一种改进的遗传算法，通过基于BIM的搜索空间生成和分层优化策略，可大幅度提高搜索效率。

如上述提及的现有技术手段存在的缺失，以下将针对本发明的技术方案给出具体说明。包括(1)对采用框架的概述；(2)基于OpenBIM的语义环境建模；(3)基于现实摄像机模型的分层问题表述；以及(4)基于高效的两阶段遗传算法(efficient two-stage geneticalgorithm；ETGA)的布局优化。

(1)对采用框架的概述：

图1示出了根据本发明的技术方案所提出的用于室内机器人监控的摄像机规划框架的设备100，其运作基础可以是根据文献、基于IFC的BIM模型和用户输入内容。如图1所示，用于框架的输入材料可包括但不限于，文献数据库(Literature Database)、搜寻引擎、基于IFC的建筑信息模型(IFC-based BIM)、机器人配置(Robot Configuration)。文献数据库可以包括相关的研究文献、学术出版物等，这些资料可以提供关于机器人监控、室内环境和建筑信息模型(BIM)等方面的背景知识和先前的研究成果。搜寻引擎可以包括从互联网搜索引擎获取的信息，可能是关于机器人技术、室内环境监控相关的网上内容。基于IFC的建筑信息模型是一种标准的开放式数据模型格式，包括描述建筑和设计领域的信息，其可用来获取室内环境、机器人配置等相关数据，从而在后续的分析中使用。机器人配置包括机器人的设定、参数、能力等信息，这些信息将有助于了解机器人在特定环境中的运作和限制，以便于进行后续的分析和规划。通过这些输入材料，可以接受各种来源的信息，并且这些信息可以成为后续处理、分析或决策的基础。

在一些实施例中，设备100包括材料接收模块102，其可用以通过有线通信或是无线通信的方式，访问文献数据库、搜寻引擎、基于IFC的建筑信息模型、机器人配置从中取得目标文献，并储存于其中。材料接收模块102还可以将储存在其中的文献提供给设备100的其他组件或模块。用户也可以通过材料接收模块102手动输入相关材料或是进行更新，或是，用户也可以设定材料接收模块102的配置，使其能定期从网上取得更新信息。

规划框架主要包括仿真环境建模模块110、基于真实摄像机模型的分层公式生成模块120、基于两阶段遗传算法的摄像机放置方案优化模块130。

仿真环境建模模块110可基于openBIM进行建模仿真环境。仿真环境建模模块110用以在根据高质量文献的系统文献综述(SLR)，部署并确定室内摄像机放置因素的完整列表。由于这些因素与室内元素密切相关，因此其可进一步与BIM模型集成为摄像机BIM模型(CBIM)。仿真环境建模模块110的组件配置方面，选择IFC作为数据模式，这是不同项目参与者之间基于BIM的高效工作流程的强制性前提条件，也称为openBIM模式。仿真环境建模模块110还能通过语义体素化方法来生成机器人监视区域的体素。

基于真实摄像机模型的分层公式生成模块120可用以提出一种真实的摄像机覆盖分析模型，其中所提出的模型考虑了3D语义可见性检查的对象属性。基于真实摄像机模型的分层公式生成模块120还用以提出一种分层两级优化公式，以实现完整且高效的搜索。对于基于真实摄像机模型的分层公式生成模块120而言，主要优先任务是在找到满足所有约束条件的最便宜的计划；而次优先任务是在给定最小摄像机数量的条件下，获得相同约束的同时能有最大化覆盖值，亦即能实现达到一定比例。

基于两阶段遗传算法的摄像机放置方案优化模块130可用以提出一种基于BIM的体素化方法来生成GA搜索空间的体素。基于两阶段遗传算法的摄像机放置方案优化模块130可利用BIM中的建筑空间概念和关系，像是应用属性IfcSpace和属性IfcRelContainedInSpatialStructure，将整个空间划分为子空间以进行降尺度。接着，基于两阶段遗传算法的摄像机放置方案优化模块130在其第一阶段的遗传算法中，能进行成本优化，并输出满足所有约束的最便宜的计划。而在将最便宜的计划的输出设置为初始代后，再进行ETGA进行覆盖值优化。

(2)基于OpenBIM的语义环境建模；

基于OpenBIM的语义环境建模可由仿真环境建模模块110执行，其可包括基于SLR的室内监控摄像机放置因素识别与确定因素、基于IFC模式的布局因素与BIM模型的集成、监控区域的语义体素化，分别描述如下。

基于SLR的室内监控摄像机放置因素识别与确定因素：

如图1的方块S10与S20，仿真环境建模模块110能使用SLR来确定室内监控摄像机部署因素的高质量列表。图2为仿真环境建模模块110进行搜寻流程与筛选流程的流程示意图，仿真环境建模模块110能通过这些流程来研究选择目标文献。在学术领域的数据方面，可以从两个最广泛的学术数据库Web of Science(WoS)和Scopus收集相关信息，包括研究领域中所有广泛认可的关键词，以提高数据的有效性和可靠性，这些关键词可以分为“摄像机相关”、“任务相关”或“室内建筑相关”。在一些实施例中，仿真环境建模模块110还可以使用相同的查询字符串对有关行业和国家标准的灰色文献进行了典型搜索，例如通过Google搜索。在一个实施例中，仿真环境建模模块110可进行搜索并保存25篇文献研究。应理解，在此所述的25篇文献研究仅是用以说明，而非限制本发明，在其他的选择过程的流程中，最终也可以是保存其他数量的文献研究。基于高质量的研究，仿真环境建模模块110识别并丰富机器人场景中的三个关键安置因素组，其主要内容列在表1。

表1用以确定影响室内监控摄像机放置位置的因素

基于IFC模式的布局因素与BIM模型的集成：

为了使仿真环境建模模块110能实现自动规划，如图1的方块S30与S40，可建立IFC-摄像机模式，将识别的因素纳入现有的BIM模型中。图3出示每个因素项目与建筑元素之间的关系。具体来说，配置摄像机的因素可以附加链接到摄像机属性IfcLightFixture，这是为摄像机推荐的特定IFC属性，并包括各种灯具相关的属性和信息，例如灯具的型号、功率、光线分布、安装位置等。直观地说，摄像机通常安装在墙壁、柱子和天花板(即楼板的朝地一侧)上。因此，也会在摄像机在关于属性IfcWall、属性IfcColumn和属性IfcSlab中，添加了安装约束因素。区域属性的因素也可以附加到室内对象，包括室内空间(属性IfcSpace)和室内元素(属性IfcElement)。机器人也可以是室内元素的一部分。此外，每个特定因素都被定制为一个新的属性集合(IfcPropertySet)，并以“C_Pset”及其缩写命名。可以再为因素组件创建定制的属性(IfcPropertySingleValues)，并以“C_”开头和相关缩写命名。例如，因素“视野”可以被命名为“C_Pset_FOV”，而在视野计算方面所需的组件在附加的属性“IfcPropertySingleValues”中表示(例如，属性C_HAngle表示为水平角度)。表2给出了属性“IfcPropertySingleValues”的详细信息，包括定义、数据类型和数据源。在一些实施方式中，列出UPS/电池的目的是要挑选摄像机，这是因为在特定安装位置上，并无法同时支持UPS与电池，因此在考虑摄像机方面，若是目标区域仅支持电池而不支持UPS，则仅能使用UPS的摄像机将会被删除。

表2因素内容中的属性“IfcPropertySingleValue”的内容

监控区域的语义体素化：

如图1的方块S50，仿真环境建模模块110可用以构建室内机器人操作区域的语义体素。图4出示了基于BIM和机器人配置的监控区域语义体素化的流程示意图，仿真环境建模模块110能在此流程的基础上进行准确的覆盖量化，此算法流程涉及以下三个步骤。此外，图5展示了基于BIM的监测对象体素化计算代码，并且在以下步骤中，也会将有涉及代码的位置标示出来。

第一个步骤：先对一个空的体素模型进行初始化。“网格”格式可以被用作是对于BIM元素的精确几何表示方式，其可以通过属性IfcOpenShell并从其中的属性IfcShapeRepresentation中提取(图5代码的第4行和第13行)，包括索引三角形表面。再通过功能函数MaxMinExtration(·)提取并比较所有网格信息后，可以确定边界点(图5代码的第5行)。此外，给定边界点和单位体素大小“d”(图5代码的第6行)，通过功能函数EmptyVoxel(·)构造空体素。在这个阶段中，所有体素都先被初始化为未占用状态，而其类型和区域属性均被设置为“Null”(图5代码的第7-10行)。

第二个步骤：基于摄像机集成的BIM构建出室内元素和空间的几何体素模型，如图4的(a)及(b)所示。在本发明的技术方案中，提出了一种均匀采样方法，将每个网格离散成采样点，从而能快速确定网格穿过的体素。每个网格可以由向量v1和v2表示(图5代码的第15行和第16行)。给定向量长度和采样距离“e”(其略小于“d”)，这样一来，v1和v2的比例组合就可以得到确定(图5代码的第17-20行)。在图5的代码中，功能函数ComVec(·)是创建向量组合的函数。此外，可以通过将点坐标四舍五入为积分体素坐标(通过功能函数Ceil(·))找到交叉体素，并同时删除重复项(通过指令Unique(·))，如图5代码的第21行。除了检测表面体素之外，还可以使用MATLAB功能函数InPolyhedron(·)的现有函数来识别内部体素，这是因为其能够被应用于凸面和凹面物体(如图5代码的第25行)。为了提高体素化速度，应删除网格附近的重复项以节省内存(通过功能函数Unique(·))，并且仅包含检查对象周围的体素(图5代码的第23和24行)。

第三个步骤：将语义信息应分配给体素(图5代码的第35-40行)。具体来说，BIM模型中明确提供了图元类型和附属空间，而区域属性(访问级别和分辨率要求)则与建筑元素和机器人配置有相关联，如图4的(c)。举例来说，属性中的C_Interest可以由清洁机器人的工作范围确定，并且可以将主要入口可以标记为“ER元素”，因为这是机器人经常访问的地方。可以将室内元素(IfcElement)的区域属性附加到其周围空间，并由膨胀的边界IV表示，其中边界IV则由功能函数SetDiff(·)确定，这可以从其膨胀的体素空间中排除元素体素(图5代码的第30和31行)。对于室内空间(属性IfcSpace)，其对象属性能够直接附加到覆盖的体素(图5代码的第33行)。

(3)基于现实摄像机模型的分层问题表述；

基于真实摄像机模型的分层公式生成模块120能给出基于现实摄像机模型的分层问题的解析，此过程包括对现实的摄像机覆盖范围分析(图1的方块S60)以及分层问题表述(图1的方块S70)来进行说明。

在真实的摄像机覆盖范围分析方面，本发明的技术方案中，可以先假设将摄像机的视野模型(FOV模型)设置为四棱锥，摄像机的安装位姿在全局坐标中表示为P＝(x,y,z,θ

第一个步骤：快速识别摄像机FOV覆盖的体素。局部四角锥网格的五个角可以根据摄像机的尺寸确定，如图6(b)和图7的代码第13行所示，可以通过局部-全局变换将其转换为全局角(第14行)。通过功能函数MeshGeneration(·)和角坐标生成网格后(图7的代码第15行)，前面提到的功能函数MaxMinExtration(·)、EmptyVoxel(·)和InPolyhedron(·)可有效地使用在内部体素(图7的代码第16-18行)。

第二个步骤：根据体素类型和分辨率要求进行改进的可见性检查。功能函数RayCasting(·)可以用于获取光线从摄像机中心穿过到检查的内部体素的所有体素(图7的代码第20行)。在此，合理假设透明元素不会遮挡视线。因此，仅当任何交叉的体素被占据且不属于属性IfcWindow和属性IfcCurtainWall时，所检查的体素(如图7的代码第21-26行列出的iv码)将被确定为“不可见”。此外，图7的代码第28行提出了MMP度量。垂直和水平的MMP度量都是根据物体到中心距离、摄像机视角和摄像机分辨率计算的，如图6的(c)和(d)所示，而较小的数值将会被选出作为最终的MMP度量。如果iv码的MMP度量大于其分辨率要求，则将会被标记为“不可见”(图7的代码第29-31行)。如果iv码是非重复且独一的，则将表示可见的iv码添加到可见体素集(代码VV，位于图7的代码第33行)。

第二个步骤：根据体素的访问级别设计语义覆盖评估。如果可见体素(vv)是IR体素，则覆盖值直接等于其兴趣值。提供布尔指示符(Boolean indicator)“g”来确定是否需要对IR体素进行优化，这将在之后关于图7的代码第43-45行部份给出讨论。由于ER体素应被完全覆盖，而FR体素应被完全避免，因此相应地附加了很大的奖励和惩罚值。奖励设置为总偏好值TV；惩罚设置为-TV，初始覆盖值设置为-N*TV，其中N是ER体素的数量(图7的代码第37-42行)。因此，如果覆盖所有ER体素并避开所有FR体素，则覆盖值将为零。

在分层问题表述方面，先假设在实际应用中，优化过程应考虑不同访问级别的监控区域和不同类型的摄像机。因此，优化目标是找到最便宜的计划来覆盖所有ER体素，避免所有FR体素，并最大化IR体素的总价值。在本发明的技术方案中，采用的技术手段与之前的研究将所有目标和约束集成到一个级别的方式不同，本发明的技术方案提出了一个两级分层公式来提高优化效率和逻辑，可通过快速剔除下层优化中的不可行解来提高效率，并通过分层优化策略来改进逻辑。

较低级别的优化旨在找到满足ER体素和FR体素所要求的最便宜的计划。先将摄像机计划从最便宜到最昂贵排列，由于覆盖能力有限，初始计划可能无法覆盖所有ER体素。因此，此较低级别中不包括IR体素的计算，这可以快速排除不可行的计划。优化目标是最小化所选摄像机的总价格，列于下方的方程式(1)。N(n1,n2,…,nn)是每种摄像机类型的数向量，M(m1,m2,…,mn)是每种摄像机类型的总成本。设定的约束条件是覆盖所有的ER并避开所有的FR，即覆盖值不小于零，此可由图7的算法(2)得到。根据图7，C(N)是摄像机组合，其中包含所选摄像机的配置。P由每个摄像机的位姿组成，其中X，Y，Z是每个摄像机的位置向量，θ

MinN

s.t.Algo

较高级别的优化旨在最大化最便宜计划N的覆盖值。决策变量和约束与较低级别的步骤类似或相同(方程式(2))。最终输出是一组最佳摄像机位姿，其可满足所有FR和ER要求并具有最大覆盖值。较低级别步骤的输出摄像机位姿在较高级别的步骤中能用作良好的初始生成，并且在这阶段的输出中，会将对IR的考虑包含在计算中，其布尔参数为True。

Max Algo

s.t.Algo

(4)基于高效的两阶段遗传算法(efficient two-stage genetic algorithm；ETGA)的布局优化。基于两阶段遗传算法的摄像机放置方案优化模块130可进行ETGA布局优化，如图1的方块S80及S90，其包括基于BIM的搜索空间自动生成以及使用ETGA部署优化。

在基于BIM的搜索空间自动生成方面，基于两阶段遗传算法的摄像机放置方案优化模块130可配置以基于BIM的方法来自动生成潜在的安装位置(例如安装可行性检查)，即用于放置优化的搜索空间，而不是手动确定可安装位置，其包括三个步骤：

配合图8说明，其显示了搜索空间生成的说明性示例。第一个步骤：首先，通过检查墙壁、柱子和天花板的周围影响和操作约束来确定可安装的组件(图9的代码第5-9行)。可安装的属性IfcSlab(天花板)的下侧网格以及可安装的属性IfcWall和属性IfcColumn的垂直网格被功能函数DownsideMeshes(·)和VerticalMeshes(·)提取为可安装网格(图9的代码第11-16行)。网格提取功能由法线计算和共面检测支持。第二个步骤：采用算法1中的功能函数1SurfaceVoxelzation(·)，将可安装网格转换为体素(图9的代码第20行)。在进行最终的有向平移之前，假设可安装的物体是凸的，则通过对物体角点的坐标进行平均来计算每个物体的内点作为参考，即图9的代码第17和18行中的cp码。使用“PointOut”向量V3与网格的法线向量V4，在其之间进行向量乘法以获得平移方向(图9的代码第21-29行)。然后，使用定向偏移确定平移体素(translated voxels；TVs)(图9的代码第30行)。第三个步骤：最终，只有高度大于最低要求的未占用平移体素TVs才会被保存为可行体素，并消除重复项(图9的代码第31-36行)。

在ETGA用于部署优化方面，由于可扩展性对于优化算法至关重要，尤其是在大型项目中，因此，本发明的技术方案中，提出ETGA来保证优化效率和完整性，其伪代码(pseudo-code)如图10的算法所示，包括三个步骤。

第一步：基于BIM进行空间划分。由于室内空间通常由物理元素分隔，除非分隔是透明的，不然特定空间中的摄像机事实上并无法监控其他空间中的机器人。因此，环境首先被属性IfcSpace分解为子环境，且还可以通过功能函数ExtractEP(·)，进一步缩小到包含ER元素的环境，这是因为只有ER元素应该被完全覆盖(图10的代码第6行)。然后，执行功能函数ExtractER(·)，通过属性IfcRealContainedInSpatialStructure提取所有基本空间的基本IFC关系(其被定义为er码)。图10的代码中的er.RelatedElements码将识别空间中是否包含任何透明元素(属性IfcWindow或属性IfcCurtainWall)，并且由识别的透明连接元素实现连接的空间将会被合并(图10的代码第6-12行)。

第二步：对每个子空间进行第一阶段的遗传算法。由于重要区域可能是分散的，因此可以部署多个摄像机以实现完整覆盖。先给定n种摄像机的成本，可以得到(n+1)(n+2)(n+3)/6个组合计划，并通过功能函数SortedPlan(·)进行排序(图10的代码第17行)。从最便宜的开始，应用传统的GA工作流程，包括：(a)群体初始化：如图11所示，群体大小取决于所选摄像机的数量，而每个染色体由安装体素的索引组成(所述索引为指示3D位置)和两个安装角度。第一个群体基因由功能函数InitialPop(·)随机生成，从而满足成分范围(图10的代码第17行)。应该注意的是，由于摄像机会有不同的安装要求，其应通过图9的算法3确定每种摄像机类型的安装体素的索引范围；(b)适应度计算：图8的算法2可用于适应度评估，其忽略IR体素以节省计算资源(图10的代码第21行)；(c)选择：适应度最好的种群将被保存为精英，而一定数量的顶级世代将被保存为父母进行交叉和变异(图10的代码第32行)；(d)交叉生成：性别交叉用于从覆盖值好的亲本生成后代，可以保存有价值的遗传信息(图10的代码第33行)；(e)变异：变异应用于已发展的种群集，以摆脱局部最优并探索其他解空间，其中每代的染色体组成在允许的范围内可随机改变(图10的代码第34行)；(f)终止：(f1)如果覆盖值等于0，则第一阶段GA结束(图10的代码第22-24行)，(f2)如果覆盖值在允许的时间N1内无法提高并且迭代次数超过N2，则当前摄像机计划的GA优化将由于覆盖能力有限而停止(图10的代码第20行)。将从排序后的计划中提取价格较高的摄像机组合并开始新的迭代。

第三步：进行第二阶段的遗传算法。第二阶段的遗传算法的目标是进一步优化最便宜摄像机计划的覆盖值。在这个阶段中，选择、交叉和突变的配置与第一阶段遗传算法相同(图10的代码第40-42行)，但在前述算法2的适应度评估过程中应已有包括IR体素(图10的代码第43行)。除非已达到以下两个终止条件之一，不然迭代过程将会在后续的世代中一直重复进行。条件一：如果覆盖值等于感兴趣体素tv的总值，则表明ER和IR体素已被完全覆盖，并且UR体素已被完全避开(图10的代码第44-46行)。条件二：如果覆盖值在允许的迭代时间N3内无法提高并且整代数已到达超过N4(图10的代码第39行)。最终，可将每个子空间的最佳摄像机位姿组合起来，就能生成最佳解决方案(图10的代码第55行)。

接下来说明为实际采用本发明的技术方案的结果，以验证技术方案的可行性与性能。在验证方面，是将本发明的技术方案与人工规划比较。表3提供了本发明的技术方案与人力经验规划在部署细节和性能上的比较结果。A型、B型及C型摄像机的配置个别由五个参数表示，即安装位置(x，y，z)和安装倾斜和平移角度(θ

表3经验法和ETGA优化结果

再如表4所示，基于BIM的空间划分显着减少了每个子空间的搜索空间和数据集大小。将整个空间划分为五个子空间后，搜索空间和数据集的总大小可以减少80％(除以五)。考虑到两阶段优化策略，第一阶段计划的计算时间减少了近50％。

表4搜索空间和对象数据集的大小和大小缩减

以下将进一步讨论本申请的技术方案的：语义环境建模的性能、体素模型的性能和真实覆盖分析以及基于ETGA的优化性能。

语义环境建模的性能：

在基于openBIM的环境建模的描述中，本申请的技术方案首先提出了一种用于室内摄像机规划的通用openBIM模式。进行了25项高质量SLR研究，以确定影响摄像机在室内机器人环境中放置的因素与之前的经验定义方法相比，本申请的技术方案的识别方法显着提高了因素的完整性和科学有效性。例如，MMP要求在学术研究中普遍缺失，但在官方法规中经常提及。所确定的因素可以作为各种机器人环境的一般基础，其中只需要简单的项目相关更新。

此外，构建的IFC-Camera架构展示了集成BIM和摄像机配置的可行性。这种集成可以极大地提高数据管理效率，因为摄像机因素以结构化且统一的模式清晰地表示。虽然之前的研究已经证明了基于IFC的扩展对于各种应用程序的有效性，但大多数仍仅限于对象级别。本申请的技术方案关注模式级扩展。除了为摄像机创建一个新实体之外，所提出的方法还考虑了机器人的语义扩展了现有属性或元素(例如，IfcWall)。

体素模型的性能和真实覆盖分析：

监视区域语义体素化方法旨在以体素格式表示机器人操作区域，以便进行后续的覆盖分析。基于“网格”表示，所提出的方法可以有效地识别形状复杂的监测元素所覆盖的体素，例如家具甚至具有倾斜屋顶的房间空间。值得注意的是，精确的体素化方法也可以用于其他机器人研究的环境建模，例如路径规划、传感器覆盖模拟等。搜索空间的体素化具有类似的原理，但具有基于对象的偏移。与以前的手动方法相比，本申请的技术方案不仅可以有效地识别优化搜索空间，而且可以遵循语义要求(例如功率要求)。

除了精确几何表示的优势外，体素模型还能够将“元素宿主”的语义信息“移植”到其“寄生体素”。基于这些语义体素，真实的摄像机模型可以进行精确的3D量化。此外，体素合规性检查还考虑了现实因素，包括交叉体素的透明度、分辨率要求以及监控对象的访问级别。

基于ETGA的优化性能：

与早期研究使用基于经验的帕累托前沿分析来优化多目标摄像机放置不同，本申请的技术方案的分层问题表述可以根据对象的优先级生成明确的解决方案。采用的公式还可以通过稍加修改扩展到其他场景。例如，用户可以为红外对象添加最小覆盖率，这可以在高级优化阶段制定为新的约束。此外，分层公式有可能提高优化效率，因为低级优化可以有效地排除故障计划，而无需计算最终目标。为了解决两阶段优化问题，提出并验证了ETGA，与一般方法相比，效率大大提高。

ETGA在覆盖精度方面优于基于经验的方法。基于经验的部署通常是直观的，其中摄像机面向ER对象。然而，这些摄像机无法完全覆盖所有的目标ER对象。在相似成本下，本申请的技术方案提出的ETGA可以获得完整的ER覆盖率和21.4％的IR目标覆盖率。结果表明ETGA在分辨率考虑方面的准确性。此外，ETGA还可以通过考虑摄像机配置来准确找到最合适的摄像机。

ETGA减少了搜索空间和数据集的大小而不影响性能。基于BIM的空间划分自动将整个环境划分为子空间。由于ETGA还组合了由透明对象连接的子空间，因此每个空间都可以独立优化，而不会造成性能损失。除了并行计算之外，每个子空间的搜索空间和数据集尺寸的减小也有助于提高优化效率。与没有空间划分的ETGA相比，ETGA在每个子空间中还减少了潜在的摄像机数量，这可以进一步减少不同摄像机FOV模型之间的重叠并节省相应的计算量。

ETGA通过节省不必要的计算来提高优化速度。如果空间大小和ER体素的数量很大，则代数通常会增加，使得仅包含一台摄像机的初始计划可能无法实现完全覆盖。由于初始计划的失败率很高，大多数用于检查IR体素的初始计算都是不必要的，因此可以通过第一阶段GA优化来避免。与没有两阶段优化效率的ETGA相比，ETGV为第一阶段计划的生成节省了约50％的计算时间。

根据本文公开的实施例的设备和方法的功能单元和模块可以使用计算设备、计算机处理器或电子电路来实现，以及根据本公开的教导配置或编程的其他可编程逻辑器件。在计算设备、计算机处理器或可编程逻辑设备中运行的计算机指令或软件代码可以由软件或电子领域的技术人员基于本公开的教导容易地准备。

根据实施例的所有或部分方法可以在一个或多个计算设备中执行，包括服务器计算机、个人计算机、膝上型计算机、移动计算设备(如智能手机和平板电脑)。

实施例可包括计算机存储介质、具有存储在其中的计算机指令或软件代码的瞬态和非瞬态存储器设备，其可用于编程或配置计算设备、计算机处理器或电子电路以执行本发明的任何过程。存储介质、瞬态和非瞬态存储设备可以包括但不限于软盘、光盘、蓝光光盘、DVD、CD-ROM和磁光盘、ROM、RAM、闪存设备，或者适合于存储指令、代码和/或数据的任何类型的介质或设备。

根据各种实施例的每一个功能单元和模块也可以在分布式计算环境和/或云计算环境中实现，局域网(Local Area Network,LAN)、互联网(Internet)和其他形式的数据传输介质。

为了说明和描述的目的，提供了本发明的上述描述。其并非旨在穷尽或将本发明限制于所公开的精确形式。许多修改和变化对于本领域技术人员来说是显而易见的。

选择和描述实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期特定用途的各种修改。