时空轨迹复原的方法、装置、服务器及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体地涉及一种时空轨迹复原的方法、装置、服务器及存储介质。

背景技术

工业生产中为加强人员行为规范管理，需要对工业场景进行监控。在现有的工业场景监控中，大多采用单摄像头进行测量数据，根据单摄像头测量数据复原工业场景以进行监控。将单帧图像作为输入复原人员时空轨迹。但现有技术中通过单摄像头进行复原工业场景，由于单个摄像头难以覆盖整个空间范围，可能会导致场景复原不全面，进而导致监控效果不佳等问题。因此，传统的技术方案无法精确复原工业场景和人员的时空轨迹。

发明内容

本申请实施例的目的是提供一种时空轨迹复原的方法、装置、服务器及存储介质，用以解决现有技术中单摄像头复原时空轨迹精度不高的问题。

为了实现上述目的，本申请第一方面提供一种时空轨迹复原的方法，应用于服务器，服务器与多个图像采集设备通信，多个图像采集设备分别设置于车间的内部，多个图像采集设备的图像采集范围为整个车间，该方法包括：

接收多个图像采集设备发送的多个时刻的视频图像；

分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片；

分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标；

根据多个车间全景图片和目标对象在多个时刻的位置坐标确定目标对象的时空轨迹。

在本申请实施例中，该方法还包括：

判断时空轨迹是否符合预设轨迹；

在时空轨迹符合预设轨迹的情况下，继续接收视频图像。

在本申请实施例中，判断时空轨迹是否符合预设轨迹包括：

获取任意时刻的预设坐标点和实际坐标点；

判断在任意时刻的实际坐标点是否与预设坐标点匹配；

在实际坐标点与预设坐标点匹配的情况下，判定时空轨迹符合预设轨迹。

在本申请实施例中，服务器还与显示模块通信，该方法还包括：

在时空轨迹不符合预设的轨迹的情况下，发送错误指令至显示模块。

在本申请实施例中，分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片包括：

对于任意时刻的视频图像，将视频图像进行配对，以得到多个图像对；

分别提取每个图像对的特征点并对特征点进行匹配，以得到多个特征点对；

对多个特征点对进行筛选，以得到多个目标图像对；

分别将每个目标图像对进行拼接，以得到多个源图；

将多个源图进行拼接，以得到任意时刻的车间全景图片。

在本申请实施例中，分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标包括：

对于任意车间全景图片，根据任意车间全景图片建立二维坐标系；

获取目标对象的身份标志；

根据身份标志，通过目标检测算法，确定目标对象在多个时刻的位置坐标。

本申请第二方面提供一种服务器，其特征在于，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从存储器调用指令以及在执行指令时能够实现根据上述的时空轨迹复原的方法。

本申请第三方面提供一种时空轨迹复原的装置，其特征在于，包括：

根据上述的服务器；

多个图像采集设备，与服务器通信，多个图像采集设备的图像采集范围为整个车间，被配置成采集车间的内部的视频图像，并将视频图像发送至服务器。

在本申请实施例中，该装置还包括：

显示模块，与服务器通信，被配置成接收服务器发送的错误指令并显示错误指令。

本申请第四方面提供一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据上述的时空轨迹复原的方法。

通过上述技术方案，接收多个图像采集设备发送的多个时刻的视频图像；分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片；分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标；根据多个车间全景图片和目标对象在多个时刻的位置坐标确定目标对象的时空轨迹。本申请通过采用多个图像采集设备对车间环境进行采集，使得图像的采集更加完整，再结合目标对象的位置坐标以复原目标对象的时空轨迹，通过融合多张图像，可以提高时空轨迹复原的精确度。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的一种时空轨迹复原的装置的结构图；

图2示意性示出了根据本申请实施例的一种时空轨迹复原的方法的流程图；

图3示意性示出了根据本申请一具体实施例的一种车间全景图片的二维坐标系的结构图；

图4示意性示出了根据本申请实施例的一种服务器的结构框图。

附图标记说明

101      服务器                     102      多个图像采集设备

103      显示模块

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的一种时空轨迹复原的装置的结构图。如图1所示，本申请实施例提供一种时空轨迹复原的装置，该装置包括服务器101、多个图像采集设备102和显示模块103。

在本申请实施例中，时空轨迹复原的装置包括服务器101、多个图像采集设备102和显示模块103。服务器101分别与多个图像采集设备102和显示模块103通信。多个图像采集设备102分别设置于车间的内部，多个图像采集设备102的图像采集范围为整个车间。多个图像采集设备102采集到视频图像后，将视频图像发送至服务器101。服务器101对视频图像进行处理，并得到目标对象的时空轨迹。在时空轨迹不符合预设轨迹的情况下，服务器101发送错误指令至显示模块103。显示模块103接收服务器101发送的错误指令并显示错误指令。

图2示意性示出了根据本申请实施例的一种时空轨迹复原的方法的流程图。如图2所示，本申请实施例提供一种时空轨迹复原的方法，应用于服务器，服务器与多个图像采集设备通信，多个图像采集设备分别设置于车间的内部，多个图像采集设备的图像采集范围为整个车间，该方法可以包括下列步骤。

步骤201、接收多个图像采集设备发送的多个时刻的视频图像。

在本申请实施例中，图像采集设备指用来采集图像的设备，图像采集设备可以包括但不限于摄像头等。图像采集设备包括多个图像采集设备，多个图像采集设备分别设置于车间的内部，例如，多个图像采集设备可以分别设置在车间的顶部。多个图像采集设备的图像采集范围为整个车间。多个图像采集设备按照预设时间采集视频图像，例如，多个图像采集设备可以在每一秒都采集视频图像。在采集到视频图像后，将多个时刻的视频图像发送至服务器。服务器接收多个图像采集设备发送的多个时刻的视频图像，即在每个时刻，都有多个视频图像，且多个视频图像可以覆盖车间的全部区域。通过采用多个图像采集设备对车间图像进行采集，可以将车间的每个位置全部覆盖，以采集到车间的全部范围，使得对车间图像的采集更加完整和精确。

步骤202、分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片。

在本申请实施例中，车间全景图片指可以覆盖车间全部区域的图片。服务器在接收到多个图像采集设备发送的多个时刻的视频图像后，将相同时刻的多个视频图像进行匹配，并对相同时刻的多个视频图像进行拼接，通过拼接可以得到多个车间全景图片。多个车间全景图片即多个时刻的车间全景图片。在对相同时刻的视频图像进行拼接时，可以使用图像拼接算法。在一个示例中，可以将采集到的视频图像进行配对，以得到多个图像对。再分别提取每个图像对的特征点进行匹配、筛选，以得到目标图像对。目标图像对指满足特征点能够一一对应的图像对。再将目标图像对进行拼接，得到源图。源图指拼接的后的图像。将源图的拼接线进行加权融合，即可完成两张视频图像的拼接。重复上述步骤即可完成对所有视频图像的拼接，以得到车间全景图片。通过对车间的多个视频图像进行拼接来得到车间全景图片，可以使车间全景图片能够覆盖全部区间，提高车间全景图片的完整度和精度。

步骤203、分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标。

在本申请实施例中，通过对视频图像进行拼接，可以得到多个时刻的车间全景图片。在每张车间全景图片中，都会显示目标对象的位置。目标对象可以包括但不限于工作人员和移动车等。每个目标对象都有唯一身份标志。例如，在工作人员所佩戴的头盔上印有相应身份标志的二维码。通过建立二维坐标系即可确定目标对象的位置坐标。在一个示例中，基于车间全景图片构建二维坐标系，对车间全景图片使用目标检测算法，即扫描工作人员头盔上的二维码，可以得到工作人员所在位置坐标及工作人员相应的身份。通过获取多个时刻的车间全景图片和多个时刻的目标对象的位置坐标可以便于复原目标对象的时空轨迹。

步骤204、根据多个车间全景图片和目标对象在多个时刻的位置坐标确定目标对象的时空轨迹。

在本申请实施例中，时空轨迹指移动对象的位置和时间的记录序列。复原目标对象的时空轨迹，可以用于确定目标对象是否按照规范轨迹进行运动，以便及时进行报错和调整。在得到多个车间全景图片和目标对象的多个时刻的位置坐标后，结合连续时间的车间全景图片和位置坐标可以复原在连续时间内的目标对象的时空轨迹。通过复原目标对象的时空轨迹，可以确定目标对象是否按照规范轨迹进行运动。同时，采用多个图像采集设备采集视频图像可以保障车间全景图片的完整性，进而提高时空轨迹复原的精确度。

通过上述技术方案，接收多个图像采集设备发送的多个时刻的视频图像；分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片；分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标；根据多个车间全景图片和目标对象在多个时刻的位置坐标确定目标对象的时空轨迹。本申请通过采用多个图像采集设备对车间环境进行采集，使得图像的采集更加完整，再结合目标对象的位置坐标以复原目标对象的时空轨迹，通过融合多张图像，可以提高时空轨迹复原的精确度。

在本申请实施例中，该方法还可以包括：

判断时空轨迹是否符合预设轨迹；

在时空轨迹符合预设轨迹的情况下，继续接收视频图像。

具体地，预设轨迹指目标对象按照规范要求应该执行的轨迹。在复原目标对象的时空轨迹后，还需要判断目标对象的时空轨迹是否符合预设轨迹。通过判断目标对象的时空轨迹是否符合预设轨迹，可以确定目标对象是否按照规范轨迹进行运动，以便及时进行报错和调整。在目标对象的时空轨迹符合预设轨迹的情况下，则继续接收多个图像采集设备发送的视频图像，循环上述步骤，继续获取目标对象的在其他时间段的时空轨迹，并判断时空轨迹是否符合预设轨迹。

在本申请实施例中，判断时空轨迹是否符合预设轨迹可以包括：

获取任意时刻的预设坐标点和实际坐标点；

判断在任意时刻的实际坐标点是否与预设坐标点匹配；

在实际坐标点与预设坐标点匹配的情况下，判定时空轨迹符合预设轨迹。

具体地，实际坐标点指在某一时刻目标对象在车间全景图片上的坐标位置。预设坐标点指在相同时刻目标对象在车间全景图片上应在的坐标位置。判断时空轨迹是否符合预设轨迹可以通过判断在任意时刻的目标对象的实际坐标点与预设坐标点是否匹配。在实际坐标点与预设坐标点匹配的情况下，可以判定目标对象的时空轨迹符合预设轨迹。通过判断时空轨迹是否符合预设轨迹，可以确定目标对象是否按照规范轨迹进行运动。

在本申请实施例中，服务器还与显示模块通信，该方法还可以包括：

在时空轨迹不符合预设的轨迹的情况下，发送错误指令至显示模块。

具体地，显示模块指在前端界面的显示设备，用于在目标对象的时空轨迹不符合预设轨迹的情况下，显示报错信息。在目标对象的时空轨迹不符合预设轨迹的情况下，说明此时目标对象没有按照预设轨迹行驶，此时可能会导致故障。服务器在判断时空轨迹不符合预设轨迹时，发送错误指令至显示模块。显示模块在接收到错误指令时显示该错误指令，以提示操作人员及时对车间进行检查以及调整。

在本申请实施例中，分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片可以包括：

对于任意时刻的视频图像，将视频图像进行配对，以得到多个图像对；

分别提取每个图像对的特征点并对特征点进行匹配，以得到多个特征点对；

对多个特征点对进行筛选，以得到多个目标图像对；

分别将每个目标图像对进行拼接，以得到多个源图；

将多个源图进行拼接，以得到任意时刻的车间全景图片。

具体地，在对视频图像进行拼接时，可以采用图像拼接算法。图像拼接算法指将两张或多张图像拼接为一张图像的算法。图像拼接算法可以包括预处理、图像配准和图像融合三个关键技术点。服务器在接收到多个图像采集设备发送的多个时刻的视频图像后，将相同时刻的多个视频图像进行匹配，并对相同时刻的多个视频图像进行拼接，通过拼接可以得到多个车间全景图片，多个车间全景图片即多个时刻的车间全景图片。在一个示例中，可以将采集到的视频图像进行配对，以得到多个图像对。再分别提取每个图像对的尺度不变特征变换(Scale-invariant feature transform，SIFT)特征点。对两种图片的特征点进行匹配。在匹配过后，通过随机抽样一致算法(Random sample consensus，RANSAC)对特征点对进行筛选，通过筛选排除掉错误点后可以得到目标图像对。目标图像对指满足特征点能够一一对应的图像对。利用直接线性变换算法(Direct Linear Transform，DLT)和奇异值分解(Singular value decomposition，SVD)计算全局单应性。单应性是一个从实射影平面到射影平面的可逆变换。将视频图像切割成无数多小方块，对每个小方块进行单位性矩阵变换。遍历每个网格，利用局部单应性矩阵映射到全景画布，得到变换后的源图。源图指拼接的后的图像。最后将源图的拼接线进行加权融合，即可完成两张视频图像的拼接。重复上述步骤即可完成对所有视频图像的拼接，以得到车间全景图片。通过对车间的多个视频图像进行拼接来得到车间全景图片，可以使车间全景图片能够覆盖全部区间，提高车间全景图片的完整度和精度。

图3示意性示出了根据本申请一具体实施例的一种车间全景图片的二维坐标系的结构图。在本申请实施例中，分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标包括：

对于任意车间全景图片，根据任意车间全景图片建立二维坐标系；

获取目标对象的身份标志；

根据身份标志，通过目标检测算法，确定目标对象在多个时刻的位置坐标。

具体地，对于任意一张车间全景图片，可以根据车间全景图片建立二维坐标系。通过目标对象的唯一身份标志即可确定目标对象在全景图片的二维坐标系中的坐标信息。在确定坐标信息时，可以采用目标检测算法。即检测目标对象的唯一身份标志，可以得到目标对象所在位置坐标及目标对象相应的身份。如图3所示，以车间全景图片的左下角为原点建立二维坐标系，并以设定长度为一个单位。则目标对象1的位置坐标为(3，5)、目标对象2的位置坐标为(4，4)、目标对象3的位置坐标为(7，2)、目标对象4的位置坐标为(8，3)。通过获取多个时刻的车间全景图片和多个时刻的目标对象的位置坐标可以便于复原目标对象的时空轨迹。

图4示意性示出了根据本申请实施例的一种控制器的结构框图。如图4所示，本申请实施例提供一种控制器，可以包括：

存储器410，被配置成存储指令；以及

处理器420，被配置成从存储器410调用指令以及在执行指令时能够实现上述的时空轨迹复原的方法。

具体地，在本申请实施例中，处理器420可以被配置成：

接收多个图像采集设备发送的多个时刻的视频图像；

分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片；

分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标；

根据多个车间全景图片和目标对象在多个时刻的位置坐标确定目标对象的时空轨迹。

进一步地，处理器420还可以被配置成：

判断时空轨迹是否符合预设轨迹；

在时空轨迹符合预设轨迹的情况下，继续接收视频图像。

进一步地，处理器420还可以被配置成：

判断时空轨迹是否符合预设轨迹包括：

获取任意时刻的预设坐标点和实际坐标点；

判断在任意时刻的实际坐标点是否与预设坐标点匹配；

在实际坐标点与预设坐标点匹配的情况下，判定时空轨迹符合预设轨迹。

进一步地，处理器420还可以被配置成：

服务器还与显示模块通信，该方法还包括：

在时空轨迹不符合预设的轨迹的情况下，发送错误指令至显示模块。

进一步地，处理器420还可以被配置成：

分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片包括：

对于任意时刻的视频图像，将视频图像进行配对，以得到多个图像对；

分别提取每个图像对的特征点并对特征点进行匹配，以得到多个特征点对；

对多个特征点对进行筛选，以得到多个目标图像对；

分别将每个目标图像对进行拼接，以得到多个源图；

将多个源图进行拼接，以得到任意时刻的车间全景图片。

进一步地，处理器420还可以被配置成：

分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标包括：

对于任意车间全景图片，根据任意车间全景图片建立二维坐标系；

获取目标对象的身份标志；

根据身份标志，通过目标检测算法，确定目标对象在多个时刻的位置坐标。

通过上述技术方案，接收多个图像采集设备发送的多个时刻的视频图像；分别将相同时刻的视频图像进行拼接，以得到多个车间全景图片；分别根据多个车间全景图片确定目标对象在多个时刻的位置坐标；根据多个车间全景图片和目标对象在多个时刻的位置坐标确定目标对象的时空轨迹。本申请通过采用多个图像采集设备对车间环境进行采集，使得图像的采集更加完整，再结合目标对象的位置坐标以复原目标对象的时空轨迹，通过融合多张图像，可以提高时空轨迹复原的精确度。

如图1所示，本申请实施例提供一种时空轨迹复原的装置，该装置可以包括：

服务器101；

多个图像采集设备102，与服务器101通信，多个图像采集设备102的图像采集范围为整个车间，被配置成采集车间的内部的视频图像，并将视频图像发送至服务器101。

具体地，时空轨迹复原的装置包括服务器101和多个图像采集设备102。服务器101与多个图像采集设备102通信。多个图像采集设备102分别设置于车间的内部，多个图像采集设备102的图像采集范围为整个车间。多个图像采集设备102采集到视频图像后，将视频图像发送至服务器101。服务器101对视频图像进行处理，并得到目标对象的时空轨迹。通过采用多个图像采集102设备对车间图像进行采集，可以将车间的每个位置全部覆盖，以采集到车间的全部范围，使得对车间图像的采集更加完整和精确。

如图1所示，在本申请实施例中，该装置还可以包括：

显示模块103，与服务器101通信，被配置成接收服务器101发送的错误指令并显示错误指令。

具体地，显示模块103指在前端界面的显示设备，用于在目标对象的时空轨迹不符合预设轨迹的情况下，显示报错信息。显示模块103与服务器101通信，在时空轨迹不符合预设轨迹的情况下，服务器101发送错误指令至显示模块103。显示模块103接收服务器101发送的错误指令并显示错误指令。通过显示模块103显示错误指令可以提示操作人员及时对车间进行检查以及调整。

本申请实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于时空轨迹复原的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。