一种轨迹异常检测方法、装置、路侧设备和云控平台

技术领域

本公开涉及图像处理技术领域，尤其涉及智能交通和人工智能技术领域。

背景技术

实现交通中智能的异常检测，对交警及时发现异常行为，以及异常行为的检索、判定、回溯、分析有很大作用。相关技术中，交通异常通常都由人工来挖掘，比如由人工观看视频来判断是否出现了异常行为，传统方法标准难统一，效率低，成本高，且工作人员容易出现疲劳而导致漏判。

发明内容

本公开提供了一种轨迹异常检测方法，运用历史数据聚类分析得到的道路目标行为的聚类簇，将该聚类簇作为目标行为的判断依据，从而得出交通异常的发生时间，效率高且成本低，并划分不同区域来考虑轨迹相关性，准确率高。

根据本公开的另一方面，提供了一种轨迹异常检测装置。

根据本公开的另一方面，提供了一种电子设备。

根据本公开的另一方面，提供了一种非瞬时计算机可读存储介质。

根据本公开的另一方面，提供了一种计算机程序产品。

根据本公开的另一方面，提供了一种路侧设备。

根据本公开的另一方面，提供了一种云控平台。

为达上述目的，本公开第一方面实施例提出了一种轨迹异常检测方法，包括：

对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息。

基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区，其中，目标道路分区为道路划分出的多个道路分区中的一个，每个道路分区对应有基于道路的历史视频获取的一个或多个聚类簇。

获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离。

响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。

为达上述目的，本公开第二方面实施例提出了一种轨迹异常检测装置，包括：

目标检测模块，用于对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息。

轨迹确定模块，用于基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区，其中，目标道路分区为道路划分出的多个道路分区中的一个，每个道路分区对应有基于道路的历史视频获取的一个或多个聚类簇。

距离获取模块，用于获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离。

异常确定模块，用于响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。

为达上述目的，本公开第三方面实施例提出了一种电子设备，包括存储器、处理器。存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以实现如本公开第一方面实施例的轨迹异常检测方法。

为达上述目的，本公开第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于实现如本公开第一方面实施例的轨迹异常检测方法。

为达上述目的，本公开第五方面实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时以实现如本公开第一方面实施例的轨迹异常检测方法。

为达上述目的，本公开第六方面实施例提出了一种路侧设备，包括上述电子设备，以实现如本公开第一方面实施例的轨迹异常检测方法。

为达上述目的，本公开第七方面实施例提出了一种云控平台，包括上述电子设备，以实现如本公开第一方面实施例的轨迹异常检测方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例一种轨迹异常检测方法的示意图；

图2是根据本公开实施例获取道路区域聚类簇的示意图；

图3是根据本公开实施例获取第二运动信息的示意图；

图4是根据本公开实施例确定行驶轨迹的示意图；

图5是根据本公开实施例一种轨迹异常检测方法的流程示意图；

图6是根据本公开实施例一种轨迹异常检测装置的示意图；

图7是根据本公开实施例一种电子设备的结构图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图像处理(Image Processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。

深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

计算机视觉(Computer Vision)，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。

智能交通(Intelligent Traffic)，又称智能运输系统，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。

图1是根据本公开的轨迹异常检测方法的流程图，如图1所示，该轨迹异常检测方法包括以下步骤：

S101，对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息。

本公开实施例中，分别在道路两旁设置图像采集装置，例如摄像机，图像采集装置可实时对道路情况进行拍摄，获取道路的实时视频数据。在获取到实时视频数据后，基于目标检测算法，可以对实时视频中的每帧图像进行目标检测，以检测出每帧图像中包括的实时目标。其中，实时目标可以是机动车、行人或者非机动车。可选地，道路可以为道路路口，也可以为常规道路。

可选地，将实时视频数据传输至已经训练好的目标检测模型。其中，目标检测模型可以对实时视频的每一帧图像进行目标检测，经目标检测模型检测后可以得到每帧图像上的实时目标，以及该实时目标第一状态信息。可选地，第一状态信息可以包括实时目标的位置、速度、朝向角、长宽高、类别和行人重识别(Person re-identification，ReID)等信息。其中，可选地，目标检测模型可以为卷积神经网络(Convolutional Neural Networks,CNN)、非极大值抑制算法(Non-Maximum Suppression,NM)、结构化的段网络模型(Structured Segment Network,SSN)或者多任务的一个对象检测算法(You Only LookOnce,YOLO)。例如，目标检测模块可以采用第三版YOLO算法。

S102，基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区，其中，目标道路分区为道路划分出的多个道路分区中的一个，每个道路分区对应有基于道路的历史视频获取的一个或多个聚类簇。

本公开实施例中为了对目标的轨迹进行更准确的检测，可以将道路划分为同等大小的区域，每个区域可以称为道路分区，可以对道路分区进行标记以方便识别与管理。例如，以马路宽度为20米为例，将道路等分为20*20米的网络格，将每个网络格称为一个道路分区。可选地，对每个道路分区分别赋予道路分区编号。

由于道路上除了运动物体，比如汽车，行人等物体，还存在静止物体，比如说电线杆，标志牌等，本公开实施例所要检测的目标为运动物体。由于视频是连续的，并且目标检测模型可以提取到每一帧的图像上实时目标的第一状态信息，可以基于实时目标的静态信息，如类型、长宽高等信息，对实时目标进行跟踪，最终可以关联出同一个实时目标，进一步地在关联到同一个实时目标后，可以获取到实时目标的运动状态信息，如，速度、位置、朝向角等，进而可以生成实时目标的第一行驶轨迹。将实时目标的行驶轨迹作为第一行驶轨迹。进一步地，可以根据第一行驶轨迹的当前位置，确定第一行驶轨迹当前所在的目标道路分区。

本公开实施例中，为了对实时目标的第一行驶轨迹进行精准的轨迹异常检测，可以基于该道路上的历史视频，对该历史视频中每个道路分区内出现的目标进行聚类处理，以获得每个道路分区对应的一个或多个聚类簇。

S103，获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离。

获得属于目标道路分区的每个聚类簇的行驶轨迹，进一步地，获得第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹之间的距离。可选地，获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹之间的最短距离。可选地，可以获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹距离最近的位置点预设范围内的轨迹，例如可以为最近位置点左右0.2米范围内的轨迹，在第一行驶轨迹的0.4米的轨迹上随机取20个离散值，与属于目标道路分区的每个聚类簇的行驶轨迹的0.4米的轨迹上随机取的20个离散值进行距离计算，得到20个离散距离的平均值，作为第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离。本公开实施例中获取到的距离可以为欧氏距离。

S104，响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。

将第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹进行比较，可以得到目标的运行状态与正常运行状态之间的差异大小。由于每个道路分区内有多个聚类簇，而第一行驶轨迹与其所属于目标道路分区的每个聚类簇的行驶轨迹都计算得到距离，将得到的所有距离进行比较，获得第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的最小距离，便可得到实时目标的第一行驶轨迹的状态是否正常。

比如，在同一道路分区中行人一般是靠最右侧行走，那么行人行驶轨迹聚类簇一般落在道路最左边或者道路最右边；机动车一般在道路中间机动车道行驶，则机动车行驶轨迹聚类簇一般在机动车道上；非机动车一般在道路两旁非机动车道行驶，则非机动车行驶轨迹聚类簇一般在非机动车道上。若一个行人在道路中间机动车道行走，则此行人第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离较大，若判断此距离大于异常临界阈值，则此行人在此道路分区内行走轨迹不正常。

举例说明：若某第一行驶轨迹与其所属于的目标道路分区的5个聚类簇的行驶轨迹都计算得到的距离分别是0.31米，0.42米，0.11米，0.24米和0.25米，则第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的最小距离为0.11米。

预先设置一个异常临界阈值，当第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的最小距离大于或者等于此异常临界阈值时，说明实时目标在该目标道路分区内的行驶轨迹，与目标道路分区里面每个聚类簇在该目标道路分区内的行驶轨迹差异较大，因此，可以判断该第一行驶轨迹为异常轨迹；当第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的最小距离小于此异常临界阈值时，说明实时目标在该目标道路分区内的行驶轨迹，与目标道路分区里面每个聚类簇在该目标道路分区内的行驶轨迹差异较小，因此，可以判断该第一行驶轨迹为非异常轨迹。举例说明：若预先设置一个异常临界阈值为0.10，则当第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的最小距离大于或者等于0.10时，判断该第一行驶轨迹为异常轨迹；当第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的最小距离小于0.10时，判断该第一行驶轨迹为非异常轨迹。

本公开提出的轨迹异常检测方法对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息，基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区，其中，目标道路分区为道路划分出的多个道路分区中的一个，每个道路分区对应有基于道路的历史视频获取的一个或多个聚类簇，获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离，响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。本公开通过运用历史数据聚类分析得到的道路目标行为的聚类簇，将该聚类簇作为目标行为的判断依据，从而得出交通异常的发生时间，效率高且成本低，并划分不同区域来考虑轨迹相关性，准确率高。

图2是根据本公开的轨迹异常检测方法的流程图，如图2所示，在上一个实施例的基础之上，基于道路的历史视频获取到道路分区的一个或多个聚类簇的具体步骤包括：

S201，获取道路的历史视频数据，并对历史视频中每帧图像进行目标检测，获取检测出的历史目标的第二状态信息。

将道路两旁的图像采集装置存储的拍摄到的视频数据导出，得到道路的历史视频数据，本公开实施例以历史视频长度为一个月进行示例，此处仅为示例，不作为限制本公开的条件。

在获取到长度为一个月的历史视频数据后，基于目标检测算法，可以对历史视频中的每帧图像进行目标检测，以检测出每帧图像中包括的历史目标。其中，历史目标可以是机动车、行人或者非机动车。可选地，道路可以为道路路口，也可以为常规道路。

可选地，将历史视频数据传输至已经训练好的目标检测模型。其中，目标检测模型可以为对历史视频的每一帧图像进行目标检测，经目标检测模型检测后可以得到每帧图像上的历史目标，以及该历史目标第二状态信息。可选地，第二状态信息可以包括历史目标的位置、速度、朝向角、长宽高、类别和行人重识别(ReID)等信息。

S202，基于第二状态信息，生成历史目标的第二行驶轨迹。

由于视频是连续的，并且目标检测模型可以提取到每一帧的图像上历史目标的第二状态信息，可以基于历史目标的静态信息，如类型、长宽高等信息，对历史目标进行跟踪，最终可以关联出同一个历史目标，进一步地在关联到同一个历史目标后，可以获取到历史目标的运动状态信息，如，速度、位置、朝向角等，进而可以生成历史目标的第二行驶轨迹。可选地，目标检测模块可以为YOLOv3检测模型。

S203，对每帧图像中检测出每个历史目标的第二行驶轨迹进行拆分，确定拆出的轨迹段所处的道路分区。

本公开实施例中为了对目标的轨迹进行更准确的检测，可以将道路划分为同等大小的区域，每个区域可以称为道路分区，可以对道路分区进行标记以方便识别与管理。例如，以马路宽度为20米为例，将道路等分为20*20米的网络格，将每个网络格称为一个道路分区。

将历史视频中每个历史目标的第二行驶轨迹按照设定时间单位进行轨迹拆分，本公开实施例以拆分时间为3秒为例，将历史视频数据每隔三秒进行一次拆分，即每三秒历史视频数据为一个轨迹段。通过目标检测算法确定目标在每一帧图像上的位置点，确定每个轨迹段内含有的的所有图像帧的历史目标的位置点，根据每个轨迹段内含有的的所有图像帧的历史目标的位置点，经过坐标平均运算，确定每个轨迹段上历史目标的位置点的平均位置点，并根据每个轨迹段上历史目标的位置点的平均位置点确定每个轨迹段所在的道路分区。比方说当某个轨迹段上历史目标的位置点的平均位置点处于某个20*20米道路分区内，则此轨迹段属于该道路分区。

S204，对处于同一个道路分区的轨迹段进行聚类，获取每个道路区域的聚类簇。

对处于同一个道路分区的所有轨迹段进行聚类，针对目标的不同，需要对同一个道路分区的不同目标进行聚类比如对同一个道路分区的行人轨迹段、机动车轨迹段和非机动车轨迹段分别进行聚类。

本公开实施例以K均值聚类算法(k-means clustering algorithm)聚类为例，随机选择20个初始位置点作为聚类中心，计算处于同一个道路分区的每个轨迹段上历史目标的平均位置点与每个聚类中心的欧氏距离，选择欧式距离最小的聚类中心作为相同的类，对处于同一个道路分区的所有的轨迹段上历史目标的平均位置点进行一次聚类结束后，求其每个聚类中心点作为新的聚类中心，循环此过程直到聚类中心不再发生变化为止，得到处于同一个道路分区的所有的轨迹段上历史目标对应的20个聚类簇。需要说明的是，选择20个初始位置点只为解释说明本实施例，不能作为申请本实施例的限制条件。

本申请对历史视频进行处理，获得每个道路分区对应的基于道路的历史视频得到的一个或多个聚类簇，可以对实时目标的第一行驶轨迹进行更精准的轨迹异常检测。

图3是根据本公开的轨迹异常检测方法的流程图，如图3所示，获取目标的状态信息的步骤包括：

S301，将视频输入到目标检测模型中逐帧进行目标检测，获取检测出每个目标的状态信息，其中，目标的状态信息包括目标在图像坐标系下的第一运动信息和目标的特征信息。

本公开实施例以YOLOv3目标检测模型为例，每个摄像机都有对应的YOLOv3目标检测模型，将摄像机拍摄得到的视频数据输入YOLOv3目标检测模型中逐帧进行目标检测，得到每个目标的状态信息，其中，目标的状态信息包括目标在图像坐标系下的第一运动信息和目标的特征信息。目标在图像坐标系下的第一运动信息包括目标在摄像机坐标系下的位置、速度、朝向角，目标的特征信息包括目标的长宽高、类别和ReID等信息，其中，目标可以是机动车、行人或者非机动车。

S302，对第一运动信息进行坐标系转换，获取目标在世界坐标系下的第二运动信息。

对目标的第一运动信息，即目标在图像坐标系下的位置、速度、朝向角进行坐标系转换，通过地面方程与摄像机内参和外参，得到目标在世界坐标系下的位置、速度、朝向角，作为目标的第二运动信息。

其中，地面方程指的是从高精地图里计算出来的在摄像机坐标系下地面作为一个平面的方程。

摄像机外参是标定的已知参数，可以包括3D空间上3个方向的位移自由度和绕3个坐标轴旋转的自由度。

其中，图像坐标系的原点为光心，x轴和y轴分别与图像坐标系的横纵轴平行，z轴为摄像机光轴，与图像平面垂直。

世界坐标系指的是在环境中选择一个任意的坐标系来表示摄像机的位置，称为世界坐标系。

需要说明的是，S301～S302步骤获取目标的状态信息方法同时适用于实时视频和历史视频的处理。

本申请目标在图像坐标系上的第一运动信息，并不能反映真实的物理世界中目标的运动状态，将其转化到世界坐标系上的第二运动信息，可以还原出真实物理世界中各目标之间的位置关系，在世界坐标系上能反映目标的真实运动信息，从而使得目标的运动信息精度较高，误判率低。

图4是根据本公开的轨迹异常检测方法的流程图，如图4所示，获取目标的行驶轨迹的步骤包括：

S401，将第二运动信息输入卡尔曼滤波器中进行位置预测，输出目标的预测位置。

将目标在世界坐标系下的位置、速度、朝向角信息输入卡尔曼滤波器，卡尔曼滤波器会根据历史的多帧数据进行一次预测，得到目标预测位置。本公开实施例中，假定目标在世界坐标系下的位置、速度、朝向角信息符合高斯分布。

S402，基于特征信息和预测位置进行目标关联，以对同一目标进行跟踪，确定同一目标的行驶轨迹。

采用多目标跟踪算法(Simple Online and Realtime Tracking with a DeepAssociation Metric,Deep Sort)，根据目标预测位置和目标的长宽高、类别等特征信息，进行前后视频帧目标关联匹配。Deep Sort算法对每一帧图像进行目标检测，通过匈牙利匹配算法对之前的目标运动轨迹和当前预测位置进行匹配，形成同一目标的行驶轨迹。赋予视频帧中同一个目标同一个身份标识号(Identity document,ID)，对视频中同一个ID的目标进行跟踪检测，得到该目标的行驶轨迹。

可选地，由于道路中可能出现旧目标消失，需要设置轨迹阈值，当目标的行驶轨迹从上一次成功匹配到当前时刻的时间大于等于该轨迹阈值时，说明长时间匹配不上该目标后续轨迹，即认为该目标轨迹已结束。可选地，由于道路中可能存在新目标的出现，对于之前目标都没有匹配成功的图像帧中的目标则认为可能产生新的目标行驶轨迹，若此目标在接下来连续3帧都能连续匹配成功，则认为出现新的目标行驶轨迹。

可选地，由于道路上有多个摄像机，同一目标可能同时出现在一个或多个摄像机视野中，本公开需要对每一路视频确定出的同一目标的行驶轨迹进行融合，以生成该同一目标最终的行驶轨迹。可选地，融合输入包括每一路视频的目标的位置、速度、朝向角信息以及预先设置好的协方差，基于设定的融合算法，可以融合输出同一目标最终的行驶轨迹。

需要说明的是，S401～S402步骤获取目标的状态信息方法同时适用于实时视频和历史视频的处理。

本申请对每一路视频确定出的同一目标的行驶轨迹进行融合，提取了每一路视频之间的联系，重视了每一路视频信息的相关性，使得获取的同一目标的运动轨迹更加准确。

图5是根据本公开轨迹异常检测方法的流程图，如图5所示，轨迹异常检测方法包括以下步骤：

S501，对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息。

S502，获取道路的历史视频数据，并对历史视频中每帧图像进行目标检测，获取检测出的历史目标的第二状态信息。

S503，基于第二状态信息，生成历史目标的第二行驶轨迹。

S504，对每个目标的行驶轨迹，按照设定时间单位进行轨迹拆分。

S505，获取每个轨迹段上位置点的平均位置，并根据平均位置确定每个轨迹段所在的道路分区。

S506，对处于同一个道路分区的轨迹段进行聚类，获取每个道路区域的聚类簇。

关于上述S502～S506的具体介绍，可参见上述实施例中S102步骤相关内容的记载，此处不再赘述。

S507，基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区。

S508，获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离

S509，判断距离中最小距离是否大于或者等于异常临界阈值。

S510，响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。

S511，响应于距离中最小距离小于异常临界阈值，确定目标未出现轨迹异常。

本公开提出的轨迹异常检测方法对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息，基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区，其中，目标道路分区为道路划分出的多个道路分区中的一个，每个道路分区对应有基于道路的历史视频获取的一个或多个聚类簇，获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离，响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。本公开通过运用历史数据聚类分析得到的道路目标行为的聚类簇，将该聚类簇作为目标行为的判断依据，从而得出交通异常的发生时间，效率高且成本低，并划分不同区域来考虑轨迹相关性，准确率高。

图6是根据本公开一个实施例的轨迹异常检测装置600的结构图。如图6所示，轨迹异常检测装置600包括：

目标检测模块61，用于对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息。

轨迹确定模块62，用于基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区，其中，目标道路分区为道路划分出的多个道路分区中的一个，每个道路分区对应有基于道路的历史视频获取的一个或多个聚类簇。

距离获取模块63，用于获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离。

异常确定模块64，用于响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。

需要说明的是，前述对轨迹异常检测方法实施例的解释说明也适用于该实施例的轨迹异常检测装置，此处不再赘述。

本公开提出的轨迹异常检测装置对道路实时视频中的每帧图像进行目标检测，并获取检测出的实时目标的第一状态信息，基于第一状态信息，获取实时目标的第一行驶轨迹，并确定第一行驶轨迹当前所在的目标道路分区，其中，目标道路分区为道路划分出的多个道路分区中的一个，每个道路分区对应有基于道路的历史视频获取的一个或多个聚类簇，获取第一行驶轨迹与属于目标道路分区的每个聚类簇的行驶轨迹的距离，响应于距离中最小距离大于或者等于异常临界阈值，确定目标的轨迹异常。本公开通过运用历史数据聚类分析得到的道路目标行为的聚类簇，将该聚类簇作为目标行为的判断依据，从而得出交通异常的发生时间，效率高且成本低，并划分不同区域来考虑轨迹相关性，准确率高。

进一步的，在本公开实施例一种可能的实现方式中，目标检测模块61还用于：获取道路的历史视频数据，并对历史视频中每帧图像进行目标检测，获取检测出的历史目标的第二状态信息。

进一步的，在本公开实施例一种可能的实现方式中，轨迹确定模块62还用于：基于第二状态信息，生成历史目标的第二行驶轨迹；

进一步的，在本公开实施例一种可能的实现方式中，轨迹异常检测装置600还包括：轨迹拆分模块65，用于对每帧图像中检测出每个历史目标的第二行驶轨迹进行拆分，确定拆出的轨迹段所处的道路分区。聚类模块66，用于对处于同一个道路分区的轨迹段进行聚类，获取每个道路区域的聚类簇。

进一步的，在本公开实施例一种可能的实现方式中，轨迹拆分模块65还用于：对每个目标的行驶轨迹，按照设定时间单位进行轨迹拆分；获取每个轨迹段上位置点的平均位置，并根据平均位置确定每个轨迹段所在的道路分区。

进一步的，在本公开实施例一种可能的实现方式中，目标检测模块61还用于：将视频输入到目标检测模型中逐帧进行目标检测，获取检测出每个目标的状态信息，其中，目标的状态信息包括目标在图像坐标系下的第一运动信息和目标的特征信息；对第一运动信息进行坐标系转换，获取目标在世界坐标系下的第二运动信息。

进一步的，在本公开实施例一种可能的实现方式中，轨迹确定模块62还用于：将第二运动信息输入卡尔曼滤波器中进行位置预测，输出目标的预测位置；基于特征信息和预测位置进行目标关联，以对同一目标进行跟踪，确定同一目标的行驶轨迹。

进一步的，在本公开实施例一种可能的实现方式中，轨迹确定模块62还包括：融合模块，用于响应于道路有多路视频源，对每一路视频确定出的同一目标的行驶轨迹进行融合，得到同一目标最终的行驶轨迹。

进一步的，在本公开实施例一种可能的实现方式中，异常确定模块64还用于响应于距离中最小距离小于异常临界阈值，确定目标未出现轨迹异常。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法XXX。例如，在一些实施例中，方法XXX可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的方法XXX的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法XXX。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务端可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合区块链的服务器。

本申请实施例还包括一种路侧设备。可选地，路侧设备可包括上述电子设备，电子设备自身可以具备感知数据获取功能和通信功能，例如是AI相机，电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。可选地，路侧设备除了包括电子设备，还可以包括通信部件等，电子设备可以和通信部件一体集成，也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算。

本申请实施例还包括一种云控平台。可选的，云控平台在云端执行处理，云控平台包括上述电子设备，云控平台包括的上述电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。