一种历史航线数据处理方法及系统

技术领域

本发明涉及船舶航运技术领域，具体涉及一种历史航线数据处理方法及系统。

背景技术

目前航运可视化系统中，会针对历史航线进行热力图形式的绘制及展示以供用户参考分析，分析出哪些航线较为繁忙，通行的做法是根据AIS历史数据，综合港口信息等辅助内容进行航线的计算从而在电子海图上绘制。

但这种做法存在以下几个问题，AIS原始历史数据非常庞大，查询、处理都需要较长的时间，且绘制热力图的方法较为生硬，无法进行复杂条件下的处理，无法兼顾速度及美观，此外往往在绘制的过程中，需要动用高性能机器，有些系统就只绘制低分辨率的航线图，无法做到放大查看精细航线数据。

发明内容

为了解决现有技术中存在的数据处理时间长及绘制分辨率低等问题，本发明提供了一种历史航线数据处理方法，基于AIS历史航行数据和港口数据，通过采用特定的计算方法并结合SAS算法对航线轨迹数据还原，以及采用网格划分、标记以及稠密与非稠密网格判断及处理方法对航线轨迹数据进行处理，实现了数据的高效传输，提高了数据的处理速度。本发明还涉及一种历史航线数据处理系统。

本发明的技术方案如下：

一种历史航线数据处理方法，其特征在于，包括以下步骤：

数据采集步骤：采集船舶AIS历史航行数据和港口数据；

数据清洗步骤：根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，根据两港球面距离计算出港间距，并根据港间距与两港边界系数的乘积得到航线的边界范围，将航线的实际距离在所述边界范围外的航线剔除，然后根据剔除后的AIS历史航行数据统计航线平均距离，根据所述航线平均距离设定距离阈值范围，将在距离阈值范围外的航线剔除，进而实现对AIS历史航行数据中异常数据的清洗；

航线轨迹还原步骤：从清洗后的AIS历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息，保留关键节点的坐标点信息，对于剩余的AIS历史航行数据，利用SAS算法进行稀疏，将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到还原的多个历史航线轨迹，并构成历史航线轨迹数据集；

网格划分及标记步骤：按照第一空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，根据每个网格含有的轨迹点数量计算出每个网格的密度，将各个网格的密度与预设密度阈值进行比较，将密度大于等于预设最大密度阈值的网格标记为稠密网格，将密度小于预设最小密度阈值的网格剔除；

非稠密网格处理步骤：将密度处于最大密度阈值和最小密度阈值之间的网格标记为非稠密网格，并将非稠密网格的第一空间分辨率缩小得到第二空间分辨率，再重复网格划分及标记步骤按照第二空间分辨率分别将各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并计算出每个网格的密度以及对各个网格进行标记和剔除，直至空间分辨率小于预设分辨率阈值或不存在非稠密网格时，则结束划分；

稠密及非稠密网格判断步骤：将空间分辨率小于预设分辨率阈值的非稠密网格和稠密网格均标记为未处理，扫描所有网格，判断某个未处理网格是稠密网格或非稠密网格，若判断该网格是非稠密网格，则将该非稠密网格标记为已处理，并继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出稠密网格为止；

稠密网格处理步骤：若判断该网格是稠密网格，则创建一个与该稠密网格关联的队列，并将该稠密网格放入该队列中等待处理，遍历该稠密网格的所有相邻网格，若该稠密网格的所有相邻网格中存在至少一个稠密网格，则将该队列中的该稠密网格提取出来与其相邻的某个稠密网格进行合并处理以形成一个簇；

相邻网格处理步骤：若该稠密网格的所有相邻网格中存在多个稠密网格，则将各个稠密网格分别对应创建一个与其关联的队列，并按照稠密网格处理步骤依次遍历各个稠密网格的所有相邻稠密网格，将各个稠密网格与其相邻的某个稠密网格进行合并处理并形成多个簇，直至合并处理完所有稠密网格为止；若该稠密网格的所有相邻网格中不存在稠密网格，将该稠密网格从该队列中提取出来单独形成一个簇并将该稠密网格标记为已处理；

航线轨迹数据处理步骤：按稠密及非稠密网格判断步骤继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出的所有非稠密网格均标记为已处理，再将判断出的所有稠密网格均继续执行稠密网格处理步骤和相邻网格处理步骤，直至所有稠密网格均与其相邻的稠密网格完成合并处理，以及所有未完成合并处理的稠密网格被标记为已处理后得到多个簇，以完成历史航线轨迹数据的处理。

优选地，所述航线轨迹还原步骤中，还将还原后的航线轨迹数据根据hausdorff距离方法，通过多轮迭代对相似度匹配或接近的全量航线历史数据进行验证，保证其准确性。

优选地，所述网格划分及标记步骤中，还根据网格的密度对网格的大小进行动态调整，对密度高的网格进行放大，对密度小的网格进行拆分并使用拆分后更小的网格。

优选地，所述航线轨迹还原步骤中，所述关键节点包括起始港和目的港。

优选地，所述航线轨迹还原步骤中，所述无用的坐标点信息包括靠泊和锚泊。

一种历史航线数据处理系统，其特征在于，包括依次连接的数据采集模块、数据清洗模块、航线轨迹还原模块、网格划分及标记模块、非稠密网格处理模块、稠密及非稠密网格判断模块、稠密网格处理模块、相邻网格处理模块和航线轨迹数据处理模块，

所述数据采集模块，采集船舶AIS历史航行数据和港口数据；

所述数据清洗模块，根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，根据两港球面距离计算出港间距，并根据港间距与两港边界系数的乘积得到航线的边界范围，将航线的实际距离在所述边界范围外的航线剔除，然后根据剔除后的AIS历史航行数据统计航线平均距离，根据所述航线平均距离设定距离阈值范围，将在距离阈值范围外的航线剔除，进而实现对AIS历史航行数据中异常数据的清洗；

所述航线轨迹还原模块，从清洗后的AIS历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息，保留关键节点的坐标点信息，对于剩余的AIS历史航行数据，利用SAS算法进行稀疏，将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到还原的多个历史航线轨迹，并构成历史航线轨迹数据集；

所述网格划分及标记模块，按照第一空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，根据每个网格含有的轨迹点数量计算出每个网格的密度，将各个网格的密度与预设密度阈值进行比较，将密度大于等于预设最大密度阈值的网格标记为稠密网格，将密度小于预设最小密度阈值的网格剔除；

所述非稠密网格处理模块，将密度处于最大密度阈值和最小密度阈值之间的网格标记为非稠密网格，并将非稠密网格的第一空间分辨率缩小得到第二空间分辨率，再重复网格划分及标记模块的工作按照第二空间分辨率分别将各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格，并计算出每个网格的密度以及对各个网格进行标记和剔除，直至空间分辨率小于预设分辨率阈值或不存在非稠密网格时，则结束划分；

所述稠密及非稠密网格判断模块，将空间分辨率小于预设分辨率阈值的非稠密网格和稠密网格均标记为未处理，扫描所有网格，判断某个未处理网格是稠密网格或非稠密网格，若判断该网格是非稠密网格，则将该非稠密网格标记为已处理，并继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出稠密网格为止；

所述稠密网格处理模块，若判断该网格是稠密网格，则创建一个与该稠密网格关联的队列，并将该稠密网格放入该队列中等待处理，遍历该稠密网格的所有相邻网格，若该稠密网格的所有相邻网格中存在至少一个稠密网格，则将该队列中的该稠密网格提取出来与其相邻的某个稠密网格进行合并处理以形成一个簇；

所述相邻网格处理模块，若该稠密网格的所有相邻网格中存在多个稠密网格，则将各个稠密网格分别对应创建一个与其关联的队列，并按照稠密网格处理模块的工作依次遍历各个稠密网格的所有相邻稠密网格，将各个稠密网格与其相邻的某个稠密网格进行合并处理并形成多个簇，直至合并处理完所有稠密网格为止；若该稠密网格的所有相邻网格中不存在稠密网格，将该稠密网格从该队列中提取出来单独形成一个簇并将该稠密网格标记为已处理；

所述航线轨迹数据处理模块，按稠密及非稠密网格判断模块继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出的所有非稠密网格均标记为已处理，再将判断出的所有稠密网格依次输入至稠密网格处理模块和相邻网格处理模块进行处理，直至所有稠密网格均与其相邻的稠密网格完成合并处理，以及所有稠密网格处理完成后得到多个簇，以完成历史航线轨迹数据的处理。

优选地，在所述航线轨迹还原模块中，还将还原后的航线轨迹数据根据hausdorff距离方法，通过多轮迭代对相似度匹配或接近的全量航线历史数据进行验证，保证其准确性。

优选地，所述网格划分及标记模块中，还根据网格的密度对网格的大小进行动态调整，对密度高的网格进行放大，对密度小的网格进行拆分并使用拆分后更小的网格。

优选地，所述关键节点包括起始港和目的港。

优选地，所述无用的坐标点信息包括靠泊和锚泊。

本发明的有益效果为：

本发明提供的一种历史航线数据处理方法，首先采集船舶AIS历史航行数据和港口数据；并根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，根据两港球面距离计算出港间距，并根据港间距与两港边界系数的乘积得到航线的边界范围，将航线的实际距离在边界范围外的航线剔除，然后根据剔除后的AIS历史航行数据统计航线平均距离，根据该平均距离设定距离阈值范围并进行对比，将在距离阈值范围外的航线剔除，进而实现对AIS历史航行数据中异常数据的清洗；然后从清洗后的AIS历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息，保留关键节点的坐标点信息，即从海量AIS历史航行记录中摘取坐标信息，对于剩余的AIS历史航行数据，利用SAS(Sparse A*Search)算法进行稀疏，将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到还原的航线轨迹数据，形成了高精度的历史航线；最后按照空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格单元，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，使每个空间单元中的信息不依赖整个航线数据，只与网格相关，以便于后续进行数据的独立查询，以及有利于并行处理及增量更新，然后采用网格划分、标记以及特定的稠密与非稠密网格的一系列逻辑判断及处理方法对航线轨迹数据进行处理，完成航线轨迹数据的处理，使计算量大幅减少，有效提高了计算效率。本发明在获得船舶的AIS历史数据后，综合船型、海峡节点等实际需求，根据船舶的港口信息、船舶信息、时间信息、穿越节点筛选等，获取准确的航线相关信息，综合进行真实航线的还原，可以针对计算的每条历史航线，根据大量的历史数据论证其准确性，提高海量数据在电子海图上的绘制效率，并采用特定的数据处理方法对航线轨迹数据进行处理，提高了数据的处理速度，实现了数据的高效传输，极大提高了后续航线热力图绘制的分辨率，以及数据的准备时间和数据绘制时间，为全球航线热力图的快速绘制做铺垫。

为了用户能有一个良好的使用体验，保证在复杂条件下的航线检索、绘制速度，本发明历史航线数据处理方法可理解为是一种基于网格聚合的多分辨率建立反向索引的处理模式，即把待处理的地理空间数据量化为有限数目的单元，这些单元形成了网格结构，所有的聚合操作均在网格上进行，其特点是收敛速度快且时间独立于数据对象的数目，仅依赖于量化空间中的单元数目。每个网格分辨率自动根据航线的叠加相似度进行调整，并对高频度的相似量化空间进行热度标记、进行缓存从而减少计算量。其优点如下：每个空间单元中的信息不依赖整个航线数据，只与网格相关，所以可以进行独立查询；网格结构有利于并行处理及增量更新；计算量大幅减少，提高了海量数据准确聚合的效率。

为进一步提高处理速度，在聚合完成的数据集中，可进一步根据复杂条件的有限集合，对完成的数据集进行反向索引的建立及存储。在处理用户输入的复杂条件时，根据指定的条件，从多维度反向查找对应的数据集得到多个数据集的索引进行并集计算，即可得到满足条件的航线数据集合，因这个集合仍然具有空间数据的特征，与网格聚合方法相近，对其进行符合WEB展示的空间分辨率处理，处理结果即可进行并行化的绘制工作，从而达到展示速度优化的效果。

本发明还涉及一种历史航线数据处理系统，该系统与上述的历史航线数据处理方法相对应，可理解为是一种实现上述历史航线数据处理方法的系统，包括依次连接的数据采集模块、数据清洗模块、航线轨迹还原模块、网格划分及标记模块、非稠密网格处理模块、稠密及非稠密网格判断模块、稠密网格处理模块、相邻网格处理模块和航线轨迹数据处理模块，各模块相互协同工作，极大提高了后续航线热力图绘制的数据准备时间，数据绘制时间，从而在更短时间内，完成数据的处理。

附图说明

图1是本发明历史航线数据处理方法的流程图。

具体实施方式

下面结合附图对本发明进行说明。

本发明涉及一种历史航线数据处理方法，该方法的流程图如图1所示，依次包括以下步骤：

1、数据采集步骤：采集船舶AIS历史航行数据和港口数据；具体地，依托大数据模型的航线推荐，支撑的平台可理解为是海量数据存储及检索平台，需要提供海量数据样本，且样本数量级动辄上亿甚至十亿、百亿级，而传统的关系型数据存储系统无法满足存储、检索及计算要求，因此选用基于PostgreSQL语法实现的分布式计算数据库PolarDB，从PolarDB数据库中取出船舶AIS历史航行数据，以及港口数据，实现单表最大存储超百亿条，且通过精选业务字段进行逻辑分区，实现百亿级数据3秒内检索响应。同时，结合PostGIS插件，实现了全球地理数据的运算，突破了经纬度跨180度的限制，且可构造任意曲线、多边形，支持船舶、港口坐标与任意地理图形距离的计算，支持任意地理形状的相交判断。

2、数据清洗步骤，或进一步称为预处理步骤：在获得AIS历史航行数据和港口数据后，对数据进行清洗，去除无用的干扰数据，先对AIS历史航行数据进行预处理，去掉AIS中存在异常的数据(如缺失过多，位置、速度等异常)，然后对港口数据进行预处理，去除修船的数据、起始港和终点港有缺失的数据、未知港口的数据以及起点港与终点港为相同港口的数据。可通过窗口函数将每一条数据和前一条数据的变化值进行计算并保存。

由于历史航线数据样本中，存在少量AIS异常数据，本发明实施例根据平均航线距离进行多轮优化。可以理解的是，该步骤支撑的平台是海量数据逻辑处理平台，船舶AIS数据属于物联网数据，具有数据量大、数据质量不稳定等特征，原始数据存储到分布式数据库之前，需经过严格筛选、清洗及初步转换，方可确保源数据样本的质量，因此选用分布式ETL系统Kettle，进行数据抽取、清洗转换，实现了日处理数千万级的数据处理能力，同时实现了动态数据分钟级同步，为模型搭建提供了强有力支撑。

其中，对AIS历史航行数据进行清洗，具体是先根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，按照下式进行计算：

上式中，x1,y1是纬度经度的弧度单位，Radius为地球半径(半径米)，R是单位圆弧长，Ry1为起始港经度，Ry2为结束港经度，Rx1为起始港纬度，Rx2为结束港纬度。

其中，单位圆弧长按照下式进行计算：

R

上式中，θ为两港之间的圆心角。

然后根据两港球面距离计算出海里为单位的港间距Dn，按照下式进行计算：

Dn(x)＝1.852 × x(3)

上式中，x为两港球面距离，参考郑州测绘学校杨国清的论文“子午线长度正反算公式及相应系数值”，计算出子午线长度，转换为公里的系数为1.852。

再根据港间距与两港边界系数的乘积得到航线的边界范围，其中，两港边界系数可以根据实际需求自由设定，例如分别设置两港边界系数为0.5和2，将航线的实际距离在所述边界范围外的航线剔除(注：因AIS异常丢失导致一部分航线数据记录的距离跨度存在较大的误差)，然后根据剔除后的AIS历史航行数据，基于月份、船型等维度统计航线平均距离，根据统计计算得到的平均距离设定距离阈值范围，将超出距离阈值范围外的航线剔除，进而实现对AIS历史航行数据中异常数据的清洗，在清洗完异常数据后，再重新统计一次航线平均距离，得出起始港到结束港的历史平均距离，即得到清洗后的历史航线，并将这部分航线作为后续航线绘制的候选航线。

需要说明的是，在船舶AIS历史航行数据中，有多条两港之间的数据，而这些两港之间的数据中，有些数据是不准确的，例如，取10条历史航线，其中有7条航线两港之间的距离相近，计算出这7条航线的平均距离，而另外3条航线中，有1条航线两港之间的距离是所述平均距离的1.4倍，有2条航线两港之间的距离是所述平均距离的0.7倍，则认为这7条航线是有效的，而另外3条航线超过所述平均距离过多，则认为这3条航线无效。而对于接近所述平均距离的航线，比如是平均距离的1.1倍或者0.9倍的航线，认为是有效的，也可以理解为是，优选设定的距离阈值范围在平均距离的0.9倍至1.1倍之间。

其中，航线平均距离的统计按照下式进行计算：

上式中，n为清洗后的历史航线总数，i为样本数据的索引变量，pi为当前索引的航线距离，pi+1为下一个索引的航线距离，全部历史航线总距离求和完成后，除以历史航线总数即得到航线平均距离。

3、航线轨迹还原步骤：清洗后的AIS历史航行数据仅包含起始港、目的港，历史航行时间等关键信息，在通过AIS还原时，需要结合航行的关键信息，从海量AIS历史记录中摘取坐标信息进行展示。具体地，先从清洗后的AIS历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息(靠泊、锚泊)，保留关键节点的坐标点信息，对于剩余的AIS历史航行数据，利用SAS(Sparse A*Search)算法进行稀疏，最后将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到接近真实、可展示的多个历史航线轨迹，并构成历史航线轨迹数据集，即得到还原后的真实航线。优选地，还原后的航线轨迹数据根据hausdorff距离方法，通过多轮迭代对相似度匹配或接近的全量航线历史数据进行验证，保证其准确性。优选地，关键节点包括起始港和目的港。

4、网格划分及标记步骤：首先按照1x1度的第一空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格单元，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，根据相似度可以自动调整每个网格的空间分辨率，从而减少计算量，然后根据每个网格含有的轨迹点数量计算出每个网格的密度，将各个网格的密度与预设密度阈值进行比较，将密度大于等于预设最大密度阈值的网格标记为稠密网格，将密度小于预设最小密度阈值的网格剔除，且后续不在参与处理。

5、非稠密网格处理步骤：将密度处于最大密度阈值和最小密度阈值之间的网格标记为非稠密网格，并将非稠密网格的第一空间分辨率缩小得到第二空间分辨率，再重复网格划分及标记步骤按照第二空间分辨率分别将各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格单元，并继续计算出每个网格的密度以及对各个网格进行标记和剔除，直至空间分辨率小于预设分辨率阈值或不存在非稠密网格，即已经不存在密度处于最大密度阈值和最小密度阈值之间的网格时，则结束划分。

6、稠密及非稠密网格判断步骤：将空间分辨率小于预设分辨率阈值的非稠密网格和稠密网格均标记为未处理，扫描所有网格，判断某个未处理网格是稠密网格或非稠密网格，若判断该网格是非稠密网格，则将该非稠密网格标记为已处理，并继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出稠密网格为止。

7、稠密网格处理步骤：若判断该网格是稠密网格，则创建一个与该稠密网格相关联的队列，并将该稠密网格放入该队列中等待处理，遍历该稠密网格的所有相邻网格，若该稠密网格的所有相邻网格中存在至少一个稠密网格，则将该队列中的该稠密网格提取出来与其相邻的某个稠密网格进行合并处理以形成一个簇。

8、相邻网格处理步骤：若该稠密网格的所有相邻网格中存在多个稠密网格，则将各个稠密网格分别对应创建一个与其关联的队列，并按照稠密网格处理步骤依次遍历各个稠密网格的所有相邻稠密网格，将各个稠密网格与其相邻的某个稠密网格进行合并处理并形成多个簇，直至合并处理完所有稠密网格为止；若该稠密网格的所有相邻网格中不存在稠密网格，则将该稠密网格从该队列中提取出来单独形成一个簇并将该稠密网格标记为已处理。

9、航线轨迹数据处理步骤：再按稠密及非稠密网格判断步骤继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出的所有非稠密网格均标记为已处理，再将判断出的所有稠密网格均继续执行稠密网格处理步骤和相邻网格处理步骤，直至所有稠密网格均与其相邻的稠密网格完成合并处理，以及所有未完成合并处理的稠密网格被标记为已处理后得到多个簇，以完成历史航线轨迹数据的处理。

在完成对历史航线轨迹数据的处理后，还可根据复杂条件的有限集合，对处理完成的数据集进行反向索引的建立及存储。即在已有的AIS历史航行数据上，进行数据的一次性扫描及处理，在处理用户输入的复杂条件时，根据指定的条件，从多维度反向查找对应的数据集得到多个数据集的索引进行并集计算，即可得到满足条件的航线数据集合，此外，对于后续新增的航线数据，可基于已经处理完成的历史航线轨迹数据，通过判断新增的航线数据是否落在不同的网格上，直接合并到对应的簇中，因这个集合仍然具有空间数据的特征，对其进行符合WEB展示的空间分辨率处理，处理结果即可进行并行化的绘制工作，从而达到展示速度优化的效果。

本发明还涉及了一种历史航线数据处理系统，该系统与上述历史航线数据处理方法相对应，可理解为是实现上述方法的系统，该系统包括依次连接的数据采集模块、数据清洗模块、航线轨迹还原模块、网格划分及标记模块、非稠密网格处理模块、稠密及非稠密网格判断模块、稠密网格处理模块、相邻网格处理模块和航线轨迹数据处理模块，具体地，

所述数据采集模块，采集船舶AIS历史航行数据和港口数据；

所述数据清洗模块，根据采集的港口数据中的起始港和结束港的经纬度数据计算得到两港球面距离，根据两港球面距离计算出港间距，并根据港间距与两港边界系数的乘积得到航线的边界范围，将航线的实际距离在所述边界范围外的航线剔除，然后根据剔除后的AIS历史航行数据统计航线平均距离，根据所述航线平均距离设定距离阈值范围，将在距离阈值范围外的航线剔除，进而实现对AIS历史航行数据中异常数据的清洗；

所述航线轨迹还原模块，从清洗后的AIS历史航行数据中提取出按时间排序的坐标点信息，剔除无用的坐标点信息，保留关键节点的坐标点信息，对于剩余的AIS历史航行数据，利用SAS算法进行稀疏，将关键节点的坐标点信息按照时间顺序插入到稀疏结果中，得到还原的多个历史航线轨迹，并构成历史航线轨迹数据集；

所述网格划分及标记模块，按照第一空间分辨率分别将历史航线轨迹数据集中各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格单元，并分别计算出各个航线轨迹数据中所有轨迹点的相似度，将相似度大于预设阈值的轨迹点划分至同一网格内，根据每个网格含有的轨迹点数量计算出每个网格的密度，将各个网格的密度与预设密度阈值进行比较，将密度大于等于预设最大密度阈值的网格标记为稠密网格，将密度小于预设最小密度阈值的网格剔除；

所述非稠密网格处理模块，将密度处于最大密度阈值和最小密度阈值之间的网格标记为非稠密网格，并将非稠密网格的第一空间分辨率缩小得到第二空间分辨率，再重复网格划分及标记模块的工作按照第二空间分辨率分别将各个历史航线轨迹的起始轨迹点和目标轨迹点之间的区域划分为互不相交的网格单元，并计算出每个网格的密度以及对各个网格进行标记和剔除，直至空间分辨率小于预设分辨率阈值或不存在非稠密网格时，则结束划分；

所述稠密及非稠密网格判断模块，将空间分辨率小于预设分辨率阈值的非稠密网格和稠密网格均标记为未处理，扫描所有网格，判断某个未处理网格是稠密网格或非稠密网格，若判断该网格是非稠密网格，则将该非稠密网格标记为已处理，并继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出稠密网格为止；

所述稠密网格处理模块，若判断该网格是稠密网格，则创建一个与该稠密网格关联的队列，并将该稠密网格放入该队列中等待处理，遍历该稠密网格的所有相邻网格，若该稠密网格的所有相邻网格中存在至少一个稠密网格，则将该队列中的该稠密网格提取出来与其相邻的某个稠密网格进行合并处理以形成一个簇；

所述相邻网格处理模块，若该稠密网格的所有相邻网格中存在多个稠密网格，则将各个稠密网格分别对应创建一个与其关联的队列，并按照稠密网格处理模块的工作依次遍历各个稠密网格的所有相邻稠密网格，将各个稠密网格与其相邻的某个稠密网格进行合并处理并形成多个簇，直至合并处理完所有稠密网格为止；若该稠密网格的所有相邻网格中不存在稠密网格，将该稠密网格从该队列中提取出来单独形成一个簇并将该稠密网格标记为已处理；

所述航线轨迹数据处理模块，按稠密及非稠密网格判断模块继续判断下一个未处理网格是稠密网格或非稠密网格，直至判断出的所有非稠密网格均标记为已处理，再将判断出的所有稠密网格依次输入至稠密网格处理模块和相邻网格处理模块进行处理，直至所有稠密网格均与其相邻的稠密网格完成合并处理，以及所有稠密网格处理完成后得到多个簇，以完成历史航线轨迹数据的处理。

优选地，航线轨迹还原模块中，还将还原后的航线轨迹数据根据hausdorff距离方法，通过多轮迭代对相似度匹配或接近的全量航线历史数据进行验证，保证其准确性。

优选地，网格划分及标记模块中，还根据网格的密度对网格的大小进行动态调整，对密度高的网格进行放大，对密度小的网格进行拆分并使用拆分后更小的网格。

优选地，关键节点包括起始港和目的港。

优选地，无用的坐标点信息包括靠泊和锚。

本发明提供的历史航线数据处理方法及系统，能够海量数据同步，通过KETTLE将海量AIS数据同步到历史及最新数据，完成数据清洗及预处理，清洗AIS中的异常点(位置，速度等异常)，并利用SAS算法进行稀疏得到还原的航线轨迹数据，以及采用网格划分、标记以及特定的稠密与非稠密网格的判断及处理方法并结合相似度计算完成航线轨迹数据的处理，使计算量大幅减少，极大提高了后续航线热力图绘制的分辨率，以及数据准备时间和数据绘制时间，从而在更短时间内，完成数据的处理。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。