2. 西安财经大学 信息学院, 陕西 西安 710100;
3. 交通运输部水运科学研究所, 北京 100088
轨迹大数据[1]记录移动对象随时间变化的活动情况, 并客观反映移动对象个体或群体的活动规律, 当前研究人员针对轨迹大数据的研究主要包括: 轨迹分类与聚类[2-3]、轨迹预测[4]、轨迹模式挖掘[5]等。
船舶自动识别系统(automatic identification system, AIS)通过GPS或北斗导航系统获得船舶位置、航速、航向等动态信息与船舶静态资料, 并按照国际电信联盟标准通过甚高频广播对外发送。船舶AIS设备的普及, 使AIS数据成为当前船舶交通流分析、海事监管、事故分析的主要数据来源, 为船舶轨迹大数据获取、分析与应用提供了条件[6-7]。
AIS数据报文并不具备可靠性, 在受到各种障碍物和电磁干扰的情况下, AIS数据传输过程中经常会出现丢失和错误。并且AIS数据包中的位置数据来源于GPS或北斗等定位设备, 也可能因定位设备问题而出错。错误的位置数据被获取进入海事或航运管理信息系统, 可能使管理部门对当前海事交通状态产生误判, 甚至可能对碰撞、触礁或搁浅等海损事故无法及时做出预判, 酿成重大损失。
针对AIS异常点的检测与修复方法的研究主要分为两大类: 基于单船单航迹的方法[8]和基于航迹聚类的方法[9-10]。前者依据船舶自身位置、速度与航向等数据判断异常点并进行修复, 其优点在于不需要航线历史数据; 其缺点在于异常点判别依赖于判别模型, 且大量连续位置数据丢失情况异常点修复困难, Zhang等[11]通过模型对异常点进行检测取得一定的成果, 但仅当异常漂移点的平均速度超过最大速度时才视为异常点。后者依据大量船舶历史航迹聚类结果, 判别轨迹异常点并进行修复, 其优点在于不需建立单船轨迹异常点模型, 其缺点在于需要以大量历史航迹数据作支撑, Rong等[12]通过聚类方法取得不错的效果, 但其对聚类结果有很高要求, 且未能对异常点进行修复; 而这两类方法主要是针对船舶位置信息进行异常点检测与修复, 并未对船舶加速和航向异常点剔除, 现有方法判定异常点相对简单, 且多是针对内河船舶, 针对海上船舶异常点研究还有待提高, 海上船舶有着类型差异大、尺度跨度大、航行自由度大、惯性大等特点, 海上环境具有事故突发性强、气象环境复杂等特点。
海上货轮与客轮具有相对固定的航行参数, 航行的位置、速度与航向数据具有相对稳定性和平滑性。因此采用基于单船轨迹的异常点检测与修复方法具有较大优势。本文提出了一种利用单船自身轨迹数据进行异常点判断与修复的方法, 该方法充分利用船舶的经纬度、速度、加速度以及航向数据进行异常点判定, 与基于单一位置数据的异常点判定方法相比, 能够有效减少异常点的漏判, 且该方法不需要历史数据作为支撑, 适用范围更广。此外采用三次样条方法对间隔性异常点数据进行剔除后的补足修复, 进一步提升轨迹数据的连续性和完整性。
1 船舶AIS轨迹数据异常点分类判定 1.1 AIS轨迹表示轨迹用来表示移动对象状态随时间持续变化的信息历史, 也可视为时间到状态的映射, 即给定某一时刻t(t∈R+), 通过一个以时间t为自变量的连续函数F, 可以得到该对象在时刻t所处的状态空间。状态空间一般为d维向量, 映射可表示为F: R+→Sd。设Tr表示船舶航行中的轨迹, 则Tr={(s1, t1), (s2, t2), …, (sn, tn), …}。当前研究较多的状态空间为移动对象位置向量, 即平面空间中的二维坐标(x, y)。船舶发射的AIS位置报告报文包含经度、纬度、速度和航向等数据, 为准确判别轨迹数据中的异常点, 本文将船舶状态空间S表示为经度、纬度、速度和航向组成的四维向量(E, N, v, C)。
1.2 船舶轨迹异常点分类判定对vtexplorer网站[14]提供的AIS原始报文分析发现, AIS报文存在转发、丢失、数据错误等原因, 会导致直接根据AIS报文建立的船舶轨迹存在诸多异常点, 通过分析将异常点分类并给出判定条件。
1) 异常停止点
根据国际电信联盟通信标准[13]所规定的报文格式, 在AIS报文发送过程中存在转发机制, 接收端可能会接收到同一轨迹点的重复报文。重复的报文除了时间信息外, 其他信息全部相同。另外, 船舶自带定位装置在复杂环境下可能无法实时获取位置数据, 从而可能导致连续一段AIS报文中位置数据相同。如果不对这些重复或者异常的报文进行处理, 会导致误判船舶处于停止状态。鉴于此, 可给出异常停止点判定方法为: 对于AIS序列, 如果第i个点的速度大于2节(1节=1海里/小时), 且第i+1个点的坐标(E, N)、速度v、航向C数据均与第i个点相同, 则第i+1个点为异常停止点, 规则如下
|
(1) |
2) 异常加速点
根据当前船舶操纵性能设计标准, 满载情况下, 船舶从静止加速到设计速度的距离为船长的20倍左右; 而在空载情况下, 加速距离缩短到原来长度的1/2~1/3。船舶停车冲程受船舶排水量影响, 一般为船长的8~20倍。据此标准, 一艘船以10倍船长的距离加速到其设计速度的加速度, 可作为其理论的最大加速度; 以8倍船长的距离由其设计速度减速到停止的加速度, 可作为其理论最小加速度。若设船长为L, 设计速度为Vd, 最大加速度为amax, 最小加速度为amin, 加速用时为t1, 减速用时为t2, 再设船舶行进过程中做匀加速或匀减速运动, 则
|
(2) |
由以上关系可以求得船舶最大加速度amax和最小加速度amin为
|
(3) |
对于AIS序列, 根据第i个点与第i+1个点的速度以及时间差, 可以计算出两点之间的加速度。若计算所得的加速度大于最大加速度或小于最小加速度, 则判定第i+1个点为异常加速点, 即
|
(4) |
3) 异常漂移点
理论上, 移动对象在两点之间的行程可表示为速度在时间上的积分。对于轨迹数据序列, 如果一个轨迹点与前一个轨迹点之间的距离, 超过移动对象速度可达的范围, 则称该轨迹点为异常漂移点。设船舶在轨迹序列第i点的时刻为ti, 速度为vi, 在第i+1点的时刻为ti+1, 速度为vi+1, 则船舶在轨迹第i点和第i+1点之间的行程应为∫titi+1vdt。在船舶实际航行中, 根据接收到的AIS数据, 只能获得船舶在2个轨迹点的速度, 无法获知船舶在2个轨迹点之间的速度变化情况。按照最大行程情况, 船舶自i点开始, 应先进行最大加速, 到达某时刻tm后最大减速, 使得到达i+1点的速度恰好为vi+1, 此时, 船舶行程为
|
(5) |
tm满足vi+1=vi+amax(tm-ti)+amin(ti+1-tm)。当受到风浪及避障影响时, 船舶在i点和i+1点之间的实际行程一般不是严格直线。因此, 轨迹点i和轨迹点i+1之间的直线距离d(i, i+1)必定小于smax。轨迹点i和轨迹点i+1之间的直线距离d(i, i+1)可以通过2个轨迹点的经纬度坐标经计算得出。据此, 轨迹中的第i+1个轨迹点为异常漂移点的规则为其与第i个轨迹点之间的直线距离大于smax, 可表示如下
|
(6) |
4) 异常转向点
船舶转向能力是船舶机动性的重要参数, 一般用摆动直径衡量。船舶设计的最大摆动直径d与船舶长度l相关, 一般取2~4倍船长, 即d=k×l, k∈[2, 4]。若船舶速度为v, 以最大摆动直径d转向, 则转向速率为
|
(7) |
式中，smax为异常漂移点中求解的2个轨迹点之间的最大行程。据此, 对于船舶轨迹中的一个轨迹点, 若其与前一个轨迹点之间的转向角度大于ωmax, 则该轨迹点为异常转向点, 即
|
(8) |
根据AIS数据建立的船舶轨迹是离散的时空序列。为了满足后续基于轨迹数据的研究与应用, 需要将数据中的异常点删除, 然而, 异常点的删除会导致轨迹序列变得不连续; AIS报文的丢失也同样会导致轨迹序列的间断。故在实际应用中, 需要进行同步插值处理, 以获得连续轨迹。三次样条插值是常用的时空轨迹插值与同步方法之一, 在时空轨迹数据缺失较少且间断缺失情况下, 三次样条插值法具有良好的修复和同步效果。
根据国际电信联盟通信标准[13]的规定, AIS的位置以及航行相关数据报文发送时间间隔与船只类型以及航速相关。对于A类船只, AIS报文发送的间隔应不大于10 s; 对于B类船只, AIS报文发送的间隔应不大于30 s。在船舶正常行驶情况下, 能够获取的轨迹数据比较密集, 报文丢失与异常点删除可能导致的轨迹点缺失相对较少, 故适合采用三次样条插值法进行轨迹点修复和同步。但在船舶在停泊情况下, AIS报文发送时间间隔为3 min, 这种情况不需插值处理; 此外, 船舶也可能存在主动关闭AIS电台的情况, 这将导致船舶轨迹点出现较长一段缺失, 此种情况下船舶的行为存在不确定性, 故不适合进行插值处理。
鉴于上述AIS报文的特点, 本文仅针对删除异常点之后的轨迹数据进行分段处理, 即根据轨迹点时间间隔与航速, 先识别出正常航行段、停止段、和关闭电台段, 分段的规则为: ①AIS报文时间间隔小于3 min为正常航行段; ②AIS报文时间间隔大于等于3 min且小于等于5 min、航速小于1 kn为停止段; ③AIS报文时间间隔大于5 min为关闭AIS电台段。轨迹数据恢复过程中, 仅针对第①种情况进行三次样条插值; 对于第②和第③种情况, 不进行插值处理。在针对第①种情况进行插值时, 根据不同船舶类型和航速, 以AIS报文规定时间间隔作为步长进行插值。
设AIS时空序列中有m个轨迹点, m个轨迹点对应时刻分别为ti(i=1, 2, …, m), xi, yi, vi, θi分别表示轨迹点i的经度、纬度、速度、航向角, 则经度方向速度为vxi=vicosθi, 纬度方向速度为vyi=visinθi。以待插值序列的时间起点为零时刻, 用对应的经纬度坐标作为坐标原点, 对于待插值的时空序列, 在经度和纬度方向端点的导数, 即为vxi和vyi, 将vxi和vyi代入分段样条函数即可求得系数矩阵, 随后即可通过分段样条函数求得每一分段内任意时刻t对应的经纬度数值。
以船舶的经度为例, 设船舶经度y(t)为时间的函数, 且在时间段[ti, tj]内满足三次样条函数y(t)=aΔt3+bΔt2+cΔt+d, 则
根据边界条件, 在t1和t2时刻应满足
|
(9) |
根据待插值序列段边界值y(t1), y(t2), v(t1), v(t2)即可求得样条函数系数, 确定经度y关于时间t的函数表达式, 进而根据插值时间间隔, 求得对应轨迹点的经度值。轨迹序列的其他参数(纬度、速度、航向)的插值方法与此类同, 不再赘述。
3 实验分析为验证本文所提出的船舶轨迹数据异常点处理与修复方法的效果, 通过vtexplorer网站下载部分AIS原始数据进行实验。数据选择厦门港及周边水域, 时间范围从2018年12月21日11时46分37秒至2019年1月3日7时30分22秒; 空间范围为(117.773 7°E, 24.087 84°N)至(118.630 37°E, 24.69 1°N), 其中位置数据共12 158 622条, 静态数据共387 745条。实验选取1艘MMSI号为413698470的船舶轨迹数据进行分析, 有14 965条位置数据, 时间跨度为2018年12月21日11时46分41秒至2018年12月22日23时59分50秒。查询该船舶静态数据可知, 该船呼号为BVHW8, 名称为HAI GONG 167, 船长32 m, 是1艘油船。
3.1 异常点识别与剔除在不对AIS原始位置数据进行任何处理的情况下, 在设定时间跨度内, 该船舶的轨迹如图 1(百度地图, 比例尺为1∶50 000)所示。
|
| 图 1 船舶原始轨迹图 |
从图 1可以看出, 根据该船原始位置数据序列建立的轨迹有些杂乱, 能直观看到的是其中存在诸多异常漂移点。异常漂移点的存在使得部分轨迹段甚至穿过陆地, 明显不具备可信性。若将这些船舶原始轨迹数据作为统计分析系统的数据源, 将会造成统计分析结果偏离实际情况。这对于船舶管理与监控分析系统, 将会造成错误的船舶异常行为报警。
若根据本文提出的异常轨迹点判定方法, 则该船原始位置数据中存在的不同类型的异常点及其数量情况如表 1所示。
| 轨迹点 | 数量 | 占比/% |
| 正常轨迹点 | 7 800 | 52.13 |
| 异常漂移点 | 4 035 | 26.96 |
| 异常停止点 | 0 | 0.00 |
| 异常加速点 | 12 | 0.08 |
| 异常转弯点 | 3 118 | 20.83 |
从表 1该船舶异常点类型分布可以看出, 异常漂移和异常转弯点所占比例较重, 且该船没有异常停止点。主要原因可能是不存在重复转发报文情况, 但也可能是本文实验下载的原始AIS数据已经处理了重复报文。按照本文方法, 将原始数据中发现的各类异常点清除之后, 该船的轨迹如图 2(百度地图, 比例尺为1∶50 000)所示。从图 2可以看出, 清除异常点之后, 船舶轨迹变得清晰可辨。
|
| 图 2 船舶清除异常点之后轨迹 |
在判别并删除异常轨迹点之后, 虽然船舶轨迹整体变得清晰, 但轨迹点时间间隔较大且不均匀, 这不利于船舶局部轨迹分析与应用。通过静态数据可知, 该船船长32 m, 为小型油船, 属于B类船只, 故对其轨迹修复过程中, 按照本文第2节所给出的三次样条插值方法, 以其AIS报文发送时间间隔30 s进行插值处理, 共插入轨迹点5 419个, 插入轨迹点与总轨迹点的比值为36.21%。数据修复前后船舶轨迹点散点对比如图 3a)和3b)(百度地图, 比例尺为1∶50 000)所示。
|
| 图 3 修复前后航迹点对比图 |
由图 3b)可以看出, 数据修复之后船舶轨迹点密度显著提高, 轨迹变得更加连续, 但修复之后的轨迹中仍有部分轨迹段处于间断状态, 如图 3b)中的圆形标识部分有一个明显缺口。该段轨迹没有得到修复的原因, 在于连续2个轨迹点之间的时间间隔超过了5 min, 这表明船舶在该段处于关闭AIS设备的状态, 其行为具有不确定性, 故不予修复。
本文除了对位置数据进行了异常点删除与修复之外, 同样对速度异常、加速度异常以及航向异常等数据进行了异常点删除与修复, 异常点清除与修复前后船舶部分航段的速度、加速度、航向等变化情况对比如图 4至6所示(数据取自时间为2018-12-22 8∶22∶51至2018-12-22 9∶37∶45)。
|
| 图 4 修复前后速度对比图 |
|
| 图 5 修复前后加速度对比图 |
|
| 图 6 修复前后船舶转向对比图 |
由图 4至6可以看出, 原始数据中超出船舶操纵性能范围的速度、加速度以及航向突变均已被消除。修复之后的船舶航速、加速以及航向变化趋于连续和平缓, 且均在合理范围之内。
4 结论船舶AIS设备的普及应用, 使得AIS数据成为当前船舶交通流分析、海事监管、事故分析的重要数据来源之一。然而AIS报文的不可靠性, 给上层应用带来了困难。本文针对基于AIS数据的船舶轨迹构建问题, 在充分分析实际船舶AIS数据异常点类型的基础上, 根据AIS数据中的经纬度、速度、加速度、以及航向等信息, 提出了一种轨迹异常点检测与修复的方法。其中, 所提出的异常点判定方法仅需船舶自身的AIS数据, 不需要历史航迹数据支撑; 在剔除异常点之后, 对于间断性轨迹缺失, 采用三次样条插值方法对轨迹进行修复, 进一步提升了轨迹的连续性和完整性。
对实际船舶轨迹处理结果表明, 本文所提出的方法能够有效识别AIS数据中的各类轨迹异常点; 异常点剔除之后的轨迹插值处理效果明显, 能够有效消除位置、速度、加速度以及航向的突变, 经过处理之后的轨迹数据在经纬度、速度、加速度以及航向方面均处于合理范围, 且变化连续平滑。另外, 本文仅针对AIS数据间断性异常及缺失进行了处理, 取得了预期效果, 并且此方法具有通用性, 对具有AIS数据的船舶皆可进行轨迹修复; 若船舶在航行中关闭AIS设备, 可能导致长时间段AIS数据缺失, 在此种情况下, 船舶行为具有不确定性, 此类情况有待后续进一步研究。
| [1] |
毛嘉莉, 金澈清, 章志刚, 等. 轨迹大数据异常检测: 研究进展及系统框架[J]. 软件学报, 2017, 28(1): 17-34.
MAO Jiali, JIN Cheqing, ZHANG Zhigang, et al. Anomaly detection for trajectory big data: advancements and framework[J]. Journal of Software, 2017, 28(1): 17-34. (in Chinese) |
| [2] | ANAGNOSTOPOULOS C, HADJIEFTHYMIADES S. Intelligent trajectory classification for improved movement prediction[J]. IEEE Trans on Systems Man & Cybernetics Systems, 2014, 44(10): 1301-1314. |
| [3] | YUAN G, SUN P, ZHAO J, et al. A Review of moving object trajectory clustering algorithms[J]. Artificial Intelligence Review, 2017, 47(1): 123-144. DOI:10.1007/s10462-016-9477-7 |
| [4] | QIAO S, HAN N, ZHU W, et al. TraPlan: an effective three-in-one trajectory-prediction model in transportation networks[J]. IEEE Trans on Intelligent Transportation Systems, 2015, 16(3): 1188-1198. DOI:10.1109/TITS.2014.2353302 |
| [5] | YUAN G, ZHAO J, XIA S, et al. Multi-granularity periodic activity discovery for moving objects[J]. International Journal of Geographical Information Science, 2017, 31(3): 435-462. DOI:10.1080/13658816.2016.1205194 |
| [6] | FERNANDEZ A V, PALLOTTA G, VESPE M. Maritime traffic networks: from historical positioning data to unsupervised maritime traffic monitoring[J]. IEEE Trans on Intelligent Transportation Systems, 2017: 722-732. |
| [7] | TU E, ZHANG G, RACHMAWATI L, et al. Exploiting AIS data for intelligent maritime navigation: a comprehensive survey[J]. IEEE Trans on Intelligent Transportation Systems, 2016, 19(5): 1-24. |
| [8] |
吴建华, 吴琛, 刘文, 等. 舶舶AIS轨迹异常的自动检测与修复算法[J]. 中国航海, 2017, 40(1): 8-12.
WU Jianhua, WU Chen, LIU Wen, et al. Automatic detection and restoration algorithm for trajectory anomalies of ship AIS[J]. Navigation of China, 2017, 40(1): 8-12. (in Chinese) |
| [9] | SOLEIMANI B H, DE SOUZA E N, HILLIARD C, et al. Anomaly detection in maritime data based on geometrical analysis of trajectories[C]//2015 18th International Conference on Information Fusion, Washington DC USA, 2015: 1100-1105 |
| [10] |
李佳, 初秀民, 刘兴龙, 等. 内河船舶缺失轨迹修复方法[J]. 哈尔滨工程大学学报, 2019, 40(1): 67-73.
LI Jia, CHU Xiumin, LIU Xinglong, et al. An approach for restoring the lost trajectories of vessels in inland waterways[J]. Journal of Harbin Engineering University, 2019, 40(1): 67-73. (in Chinese) |
| [11] | ZHANG D, LI J, WU Q, et al. Enhance the AIS data availability by screening and interpolation[C]//2017 4th International Conference on Transportation Information and Safety, Banff, Canada, 2017: 981-986 |
| [12] | RONG H, TEIXEIRA A P, SOARES G G. Data mining approach to shipping route characterization and anomaly detection based on ais Data[J]. Ocean Engineering, 2020, 198(106936): 1-12. |
| [13] | ITU-R M.1371-5[EB/OL]. (2014-02-01)[2020-05-01]. http://www.itu.int/publ/R-REC/en |
| [14] | Historical AIS Data Services[EB/OL]. (2018-12-10)[2020-05-01]. http://www.vtexplorer.com/, 2018-12-10 |
2. School of Information, Xi'an University of Finance and Economics, Xi'an 710100, China;
3. China Waterborne Transport Research Institute, Beijing 100088, China
