基于空间数据库的多源交通数据管理与查询文献综述

文献综述（或调研报告）：

与国外卷帙浩繁的研究文献相比，国内对交通数据以及空间数据库的研究文献相对较少，本次毕业设计题目，是GIS与交通等学科相互交叉应用的一个研究方向，为了对相关方向研究现状作一视野广博的综述和分析，根据研究对象和层次，此课题可分以下几方面做综述：

1.交通数据进行存储管理方法的研究：

由于交通数据具有空间数据的特征（非结构化，包含位置信息），一般的数据库很难满足实际要求，例如Oracle、PostgreSQL等具有支持空间数据的工具集或扩展的数据库软件才具备管理交通数据的能力。在以往的交通数据研究中，有由北方工业大学云计算研究中心的陆婷、房俊、乔彦克[1]设计实现的基于HBase的交通流数据实时存储系统，该系统通过前端的多源实时感知数据接入预处理器，使用多个缓冲区结构，采用多线程技术，数据存储采用一致性哈希算法和HBase线优化的关键策略保证存储性能和可扩展性。还可以通过Oracle管理交通数据，Oracle 10g推出了一个空间数据管理工具Oracle Spatial，提供了一系列SQL解决方案和函数，用于存储、检索、更新和查询数据库中的空间元素集合。宋世荣等人[2]采用Oracle10g数据库，实现了属性数据和空间数据的一体化存储。另外还有交通大数据方面的研究，如Hadoop技术在交通卡口管理中的应用，司文[3]以某省交通拥堵管理为例，在11个地级市和4个交警支队建立了信息中心，利用分级管理模式将区域数据存储在不同的层次，利用现有的计算机和服务器采用HDFS技术实现计算机集群，大大降低了系统搭建成本。Hadoop技术在统一的数据管理物理位置不变的情况下，通过高速网络实现存储、挖掘的流量监控数据分析;还开发了MapReduces引擎，实现数据的统一分析处理。除了上面描述的数据存储管理方法之外，还有Microsoft Access、DB2、MySQL以及其他存储和管理流量数据的方法。

2.交通数据库内数据结构的研究：

交通数据有很多种，比较有代表性的有电子警察卡口数据和车载GPS数据，仅仅将这些数据以表的形式存入数据库是没有意义的，车载GPS等数据不能直观地看出其中的规律，需要一定的数据结构来组织。中南大学的金美含[4]在2014年进行的基于PostgreSQL/PostGIS的原生轨迹数据库研究，设计了位置-轨迹段-轨迹的三层数据模型来储存GPS轨迹数据，重点设计了轨迹数据索引，具有很高的查询效率。另外还有佐治亚州立大学的Ahmet Kucuk等人[5]在2016年提出了关于GPS轨迹数据在PostgreSQL中存储的数据模型扩展PG-Trajectory。此数据模型建立在空间数据库扩展器PostGIS之上。除了提供数据模型外，PG- Trajectory还包含用于存储和操纵spa-时空轨迹的各种功能，具有较好的可扩展性和有效性。

3.交通数据的查询和应用的研究：

以上各层次的研究最终都是为了将交通数据有组织地存储，方便用其开发出各种功能应用于各个行业。Jiping Liu等人[6]研究了基于大规模GPS轨迹数据的自动路网生成方法，此方法使用采用灵活的空间、时间和逻辑约束规则的算法处理原始GPS定位数据，然后使用新的道路网络构建算法将轨迹递增地合并到表示数字地图的有向图中，完成对道路网的构建并更新到现有电子地图中，大大降低了线下实时更新道路网的成本。大连理工大学的Qiuyuan Yang、Jinzhong Wang等人[7]做了利用浮动车轨迹数据进行城市交通拥堵预测的研究，提出了利用粒子群优化算法的创新交通流预测方法，然后应用拥塞状态模糊划分模块将预先确定的流参数转换为公民的认知拥塞状态，此外还有很多类似的研究成果。

虽然每个层次都有一些现有的研究成果，但是总体来说还不够全面，对于多源的交通数据来说，关于GPS轨迹数据的研究稍多一些。另外国内外也有一些优秀的软件成果如bigdatalion等可供参考。

方案（设计方案、或研究方案、研制方案）论证：

（一） 设计内容： 基于PostgreSQL的多源交通数据库查询软件是为了顺应交通行业的实际需求，将随着交通量增加而增加的原始的多源交通数据加以清洗，处理成相对干净的便与储存和使用的数据，并且以统一的方式、不同的结构存入空间数据库中，供用户查询、分析、应用、输出、研究而开发的一款软件。

（二） 主要实现功能：

连接数据库：将软件与已有的数据库连接，用户不需精通数据库语言即可在软件环境下操作数据库。

解析与简化数据文件：可以预先读取未知的数据文件，为数据制定设置各项参数，如：字段名称、数据类型、备注等，将这些参数以一个新的文件形式存入硬盘，便于在建立数据库的时候读取使用，还可以将庞杂的数据简化为只有几个有用字段的数据文件。

数据清洗：将数据文件导入数据库，通过一系列SQL语句和其他算法，将海量数据中错误的、可忽略的数据清除或改正，以获取相对“干净”的、规范的数据表。

数据分区：依照解析得到的字段信息建表，并为数据表添加约束、分区、索引等，提高查询和分析效率

数据查询：利用软件创建接口输入SQL语句可直接完成对数据库的调用。

数据输出：可以利用数据不同的组合输出成报表供用户分析，或者将其中空间数据转换为编辑的矢量或栅格文件输出，用于地图可视化。

GPS轨迹数据功能：利用不同的SQL查询语句完成如跟踪车辆轨迹、分析拥堵路段、轨迹可视化等功能。

卡口轨迹数据功能：利用不同的SQL查询语句完成如道路拥堵分析、车辆统计等功能。

（三） 系统对软硬件的需求

本多源交通数据查询软件采用 VS2010 系统集成开发环境和 PostgreSQL10.0的数据库系统， 应用MFC软件框架， 采用 C 语言编写设计，同时也应用了Python语言。

1、 开发工具简介：

操作系统： Windows7

开发环境：Microsoft Visual Studio 2010 开发语言： C 语言/Python语言

数据库：PostgreSQL10.0，PostgreSQL是由加州大学伯克利分校计算机系开发一种具有空间数据库功能的对象关系型数据库管理系统（ORDBMS），POSTGRES 领先的许多概念在很久以后才出现在一些商业数据库系统中。作为开源数据库，任何人都可以以任何目的免费使用、修改和分发PostgreSQL， 不管是私用、商用还是学术研究目的。

2、 主要特点：

（1）、 本软件可在非联网单机状态下运行；

（2）、 采用 Visual Studio 2010，功能强大且稳定，适合实际教学研究。

（3）、 主要用 C 语言进行面向对象编程，Python脚本用于文件处理；

（4）、 采用的PostgreSQL具有强大的空间数据库功能，适合地理、交通等空间数据，在复杂查询和索引方面拥有良好的效率。

参考文献

[1] 陆婷, “基于HBase的交通流数据实时存储系统的设计与实现,” 2016.

[2] 宋世荣 and 刘洪星, “用Oracle Spatial管理交通空间数据,” 交通科技, no. 4, pp. 64–66, 2006.

[3] 司文.hadoop技术在交通卡口数据管理中的应用[J].电子技术与软件工程,2013,(17):233-234.

[4] 金美含, “基于PostgreSQL/PostGIS的原生轨迹数据库研究,” 中南大学, 2014.

[5] A. Kucuk, S. M. Hamdi, B. Aydin, M. A. Schuh, and R. A. Angryk, “Pg-Trajectory: A PostgreSQL/PostGIS Based Data Model for Spatiotemporal Trajectories,” in IEEE International Conferences on Big Data amp; Cloud Computing, 2016.

[6] J. Liu, F. Zhang, X. Qian, Y. Zhang, and A. Qiu, “An Automatic Road Network Construction Method Using Massive GPS Trajectory Data,” ISPRS Int. J. Geo-Information, 2017.

[7] Q. Yang, J. Wang, X. Song, X. Kong, Z. Xu, and B. Zhang, “Urban Traffic Congestion Prediction Using Floating Car Trajectory Data,” in International Conference on Algorithms amp; Architectures for Parallel Processing, 2015.