《城市交通大数据》读书总结

《城市交通大数据》读书总结

城市交通是衡量现代化城市管理的重要标志，城市交通是一个庞大而复杂的系统，交通日益拥堵、交通事故频发等问题影响着城市运行效率，提高现代化城市交通管理水平，既是城市发展的客观要求，也是提高现代化城市管理水平的必由之路。随着近几年大数据技术的发展，大数据也许对城市交通意味着新的管理思路和方法。

通过阅读《城市交通大数据》一书对城市交通大数据有了一个全面的了解。该书从城市交通大数据的基本概念出发，分析了大数据背景下的城市交通需求，总结各类数据资源；介绍了适合城市交通大数据的数据处理、挖掘和可视化技术；并结合了具有代表性的典型大数据平台和服务，做到了理论联系实际。现将我理解的此书的主要内容总结如下：

我围绕着“城市交通大数据是什么”、“为什么要用城市交通大数据”和“城市交通大数据怎么用”三个问题来总结此书。该书结构整体导图如图一所示。

图一 城市交通大数据整体导图

一、  城市交通大数据是什么

科学家们在科学层面对大数据的定义是“来源多样、类型多样、大而复杂、具有潜在价值，但难以在期望时间内处理和分析的数据集”。广义上，大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集；二是新型的数据处理和分析技术；三是运用数据分析形成价值。

各个领域都有具有领域特点的大数据，城市交通大数据是指由城市交通运行管理直接产生的数据、城市交通相关的行业和领域的数据，以及来自公众互动提供的交通状况数据构成的，用传统的技术难以在合理时间内管理、处理和分析的数据集。通过定义不难看出，城市交通大数据具有数据量巨大、数据种类多样、蕴含丰富价值和具有明显实效性四个特点。城市交通大数据的分类角度多种多样，按照数据与交通管理和交通信息服务的关联度划分为：交通直接产生的数据、公众互动交通状况数据、相关行业数据和重大社会经济活动关联数据。按照数据类型可以分为：结构化数据、非结构化数据、半结构化数据。

城市交通数据主要由交通行业运行和管理产生，按照城市特性，可以将交通领域的数据来源分为四类：道路交通、公共交通、对外交通和重大活动交通。道路交通数据主要由布设在地面道路、城市快速道路和高速公路的采集设备采集的车流量、车速等数据；公共交通数据主要由公交、出租车、轨道交通、停车场等汇聚的调度、客流量等数据组成；对外交通数据包括铁路、民航、航运等行业信息化建设汇集的客流、货流等交通数据；重大活动期间，城市交通展现出不同于日常交通的特性。城市交通相关领域数据包括气象与环境数据，人口与社会经济，城市规划，移动通信数据，公众互动信息。

书中还具体讲解了城市交通大数据科学的组织与描述，包括本体、核心元数据等，在此不做过多叙述。

二、  为什么要用城市交通大数据

现代交通采集技术可以实现对城市交通系统进行全面的连续的观测，大数据技术的发展，可以方便的对海量城市交通数据进行存储、加工、分析和挖掘。

城市交通和大数据技术的结合是交通建设、交通管理和交通服务的需要。交通建设方面，利用大数据技术可以对交通需求现状和发展趋势做出准确判断，也可以通过海量数据的内在关联性挖掘，提炼出交通系统发展变化特征，以及交通规划和建设方案的实施效果，消除决策判断的不确定性，为城市交通战略调控和建设项目的可行性研究提供基础；交通管理方面，大数据技术为实时进行系统运行状态的全面分析、问题诊断和方案测试提供了可能，有助于形成高效的交通控制策略；交通服务方面，随着经济发展和生活水平的提高，交通出行用户的服务信息需求日趋多样化，通过大数据技术可以为出行者提供个性化的交通信息服务、交通诱导信息服务和交通出行服务。

三、  城市交通大数据怎么用

经过前两节的介绍，我们知道城市交通大数据是什么，也知道将大数据应用到城市交通中好处多多，城市交通大数据的本质是大数据理念和技术在交通行业的应用，更偏向用户的应用服务和产品生成，但是具体如何将大数据技术应用到城市交通领域也是很有难度的问题。

通过阅读此书，我将城市交通大数据怎么用分为两个层面来考虑，第一是技术层面，即现有的大数据技术与城市交通结合的可行性；第二是产品与服务层面，依据大数据技术可以开发出哪些优质产品和服务。

   1.技术层面

城市交通大数据存在着如下几个问题：

1)  数据质量，数据本身并不是孤立的，但是由于采集手段、部门约束等原因导致数据无法整合分析，得到的数据质量并不高；

2)  数据存储，数据来源众多，格式也不统一，再加上数据容量的不断增加，给数据存储带来了不小的挑战；

3)  数据计算，随着数据量的迅速增加和数据源的不断丰富，以前的本地计算已经无法满足交通领域的需求。

大数据技术中有一系列技术和工具可以解决上述问题，分布式存储可以采用hdfs，分布式计算可以采用mapreduce、spark、storm等。针对城市交通大数据的分析挖掘和可视化亦有诸多算法和工具可以实现。如数据分类可以采用支持向量机、决策树、神经网络等；数据聚类可以采用k均值聚类、层次聚类、模糊聚类等；关联分析可以采用灰色关联分析、关联规则挖掘分析等；数据可视化可以通过D3、Echarts、Highcharts等工具实现。

可以说hadoop作为大数据技术领域最主要的开源实现包含了众多的大数据处理相关组件，学习并掌握这些技术是将大数据与城市交通相结合所必不可少的。

2.应用和服务层面

上一小节从技术层面介绍了大数据技术与城市交通相结合的可行性，现在将介绍依据大数据技术如何开发出好的应用和服务。

数据采集->数据存储->模型、算法、统计->应用，是一个完整的“数据产业链”，其中每一个环节都可有开发出相关的应用和服务。城市交通大数据平台包括数据源层、基础服务层、分布式统计查询接口层、应用层等。按照“数据产业链”模式，数据从底层逐层向上传输和转变，变成各种应用产品。

城市交通大数据应用的核心是通过对多源数据的挖掘、分析和关联，从多源、海量的历史数据中发现交通拥堵机理，实现交通事件规律挖掘分析，为交通决策者、管理者和出行者提供数据分析依据和专业技术理论。书中介绍了几个典型应用：交通拥堵特征分析、交通流分析、交通需求机理分析和智慧交通指标分析。对于大数据处理方案的选型需要依据高可靠性、并发性、实时性等原则。

城市交通大数据能够提供十分丰富的服务，主要包括三类：城市交通规划和建设决策服务、城市交通管理服务、公众出行服务。在城市交通规划和建设方面，资料收集阶段，大数据技术将取代传统的交通调研方式，为交通规划和建设提供更为实时可靠的资料；在规划建设过程中，将大数据技术与城市交通模型相结合，形成宏观、中观、微观一体化的交通模型体系，不断提高交通模型的预测精度和解释能力，对交通的需求总量、结构和发展趋势进行准确把握；在综合评价上，依托大数据分布式计算和交通流、信息流的支撑将会使规划建设方案的评价更加方便。交通管理方面，服务主要体现在交通需求出行管理和交通系统运行管理上。智慧出行是在智能交通系统的基础上，融入了物联网、互联网、大数据环境下丰富的信息资源和信息处理手段来汇集分析交通信息，提供智能交通信息服务的综合系统。

面对日益复杂的城市交通，该书给出了解决之道，即将城市交通与大数据技术相结合。城市交通大数据并不是一个全新的领域，它是交通信息化和城市交通管理发展到一定程度的必然产物，是城市交通信息化发展过程中的必经之路。但与此同时也要意识到理论联系实际的重要性，如何将大数据技术落实到实际交通问题上我们任重道远。