公交轨迹数据处理(1) 数据时序可视化
来源:互联网 发布:java怎么调试错误 编辑:程序博客网 时间:2024/04/25 12:14
对于公交车数据进行处理,首先对数据进行时序可视化,使用PostgreSQL进行数据管理。
公交车轨迹数据由于从网上直接爬虫获得数据,时序显示的time字段起始为 bigint 属性,需要使用SQL语言将time字段的bigint属性转换为TimeStamp时间戳属性。使用的方法是线转换为char,再使用regexp_replace将字符串进行格式化,最后转换为TimeStamp类型。
eg: 20171118090807( bigint )---->20171118090807(text)------->2017-11-18-09-08-07(格式化后字符串)------>2017-11-18 09:08:07 +08(TimeStamp With Time Zone)
UPDATE new_realtime_bus SET new_time=correct_time FROM(SELECT To_TimeStamp(x,'YYYY MM DD HH24 MI SS') AS correct_time FROM(SELECT regexp_replace(time_char, '([0-9]{4})([0-9]{2})([0-9]{2})([0-9]{2})([0-9]{2})([0-9]{2})', E'\\1 \\2 \\3 \\4 \\5 \\6') AS x FROM (SELECT To_char(table1.time,'99999999999999') AS time_char FROM new_realtime_bus AS table1) AS QUERY1) AS QUERY2 )AS query3;我只采取了9000+条数据进行处理,这一步跑了将近17min(电脑比较差),所以不要着急。
在转换为时间戳类型后,时序显示,就是按时间间隔展示数据。这里我们使用ArcGIS的Time Slide供能实现(QGIS Time Manager同样可以实现)。将轨迹点图层启动时间,之后选择TimeSlide供能即可时序显示。
这里我参考了另一篇博客 http://blog.sina.com.cn/s/blog_6e8383a80101fimy.html
阅读全文
0 0
- 公交轨迹数据处理(1) 数据时序可视化
- (大)数据处理:从txt到数据可视化
- Python高级数据处理与可视化(五)---数据存取
- 时序大数据可视化分析平台研究与设计
- 数据挖掘笔记(5)——数据处理、模型评估、可视化、十大经典算法
- 航空轨迹数据处理,进行轨迹聚类
- 可视化篇:Echarts个人轨迹可视化实现
- 数据层(数据处理)
- 1.4 数据处理与可视化
- 数据可视化相关文章索引(1)
- Highcharts 数据可视化1
- python数据可视化1
- 时序分析:手势--空间轨迹模式识别
- 轨迹数据挖掘(trajectory data mining)
- Python高级数据处理与可视化(二)---Matplotlib绘图基础
- Python高级数据处理与可视化(一)---- 聚类分析
- Python高级数据处理与可视化(四)---- Pandas作图
- Python高级数据处理与可视化(六)---学科应用
- java8新特性介绍
- dubbo的main方法启动
- 程序员必备的11个辅助开发的软件神器
- [LeetCode-Algorithms-537] "Complex Number Multiplication" (2017.12.7-WEEK14)
- 二叉树相关操作
- 公交轨迹数据处理(1) 数据时序可视化
- 有没有朋友可以共享一下会员账号的呀~
- oracle 增加日志组和日志文件
- 【Wannafly挑战赛1】A Treepath 【树形DP】or 【黑白染色 找规律】
- POJ-3268 Silver Cow Party
- Android-Java Md5加密技术
- App数据分析到底要分析什么
- Flume之Failover和Load balancing原理及实例
- 【python 处理亿级数据】使用 Pandas 处理亿级数据