Hadoop中空间数据的存储(二)
来源:互联网 发布:淘宝网秋冬运动套装 编辑:程序博客网 时间:2024/05/29 02:15
在前一节中,我们讲解了空间数据在Hadoop中的存储,通过将块进行可视化来分析了下Hadoop在存储空间数据的缺陷,可能远远不止这一点。今天我们就基于比较完善成熟的SpatialHadoop平台做一下同样的实验,来看下在SpatialHadoop平台中如何体现空间数据的特性。SpatialHadoop平台是由美国明尼苏达大学计算机系(提到这个大家是不是很熟悉,曾经的mapserver)Mokbel教授所带团队研发,目前平台持续更新中。
接着上一节。
实验准备:
1、数据集:全国县级行政单元(约148MB)
2、实验环境:SpatialHadoop2.3
数据都是一样的。在SpatialHadoop中,数据被分为了四部分。这里我们先不去纠结为什么分为四部分。在下一节的空间索引中我会具体介绍。我们直接看下数据被切分后的结果。这里的结果少几个字段,被我删掉了,忘记保留原本了,会在下一节中体现。这里我们可以看到四个多边形,这是四个块的外包矩形,后面还有四个块的大小,包含多边形个数等要素,一看就知道是索引,下节来看下吧。
别的就不说了,直接可视化每一个块,看下数据是不是都归拢好了,是不是我们期待的每个快最好是相邻的多边形。我们首先来看下有没有出现同一条记录被物理切分的现象。
这里你可以看到已经完全闭合的一个多边形了。是和Hadoop中不一样的,那么这里存储的多边形是不是在空间上保持了相邻呢,我们直接可视化。
Part-00000中数据的可视化结果:
Part-00001中数据的可视化结果:
Part-00002中数据的可视化结果:
Part-00003中数据的可视化结果:
这里又忘记不要填充颜色了,就这样吧。总之在每一个块中没有发现空白的地方就代表了这个是相邻的多边形被物理分割的时候放在了一起。这样就有利于进行空间操作。我们来看下数据对整个区域的划分情况。
下节我们真正来看下索引吧。
1 0
- Hadoop中空间数据的存储(二)
- 网易视频云:Hadoop中空间数据的存储(二)
- Hadoop中空间数据的存储(一)
- 网易视频云:Hadoop中空间数据的存储(一)
- MongoDB中空间数据的存储和操作
- Android中5大数据存储(二)---文件存储
- 数据存储之(二):基本数据的存储
- 数据存储(二)
- 数据存储(二)
- Android的数据存储方式(二)
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- Android中数据的存储方式(二)—SQLite数据库
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- CDH使用秘籍(二):cloudera Manager中监控数据的存储
- 在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析
- 我的hadoop大数据之路(二)
- N-Queens 题解
- [Algorithm]Maze Prim算法与A*寻路算法(中)
- poj 2983 Is the Information Reliable?(差分约束)
- java的几种对象(PO,VO,DAO,BO,POJO)解释
- 传智播客168期JavaEE就业班(第五天 xml约束与解析)
- Hadoop中空间数据的存储(二)
- 【Python 笔记】神奇的匿名函数
- 如何处理大量数据并发操作
- 如何优化tomcat配置(从内存、并发、缓存4个方面)优化
- Xutils HttpUtils上传文件的实现
- 查看安卓apk源码
- java学习心得——数据展示之javabeen配置和jstl配置
- RMQ板子 求区间最大最小值
- 15 装饰着模式