网易视频云:Hadoop中空间数据的存储(一)
来源:互联网 发布:js阻止表单提交 编辑:程序博客网 时间:2024/05/14 09:15
Hadoop十周年了,基于Hadoop的空间大数据处理与分析平台出现了好几个,也死掉了不少。由于空间数据的空间特性,导致原型的Hadoop在处理空间大数据方面有很多缺陷。今天,网易视频云就转载相关经验,带领各位看看空间数据在Hadoop中是如何存储的,这样的存储会带来什么问题。
实验准备:
1、数据集:全国县级行政单元(约148MB)
2、实验环境:Hadoop1.2.1
将数据上传Hadoop,这里上传的数据已经做了转换,由Shapefile转换成了文本格式,具体数据组织方式如下:{ID,POLYGON (( point,point,……………………………………………………………………))}
数据是一个文件,那么上传后,由block=64MB,所以数据应该是被分为3块。我们通过hadoop管理界面来看下数据的存储。这里我说下大小,第一块和第二块都是64MB,第三块20.7MB。
我们可以找到具体的块,下载到本地,来看下具体的数据组织。下面是我将数据下载到了本地,我们打开后主要看下块与块之间是如何组织的:(因为每一个POLYGON都是一条记录,那么为了保证64MB,这条记录是否会被物理切分呢?)
上面是block0的最后一行,下面是block1的第一行,他们俩应该属于一条记录的。但是在分块的过程中已经被切分了。下面我们从空间的角度来具体看下Hadoop中数据存储。为了保证每个block都能够完整的绘制多边形,所以对三个块的交接处做了修改,使其能够闭合。下面才是真正和GIS扯上犊子的时候了。
Block0中数据可视化后的结果:
Block1中数据可视化后的结果:
Block2中数据可视化后的结果:
以上是三个块中的数据可视化后的效果,是不是不用填充色会好点呢。就这样吧。主要能说明问题就可以了。这里面举个简单的操作,比如空间查询。用户框选矩形进行数据查询,基本上都要遍历三个块才能得到最终的结果。因为这些POLYGON要素是随机切分的,其实也不是随机,就是按照MAP读入的顺序来,从1到1103,放入到第一个块中,如果你将这个ID与Shapfile中要素的ID绑定了那就是Shapfile中的顺序,这样的顺序就没有空间特性可言。我们更希望把在空间上相邻的数据放到一起,这样就可以大大减少空间查询时间,提高效率。
更多技术分享,请关注网易视频云官方网站(http://vcloud.163.com/)或者网易视频云官方微信(vcloud163)进行交流与咨询。
- 网易视频云:Hadoop中空间数据的存储(一)
- 网易视频云:Hadoop中空间数据的存储(二)
- Hadoop中空间数据的存储(一)
- Hadoop中空间数据的存储(二)
- 网易视频云:Kudu,支持快速分析的新型Hadoop存储系统
- Android中数据的存储方式(一)
- 数据存储的5中方式<一>
- MongoDB中空间数据的存储和操作
- 网易视频云:基于Hadoop山寨Amazon S3
- 网易视频云:从0到1学系统通信——BIO,NIO,AIO的理解(一)
- 网易视频云:新一代列式存储格式Parquet
- 网易视频云:新一代列式存储格式Parquet
- 网易视频云:分布式存储复制技术-链式复制
- Android中数据存储方式(一)
- Hadoop 和Mongodb是否能用于存储实时视频数据
- android中数据存储一
- Android中数据存储(一)
- Android中数据存储(一)
- java.lang.OutOfMemoryError: Failed to allocate a 22440958 byte allocation with 16777216 free bytes
- Media query 详解
- RESTful API规范 个人总结
- 关于php跨域问题
- Android的jni下c与java数据互传测试代码
- 网易视频云:Hadoop中空间数据的存储(一)
- Spring MVC之@RequestParam @RequestBody @RequestHeader 等详解
- Android端手机测试体系
- Apache Maven 入门篇 ( 上 )
- U盘防止数据丢失有技巧
- redis集群配置文件备份
- gluLookAt函数
- 访问资源
- 生产者-消费者模型在Android开发中的应用