20160512 GreenPlum10 SharedNothing架构、数据迁移

来源:互联网 发布:tk的域名 编辑:程序博客网 时间:2024/06/03 19:24

SharedNothing架构的特点是:

底层数据完全不共享,每个Segment只有一部分数据,每一个节点都通过网络连接在一起。

也就是各个处理单元都有自己独立的CPU、内存、硬盘,不存在共享资源,类似于MPP大规模并行处理模式,各节点独立处理自己的数据,处理完在上层进行汇总。

 

数据迁移:

两张表进行关联时,如果关联的数据不在一个节点上,是关联不上的,需要将数据汇入一个节点上才能关联,这就需要进行数据的迁移,迁移方式有两种:广播和数据重分布。

重分布举一个例子,比如一张成绩表,分布健是id,以成绩score进行group by分组,那么就需要将数据按照成绩进行重分布,重分布前会对每一个segment上的数据进行汇总,重分布后,同样分数score的数据就会在一个segment上,在汇总一次就可以了。

 

 

 

 

 

0 0