第3期Spark纯实战公益大讲坛：通过案例实战掌握Spark内核运行内幕

第3期Spark纯实战公益大讲坛：通过案例实战掌握Spark内核运行内幕

 

 

sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).
sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")

 

深入剖析运行的stage

 

 

sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).
sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")

1 Driver program (sc)->cluster manager - worker executor
2 block 为128M,大的文件拆分成几个block，block最后的一行记录如分布在前后2个block，前面一个block会多处理一些记录
3 在spark 可视化视图可以查看stage的流程

DT大数据微信公众账号：DT_Spark

DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category/type=0&qq-pf-to=pcqq.group