［装载］spark教程

来源：互联网发布：淘宝出售假冒商品申诉编辑：程序博客网时间：2024/06/10 06:12

1、spark快速入门：http://colobu.com/2014/12/08/spark-quick-start/、http://www.powerxing.com/spark-quick-start-guide/

2、spark programming guid 中文版：https://www.gitbook.com/book/endymecy/spark-programming-guide-zh-cn/details

3、spark集群部署：http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

4、测试集群（standalone）配置是否成功：

（1）spark-submit --class org.apache.spark.examples.SparkPi --master spark://10.3.1.11:33020 ~/spark/lib/spark-examples-1.6.1-hadoop2.2.0.jar 2>&1 | grep "Pi is"

（2）spark-submit --class SimpleApp --master local[4] target/scala-2.11/simple-project_2.11-1.0.jar 2>&1 | grep “Lines with” （通过sbt编译打包，为单机命令，后面为集群）

（3）spark-submit --class SimpleApp --master spark://10.3.1.11:33020 target/scala-2.11/simple-project_2.11-1.0.jar 2>&1 | grep "Lines with"

0 0