spark 1.0 安装

来源：互联网发布：按键精灵调用vb 编辑：程序博客网时间：2024/06/06 07:38

最近忙其他的工作，多日已经不弄spark，发现最新版本spark1.0有很多新特性，据说spark1.0已经抛弃了shark，直接使用spark sql了。好吧，借此机会，我也弄spark1.0，看看到底怎么玩。

首先是下载spark1.0和 scala2.11

解压之后，开始配置$SPARK_HOME/conf/spark-env.sh

export JAVA_HOME=/home/q/java7/jdk1.7.0_45/export SCALA_HOME=/home/q/spark/scala/scala-2.11.1SPARK_MASTER_IP=192.168.44.80SPARK_MASTER_PORT=8070SPARK_MASTER_WEBUI_PORT=8077SPARK_WORKER_CORES=2SPARK_WORKER_MEMORY=10GSPARK_WORKER_PORT=8091SPARK_WORKER_WEBUI_PORT=8092SPARK_WORKER_INSTANCES=3SPARK_WORKER_DIR=/data1/spark_workerSPARK_DAEMON_JAVA_OPTS="-Xmx16g -Xms16g -Xmn256m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -XX:ParallelGCThreads=10 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:/home/q/spark/spark-1.0.0-bin-hadoop2/logs"

配置好spark-evn.sh 分发到各个slave 机器

开始启动集群，一台一台的起：

启动master

sudo -u data_spark sbin/start-master.sh

启动worker

sudo -u data_spark sbin/start-slave.sh  worker spark://192.168.44.80:8070

完事可以看一下web监控页面： http://master:8077

0 0