Spark Standalone Mode安装配置
来源:互联网 发布:网络直播平台排行榜 编辑:程序博客网 时间:2024/05/17 22:34
一、Spark下载安装
官网地址:http://spark.apache.org/downloads.html
root@ubuntu:/usr/local# tar -zxvf spark-1.6.0-bin-hadoop2.6.tgzroot@ubuntu:/usr/local# cd spark-1.6.0-bin-hadoop2.6
二、Scala下载安装
官网地址:http://www.scala-lang.org/download/2.11.7.html
root@ubuntu:/usr/local# tar -zxvf scala-2.11.7.tgz配置环境变量:
root@ubuntu:/usr/local# vi /etc/profile# 添加下面语句export SCALA_HOME=/usr/local/scala-2.11.7export PATH=$SCALA_HOME/bin:$PATH执行下面命令使其生效:
root@ubuntu:/usr/local# source /etc/profile
检查安装版本:
root@ubuntu:/usr/local# scala -versionScala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL三、Spark配置
root@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6# cd confroot@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6/conf# ls因为目录下都是模板文件,需要从模板复制相应的配置文件,比如:
root@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6/conf# cp spark-env.sh.template spark-env.sh根据需要可以修改配置文件内容。
四、启动Master
root@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6# sbin/start-master.sh默认可以通过:http://localhost:8080打开Web UI。
五、启动Worker
同样地,可以通过下面命令启动1个或多个workers连接到master:
./sbin/start-master.sh
root@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6# sbin/stop-slave.sh spark://ubuntu:7077
这时刷新Web界面会看到下面变化:
六、测试
执行下面命令,进入交互控制台:
./bin/spark-shell --master spark://IP:PORT
root@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6# bin/spark-shell --master spark://ubuntu:7077
分别输入下面语句:
scala> val textFile = sc.textFile("hdfs://hadoop:9000/user/root/input/a.txt")scala> val counts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)scala> counts.collect()可以看到输出结果:
res1: Array[(String, Int)] = Array((iceBox,1), (config,2), (text,1), (world.,1), (ice,2), (hello,2))
注意:必须保证hdfs服务已启动,并且有上面目录和文件。
执行下面程序保存结果到hdfs:
scala> counts.saveAsTextFile("hdfs://hadoop:9000/user/root/output/test")
七、停止
rain@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6$ sbin/stop-master.sh root@ubuntu:/usr/local/spark-1.6.0-bin-hadoop2.6# sbin/stop-slave.sh spark://ubuntu:7077
0 0
- Spark Standalone Mode安装配置
- 安装spark standalone mode
- Spark Standalone Mode 安装
- CentOS上安装spark standalone mode
- Spark 1.2 Standalone Mode 单机安装
- Spark Standalone Mode
- spark standalone mode
- Spark Standalone Mode
- Spark Standalone Mode 搭建过程
- Spark学习(三)---Spark Standalone Mode说明及参数配置详解
- spark standalone模式配置
- Spark Standalone环境配置
- spark standalone 集群配置
- Spark standalone模式安装
- Spark standalone集群安装
- 安装spark - standalone模式
- Spark Standalone Mode 翻译和实验
- spark 1.X standalone和on yarn安装配置
- C中函数传递参数原理:值传递, 指针传递?
- 单向链表
- HDU4496(并查集)
- 一些图片
- __86__C#_Graphics_GDI图形编程基础
- Spark Standalone Mode安装配置
- 快过年了,回家该好好思考下人生
- AbstractQueuedSynchronizer
- 关系数据库范式快速识别方法--第几范式
- 打印机 Fax 所需的驱动程序 Microsoft Shared Fax Driver 未知
- 高精度 加减乘除 【精华】
- Android中Application类用法
- 观察者模式
- 记不住就存下来---- HTML 5 功能丰富的 input 元素