Ubuntu14.04,Spark,伪分布式安装
来源:互联网 发布:阿里蒲公英是什么软件 编辑:程序博客网 时间:2024/06/16 20:39
由于毕业设计需要,在Spark上运行一些机器学习算法,因此今天在实验室电脑上安装Spark,记录下过程。
一、已有环境(来自/etc/profile):
export JAVA_HOME=/opt/jdk1.8.0_121export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATHexport MAVEN_HOME=/home/gyy/maven/apache-maven-3.3.9export PATH=$MAVEN_HOME/bin:$PATHexport HADOOP_HOME=/home/gyy/hadoop-2.6.0export PATH=$HADOOP_HOME/bin:$PATHexport MAHOUT_HOME=/home/gyy/trunkexport PATH=$MAHOUT_HOME/bin:$PATH
二、安装Scala
下载地址:http://www.scala-lang.org/download/
我选择的是最下方scala-2.12.1.tgz,支持Unix,大小为18.79M的那个。
下载完成后解压到/home/gyy/(我的工作目录)下
然后配置环境变量:
export SCALA_HOME=/home/gyy/scala-2.12.1export PATH=${SCALA_HOME}/bin:$PATH
检测是否成功:
三、安装Spark
下载地址:http://spark.apache.org/downloads.html选择的下载版本如下:![](http://img.blog.csdn.net/20170411171111158?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMzc4MjQ2Mg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
下载完成后全称为spark-2.1.0-bin-hadoop2.6.tgz,大小为193.3MB
同理解压到/home/gyy/目录下(注意你的用户必须有这个目录的权限,否则会创建logs时显示错误,例如/opt就不可以)
配置环境变量:
export SPARK_HOME=/home/gyy/spark-2.1.0-bin-hadoop2.6export PYTHONPATH=/home/gyy/spark-2.1.0-bin-hadoop2.6/python配置Spark的conf:
将spark-env.sh.template复制为spark-env.sh,修改内容添加如下代码:
export JAVA_HOME=/opt/jdk1.8.0_121export SCALA_HOME=/home/gyy/scala-2.12.1export HADOOP_HOME=/home/gyy/hadoop-2.6.0export HADOOP_CONF_DIR=/home/gyy/hadoop-2.6.0/etc/hadoopexport SPARK_MASTER_IP=masterexport SPARK_WORKER_MEMORY=512M将slaves.template复制为slaves,添加个人的主机名称:
gyy-123
四、运行
首先运行Hadoop再运行Spark,jps命令后如下:
可以看到比仅仅运行Hadoop时多处了两个进程Worker和Master。
运行./bin/spark-shell 出现:
标识着Spark搭建成功。
五、简单验证
先将LICENSE上传到HDFS,然后执行
scala> val test_in=sc.testFile("/user/qw/SparkTests/LICENSE")
println(test_in.count())
会显示文件的单词统计。
0 0
- Ubuntu14.04,Spark,伪分布式安装
- 安装spark伪分布式
- spark伪分布式安装
- Spark 伪分布式安装教程
- Hadoop伪分布式安装Spark
- Hadoop : Ubuntu14.04 amd64 安装伪分布式集群环境
- Hadoop安装&单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04
- Spark 伪分布式 & 全分布式 安装指南
- Spark伪分布式安装(不依赖hadoop)
- hadoop2.2.0上spark伪分布式安装
- Spark伪分布式环境下安装指南
- spark伪分布式安装与测试
- Spark伪分布式安装(一)
- ubuntu14.04 配置hadoop 单机+伪分布式
- centos6.4+hadoop2.2.0 spark伪伪分布式安装
- Spark 伪分布式 & 全分布式 安装指南
- spark-1.6.1 伪分布式 & 全分布式安装
- Ubuntu14.04下安装伪分布式Hadoop-2.6.0完整步骤
- Linux下的iptables详解及配置
- Android WheelView 详解
- POJ_1961_Period [ KMP ]
- jsp页面实现分页
- 添加动作
- Ubuntu14.04,Spark,伪分布式安装
- 码之初——千里码
- Android static{}
- 数组分组方法
- JSX语法简介
- django1.10 提交表单出错,Forbidden (403) CSRF verification failed. Request aborted
- 找出0-10000以内的对称数
- label 详细用法
- 将二叉树拆成链表-LintCode