centos7.2(linux)+spark2.1.0安装
来源:互联网 发布:txt电子书软件下载 编辑:程序博客网 时间:2024/06/04 18:16
介绍下spark在Linux上的安装.
操作系统是cent os, cent os其实是纯净版的Linux.
(1)版本
spark版本选2.x以上.2.1.0是去年中旬刚出来的.
centos7.2 64
(2)下载spark
下载地址,百度.
(3)安装
解压,放到/usr路径下,本人的是:
/usr/spark
配置spark安装路径,打开.bash_profile.这个文件里面要预先配置java path.
#set spark path export SPARK_HOME=/usr/sparkexport PATH=$SPARK_HOME/bin:$PATH
source ~/.bash_profile
回到spark目录,
./bin/spark-shell
spark-shell 是一个简单的输入命令行的操作spark的方式,如图:
(图中上面的2个警告,本人还在研究中,不过不影响spark的运行)
(4)配置spark内存
在spark路径下面,先关掉spark-shell:
:help:quit
然后配置内存(可省略,默认512M):
cp ./conf/spark-defaults.conf.template ./conf/spark-defaults.confvi ./conf/spark-defaults.conf
# Example:# spark.master spark://master:7077# spark.eventLog.enabled true# spark.eventLog.dir hdfs://namenode:8021/directory# spark.serializer org.apache.spark.serializer.KryoSerializer# spark.driver.memory 5g# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"# add min memory#spark.executor.memory 471859200B#add default memoryspark.executor.memory 512m
(5)简单测试
./bin/spark-shell
val textFile = sc.textFile("/testdata/words.txt")textFile.count()
(6)/etc/profile 与~/.bash_profile的区别,参考:
http://blog.csdn.NET/caiwenfeng_for_23/article/details/44242961
http://blog.csdn.NET/caiwenfeng_for_23/article/details/44242961
(7)spark启动与Hadoop的关系
听说,spark是建立在hadoop基础上的,spark的许多jar文件都是沿用Hadoop的.但是,就启动spark而言,同一台机器并不需要先安装Hadoop.本人试过.
听说,spark是建立在hadoop基础上的,spark的许多jar文件都是沿用Hadoop的.但是,就启动spark而言,同一台机器并不需要先安装Hadoop.本人试过.
(8)参考资料:
http://blog.csdn.net/ouyangyanlan/article/details/52355350
阅读全文
0 0
- centos7.2(linux)+spark2.1.0安装
- Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
- Linux安装单机版Spark(CentOS7+Spark2.1.1+Scala2.12.2)
- Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
- Linux安装单机版Spark(CentOS7+Spark2.1.1+Scala2.12.2)
- spark2.1.0安装步骤
- Linux安装Spark2.0.2步骤
- Spark2.1.0安装和配置
- Spark2.1.0分布式集群安装
- CentOS 7.0安装spark2.2
- CentOS7下 Hadoop2.7.3+Spark2.1.0 集群环境搭建(1NN+2DN)
- 虚拟机安装spark2.2+hadoop2.7.3
- linux CentOS7.2---编译安装环境
- Linux(centos7.2/6.5)安装oracle12c
- linux(CentOS7)安装cuda
- Linux CentOS7安装Tomcat7
- Linux Centos7安装 jdk
- linux系统centOS7安装
- React-Native中网络请求的总结
- Linux系统编程——进程间通信:命名管道(FIFO)
- Linux eMMC子系统之主机控制器驱动(host conntroller driver)
- 关于Android6.0 百度定位权限问题
- Roguelike核心设计方法
- centos7.2(linux)+spark2.1.0安装
- AtCoder Regular Contest 077
- Python练习13----类似C语言的条件运算符?:
- PM-竞品分析逻辑
- BZOJ 4921: 互质序列 数学 枚举
- Faster R-CNN改进篇(一): ION ● HyperNet ● MS CNN
- Camera Model
- Java随笔(6):数据结构+算法(持续更新)
- 使用 Gparted进行虚拟机下ubuntu分区的调整