Spark客户端在centos6.4上安装
来源:互联网 发布:疯狂的美工好用吗 编辑:程序博客网 时间:2024/05/15 20:54
客户端安装环境如下:
操作系统: centos6.4
操作系统内核: Linux version 2.6.32-358.el6.x86_64 (mockbuild@c6b8.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-3) (GCC) ) #1 SMP Fri Feb 22 00:31:26 UTC 2013
安装jdk:
JDK版本: 1.8
修改/etc/hosts(把127.0.0.1替换为真实的IP):
修改前
127.0.0.1 localhost bj-demo-01
修改后
192.168.1.11 localhost bj-demo-01
安装mesos(mesos-1.3.0-2.0.3.el6.x86_64.rpm):
1. 首先安装依赖包
a. rpm -ivh libevent2-2.0.21-11.1.x86_64.rpm
b. rom -ivh libevent2-devel-2.0.21-11.1.x86_64.rpm
2. rpm -Uvh http://repos.mesosphere.com/el/6/noarch/RPMS/mesosphere-el-repo-6-2.noarch.rpm
3. yum install mesos -y
安装spark(version:2.1.1):
1. 解压spark安装包,cd spark
2. 修改conf 目录下
a. spark-defaults.conf
spark.master mesos://zk://bjx-dmo-spark-01:2181,bjx-dmo-spark-02:2181,bjx-dmo-spark-03:2181/mesos
spark.executor.memory 3g
spark.executor.cores 1
spark.cores.max 3
spark.driver.memory 3g
spark.sql.catalogImplementation in-memory
spark.mesos.executor.home /opt/spark 注意:此处为spark集群上spark安装目录,不是当前客户端spark解压目录
spark.executor.extraClassPath /opt/spark/jars/common/hadoop-lzo-0.4.20-SNAPSHOT.jar 注意:此处为spark集群上spark安装目录,不是当前客户端spark解压目录
#--------history setting---------
spark.eventLog.enabled true
spark.eventLog.dir hdfs://mycluster/data/spark/spark-logs
spark.mesos.dispatcher.historyServer.url http://bjx-dmo-spark-03:18080
3. spark-env.sh
SPARK_LOCAL_DIRS=/data/disk02,/data/disk03,/data/disk04,/data/disk01
MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
HADOOP_HOME=设置你的hadoop目录
HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/conf
LD_LIBRARY_PATH="$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native"
4. hive-site.xml
5. 执行 bin/spark-shell 命令 ,看到 “scale > ” 为ok,可执行一些命令测试下。
- Spark客户端在centos6.4上安装
- 在centos6.3上安装subversion客户端
- 在CentOS6.4上,安装MySQL5.6.14
- 如何在centos6上安装laravel 4
- ORACLE10G在Centos6.4上安装
- 在centos6.4上安装redis3.0
- 在CentOS6上编译安装http2.4
- 在CentOS6上编译安装http2.4
- 在CentOS6上安装 maven
- 今天在CentOS6.4操作系统下安装了Oracle客户端
- 在centos6.5上安装pomelo(4) 安装pomelo
- 在centos6.0 安装svn客户端
- 在集群上安装spark
- 在CentOS6.4上安装oracle10g需要的补丁
- 在32位Centos6.4上安装GraphicsMagick
- 在centos6.4上安装redmine 整合apache
- redis2.6.4 在centos6.4上的安装
- redis2.6.4 在centos6.4上的安装
- redis总结(1)
- Linux 权限与所属
- Unity线性空间下移动设备上烘焙变暗问题处理
- JAVA基础知识
- 【java】关于Dubbo服务的xml配置文件报错的问题
- Spark客户端在centos6.4上安装
- Unity3D一些Tips
- fopen与open的区别
- oracle时间比较
- java创建线程的四种方式
- Bzoj3709 [PA2014]Bohater
- url和uri的区别
- pc端_移动端_H5_ QQ在线客服链接代码
- 阿里云,腾讯云,翼讯云等新买服务器磁盘不显示,挂载磁盘