SPARK伪分布安装
来源:互联网 发布:js实现京东放大镜效果 编辑:程序博客网 时间:2024/05/22 14:16
准备:JDK SCALA HADOOP
下载安装:
下载:
解压:
SPARK_ENV:
export JAVA_HOME=/usr/java/jdk1.8.0_73
export SCALA_HOME=/opt/scala-2.11.7
export SPARK_MASTER_IP=bk25103378-B85M-DS3H-A #主机名
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g
export HADOOP_CONF_DIR=/opt/hadoop-2.6.4/etc/hadoop
SPARK_SLAVE
注意:需要在SPARK_conf 中加上JAVA_HOME
编程环境:IDEA(可以自定义安装各种编程语言的插件JAVA Python Scala,Maven等工程管理工具)
0 0
- Spark 伪分布安装
- SPARK伪分布安装
- Spark伪分布安装(依赖Hadoop)
- Spark的伪分布安装和wordcount测试
- (6)Spark 2.0.0 伪分布安装
- spark伪分布standalone搭建
- hadoop伪分布安装
- hadoop 伪分布安装
- hadoop伪分布安装
- hbase伪分布安装
- Zookeeper伪分布安装
- hadoop伪分布安装
- zookeeper伪分布安装
- Hadoop伪分布安装
- Hadoop/spark安装实战(系列篇3) Hadoop 伪分布模式安装
- hadoop1.0伪分布安装
- Hadoop伪分布模式安装
- hadoop的伪分布安装
- Javaoo常用类
- File Transfer
- elasticsearch 在查询的时候如何返回指定的字段值?
- ANDROID 热补丁实践之路
- js实现数组分组
- SPARK伪分布安装
- GIT科普系列5:index in git
- 众愚政治
- 数据存入SD卡
- 调整数组使奇数全部都位于偶数前面
- 在 Keil5 中添加 .h 文件的问题
- StringUtils类API及使用方法详解
- Android 透明度转换
- CNN-目标检测、定位、分割