Spark伪分布式安装(不依赖hadoop)
来源:互联网 发布:pca算法 编辑:程序博客网 时间:2024/06/11 18:42
上传包:
百度分享安装包地址:http://pan.baidu.com/s/1dD4BcGT 点击打开链接
解压 并重命名:
进入spark100目录:
修改配置:
Cd conf
配置单击节点,故只需要写本机的hostname就可以了。
重命名spark-env.sh.template 为 spark-env.sh
增加配置项:
export SPARK_MASTER_IP=icity1export SPARK_MASTER_PORT=7077export SPARK_WORKER_CORES=1export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=1g
如图所示:
启动:
出错:
。bash_profile中有配置java_home:
感觉其没有自动引用到,故
最后通过在spark_env.sh中增加
解决了错误。
重新启动:
监控页面效果:
进入spark-shell:
选用了外部文件:
区别于hdfs的读取方式:
退出spark-shell:exit
0 0
- Spark伪分布式安装(不依赖hadoop)
- Hadoop伪分布式安装Spark
- hadoop 安装(伪分布式)
- 安装spark伪分布式
- spark伪分布式安装
- Hadoop 伪分布式安装
- hadoop 伪分布式安装
- Hadoop 伪分布式安装
- HADOOP伪分布式安装
- hadoop伪分布式安装
- Hadoop伪分布式安装
- Hadoop伪分布式安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- 伪分布式Hadoop安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- Hadoop 伪分布式安装
- 又一手机勒索软件现身:不交赎金数据将被永久性破坏
- JAVA 堆内存的分析与配置
- Github上README.md介绍
- 【LeetCode】Best Time to Buy and Sell Stock II &&Integer to Roman
- JSON.parse()和JSON.stringify()
- Spark伪分布式安装(不依赖hadoop)
- Mysql解決access deined fror user 'root'@localhost
- ArcGIS教程:欧氏分配——空间分析
- 集成finereport的一点记录
- 子网掩码 广播地址
- 并查集poj题目
- 理解HTTP协议
- git 回退版本
- 浅谈springMVC的拦截器、错误异常、数据绑定、转换器、属性编辑器