Spark集群搭建——SSH免密码验证登陆
来源:互联网 发布:中华书局 知乎 编辑:程序博客网 时间:2024/06/13 03:38
机器准备
笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。通过ping验证三台是可以通信的。
192.168.248.150 spark-master 192.168.248.153 ubuntu-worker 192.168.248.155 spark-worker1
根据机器信息加入到三台机器的/etc/hosts中。
配置
我们需要设置spark-master 能够免密码验证登陆ubuntu-worker、spark-worker1两台机器。
安装ssh
sudo apt-get install openssh-server
生成秘钥
执行命令ssh-keygen -t rsa,然后一直按回车键即可。
复制spark-master结点的id_rsa.pub文件到另外两个结点:
scp id_rsa.pub spark@ubuntu-worker:~/.ssh/
到另外两个结点,将公钥加到用于认证的公钥文件中:
cat id_rsa.pub >> authorized_keys
修改两个worker的authorized_keys权限为600或者644、将.ssh文件权限改为700
chmod 700 .ssh
chmod 600 authorized_keys
验证:
登陆spark-master,在终端输入ssh ubuntu-worker,登陆成功则说明配置成功。
http://www.fwqtg.net/spark%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA-ssh%E5%85%8D%E5%AF%86%E7%A0%81%E9%AA%8C%E8%AF%81%E7%99%BB%E9%99%86.html
0 0
- Spark集群搭建——SSH免密码验证登陆
- Spark集群搭建——SSH免密码验证登陆
- Hadoop全分布集群搭建(2)——SSH免密码登陆
- SSH免密码互相登陆-搭建hadoop集群
- Linux集群间+SSH免密码登陆
- 集群配置SSH免密码登陆
- ubuntu ssh免密码登陆验证
- 轻松搭建hadoop-1.2.1集群--快速配置SSH免密码登陆
- 入门级Hadoop集群搭建详细教程(七):SSH免密码登陆
- SSH登陆免密码
- ssh免密码登陆
- ssh 免密码登陆
- ssh免密码登陆
- ssh免密码登陆
- ssh免密码登陆
- ssh 免密码登陆
- ssh 免密码登陆
- ssh 免密码登陆
- java 集合框架
- Spark 启动脚本——sbin/start-slaves.sh
- 获取info
- UVa 10054 - The Necklace
- C#实验2.4
- Spark集群搭建——SSH免密码验证登陆
- JPA & Hibernate 注解
- Spark中的编程模型
- 垃圾车定律
- Spark源码分析之Worker
- POJ 2452 Sticks Problem
- DICOM文件下载
- Spark RDD详解
- static 和const关键字的用法总结