hadoop集群搭建过程-简版
来源:互联网 发布:知美术馆电话 编辑:程序博客网 时间:2024/05/01 14:33
ubuntu 12.04 hadoop 2.x
网络配置
- 配置静态ip
/etc/network/interfaces
- 修改机器名称,即DNS服务器信息
/etc/hosts
以上的目的是使用ping 机器名称 可以通
SSH无密码配置
NameNode是通过SSH(Secure Shell)来启动和停止各个DataNode上的各种守护进程的
原理是:master 上生成一个密钥对,将公钥拷贝到slave, 当master请求给slave时,slave会生成一个随机数,并使用公钥对随机数进行加密再发送给master,然后master使用私钥对其解密,然后把解密结果发给slave,slave确认无误时就可以连接了
命令:ssh-keygen –t rsa –P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh设置
启动 ssh验证 /etc/ssh/sshd_config
最后一步,拷贝id_rsa.pub 到slave
这样就可以ssh ip/机器名
远程登陆机器了
安装jdk
安装hadoop
接下来是hadoop的配置了。
hadoop-env.sh 配置java home
core-site.xml 临时目录 hdfs端口号
hdfs-site.xml hdfs备份方式
mapred-site.xml jobtracker的地址和端口
masters文件 填入master机器ip即可
slaves文件 master机器特有。填入所有slave机器ip
启动验证
hadoop namenode -format 一次即可,格式化的结果在core-site.xml临时文件中
start-all.sh
jps
master namenode secondenamenode jobtracker
slave datanode tasktracker
这样就表示成功了。
- hadoop集群搭建过程-简版
- hadoop集群搭建过程
- Hadoop集群搭建过程记录
- centos下hadoop集群搭建详细过程
- hadoop-2.7.2集群的搭建过程
- hadoop+spark+hive+mysql集群搭建过程
- HADOOP集群搭建过程问题记录
- 搭建Hadoop集群的过程中的坑
- Hadoop集群搭建过程遇到问题
- Hadoop+Spark分布式集群搭建过程
- Zookeeper、hadoop集群搭建详细过程
- Hadoop集群搭建过程问题总结
- hadoop集群搭建(hadoop)
- HADOOP: 搭建hadoop集群
- hadoop集群搭建过程中所遇问题总结
- hadoop集群搭建过程中几个配置参数
- Hadoop集群搭建过程中遇到的那些事
- Hadoop集群搭建过程中的常见问题(一)
- 深度学习框架搭建 之 Udacity DeepLearning 课程学习
- Linux下运行包含MPI调用接口的C程序
- 【最短路】Graph practice T2 drive 题解
- Spark广播之TorrentBroadcast实现原理
- NYOJ-1022合纵连横【并查集删除算法】
- hadoop集群搭建过程-简版
- 腾讯2017年实习招聘在线笔试题(求逆序对)
- 第3章 view的事件体系
- storm项目整合步骤
- Spring Cloud Config
- SQL中PIVOT 行转列和UNPIVOT列转行实例讲解
- 2014蓝桥 李白打酒
- CSDN博客积分规则
- bzoj 4586: [Usaco2016 Open]Landscaping 堆