hadoop集群基本配置(大数据学习跟进)
来源:互联网 发布:数据库英文缩写 编辑:程序博客网 时间:2024/06/06 05:31
最近在学习hadoop。网上具体过程很多,我就说说简单过程和注意问题。
今天学了下基本配置,主要配置dfs、mapreduce。
环境:宿主机(windows64),虚拟机(centos64)
准备软件:
1、Vmware——虚拟机
2、centos镜像文件——centos熟悉点
3、hadoop包——用的是1.1.2版本(主要是这个版本资料较多)
4、jdk——hadoop需要java支持
5、ssh secure client——windows操作虚拟机所用
一、Vmware
1、选择虚拟机属性,网络适配器选择桥接模式
二、centos
1、设置网络
最好设置为静态ip,且设置之前最好在windows下ping一下你想设置的Ip,免得出现ip冲突
关闭防火墙 service iptables stop
2、检查网络
虚拟机与宿主互ping成功后,说明网络配置成功。
3、可能问题
linux、windows防火墙未关闭
虚拟机网络连接方式有问题
三、安装jdk
1、用ssh client将jdk文件上传至虚拟机,我选择的目录是/local。
2、修改 /etc/profile文件
增加 export JAVA_HOME = /local/jdk
export PATH=.:$PATH:$JAVA_HOME/bin
3、测试成功
shell下输入java、javac等
4、注意问题
记的source /etc/profile哦
四、设置DNS解析
1、修改 /etc/hosts
增加 192.168.1.30master
增加 192.168.1.31slave
2、测试
ping master 成功即可
五、设置ssh免密码登陆
1、生成秘钥
cd ~/.ssh
ssh-keygen -t rsa
各种回车就行
2、生成授权文件
cp id_rsa.pub authorized_keys
3、在主节点和从节点都进行1、2动作
4、在主节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub slave
5、在从节点中输入ssh-copy-id -i ~/.ssh/id_rsa.pub master
6、测试
互相ssh,看需不需要密码
六、安装hadoop
1、同jdk安装一样,配置相应的环境变量
2、环境变量
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
3、测试
shell下输入hadoop
七、修改配置文件
1、环境脚本文件hadoop-env.sh
修改 export JAVA_HOME=/local/jdk,记的删掉"#"
2、修改core-site.xml
<property> <name>fs.default.name</name> //配置NN节点地址和端口号 <value>master:9000</value> //注意格式必须是host:port的形式</property><property> <name>hadoop.tmp.dir</name> //hadoop临时目录用来存放nn临时文件 <value>/local/hadoop/tmp</value> //该目录必须预先手工创建不能删除</property>3、修改hdfs-site.xml
<property> <name>dfs.replication</name> //数据节点冗余备份的数量,由于实验只有2个 <value>3</value> // NN顾设置唯一,实际配置是可由实际情况</property> //配置,建议尽量大于3
4、修改mapred-site.xml
<property> <name>mapred.job.tracker</name><value>master:9001</value> //jobTracker访问路径</property>
5、在主节点修改masters.xml
localhost
6、拷贝到从节点
scp -r /local/hadoop/conf root@slave:/local/hadoop
7、在从节点修改slaves.xml
localhost
slave
八、格式化系统
1、hadoop namenode -format
九、启动
1、start-all.sh
2、检测
jps
主节点有namenode datanode jobtracker tasktracker secondaryNameNode
从节点有datanode tasktracker
十、哦了
- hadoop集群基本配置(大数据学习跟进)
- Zookeeper配置(大数据学习跟进)
- mapreduce程序编写(大数据学习跟进)
- 大数据学习--问题集锦(hadoop篇)--集群搭建
- 大数据学习[02]:hadoop安装配置
- 大数据---hadoop集群搭建
- 大数据学习22:Apache-Hadoop 2.8.1 集群部署
- 大数据学习第二章 hadoop集群的部署
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- 大数据教程(四)—— Hadoop集群VSFTP和SecureCRT安装配置
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- 大数据教程(四)—— Hadoop集群VSFTP和SecureCRT安装配置
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- 大数据教程(一)—— Hadoop集群坏境搭建配置
- 大数据教程(四)—— Hadoop集群VSFTP和SecureCRT安装配置
- 一步两步,学习大数据(三)——Hadoop集群安装
- 大数据hadoop学习
- hadoop spark 大数据集群环境搭建(一)
- 黑马程序员 java基础学习笔记3
- C51库函数原型列表
- mysql 严重锁表解决方案
- Android自定义照相机实现(拍照、保存到SD卡,利用Bundle在Acitivity交换数据)
- java函数执行超时强制返回
- hadoop集群基本配置(大数据学习跟进)
- 关于Python中的for循环控制语句
- 浮点数的比较
- FileLock
- ios 1 cocoa
- 当当结盟一号店
- 修改SVN中文件位置或文件名
- 【已放弃】Pomelo学习笔记(1):安装与配置
- STL 之 heap