Centos_Hadoop2.7.1环境搭建记录
来源:互联网 发布:数据统计分析公司 编辑:程序博客网 时间:2024/06/04 00:50
1、上传安装包到/home/hadoop/upload 路径下
2、解压缩
$tar -xzf hadoop-2.7.1.tar.gz
3、移动解压文件至/app/hadoop
$ mv hadoop-2.7.1 /app/hadoop
4、创建子目录
$cd /app/hadoop/hadoop-2.7.1/
$mkdir tmp
$mkdir name
$mkdir data
$ll
5、配置hadoop-env.sh
5.1. 打开配置文件hadoop-env.sh
$cd /app/hadoop/hadoop-2.7.0/etc/hadoop
$sudo vi hadoop-env.sh
*使用sudo vi hadoop-env.sh 命令时,提示"hadoop"用户不在sudoers 文件中,需要把当前用户添加进去,步骤如下:
1 修改/etc/sudoers文件,进入超级用户,因为没有写权限,所以要先把写权限加上chmod u+w /etc/sudoers。
2 编辑/etc/sudoers文件,找到这一 行:"root ALL=(ALL) ALL"在起下面添加"hadoop ALL=(ALL) ALL",然后保存。
3 最后恢复没有写权限模式,撤销文件的写权限,chmod u-w /etc/sudoers。
5.2. 加入配置内容,设置JAVA_HOME和PATH路径
export JAVA_HOME=/usr/lib/java/jdk1.7.0_55
export PATH=$PATH:/app/hadoop/hadoop-2.7.0/bin
5.3. 编译配置文件hadoop-env.sh,并确认生效
$source hadoop-env.sh
$hadoop version
*查看版本,检查配置是否正确
6、配置yarn-env.sh
配置JAVA_HOME,过程同上7、配置core-site.xml
<configuration> <span style="white-space:pre"></span><property> <span style="white-space:pre"></span><name>fs.default.name</name> <span style="white-space:pre"></span><value>hdfs://Master.Hadoop:9000</value> <span style="white-space:pre"></span></property> <span style="white-space:pre"></span><property> <span style="white-space:pre"></span><name>fs.defaultFS</name> <span style="white-space:pre"></span><value>hdfs://Master.Hadoop:9000</value> <span style="white-space:pre"></span></property> <span style="white-space:pre"></span><property> <span style="white-space:pre"></span> <name>io.file.buffer.size</name> <span style="white-space:pre"></span><value>131072</value> <span style="white-space:pre"></span></property> <span style="white-space:pre"></span><property> <span style="white-space:pre"></span> <name>hadoop.tmp.dir</name> <span style="white-space:pre"></span> <value>file:/app/hadoop/hadoop-2.2.0/tmp</value> <span style="white-space:pre"></span> <description>Abase for other temporary directories.</description> <span style="white-space:pre"></span></property> <span style="white-space:pre"></span><property> <span style="white-space:pre"></span> <name>hadoop.proxyuser.hduser.hosts</name> <span style="white-space:pre"></span> <value>*</value> <span style="white-space:pre"></span></property> <span style="white-space:pre"></span><property> <span style="white-space:pre"></span> <name>hadoop.proxyuser.hduser.groups</name> <span style="white-space:pre"></span><value>*</value> <span style="white-space:pre"></span></property></configuration>
8、配置hdfs-site.xml
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>Master.Hadoop:9001</span></property> <property> <name>dfs.namenode.name.dir</name> <value>file:/app/hadoop/hadoop-2.7.1/name</value></property> <property> <name>dfs.datanode.data.dir</name> <value>file:/app/hadoop/hadoop-2.7.1/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property><property> <name>dfs.webhdfs.enabled</name><value>true</value></property> </configuration>
9、配置mapred-site.xml
$cp mapred-site.xml.template mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>Master.Hadoop:10020 </span></property><property> <name>mapreduce.jobhistory.webapp.address</name> <value>Master.Hadoop:19888 </span></property> </configuration>
10、配置yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>Master.Hadoop:8032</span></property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>Master.Hadoop:8030 </span></property><property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>Master.Hadoop:8031</span></property> <property> <name>yarn.resourcemanager.admin.address</name><value>Master.Hadoop:8033 </span></property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>Master.Hadoop:8088</span></property> </configuration>
11、配置Slaves
$sudo vi slaves
在文件中加入
Master.Hadoop
Slave1.Hadoop
Slave2.Hadoop
12、将hadoop-2.7.1分发到各节点
$scp -r hadoop-2.2.0 hadoop@Slave1.Hadoop:/app/hadoop/$scp -r hadoop-2.2.0 hadoop@Slave1.Hadoop:/app/hadoop/
*SCP命令报错:Bad configuration option:AuthorizedkeysFile
找了很多资料,发现配置文件/etc/ssh/ssh_config中没有此字段,死马当活马医,屏蔽掉AuthorizedkeysFile这一行就OK了。
13、格式化NameNode
$./bin/hdfs namenode -format
14、启动
sbin目录下执行 ./start-all.sh
1 0
- Centos_Hadoop2.7.1环境搭建记录
- PHP环境搭建记录
- SpringMVC-环境搭建记录
- 环境搭建记录
- Mac环境搭建记录
- ELK环境搭建记录
- 开发环境搭建记录
- ruby环境搭建记录
- SharePoint实验环境搭建记录
- 【记录】搭建Android开发环境
- cocos2dx搭建android环境记录
- php环境搭建错误记录
- Ubuntu PHP环境搭建记录
- CentOS LNMP 环境搭建记录
- 极简struts2 环境搭建记录
- MacOS搭建JavaWeb环境记录
- ambari环境搭建记录要点
- Linux_CentOS7_lnmp环境搭建过程记录
- 对HTTP的简单理解
- 我的Android之路
- 如何配置tomcat数据源以及Cannot create JDBC driver of class '' for connect URL 'null'
- Android监听程序进入后台,或者恢复到前台
- MyEclipse设置JVM内存
- Centos_Hadoop2.7.1环境搭建记录
- 2016年03月01日
- ios 博客
- 堆区(heap)和栈区(stack)的区别
- javascript入门
- STM32启动文件分析
- QQ热修复原理地址
- Oracle学习笔记(二)
- Oracle计算时间差函数