Hadoop实战-中高级部分 之 Hadoop 集群安装
来源:互联网 发布:黑暗之光元神升阶数据 编辑:程序博客网 时间:2024/06/06 14:13
Hadoop RestFul
Hadoop HDFS原理1
Hadoop HDFS原理2
Hadoop作业调优参数调整及原理
Hadoop HA
Hadoop MapReduce高级编程
Hadoop IO
Hadoop MapReduce工作原理
Hadoop 管理
Hadoop 集群安装
Hadoop RPC
第一部分:环境规划
•用户 test 密码 test
•机器
主机名IP角色 172.16.206.205 172.16.206.231DataNode TaskTracker
bigdata-1
NameNode JobTraker
Sencondary NameNode
bigdata-2
•NameNode元数据目录
•/home/test/dfs/namenode
•DataNode 数据存放目录
•/home/test/dfs/datanode
•Sencondary NameNode
•/home/test/dfs/sencondnode
第二部分:安装JDK并配置环境变量
安装 JDK 并配置环境变量
•2 台机器做同样的事情
•更改执行权限
•chmod +x jdk-6u24-linux-i586.bin
•安装
•./jdk-6u24-linux-i586.bin
•配置环境变量
•Home路径下,打开.bashrc文件,命令如下
•vi .bashrc
•添加JAVA环境变量
•export JAVA_HOME=/home/hadoop/java
•export PATH=$JAVA_HOME/bin:$PATH
第三部分:建立互信配置SSH
配置互信
每台机器上执行
$ ssh-keygen
$ ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata -1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub bigdata-2
第四部分:安装Hadoop并配置环境变量
安装并配置Hadoop的环境变量
•解压Hadoop,到/home/test路径下
• tar zxvf hadoop-1.0.0.tar.gz
•建立软连接
•ln –s hadoop-1.0.0 hadoop
•配置环境变量
•vi .bashrc
•添加如下内容
export HADOOP_CORE_HOME=/home/test/ hadoop
export PATH=.:$HADOOP_CORE_HOME/bin:$PATH
第五部分:配置Hadoop集群
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://bigdata-1:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/test/dfs/sencondnode</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/test/dfs/namenode </value>
</property>
<property>
<name>dfs.data.dir</name>
<value> >/home/test/dfs/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>bigdata-1:9001</value>
</property>
</configuration>
master与slaves
•master
文件添加内容如下
bigdata-1
• Slaves
文件添加内容如下
bigdata-2
Hadoop-env.sh
•export JAVA_HOME=/home/tes/soft/java
第六部分:启动Hadoop集群
启动Hadoop集群
•hadoop namenode -format
•start-all.sh
•start-dfs.sh start-mapred.sh
•hadoop-deamon.sh start namenode
datanode
jobtracker
tasktracker
sencondnamenode
第七部分:测试WordCount 程序
测试WordCount 程序
•hadoop fs –mkdir input
•hadoop fs –put test.txt input
•hadoop jar hadoop-examples-*.jar wordcount input output
转载请注明出处【 http://sishuok.com/forum/blogPost/list/0/5969.html 】
- Hadoop实战-中高级部分 之 Hadoop 集群安装
- Hadoop实战-中高级部分 之 Hadoop RestFul
- Hadoop实战-中高级部分
- Hadoop实战-中高级部分 之 Hadoop MapReduce工作原理
- Hadoop实战-中高级部分 之 Hadoop MapReduce高级编程
- Hadoop实战-中高级部分 之 Hadoop MapReduce高级编程
- Hadoop实战-中高级部分 之 Hadoop MapReduce工作原理
- Hadoop实战-初级部分 之 Hadoop集群的安装
- Hadoop实战-中高级部分 之 Hadoop作业调优参数调整及原理
- Hadoop实战-中高级部分 之 Hadoop作业调优参数调整及原理
- Hadoop实战-中高级部分 之 HDFS原理 架构和副本机制
- Hadoop实战初级部分PPT及源码下载 Hadoop实战-中高级部分 PPT 和 源码 下载
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 Hadoop安装部署
- Hadoop实战-初级部分 之 Hadoop安装部署
- linux wlan open source的驱动
- Hadoop实战-中高级部分 之 HDFS原理 架构和副本机制
- Hadoop实战-初级部分 之 Hadoop IO
- setTimeout()
- 转载和积累系列 - 常用GIT命令
- Hadoop实战-中高级部分 之 Hadoop 集群安装
- 解决10201 RAC在root时的Native: listNetInterfaces:[3]
- setInterval()
- 我读过的真正内行的文章:揭开大数据面纱
- ASP.NET连接Oracle问题 System.Data.OracleClient 需要 Oracle 客户端软件 version 8.1.7 或更高版本。
- android 关于蓝牙开发
- 启发式算法
- MSVCP71.DLL msvcr71.dll丢失 64位
- nutch源代码阅读心得