Hadoop集群搭建
来源:互联网 发布:目标优化矩阵 编辑:程序博客网 时间:2024/06/04 18:10
学习笔记:
Centos6.5搭建hadoop2.5.1,本文为single node setup,可参照
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html,
其中yarn,zookeeper,JournalNode等搭建高可用、高并发将在后续记录。
至少准备3台机器:
1. 安装JDK,JDK版本为1.7,配置环境变量
2. 修改主机名,/etc/sysconfig/network
3. 关闭防火墙,service iptables stop,chkconfig iptables off
4. 配置/etc/hosts文件
这里配置了4台机器,角色如下:
node4:namenode
node5:secondary,datanode
node6:datanode
node7:datanode
5. 配置ssh免密登录
6. 下载安装hadoop并配置
1).tar –zxvf *在namenode解压(例如,放到/home目录下)
2).配置/home/hadoop-2.5.1/etc/hadoop/hadoop-env.sh,加入JDK目录
3).配置/home/hadoop-2.5.1/etc/hadoop/core-site.xml,namenode主机名和端口、hadoop的tmp目录。
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://node4:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop-2.5</value> </property></configuration>
4).配置/home/hadoop-2.5.1/etc/hadoop/hdfs-site.xml,secondary的http和https主机名、端口
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>node5:50090</value> </property> <property> <name>dfs.namenode.secondary.https-address</name> <value>node5:50091</value> </property></configuration>
5). 配置/home/hadoop-2.5.1/etc/hadoop/slaves,datanode主机名
6). 配置/home/hadoop-2.5.1/etc/hadoop/masters(该文件需自己创建),secondary主机名
7. 将hadoop配置环境变量,~/.bash_profile
export HADOOP_HOME=/home/hadoop-2.5.1export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8. 将~/.bash_profile和hadoop整个目录复制到所有hadoop集群机器上,source ~/.bash_profile
9. 格式化hadoop目录,hdfs namenode –format;启动hdfs,start-dfs.sh
node4:50070打开namenode的web监控页面,查看hadoop集群运行状态
- hadoop集群搭建(hadoop)
- HADOOP: 搭建hadoop集群
- hadoop集群搭建
- Hadoop集群的搭建
- Hadoop集群搭建
- Hadoop集群搭建
- 搭建hadoop集群
- Nutch+Hadoop集群搭建
- Hadoop集群搭建
- Hadoop集群搭建
- Hadoop环境搭建-集群
- 搭建hadoop集群
- 搭建hadoop集群
- Hadoop集群搭建
- Nutch+Hadoop集群搭建
- 如何搭建hadoop集群
- hadoop分布式集群搭建
- Hadoop集群搭建
- “放弃Jni”愉快的奔向JNA
- 在卷积神经网络中,卷积核到底是几层的?| 社区问答
- linux nettlink套接字
- 【1029】字符判断与转换
- bzoj3531: [Sdoi2014]旅行
- Hadoop集群搭建
- JAVA的不可变类(immutable)机制与String的不可变性
- Ubuntu14.04 安装pip
- Lintcode172 Remove Element solution 题解
- hibernate的三种查询方式
- c++note1 简单的学生信息处理程序实现
- java.lang.UnsupportedClassVersionError: com/mysql/cj/jdbc/Driver报错
- ubuntu的apt-get install的默认安装路径
- 实现一个线程安全和非线程安全的程序计数器