Hadoop集群安装
来源:互联网 发布:所以国家域名后缀 编辑:程序博客网 时间:2024/05/17 07:41
node-131
node-132
node-133
这里为主机名,也可写入IP,主机名需要在/etc/hosts文件里加入对应节点信息。
下载
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz
安装
1.解压
进入/usr/local.hadoop/目录,将下载的文件放到此目录,然后解压文件:
Tar -zxvf hadoop-2.7.4.tar.gz
2.修改配置文件
1)修改hadoop-env.sh 文件
找到export JAVA_HOME=节点,取消注释 修改内容为:
export JAVA_HOME=/usr/local/java/jdk1.8.0_144
后面为jdk目录,不清楚的话可使用echo $JAVA_HOME 命令查看。
2)修改core-site.xml 文件
打开core-site.xml文件后配置文件为空,添加基本配置信息
<property><name>fs.defaultFS</name><value>hdfs://node1:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value></property>
fs.defaultFS:指明主节点信息
hadoop.tmp.dir:hadoop数据存放路径
配置这两个基本就行了,更多配置信息参考官网信息
3)修改Slaves文件内容为:
Node1-130Node2-131Node3-132
指明集群节点信息,根据自己节点信息定义
4)修改/etc/profile文件信息
vi /etc/profile进入编辑界面
在最后添加内容为:
export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.4/bin:/usr/local/hadoop/hadoop-2.7.4/sbinexport HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.4
/usr/local/hadoop/hadoop-2.7.4 为hadoop解压目录
然后:source /etc/profile命令更新环境变量
至此安装过程基本结束,后面开始启动集群
启动
1.格式化namenode
命令:hdfs namenode -format
2.启动
单台集群启动:
启动namenode:
hadoop-daemon.sh start namenode
启动datanode :
hadoop-daemon.sh start datanode
集群批量启动:
start-dfs.sh
集群批量停止:
stop-dfs.sh
集群批量启动时可能需要ssh远程登录,事先做好服务器间免密码登录可不需要输入密码远程执行命令,Linux间免密登录参考之前的文章
至此,集群已配置结束
- Hadoop集群安装spark集群
- [Hadoop学习]Hadoop集群安装
- hadoop集群 安装步骤
- Hadoop集群安装
- Hadoop集群安装
- Hadoop集群安装 (1)
- Hadoop集群安装设置
- Hadoop集群安装
- Hadoop集群安装
- hadoop安装集群完毕
- hadoop集群安装
- Hadoop集群安装
- VMWare安装Hadoop集群
- hadoop 集群安装
- ubuntu安装hadoop集群
- Hadoop集群安装配置
- Hadoop集群安装配置
- hadoop集群安装教程
- java数据结构:表、栈、队列
- Javascript的this用法
- maven下载源代码,解决中文注释为乱码的问题
- linux下编译ACE
- python watchdog监控文件系统变动
- Hadoop集群安装
- SQL:Oracle层次查询总结 connect by
- uva 10305 拓扑排序(五种方式实现,全面理解邻接表+BFS实现+DFS实现)
- oracle--in与not in 语句 关于空值问题记录
- linux下的五种模型https://www.ziwenxie.site/2017/01/02/unix-network-programming-asynchronous/?nsukey=u352Le
- MTCNN人脸及特征点检测---代码应用详解(基于ncnn架构)
- 总结:数据清洗的一些总结
- Pandas:十分钟快速浏览
- Android Context 上下文 你必须知道的一切