hadoop 2.6 伪分布式的安装
来源:互联网 发布:阿里巴巴微商软件 编辑:程序博客网 时间:2024/04/27 22:22
我们选择安装的版本为: hadoop-2.6.0-cdh5.4.0.tar.gz。
一、下载、解压
二、修改配置文件
配置文件在 hadoop-2.6.0-cdh5.4.0/etc/hadoop/ 路径下:
(1)hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
(2)core-site.xml,namenode的位置
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop0:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.6.0-cdh5.4.0/data/tmp</value> </property></configuration>
hadoop.tmp.dir 表示缓存目录,如果指定无此文件夹的话,框架会自动创建(在格式化文件系统时创建)。
(3)hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>
(4)slaves(真正分布式和伪分布式的区别就在该配置文件)
我们将其设置为本机,即为伪分布模式:
hadoop0
三、启动前准备及启动
(1)设置自己到自己的免密码登录
[root@hadoop0 ~]# ssh hadoop0
是否需要输入密码,如果需要,则需执行如下的命令:
[root@hadoop0 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa[root@hadoop0 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
(2)格式化文件系统,产生镜像文件,而 namenode 启动的时候,就需要读取此镜像文件。
[root@hadoop0 hadoop-2.6.0-cdh5.4.0]# ./bin/hdfs namenode -format
(3)启动
我们分别启动 datanode、namenode:
[root@hadoop0 hadoop-2.6.0-cdh5.4.0]#./sbin/hadoop-daemon.sh start namenode[root@hadoop0 hadoop-2.6.0-cdh5.4.0]#./sbin/hadoop-daemon.sh start datanode
四、验证
- (1)jps 查看是否显示 namenode 和 datanode,两个 java 进程
- (2)浏览器端输入:hadoop0:50070 是否进入 namenode 节点
References
[1] Hadoop MapReduce Next Generation - Setting up a Single Node Cluster
0 0
- hadoop 2.6 伪分布式的安装
- hadoop的安装-----伪分布式
- hadoop 伪分布式的安装
- hadoop的伪分布式安装
- Hadoop 伪分布式安装
- hadoop 伪分布式安装
- Hadoop 伪分布式安装
- HADOOP伪分布式安装
- hadoop伪分布式安装
- Hadoop伪分布式安装
- Hadoop伪分布式安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- 伪分布式Hadoop安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- Hadoop 伪分布式安装
- 伪分布式安装Hadoop
- IOS控件学习之UI ScrollView(7)
- Bitmap的小知识
- HDOJ 1093 A+B for Input-Output Practice (V)
- 后缀数组
- codevs 1690 开关灯
- hadoop 2.6 伪分布式的安装
- 贪吃——1006 电梯问题
- Socket基础知识
- 关于活着的思考
- HDOJ 1272 小希的迷宫
- 理解view
- Python中字符、汉字、数字转为Unicode码
- C# Kinect v2学习笔记(二) 体感器简单的操作
- 【SettingsProvider】默认开启WI-FI