hadoop2.9安装指南
来源:互联网 发布:淘宝类目网址 编辑:程序博客网 时间:2024/06/05 01:15
1、到hadoop官网下载最新的二进制版本。
2、把压缩包上传到你的linux服务器、解压缩、配置环境变量. ps:我这里用的是centos6.9,你也可以用别的linux,譬如ubuntu。
解压缩命令: tar -zxvf hadoop-2.9.0.tar.gz
文件夹重命名:mv hadoop-2.9.0 hadoop
配置环境变量:vim /etc/profile
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/binalias cdha='cd /home/hadoop'export HADOOP_HOME=/home/hadoop
让更改生效:
source /etc/profile
这里我们设置了一个别名 cdha,可以快速转到hadoop 的目录。
(注意你需要事先已经安装好了java8哦!)
3、 修改hadoop配置文件
需要修改的配置文件都位于$HADOOP_HOME/etc/hadoop
目录下。
1) vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_131
注意这里一定要是java的绝对路径,不可以用$JAVA_HOME代替。
2)vim core-site.xml
3)vim hdfs-site.xml
4、配置文件修改说明:
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
5、配置完成后,执行以下语句格式化NameNode:
./bin/hdfs namenode –format
成功会看到如下提示:
6、接着执行以下命令开启 NameNode 和 DataNode 守护进程:
./sbin/start-dfs.sh
若ssh提示连接,输入yes即可
启动完成后,输入命令jps来判断是否启动成功.
若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
若有如下页面,恭喜安装成功 !
- hadoop2.9安装指南
- Hadoop2.7.1 集群安装指南
- Hadoop2.X64 分布式安装指南
- Hadoop2.x64 位伪分布式安装指南
- Mahout0.9安装(Hadoop2.6.0)
- hadoop2安装
- hadoop2.2.0 安装
- hadoop2.2.0集群安装
- hadoop2.2安装配置
- Hadoop2.2.0分布式安装
- hadoop2.0.4安装
- win7 安装hadoop2.2.0
- julia hadoop2包安装
- Hadoop2.2 HA安装
- hadoop2.2.0安装
- Hadoop2.x安装
- hadoop2.2.0安装说明
- hadoop2.3.0安装配置
- 自定义一个具有倒角的三角形标签(RoundLabelTextView)
- 数据预处理:PCA原理推导
- 公众号使用指南
- SVN的使用
- Ubuntu redis安装与使用
- hadoop2.9安装指南
- 设计模式的艺术之道--装饰模式
- Qt工程名称和文件名称的修改
- FFmpeg枚举编解码器
- 使用OpenCV的findContours获取轮廓并切割(python)
- eclise下创建maven web项目并运行
- 基于springboot+bootstrap+mysql+redis搭建一套完整的权限架构【二】【整合springSecurity】
- Java中的枚举与values()方法
- 将数据库中的数据读取到数据表中,并通过datagridview显示