第4章 Hadoop 2.6 Single Node Cluster 安装指令
来源:互联网 发布:艾普网络 编辑:程序博客网 时间:2024/06/06 12:46
Hadoop Single Node Cluster是只以一台机器,建立hadoop环境,您仍然可以使用hadoop命令,只是无法发挥使用多台机器的威力。 因为只有一台服务器,所以所有功能都在一台服务器中,安装步骤如下:
1 安装JDK
2 设定 SSH 无密码登入
3 下载安装Hadoop
4 设定Hadoop环境变数
5 Hadoop组态档设定
6 建立与格式化HDFS目录
7 启动Hadoop
8 开启Hadoop Web接口
1.安装JDK
2.设定 SSH 无密码登入
修改~/.bashrc
Step1 修改hadoop-env.sh
启动start-dfs.sh,再启动 start-yarn.sh
启动全部
Hadoop ResourceManager Web接口网址
开启HDFS Web UI网址
1 安装JDK
2 设定 SSH 无密码登入
3 下载安装Hadoop
4 设定Hadoop环境变数
5 Hadoop组态档设定
6 建立与格式化HDFS目录
7 启动Hadoop
8 开启Hadoop Web接口
1.安装JDK
java -version sudo apt-get update sudo apt-get install default-jdk java -version update-alternatives --display java
2.设定 SSH 无密码登入
sudo apt-get install ssh sudo apt-get install rsync ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ll /home/hduser/.ssh ll ~/.sshcat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys3.下载安装Hadoop
wget http://ftp.twaren.net/Unix/Web/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz sudo tar -zxvf hadoop-2.6.0.tar.gz sudo mv hadoop-2.6.0 /usr/local/hadoop ll /usr/local/hadoop4.设定Hadoop环境变数
修改~/.bashrc
sudo gedit ~/.bashrc输入下列内容
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH让~/.bashrc修改生效
source ~/.bashrc5.修改Hadoop组态设定档
Step1 修改hadoop-env.sh
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh输入下列内容:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64Step2 修改core-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml在之间,输入下列内容:
fs.default.name hdfs://localhost:9000Step3 修改yarn-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml在之间,输入下列内容:
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandlerStep4 修改mapred-site.xml
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
在之间,输入下列内容:mapreduce.framework.name yarnStep5 修改hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml在之间,输入下列内容:
6.建立与格式化HDFS 目录dfs.replication 3 dfs.namenode.name.dir file:/usr/local/hadoop/hadoop_data/hdfs/namenode dfs.datanode.data.dir file:/usr/local/hadoop/hadoop_data/hdfs/datanode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode sudo chown hduser:hduser -R /usr/local/hadoop hadoop namenode -format7.启动Hadoop
启动start-dfs.sh,再启动 start-yarn.sh
start-dfs.sh start-yarn.sh或
启动全部
start-all.sh查看目前所执行的行程
jps8.开启Hadoop ResourceManager Web接口
Hadoop ResourceManager Web接口网址
http://localhost:8088/9.NameNode HDFS Web接口
开启HDFS Web UI网址
http://localhost:50070/
0 0
- 第4章 Hadoop 2.6 Single Node Cluster 安装指令
- Hadoop 2.6 single node cluster安装中的几个问题
- 第5章 Hadoop 2.6 Multi Node Cluster安裝指令
- Hadoop single node安装
- Hadoop: Setting up a Single Node Cluster
- Running Hadoop On Ubuntu Linux (Single-Node Cluster)
- Running Hadoop on Ubuntu Linux (Single-Node Cluster)
- Setting up a Single Node Cluster on hadoop-0.23.9
- hadoop探索-Setting up a Single Node Cluster
- Hadoop single node安装 (续)
- hadoop 单节点安装 Single Node Setup
- Hadoop - single node setup
- hadoop 第二节 单节点集群配置 Setting up a Single Node Cluster
- ubuntu搭建hadoop 2.7.2 Single Node Cluster及windows eclipse yarn提交Mapreduce笔记
- Hadoop 1.2.1 单节点安装(Single Node Setup)步骤
- Ubuntu上“单节点”方式运行Hadoop (Running Hadoop 1.5.3 on Ubuntu in Single-node cluster)
- hadoop single-node配置手记
- Hadoop 2.2 Single-Node Setup
- iptables 防火墙规则
- 详解SQL慢查询
- [27]使用 Emmet 插件
- [AHK]AutoHotKey 常用命令及示例
- CHAPTER1 INTRODUCTION -- Deep Learning Book Reading notes
- 第4章 Hadoop 2.6 Single Node Cluster 安装指令
- 适配器模式(Adapter Pattern)的用法和示例demo
- 你不需要注释
- [链表]单链表中重复元素的删除
- BGARefreshLayout的简单使用
- 这个数据存储方式可以知道任意一个点的最近四个点
- 设计模式之5 - 单例模式Singleton
- ER图,数据建模与数据字典
- JVM学习之GC常用算法