linux hadoop 单机安装
来源:互联网 发布:司法拍卖淘宝网. 编辑:程序博客网 时间:2024/05/21 09:03
配置环境变量(/etc/profile)
#set java environmentexport JAVA_HOME=/usr/lib/java/jdk1.6.0_31
export JRE_HOME=/usr/lib/java/jdk1.6.0_31/jre
export HADOOP_HOME=/home/hadoop/hadoop
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin
step 1. ssh的安装设置
由于Hadoop用ssh 通信,因此先进行免密码登录设定,
- $ apt-get install ssh
- $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
- $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- $ ssh localhost
- 完成后请登入确认不用输入密码,(第一次登入需按enter键,第二次就可以直接登入到系统。
- ~$ ssh localhost
- ~$ exit
- ~$ ssh localhost
- ~$ exit
step 2. 安装java
由于 Sun Java Runtime 是执行 Hadoop 必备的工具,因此我们需要安装 JRE 或 JDK。这里我们直接安装 JDK,因为后面写程序仍旧需要用到 JDK 所提供的编译程序。目前 Ubuntu 9.04 提供的 JDK 套件最新版本为 Sun Java(TM) Development Kit (JDK) 6 ,套件名称为 sun-java6-jdk。并建议删除原本的 「 gcj 」 。
~$ sudo apt-get purge java-gcj-compat
~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre
step 3. 下载安装Hadoop
•请至下载 Hadoop 0.20,并解开压缩文件到 /opt 路径。
•$ tar zxvf hadoop-0.20.0.tar.gz
•$ sudo mv hadoop-0.20.0 /opt/
•$ sudo chown -R hadoop:hadoop /opt/hadoop-0.20.0
•$ sudo ln -sf /opt/hadoop-0.20.0 /opt/hadoop
step 4. 设定 hadoop-env.sh
•进入 hadoop 目录,做进一步的设定。我们需要修改两个档案,第一个是 hadoop-env.sh,需要设定 JAVA_HOME, HADOOP_HOME, PATH 三个环境变量。
/opt$ cd hadoop/
/opt/hadoop$ cat >> conf/hadoop-env.sh << EOF
贴上以下信息
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:/opt/hadoop/bin
EOF
step 5. 设定 hadoop配置文件
•編輯 /opt/hadoop/conf/core-site.xml
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/tmp/hadoop/hadoop-${user.name}</value>
- </property>
- </configuration>
- •編輯 /opt/hadoop/conf/hdfs-site.xml
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
- •編輯 /opt/hadoop/conf/mapred-site.xml
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
step 6. 格式化HDFS
•以上我们已经设定好 Hadoop 单机测试的环境,接着让我们来启动 Hadoop 相关服务,格式化 namenode, secondarynamenode, tasktracker
•$ cd /opt/hadoop
•$ source /opt/hadoop/conf/hadoop-env.sh
•$ hadoop namenode -format
执行画面如:
09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = /localhost
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.3
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
************************************************************/
09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.
09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at /localhost
************************************************************/
step 7. 启动Hadoop
•接着用 start-all.sh 来启动所有服务,包含 namenode, datanode,
/opt/hadoop$ bin/start-all.sh
执行画面如:
starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out
localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out
localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out
starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out
step 8. 安装完毕测试
•启动之后,可以检查以下网址,来观看服务是否正常。Hadoop 管理接口 Hadoop Task Tracker 状态 Hadoop DFS 状态
•http://localhost:50030/ - (MapReduce 的web页面)
http://localhsot:50070 (HDFS 的web页面)
如果都能看到,说明安装成功。
同时运行jps 命令,也会看到相应信息:
[hadoop@mylinux bin]$ jps3488 Jps3313 NameNode3409 JobTracker
在hadoop的bin目录下 使用./hadoop fs -mkdir 创建一个目录然后使用./hadoop fs -ls 查看
./hadoop fs -mkdir test
[hadoop@mylinux bin]$ ./hadoop fs -lsFound 1 itemsdrwxr-xr-x - hadoop supergroup 0 2013-03-16 15:35 /user/hadoop/test[hadoop@mylinux bin]$
- linux hadoop 单机安装
- linux下单机安装hadoop
- linux单机上安装hadoop
- linux安装Hadoop-单机环境
- linux 下安装 单机模式 hadoop
- linux中安装单机版hadoop
- Hadoop单机版安装
- hadoop单机版安装
- ubnutu hadoop单机安装
- 单机版hadoop安装
- hadoop单机模式安装
- Hadoop单机模式安装
- hadoop单机版安装
- hadoop cdh5单机安装
- Hadoop单机模式安装
- hadoop 单机安装
- Hadoop单机安装测试
- centos 单机安装hadoop
- Android 版本 相关参数修改(SpreadTrum)
- windows宿主机与linux目标机联网通信
- Android自定义Content Provider
- java I/O流之字符流
- 协议与委托 (Protocol and Delegate) 实例解析
- linux hadoop 单机安装
- Android APK反编译
- hdu2031进制转换
- 调试程序
- C++大数模板 hdu1134 Catalan数
- 回溯法求解n皇后问题
- myeclipse 6.5注册码
- 软件架构设计之导读
- java中对线程的实现 等待多个子线程结束 多个子线程运行中进行同步