Hadoop 0.20 單機安裝
来源:互联网 发布:恢复数据软件的标志 编辑:程序博客网 时间:2024/06/13 08:06
Hadoop 0.20 單機安裝
- 前言
- step 1. 設定登入免密碼
- step 2. 安裝java
- step 3. 下載安裝Hadoop
- step 4. 設定 hadoop-env.sh
- step 5. 設定 hadoop-site.xml
- step 6. 格式化HDFS
- step 7. 啟動Hadoop
- step 8. 完成!檢查運作狀態
前言¶
- 本實作基於 Ubuntu 8.04 LTS 版本,關於 Ubuntu 8.04 的安裝程序,請參考"Ubuntu 8.04 Server 版安裝步驟"。
- 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境。
- 本頁面的部分指令,是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法,您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。
- 黑底白字的部分為指令或console秀出的畫面,請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。如:
/home/DIR$ Copy_Command From To ...
則複製 Copy_Command From To ... 這個指令,貼到你的console來執行。(/home/DIR 代表目前所在的目錄路徑) - 白底黑字的部分為文件內的內容 ,如如果熟悉vi,nano,joe等編輯器可複製此區內容貼到文件內(雖然此頁面的指令都已經簡化過)
I am context.
- 登入資訊
使用者 hadooper 群組 hadooper 密碼 ******
- Hadooper 擁有sudoer 的權限
step 1. 設定登入免密碼¶
- 由於Hadoop用ssh 作機器間的溝通,因此先設定登入機器免密碼的設定,
~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
完成後請登入確認不用輸入密碼,(第一次登入需按enter鍵,第二次就可以直接登入到系統),以免日後輸入密碼key到手軟
~$ ssh localhost~$ exit~$ ssh localhost~$ exit
step 2. 安裝java¶
- 由於 Sun Java Runtime 是執行 Hadoop 必備的工具,因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK,因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ,套件名稱為 sun-java6-jdk。並建議刪除原本的 「 gcj 」 。
~$ sudo apt-get purge java-gcj-compat~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre
step 3. 下載安裝Hadoop¶
- 請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.20.2,並解開壓縮檔到 /opt 路徑。
~$ cd /opt/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz/opt$ sudo mv hadoop-0.20.2/ hadoop/opt$ sudo chown -R hadooper:hadooper hadoop/opt$ sudo mkdir /var/hadoop/opt$ sudo chown -R hadooper:hadooper /var/hadoop
step 4. 設定 hadoop-env.sh¶
- 進入 hadoop 目錄,做進一步的設定。我們需要修改兩個檔案,第一個是 hadoop-env.sh,需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。
/opt$ cd hadoop//opt/hadoop$ cat >> conf/hadoop-env.sh << EOF
貼上以下資訊
export JAVA_HOME=/usr/lib/jvm/java-6-sunexport HADOOP_HOME=/opt/hadoopexport HADOOP_CONF_DIR=/opt/hadoop/confEOF
step 5. 設定 hadoop-site.xml¶
- 接下來的設定檔共有3個 core-site.xml, hdfs-site.xml, mapred-site.xml,
/opt/hadoop$ cat > conf/core-site.xml << EOF
貼上以下內容
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop/hadoop-/${user.name}</value> </property></configuration>EOF
/opt/hadoop$ cat > conf/hdfs-site.xml << EOF
貼上以下內容
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>EOF
/opt/hadoop$ cat > conf/mapred-site.xml << EOF
貼上以下內容
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property></configuration>EOF
step 6. 格式化HDFS¶
- 以上我們已經設定好 Hadoop 單機測試的環境,接著讓我們來啟動 Hadoop 相關服務,格式化 namenode, secondarynamenode, tasktracker
/opt/hadoop$ bin/hadoop namenode -format
執行畫面如:
09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = /localhostSTARTUP_MSG: args = [-format]STARTUP_MSG: version = 0.20.2STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009************************************************************/09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: /************************************************************SHUTDOWN_MSG: Shutting down NameNode at /localhost************************************************************/
step 7. 啟動Hadoop¶
- 接著用 start-all.sh 來啟動所有服務,包含 namenode, datanode,
/opt/hadoop$ bin/start-all.sh
執行畫面如:
starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-pc218.outlocalhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-pc218.outlocalhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-pc218.outstarting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-pc218.outlocalhost: starting tasktracker, logging to /opt/hadoop/logs/hadoop-hadooper-tasktracker-pc218.out
step 8. 完成!檢查運作狀態¶
- 啟動之後,可以檢查以下網址,來觀看服務是否正常。Hadoop 管理介面 Hadoop Task Tracker 狀態 Hadoop DFS 狀態
- http://localhost:50030/ - Hadoop 管理介面
- http://localhost:50060/ - Hadoop Task Tracker 狀態
- http://localhost:50070/ - Hadoop DFS 狀態
- Hadoop 0.20 單機安裝
- [Hadoop系列]Changes of Hadoop 0.20笔记
- hadoop-0.20-env.sh
- hadoop 0.20.2 搭建
- hadoop
- Hadoop
- Hadoop
- hadoop
- hadoop
- Hadoop
- Hadoop
- hadoop
- Hadoop
- hadoop
- hadoop
- hadoop
- hadoop
- Hadoop
- 图像锐化算法 C++ 实现
- 消息编码
- Content Provider(以下简称为CP)的加载
- 习题8.16
- asp.net使用ajax后如何在客户端弹出提示对话框
- Hadoop 0.20 單機安裝
- 解决没有音频设备与小图标问题
- mips汇编简单实例——一个小计算器
- js 的两种面向对象编程【两个例子】
- C/C++中typedef的用法,告诉你不一样的typedef
- 中国PHP程序员都犯的一个错误:使用错误的自定义insert_id函数
- cuda string library
- Java取得代码所在行号的方法
- 移植yaffs2文件系统到mini2440 嵌入式 yaffs2文件系统的移植