Ubuntu下伪分布式模式Hadoop的安装及配置
来源:互联网 发布:东方财富网 数据 编辑:程序博客网 时间:2024/05/16 08:57
http://www.cnblogs.com/linjiqin/p/3147880.html
1、Hadoop运行模式
Hadoop有三种运行模式,分别如下:
单机(非分布式)模式
伪分布式(用不同进程模仿分布式运行中的各类节点)模式
完全分布式模式
注:前两种可以在单机运行,最后一种用于真实的集群环境,通常用在生产环境上。我们可以搭建本地的伪分布式模式来模拟分布式环境的执行。
2、Hadoop的安装及配置
环境:Ubuntu10.10,Hadoop 0.21.0
安装步骤如下:
1、准备工作:
1)、安装ssh server,如何安装ssh server请看http://www.tieguanyin168.com/index.php/ubuntu-ssh-1650.html。
2)、安装sun jdk6,切忌一定要java6及其以上版本,如何安装jdk6请看http://www.tieguanyin168.com/index.php/ubuntu-jdk-1631.html。
2、增加一个用户组用户,用于hadoop运行及访问。
root@ubuntu:~# sudo addgroup hadoop
root@ubuntu:~# sudo adduser –ingroup hadoop hadoop
3、生成SSH证书,配置SSH加密key
hadoop@ubuntu:~$ su – hadoop
Password:
hadoop@ubuntu:~$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
a8:67:6f:bd:04:13:41:5f:a7:13:2d:84:e7:8a:8c:43 hadoop@ubuntu
The key's randomart image is:
+–[ RSA 2048]—-+
| .o o+.. |
| o..o+. |
| . .oo. |
| E. . .. |
| ..oS. . |
| .o oo. |
| . o. .. |
| o …. |
| .. .. |
+—————–+
hadoop@ubuntu:~$
hadoop@ubuntu:~$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
hadoop@ubuntu:~$
4、配置完成,测试一下:
hadoop@ubuntu:~$ ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
RSA key fingerprint is d7:87:25:47:ae:02:00:eb:1d:75:4f:bb:44:f9:36:26.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Linux ubuntu 2.6.32-22-generic #33-Ubuntu SMP Wed Apr 28 13:27:30 UTC 2010 i686 GNU/Linux
Ubuntu 10.04 LTS
[...snipp...]
hadoop@ubuntu:~$
5、禁用ipV6配置:
打开sudo gedit /etc/sysctl.conf,此文件需要root权限。
再次打开文件中,追加如下:
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1
重启,测试是否配置成功:
$ cat /proc/sys/net/ipv6/conf/all/disable_ipv6
如果是1就ok了。
下面就是安装Hadoop(Hadoop保存在/home目录下)了。
首先是:下载,解压缩,分配权限。
下载就不说了。
下载后运行如下:
root@ubuntu:~# cd /home
root@ubuntu:/home# ls
apache-tomcat-6.0.18 jdk1.6.0_30 study
hadoop jdk-6u30-linux-i586.bin ubuntu
hadoop-0.21.0.tar.gz ljq web.war
root@ubuntu:/home# sudo tar xzf hadoop-0.21.0.tar.gz
root@ubuntu:/home# ls
apache-tomcat-6.0.18 hadoop-0.21.0.tar.gz ljq web.war
hadoop jdk1.6.0_30 study
hadoop-0.21.0 jdk-6u30-linux-i586.bin ubuntu
root@ubuntu:/home# sudo mv hadoop-0.21.0 hadoop
root@ubuntu:/home# sudo chown -R hadoop:hadoop hadoop#chown [OPTION] [OWNER][:[GROUP]] FILE
root@ubuntu:/home#
到此就安装完毕。
配置环境变量(共有4处要配置)
1、在/home/hadoop/hadoop-0.21.0/conf/hadoop-env.sh文件中添加环境变量信息。
2、在/etc/profile文件中添加环境变量信息。
3、在/home/.bash_profile文件中添加环境变量信息。
4、在/home/hadoop/.bashrc文件中添加环境变量信息。
环境变量信息如下:
HADOOP_HOME=
/home/hadoop/hadoop-0
.21.0
JAVA_HOME=
/home/jdk1
.6.0_30
PATH=$JAVA_HOME
/bin
:$HADOOP_HOME
/bin
:$PATH
CLASSPATH=.:$JAVA_HOME
/lib/dt
.jar:$JAVA_HOME
/lib/tools
.jar:$HADOOP_HOME
/lib
:$CLASSPATH
export
HADOOP_HOME
export
JAVA_HOME
export
PATH
export
CLASSPATH
重启,接着验证环境变量是否配置成功,如下:
export、echo $HADOOP_HOME、java -version
下面说说如何配置和启动:
基本思路是配置core-site.xml、mapred-site.xml、hdfs-site.xml。
首先建立一个用来存放数据的目录:mkdir /home/hadoop/hadoop-datastore
打开/home/hadoop/hadoop-0.21.0/conf/core-site.xml,配置如下
<
configuration
>
<
property
>
<
name
>hadoop.tmp.dir</
name
>
<
value
>/home/hadoop/hadoop-datastore/</
value
>
<
description
>A base for other temporary directories.</
description
>
</
property
>
<
property
>
<
name
>fs.default.name</
name
>
<
value
>hdfs://localhost:54310</
value
>
<
description
>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</
description
>
</
property
>
</
configuration
>
打开/home/hadoop/hadoop-0.21.0/conf/mapred-site.xml,配置如下
<
configuration
>
<
property
>
<
name
>mapred.job.tracker</
name
>
<
value
>localhost:54311</
value
>
<
description
>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</
description
>
</
property
>
</
configuration
>
打开/home/hadoop/hadoop-0.21.0/conf/hdfs-site.xml,配置如下
<
configuration
>
<
property
>
<
name
>dfs.replication</
name
>
<
value
>1</
value
>
<
description
>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</
description
>
</
property
>
</
configuration
>
ok,配置完毕
格式化HDFS:
hadoop@ubuntu:~$ /home/hadoop/hadoop-0.21.0/bin/hadoop namenode -format
启动HDFS和MapReduce
hadoop@ubuntu:~/hadoop-0.21.0/bin$ ./start-all.sh
停止服务的脚本是:
hadoop@ubuntu:~/hadoop-0.21.0/bin$ ./stop-all.sh
通过jps查看进程是否启动成功
hadoop@ubuntu:~/hadoop-0.21.0/bin$ jps
5695 DataNode
5503 NameNode
6181 TaskTracker
6222 Jps
5890 SecondaryNameNode
5991 JobTracker
hadoop@ubuntu:~/hadoop-0.21.0/bin$
出现如上信息,表示hadoop启动成功,缺一不可。
netstat -at|grep 50030
netstat -at|grep 50070
查看端口是否正常
注意:有时候有些启动不成功,可以在/home/hadoop/hadoop-0.21.0/logs/查看日志信息进行诊断。
访问http://localhost:50070可以看到NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及日志等。
访问http://localhost:50030可以查看JobTracker的运行状态。
50070是dfs的端口,50030是MR的端口。
参考资料
Ubuntu下安装及配置单点hadoop
http://www.hadoopor.com/thread-2674-1-1.html
hadoop常见异常总结:
http://www.tieguanyin168.com/index.php/hadoop-exception-1706.html
- Ubuntu下伪分布式模式Hadoop的安装及配置
- Ubuntu下伪分布式模式Hadoop的安装及配置
- Hadoop在Ubuntu下安装教程及伪分布式配置
- ubuntu下hadoop安装与伪分布式的配置
- hadoop在ubuntu下的伪分布式安装配置
- linux(Ubuntu)下安装ssh和伪分布式配置Hadoop
- Hadoop学习笔记_Ubuntu下伪分布式安装及配置
- hadoop的安装与配置(伪分布式模式安装)
- ubuntu 下安装伪分布式 hadoop
- Ubuntu系统下的Hadoop集群(1)_Hadoop安装教程_单机/伪分布式配置
- 伪分布式hadoop在ubuntu下的安装
- Hadoop伪分布式模式安装配置步骤
- Hadoop伪分布式模式的安装和配置
- Hadoop伪分布式模式的安装和配置
- hadoop的伪分布式模式配置与安装
- ubuntu安装配置hadoop伪分布式及eclipse搭建hadoop环境
- ubuntu下hbase的伪分布式安装与配置
- ubuntu下hbase的伪分布式安装与配置
- BZOJ 1022 [SHOI2008]小约翰的游戏John 题解与分析
- 【linux学习笔记】Ubuntu挂起后无法唤醒解决
- Spring Security学习
- 信号量 互斥锁 条件变量的区别
- BZOJ 1083 [SCOI2005]繁忙的都市 题解
- Ubuntu下伪分布式模式Hadoop的安装及配置
- cocos2dx 2.2版本以上生成新项目
- AJAX——JSON数据格式
- Valid Parentheses
- ASP截取字符 截取字符之间的字符
- JSP文件下载
- BZOJ 2875 [Noi2012] 随机数生成器 题解与分析
- SHTSC记 13.12.14
- SQL查询数据库名、表名、列名