Ubuntu 12.04安装Hadoop
来源:互联网 发布:在线视频截gif软件 编辑:程序博客网 时间:2024/05/05 07:49
在Ubuntu 12.04安装Hadoop过程详解。
相关阅读:
在Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htm
Ubuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.htm
在Ubuntu上安装OpenStack的Swift组件-installing openstack object storage http://www.linuxidc.com/Linux/2013-08/88180.htm
OpenStack Hands on lab系列 http://www.linuxidc.com/Linux/2013-08/88170.htm
1. 创建hadoop用户组和用户
a. 创建hadoop用户组
sudo addgroup hadoop
b. 创建hadoop用户
sudo adduser –ingroup hadoop hadoop
c. 编辑/etc/sudoers文件,为hadoop用户添加权限
sudo vim /etc/sudoers
给hadoop用户赋予root相同的权限
hadoop ALL=(ALL:ALL) ALL
注意:/etc/sudoers文件可能为readonly文件,修改后使用“:wq!”保存
2. 安装JDK
安装JDK的教程网上资料非常多,故省略
注意:不要安装OpenJDK,在Oracle官网上下载JDK(Oracle JDK不能使用apt-get install安装)
3. 安装ssh服务
sudo apt-get install openssh-server
4. 设置ssh无密码登录
执行su –命令切换到hadoop用户
su – hadoop
ssh生成密钥有rsa和dsa两种,默认采用rsa方式
a. 创建ssh-key(采用rsa方式)
ssh-keygen -t rsa -P ""
b. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中
- cd ~/.ssh
- cat id_rsa.pub >> authorized_keys
c. 无密码登录localhost
ssh localhost
d. 退出ssh连接
- exit
更为详细介绍见 下一页 : http://www.linuxidc.com/Linux/2013-08/88187p2.htm
5. 安装Hadoop
a. 复制hadoop文件至/usr/local
- sudo cp sf_share/HadoopDatabase/hadoop-1.1.2.tar.gz/usr/local/
b. 解压.tar.gz文件
- cd /usr/local/
- sudo tar -zxvf hadoop-1.1.2.tar.gz
c. 修改文件名为hadoop
- sudo mv hadoop-1.1.2 hadoop
d. 将hadoop文件夹的属主用户设为hadoop
- sudo chown -R hadoop:hadoop hadoop
e. 修改配置文件conf/hadoop-env.sh的JDK路径
- sudo vim hadoop/conf/hadoop-env.sh
- export JAVA_HOME=/usr/local/jvm/jdk1.6.0_45
f. 修改conf/core-site.xml文件
- sudo vimhadoop/conf/core-site.xml
配置文件如下所示:
- <?xmlversion="1.0"?>
- <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
- <!-- Put site-specific property overridesin this file. -->
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- </configuration>
g. 修改conf/mapred-site.xml文件
- sudo vimhadoop/conf/mapred-site.xml
配置文件如下所示:
- <?xmlversion="1.0"?>
- <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
- <!-- Put site-specific property overridesin this file. -->
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
h. 修改conf/hdfs-site.xml文件
- sudo vimhadoop/conf/hdfs-site.xml
配置文件如下所示:
- <?xmlversion="1.0"?>
- <?xml-stylesheettypexml-stylesheettype="text/xsl"href="configuration.xsl"?>
- <!-- Put site-specific property overridesin this file. -->
- <configuration>
- <property>
- <name>dfs.name.dir</name>
- <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>2</value>
- </property>
- </configuration>
i. 编辑配置文件conf/masters,添���作为secondarynamenode的主机名(单机版仅localhost即可)
- sudo vimhadoop/conf/masters
j. 编辑配置文件conf/slaves,添加作为slave的主机名(单机版仅localhost即可)
- sudo vimhadoop/conf/slaves
6. 运行单机版hadoop
a. 进入hadoop目录,格式化hdfs文件系统(初次运行必做操作)
- bin/hadoop namenode –format
b. 启动hadoop
- bin/start-all.sh
c. 查看hadoop是否运行成功
浏览器中输入http://localhost:50070/查看NameNode
浏览器中输入http://localhost:50030/查看JobTracker
d. 停止hadoop
- bin/stop-all.sh
更多Ubuntu相关信息见Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2
- ubuntu 12.04 安装hadoop
- Ubuntu 12.04安装Hadoop
- Ubuntu 12.04安装Hadoop
- ubuntu server 12.04 安装 hadoop-1.1.1
- ubuntu 12.04下安装并运行hadoop
- hadoop ubuntu 安装
- ubuntu 上安装 hadoop
- ubuntu下安装hadoop
- ubuntu安装hadoop集群
- ubuntu下hadoop安装
- ubuntu 安装hadoop
- ubuntu下安装hadoop
- ubuntu 下hadoop安装
- Ubuntu 下安装hadoop
- ubuntu安装hadoop
- ubuntu下安装hadoop
- Hadoop Ubuntu安装过程
- 【Ubuntu】安装Hadoop
- HashMap实现原理分析
- 将中国标准时间转换成"标准格式"
- eclipse快捷键
- C++的基础,平时随便写的一些代码
- Spring AOP之高级应用--在已有的bean中引入行为
- Ubuntu 12.04安装Hadoop
- MFC文件读写之ini文件
- 信号与槽
- J2EE规范——思想篇
- static和extern 的区别
- 制作主页的五十个秘诀
- 回声消除NLMS算法详解
- 关于编译thrift0.9.1报错
- 第一个Struts2程序