ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者
来源:互联网 发布:plc编程自学网 编辑:程序博客网 时间:2024/05/21 21:34
各种纠结 期间ubuntu安装无数次 hadoop各种版本尝试无数次 都悲剧 然后看到这个www.linuxidc.com/Linux/2013-01/78391.htm 还是悲剧,稍加修改搞定之
一、安装JDK
1、下载并安装
sudo apt-get install openjdk-7-jdk
要求输入当前用户密码时输入密码,回车;
要求输入YES/NO时,输入YES,回车,一路向下安装完成;
2、在命令行输入JAVA -VERSION查看是否安装成功
3、配置环境变量
编辑文件/etc/profile,
sudo gedit /etc/profile
在文件最下面加入以下三行
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk(JAVA所在的实际目录)
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/:$CLASSPATH
二、配置SSH免密码登录
1、安装所需软件
sudo apt-get install install ssh
2、配置ssh免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
3、验证是否成功
ssh localhost
三、安装Hadoop
1、下载Hadoop至服务器,
下载地址 archive.apache.org/dist/hadoop/common/hadoop-1.0.4/
其实是下载到home的下载那个文件夹了,需要移动到/home下,然后才可以进行下一步解压
2、解压
tar -xvf hadoop-1.0.4.tar
3、配置Hadoop
此处作一说明:很多安装教程会把hadoop放在/usr/local/下 这样的话 作下面几个文件的修改 就需要通过终端而且是用管理员权限去做,但本教程是/home下,所以可以直接gedit打开 在里面修改 根本不需要通过终端打开
以下四个配置文件均在Hadoop解压文件夹的conf/目录下
(1)、配置hadoop-env.sh
修改JAVA_HOME:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
(2)、配置core-site.xml
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(3)、配置hdfs-site.xml
修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(4)、配置mapred-site.xml
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
4、初始化HDFS
在执行下面的命令之前 一定要做这一步 就是把解压出来的那个hadoop-1.0.4文件夹的内容直接放到/home下
bin/hadoop namenode -format
5、启动所有Hadoop服务
bin/start-all.sh
6、验证是否安装成功
如果终端输入jps 出来6个
打开浏览器,分别输入以下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)
如果能成功访问,则说明Hadoop安装成功
- ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者
- ubuntu 下 安装配置 hadoop 1.0.4
- ubuntu+hadoop+hazelcast安装配置
- Ubuntu安装hadoop及其配置
- ubuntu hadoop安装以及配置
- Ubuntu下安装配置Hadoop
- Hadoop安装配置(入门)
- Hadoop入门及其安装配置
- hadoop快速入门(Ubuntu安装方法)
- hadoop学习---3.hadoop在ubuntu下的安装配置
- Ubuntu下安装Hadoop和配置Eclipse开发Hadoop
- hadoop学习---3.hadoop在ubuntu下的安装配置
- hadoop学习---hadoop在ubuntu下的安装配置
- hadoop学习---3.hadoop在ubuntu下的安装配置
- hadoop学习---3.hadoop在ubuntu下的安装配置
- hadoop学习---3.hadoop在ubuntu下的安装配置
- hadoop学习---hadoop在ubuntu下的安装配置
- Hadoop入门-配置Hadoop-2.8
- 编程之美 1.8 小飞的电梯调度算法
- opencv 配置
- css知识
- Investment algorithm
- iOS下block + GCD (Grand Central Dispatch)实现异步非阻塞
- ubuntu 14 .04 LTS 安装配置 hadoop 1.0.4 写给hadoop入门者
- 【codeforces】Codeforces Round #279 (Div. 2) 题解
- 贝叶斯定理学习
- php集合
- C++求解一元三次方程
- POJ 1185(状态压缩原来还可以这样)
- 显示列表
- Java基础回顾(7)
- nodejs 入门关于文件上传的问题