Hadoop本地安装

来源：互联网发布：万龙滑雪场知乎编辑：程序博客网时间：2024/06/05 06:18

安装JDK
卸载已经安装的JDK
安装sun公司的JDK
安装Hadoop（本地方式）
解压并安装
启动测试程序

安装JDK

卸载已经安装的JDK

rpm -qa|grep jdk
rpm -qa|grep gcj
yum -y remove java java-1.4.2.......115

安装sun公司的JDK

解压jdk-6u24-linux-i586.bin文件到/opt/modules/下。解压完成后会出现一个jdk1.6.0_24的文件夹

./jdk-6u24-linux-i586.bin

配置环境变量：vi /etc/profile
在最后一行增加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.6.0_24
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

安装Hadoop（本地方式）

解压并安装

解压hadoop-1.1.2.tar.gz到/opt/modules/下。解压完成后会出现一个hadoop-1.1.2的文件夹

tar -zxvf hadoop-1.1.2.tar.gz

配置环境变量：vi /etc/profile
在最后一行增加如下内容

# HADOOP_HOME
export HADOOP_HOME=/opt/modules/hadoop-1.1.2
export PATH=$PATH:$HADOOP_HOME/bin

启动测试程序

拷贝hadoop_home/conf/*.xml文件到/opt/data/input目录下

cp /opt/modules/hadoop-1.1.2/conf/*.xml /opt/data/input/

运行如下代码
必须存在：/opt/data/input
必须不存在：/opt/data/output/

hadoop jar hadoop-examples-1.1.2.jar grep /opt/data/input /opt/data/output/ 'dfs[a-z.]+'

查看/opt/data/output/目录下内容
会出现两个文件part-00000和_SUCCESS
其中_SUCCESS是空的，而part-00000文件中只有如下一行内容

1       dfsadmin

来自为知笔记(Wiz)

0 0