Hadoop环境搭建之一安装jdk,hadoop基本配置及运行MapReduce案例在本地模式下

来源：互联网发布：21端口打开编辑：程序博客网时间：2024/06/07 02:38

需要在root用户下

如果安装老版的jdk,可以卸载重新安装如java
卸载已经安装的java

rpm -qa|grep java这里会打印出三行rpm -e --nodeps 将上面的三行写到后面,用空格隔开

cd 安装软件的目录
ls 查看
解压jdk
tar -zxf jdk -C 解压到的目录

cd jdk1.7.0_67/
pwd 查看当前路径

vi /etc/profile

export JAVA_HOME=java的路径export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile 使之生效
exit 退出一下

java -version 查看版本

tar -zxf hadoop-2.5.0.tar.gz -C 解压缩路径

cd hadoop-2.5.0/
cd etc/hadoop/

echo ${JAVA_HOME}
查看jdk安装目录
vi hadoop-env
将export JAVA_HOME = jdk安装的目录

cd ..cd hadoop-2.5.0mkdir input cp etc/hadoop/*.xml input/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'cat output/*

例子统计文件中单词的个数
cd hadoop-2.5.0
mkdir wcinput
cd wcinput/
touch wc.input
vi wc.input
wc.input 文件中插入hadoop yarn hadoop mapreduce hadoop hdfs yarn nodemanager
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount wcinput wcoutput
cat wcoutput/part-r-00000

本地模式Mapreduce程序运行在本地,启动JVM

阅读全文

0 0