在CentOS下配置Hadoop

来源：互联网发布：淘宝网店出售交易平台编辑：程序博客网时间：2024/06/07 01:35

操作系统：CentOS 7.2
软件包：Hadoop 2.7.2
一、修改hadoop配置文件
以下配置文件所在文件夹 /hadoop-2.7/etc/hadoop/

1、hadoop-env.sh 配置JAVA_HOME
export JAVA_HOME=/usr/java
2、core-site.xml配置hdfs，下面内容放在标签中

    <property>        <name>fs.defaultFS</name>        <value>hdfs://127.0.0.1:8020</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>/usr/big/hadoop/data/tmp</value>    </property>

3、hdfs-site.xml 配置备份，下面内容放在标签中

    <property>        <name>dfs.replication</name>        <value>1</value>    </property>

4、mapred-site.xml 配置mapreduce使用yarn。这个文件默认没有，但是有一个带template的文件，改一下名字

    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>

5、yarn-site.xml

    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>

二、首次启动hadoop

bin/hdfs namenode -format       //格式化sbin/start-dfs.sh               //启动，输入三次yessbin/start-yarn.shjps                             //可以查看到有五个进程，证明hadoop安装成功//-mkdir -p 代表创建多级文件夹。这个位置创建的文件夹不在硬盘上，属于hdfsbin/hadoop fs -mkdir -p /usr/big/data/in//上传文件。将/etc/profile文件上传，作为分析对象bin/hadoop fs -put /etc/profile /usr/big/data/in    //跑测试任务  ./hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount//查看运行结果文件。可以看到生成的文件./hadoop fs - ls /usr/big/data/out//查看结果文件内容./hadoop fs -cat /usr/big/data/out/part-r-00000

0 0