一起艳学大数据Hadoop(一)——安装hadoop

来源:互联网 发布:单片机创意设计 编辑:程序博客网 时间:2024/06/05 02:06

前言:接下来带大家学习大数据的生态圈,以及数据挖掘。学习Hadoop,Hive,HBase,Pig,Spark,Oozie等大数据技术,带你装逼带你飞。

首先安装一下hadoop
这里写图片描述
这里写图片描述
这里写图片描述

下载hadoopwget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gzmv hadoop-1.2.1.tar.gz /opt/tar -zxvf hadoop-1.2.1.tar.gz设置HADOOP环境变量HADOOP_HOME=/opt/hadoop-1.2.1PATH=:$HADOOP_HOME/bin:$PATHvim /etc/profilesource /etc/profile 修改四个配置文件1、hadoop-env.sh 设置JAVA_HOME2、修改core-site.xml 设置hadoop.tmp.dirdfs.name.dir,fs.default.name3、修改mapred-site.xml 设置mapred.job.tracker4、修改hdfs-site.xml 设置dfs.data.dircd confscho $JAVA_HOMEJAVA_HOME=/root/java/jdk1.8.0_131vim hadoop-env.shvim mapred-site.xml<property><name>mapred.job.tracker</name><value>yanhui:9001</value></property>vim core-site.xml<property><name>hadoop.tmp.dir</name><value>/hadoop</value></property><property><name>dfs.name.dir</name><value>/hadoop/name</value></property><property><name>fs.default.name</name><value>hdfs://yanhui:9000</value></property>vim hdfs-site.xml<property><name>dfs.data.dir</name><value>/hadoop/data</value></property>检验是否安装成功hadoop namenode -formatbin start-all.shjpsHDFS命令hadoop fs -mkdir input    --创建目录hadoop fs -ls /user/root  --查看目录hadoop fs -put hadoop-env.sh input/   --上传文件hadoop fs -ls /user/root/input/       --查看文件hadoop fs -cat input/hadoop-env.sh       --查看文件hadoop fs -get input/hadoop-env.sh hadoop-env2.sh       --下载文件hadoop dfsadmin -report

源码下载:
链接:http://pan.baidu.com/s/1boT6v6Z 密码:mtka

原创粉丝点击