一起艳学大数据Hadoop(一)——安装hadoop
来源:互联网 发布:单片机创意设计 编辑:程序博客网 时间:2024/06/05 02:06
前言:接下来带大家学习大数据的生态圈,以及数据挖掘。学习Hadoop,Hive,HBase,Pig,Spark,Oozie等大数据技术,带你装逼带你飞。
首先安装一下hadoop
下载hadoopwget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gzmv hadoop-1.2.1.tar.gz /opt/tar -zxvf hadoop-1.2.1.tar.gz设置HADOOP环境变量HADOOP_HOME=/opt/hadoop-1.2.1PATH=:$HADOOP_HOME/bin:$PATHvim /etc/profilesource /etc/profile 修改四个配置文件1、hadoop-env.sh 设置JAVA_HOME2、修改core-site.xml 设置hadoop.tmp.dirdfs.name.dir,fs.default.name3、修改mapred-site.xml 设置mapred.job.tracker4、修改hdfs-site.xml 设置dfs.data.dircd confscho $JAVA_HOMEJAVA_HOME=/root/java/jdk1.8.0_131vim hadoop-env.shvim mapred-site.xml<property><name>mapred.job.tracker</name><value>yanhui:9001</value></property>vim core-site.xml<property><name>hadoop.tmp.dir</name><value>/hadoop</value></property><property><name>dfs.name.dir</name><value>/hadoop/name</value></property><property><name>fs.default.name</name><value>hdfs://yanhui:9000</value></property>vim hdfs-site.xml<property><name>dfs.data.dir</name><value>/hadoop/data</value></property>检验是否安装成功hadoop namenode -formatbin start-all.shjpsHDFS命令hadoop fs -mkdir input --创建目录hadoop fs -ls /user/root --查看目录hadoop fs -put hadoop-env.sh input/ --上传文件hadoop fs -ls /user/root/input/ --查看文件hadoop fs -cat input/hadoop-env.sh --查看文件hadoop fs -get input/hadoop-env.sh hadoop-env2.sh --下载文件hadoop dfsadmin -report
源码下载:
链接:http://pan.baidu.com/s/1boT6v6Z 密码:mtka
阅读全文
0 0
- 一起艳学大数据Hadoop(一)——安装hadoop
- 一起艳学大数据Hadoop(二)——eclipse配置hadoop
- 一起艳学大数据Hadoop(三)——java操作HDFS的增删改查
- Hadoop详解(一)——大数据和Hadoop的简介、Hadoop伪分布式的安装步骤
- Hadoop学习(一) — 初识Hadoop
- Hadoop安装(一)
- hadoop学习笔记(一)——hadoop安装及测试
- 大数据时代之hadoop(一):hadoop安装
- 大数据时代之hadoop(一):hadoop安装
- 大数据时代之hadoop(一):hadoop安装
- 大数据时代之hadoop(一):hadoop安装
- Hadoop 数据排序(一)
- 大数据(一)--Hadoop
- AWS上搭建Hadoop集群(一)——单机安装Hadoop
- Hadoop(一) 之 安装Hadoop
- Hadoop学习一(Hadoop安装)
- 大数据生态系统基础:Hadoop(一):介绍和安装
- Hadoop(一)——安装以及整体了解
- 【洛谷】P1541 乌龟棋
- 第二周——汉诺塔
- cmake使用示例与整理总结
- (错误)405 "很抱歉,由于您访问的URL有可能对网站造成安全威胁,您的访问被阻断。"
- java生产者消费者模型(线程协作)
- 一起艳学大数据Hadoop(一)——安装hadoop
- JavaScript-1-1:JS基础语法,流程控制等
- 一个NW.js+Webpack+Gulp+React的Hello World
- python实现关键词提取
- 使用lanproxy进行内网穿透
- JS插件-----SyntaxHighlighter的使用
- 文件上传的工具类
- 英语写作
- ecos vector.S 分析II: exception/interrupt