hadoop.2.8.1-搭建笔记
来源:互联网 发布:mui.picker.min.js 编辑:程序博客网 时间:2024/05/30 04:40
官网下载hadoop-2.8.1 ,并解压到/usr/local/hadoop
基本环境
yum install -y java java-1.8.0-openjdk-devel.x86_64
cd /usr/local/hadoop
一. 创建目录
mkdir hdfs name tmp
二. 配置环境变量
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
生效配置
source /usr/local/hadoop/etc/hadoop/hadoop-env.sh
三、配置core-site.xml、hdfs-site.xml、mapred-site.xml
vim /usr/local/hadoop/etc/hadoop/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property></configuration>
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration><property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/hdfs/data</value> </property> </configuration>
创建mapred-site.xml文件
cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
<configuration><property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
四、格式化hdfs
hadoop namenode -format
五、启动服务
sh /usr/local/hadoop/sbin/start-all.sh
六、查看服务
# jps13026 Jps12339 ResourceManager12181 SecondaryNameNode12442 NodeManager12026 DataNode
note: java-1.8.0-openjdk-devel中包含jps命令
七、停止服务
sh /usr/local/hadoop/sbin/stop-all.sh
八、查看搭建结果
查看hadoop相关进程
netstat -nap | grep java
http://localhost:8088/cluster
http://localhost:50090/status.html
http://localhost:50075/datanode.html
感谢以下博主分享的文章:
http://blog.csdn.net/hitwengqi/article/details/8008203
http://blog.csdn.net/yy_done/article/details/7006489
http://blog.sina.com.cn/s/blog_61ef49250100uvab.html
- hadoop.2.8.1-搭建笔记
- 【Hadoop学习笔记】1、环境搭建
- 搭建hadoop集群笔记
- hadoop集群搭建笔记
- Hadoop环境搭建笔记
- hadoop集群搭建-笔记
- Hadoop集群搭建笔记
- 搭建Hadoop笔记
- hadoop环境搭建笔记
- hadoop 2.8.1 集群搭建
- Hadoop学习笔记-Hadoop HDFS环境搭建
- hadoop集群环境搭建笔记
- hadoop集群环境搭建笔记
- hadoop分布式集群搭建笔记
- 【笔记】Hadoop-HA集群搭建
- Hadoop集群环境搭建笔记
- Hadoop平台环境搭建笔记
- Hadoop笔记:集群的虚拟搭建(版本1.2.1)
- SSM框架CRUD操作&批量删除&批量追加数据(Oracle&MySQL数据库)
- eclipse maven 明明已经引入了jar包,代码中却也没提提示,检测不到jar包
- javascript 二叉树(Trees)算法与说明
- 《Python语言及其应用》读书笔记(1)之第2章Python基本元素:数字、字符串和变量(关键词:数字/字符串/变量)
- Java面试/笔试题大汇总
- hadoop.2.8.1-搭建笔记
- mongodb中的aggregation的使用
- python基础--with-as
- Android学习之OkHttp(浅学)
- C# BinaryWriter/BinaryReader、FileStream 、StreamWriter/StreamReader
- 指针与引用的个人理解----C++初学之路
- Android Matrix的用法总结
- 将windows下的txt格式转化为linux下的文件格式
- Oracle数据库统计信息收集:dbms_stats包的使用说明书