hadoop单点分布式部署
来源:互联网 发布:超好用的mac桌面壁纸 编辑:程序博客网 时间:2024/06/10 00:51
准备:CentOS (包含JDK)
1、下载需要的hadoop安装包
2、修改hostname:
命令: hostname 新hostname(方便看)
3、设置hosts
本机ip hadoop0
4、解压hadoop安装包,配置环境变量
5、修改配置文件,位置etc/hadoop
5.1、hadoop-env.sh
配置JAVA_HOMEexport JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65
5.2、core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/whh/hadoopDir</value> <description>hadoop运行文件</description> </property> <property> <name>fs.default.name</name> <value>hdfs://hadoop0:9000</value> <description>HDFS访问路径</description> </property></configuration>5.3、hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> <description>保存副本数</description> </property></configuration>5.4、cp mapred-site.xml.template mapred-site.xml
5.5、mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>yarn</value> </property></configuration>6、配置本地ssh,免密码登陆
ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorzied_keys
chmod 600 authorzied_keys7、启动hadoop
7.1、新建hadoophdfs文件所在位置
mkdir hadoopDir
7.2、格式化
hadoop namenode -format
7.3、启动hadoop
sbin/start-all.sh(一次性都启动)
分别启动
启动hdfs
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
启动yarn
sbin/start-yarn.sh
启动historyserver
mr-jobhistory-daemon.sh start historyserver
0 0
- hadoop单点分布式部署
- Hadoop分布式环境部署
- hadoop伪分布式部署
- hadoop伪分布式部署
- Hadoop分布式部署
- Hadoop 2.7分布式部署
- hadoop伪分布式部署
- linux-hadoop分布式部署
- hadoop分布式集群部署
- Hadoop Hbase 分布式部署
- hadoop-0.20.0分布式部署
- Hadoop分布式文件系统架构部署
- hadoop 伪分布式部署过程
- Hadoop伪分布式模式部署
- Hadoop单机伪分布式部署
- 如何部署hadoop分布式集群
- Hadoop伪分布式集群部署
- Cloudera Hadoop完全分布式部署
- HDU 4970 Killing Monsters(扫描线)
- 【基础学习】Perl中面向对象的思维
- mongoDB 介绍(特点、优点、原理)
- Neutron印象4:neutron-openvswitch-agent
- Android自学笔记:Tasks and Back Stack原理
- hadoop单点分布式部署
- 一种常见的四轴飞行器姿态解算方法分析
- MTK6582 CAMERA驱动流程总结分析
- varnish代理服务器部署
- 【MongoDB for Java】Java操作MongoDB
- 初学 Java Web 开发,请远离各种框架,从 Servlet 开发
- java开发命名规范
- IPSEC流程例子及两个阶段的协商过程详细介绍
- 排序算法小结