Hadoop伪集群搭建
来源:互联网 发布:决战武林天罡进阶数据 编辑:程序博客网 时间:2024/05/18 18:15
伪集群搭建
一、 安装JDK
二、 安装Hadoop
1、 将hadoop解压到某指定路径,假设为/home/hadoop/apps/目录
tar –vxzf hadoop-xxx.tar.gz –C /home/hadoop/apps/
2、 修改配置文件
修改core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://jredu001:9000</value> </property> <!-- 指定hadoop临时目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/apps/hd/tmp</value> </property></configuration>
修改hdfs-site.xml
<configuration> <!--设置副本数量--> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>
修改mapred-site.xml
<configuration> <!-- 指定mr框架为yarn方式 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>
修改yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
修改slaves
localhost
修改hadoop-env.sh
指定JAVA_HOME
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_45
修改yarn-env.sh
指定JAVA_HOME
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_45
3、 设置环境变量
vi /etc/profile
export HADOOP_HOME=/home/hadoop/apps/hadoopexport PATH=$HADOOP_HOME/bin:$PATH
//设置生效
source /etc/profile
4、格式化
hdfs namenode –format
5、启动hdfs
start-dfs.sh
6、启动yarn
start-yarn.sh
三、 查看进程
jps
查看namenode
http://localhost:50070
查看resourcemanager
http://localhost.8088
阅读全文
0 0
- Hadoop伪集群搭建
- Hadoop伪集群环境搭建
- 搭建伪分布式Hadoop集群
- hadoop集群搭建【伪分布式】
- 搭建Hadoop伪分布式集群
- 搭建伪分布式hadoop集群
- Hadoop伪分布式集群搭建
- Hadoop集群伪分布式搭建
- 搭建伪分布式hadoop集群
- hadoop伪分布式集群搭建
- Hadoop伪分布式集群搭建
- Hadoop伪分布式部署和集群搭建
- Hadoop 2.5.0伪分布集群搭建
- ubuntu14.04搭建hadoop伪集群环境
- Hadoop-2.7.2伪分布式集群搭建
- hadoop 2.6.4 伪分布集群搭建
- Hadoop伪分布式集群的搭建
- hadoop 伪分布式集群的搭建
- java类加载机制
- Hudson 项目总结
- 安装软件注意事项
- Nginx反向代理,负载均衡,redis session共享,keepalived高可用
- win10专业版激活(试试水)
- Hadoop伪集群搭建
- 【广州云栖大数据/人工智能会场信息】全新一代人工智能引擎MaxCompute惊艳全场
- chrome performance 使用
- kotlin以及as3.0中新的添加依赖
- HSSFWorkBooK用法 做excle导出excle
- Aras innovator: 怎样把excel文件导入到Aras数据库
- 真正搞懂传值引用和传指针引用
- 架构和框架的区别
- 数据结构<八>: 数组实现的线程表