CentOS下安装Hadoop伪分布集群踏坑之路
来源:互联网 发布:网络销售月工作计划 编辑:程序博客网 时间:2024/05/21 01:47
1.hadoop/etc/hadoop下的配置文件
core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/temp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
2.注意点
(1) ssh保证master和slave1和slave2相互之间互通
(2) 注意hadoop2.X已经不使用jobtracker和tasktracker了,取而代之的是nodemanager和resourcemanager
(3) 可以启动slave的datanode,而另一个slave不行,一开始修改了权限,但是发现不行,一运行权限又被改回来,
- Hadoop的datanode无法启动
- hdfs-site中配置的dfs.data.dir为/usr/local/hadoop/hdfs/data
- 用bin/hadoop start-all.sh启动Hdoop,用jps命令查看守护进程时,没有DataNode。
- 访问http://localhost:50070,点击页面中的Namenode logs链接,在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接,
- 发现在日志中有此提示:Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/hdfs/data, expected: rwxr-xr-x, while actual: rwxr-xrwx 。原因是data文件夹权限问题,执行:chmod g-w /usr/local/hadoop/hdfs/data,修改文件夹权限后,再次启动Hadoop,问题解决。
- CentOS下安装Hadoop伪分布集群踏坑之路
- CentOS下Hadoop伪分布模式安装
- Hadoop伪分布集群安装
- CentOS安装伪分布Hadoop
- Linux CentOS下Hadoop伪分布模式安装笔记
- Linux CentOS下Hadoop伪分布模式安装笔记
- Linux CentOS下Hadoop伪分布模式安装笔记
- Linux(CentOS)下伪分布模式安装Hadoop
- CentOS下Hadoop伪分布模式安装笔记
- Linux CentOS下Hadoop伪分布模式安装笔记
- CentOS下Hadoop伪分布模式安装笔记
- CentOS下Hadoop伪分布模式安装笔记
- CentOS下Hadoop伪分布模式安装笔记
- CentOS下Hadoop伪分布模式安装笔记
- CentOS下Hadoop伪分布模式安装笔记
- Linux CentOS下Hadoop伪分布模式安装笔记
- CentOS下Hadoop伪分布模式安装笔记
- hadoop之伪分布安装
- Sublime Text 中文标题异常但是内容正常解决方案
- MSC51汇编练习
- 卖热干面的启发 ---Builder 模式
- SpringMVC4零配置
- 项目管理利器(Maven)——继承和聚合
- CentOS下安装Hadoop伪分布集群踏坑之路
- AI用于医学影像,你需要知道这些
- WIN32、VxWorks、Linux线程类比
- iOS集成支付宝 <openssl> 报错
- 关于用到windowIsTranslucent和windowAnimationStyle的冲突做个记号
- django报错搜集
- SQL Server聚合函数总结
- 引导页ViewPager当滑动到最后一页,再继续滑动切换页面的效果实现
- Jenkins自动编译的简单例子