分布式安装Hadoop
来源:互联网 发布:数控加工编程代码 编辑:程序博客网 时间:2024/06/09 23:16
1.配置hosts文件
所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为ip
修改每个节点的hostname,方法如下:
编辑/etc/hostname,将里面的名称改为你想要命名的名字
2.建立专门的运行hadoop的用户
比如新增用户:grid,密码设为:123456
给用户grid赋予root权限:
编辑 /etc/sudoers文件,找到下面一行,在root下面添加一行,如下所示:
root ALL=(ALL) ALL
grid ALL=(ALL) ALL
3.配置ssh免密码登录
注意要以grid用户登录,在grid用户的主目录下进行操作!每个节点做相同的操作即可
按照此方法配置其他节点的ssh无密码登录
4.分发ssh公钥
把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中,然后覆盖原来的authorized_keys文件,然后就可以免密码彼此ssh连入了
5.下载Hadoop的安装包,并解压
下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz
开始配置Hadoop环境,如果没有配置java环境,先配置java环境
jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
配置教程:http://my.oschina.net/fhd/blog/335156
1.修改 hadoop-env.sh文件,在里面加入jdk的环境变量地址
export JAVA_HOME=/usr/local/java/jdk1.8.0_91
2.修改core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://h1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop-2.6.4/data/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/grid/hadoop-2.6.4/data/hdfslog</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/grid/hadoop-2.6.4/data/hdfsdata</value>
</property>
</configuration>
3.修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4.修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>h1:9001</value>
</property>
</configuration>
未完待续。。。
- Hadoop分布式安装
- Hadoop简易分布式安装
- Hadoop分布式安装
- Hadoop 伪分布式安装
- hadoop 伪分布式安装
- Hadoop 伪分布式安装
- hadoop分布式安装
- hadoop 分布式文件系统安装
- Hadoop分布式安装
- HADOOP伪分布式安装
- hadoop完全分布式安装
- hadoop分布式安装过程
- hadoop 安装 分布式模式
- hadoop伪分布式安装
- hadoop 分布式安装
- Hadoop伪分布式安装
- hadoop分布式安装
- Hadoop伪分布式安装
- JavaScript学习日志——内建的全局函数
- html5-在网页中拖放文字
- Android加载so库
- 放一块超实用的黑板,让房间文艺又暖心
- iOS学习之—— UIDevice、NSBundle、NSLocale
- 分布式安装Hadoop
- XU_SecurityLoadRoles 运行机制以及如何优化性能
- android matrix 最全方法详解与进阶(完整篇)
- 查询Oracle正在执行和执行过的SQL语句 ,
- android studio 快捷键及使用方法,快速掌握
- 自定义控件玩套路以及canvas StaticLayout的使用
- 通过Android JNI编程来学习三大结构的ARM汇编
- 关于冒泡算法的使用
- BZOJ4050 [Cerc2014] Wheels