hadopp 环境搭建
来源:互联网 发布:mac开机密码 编辑:程序博客网 时间:2024/06/16 06:23
我的配置
我在虚拟机中设置了三个实例,以下是它们的名字
- s1:master
- s2:slave
- s3:slave
虚拟机的网络配置
- 配置固定 IP
vi /etc/network/interfacesauto eth0iface eth0 inet staticaddress 192.168.191.128netmask 255.255.255.0gateway 192.168.191.1
- 配置机器的名称
vi /etc/hosts127.0.0.1 localhost127.0.1.1 ubuntu# 可以在这里修改,我直接使用 IP 来配置了所以没有修改机器的名称# The following lines are desirable for IPv6 capable hosts::1 localhost ip6-localhost ip6-loopbackff02::1 ip6-allnodesff02::2 ip6-allrouters
- 配置 ssh 的免密码登录
这里的目的是,能让 s1 能免密码登录到 s2、s3 中,方法这里就不多说了,我的做法有些取巧,我首先在 s1 上中配置免登录,如下
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
我还安装了 JDK、SSH、hadoop 软件。然后批量的克隆 s1,克隆完后,再依次的修改虚拟机的 IP。
后来知道了一个更好的方式
ssh-keygen // 在本地生成秘钥ssh-copy-id 服务器地址 // 将秘钥配置到本身和其他的服务器上
总的来说,其实不用配置固定 IP 和 hosts ,只需要配置 hostname 即可。
配置所在的路径是:/etc/hostname,配置了这里,主机名称会永久生效。执行hostname "s1"
会立即生效。所以这两个地方都配置一下就没有问题了。
配置环境变量
- Java 的环境变量
- Hadoop 的环境变量
这两个环境变量的配置方法都一样
- export ***_HOME=软件所在的路径,例如,Java 就是 /usr/local/java/jdk1.8.0_131
- export PATH=**
:
***_HOME/bin,这里的分割符号是:
,windows 的是;
配置 slaves
vi etc/hadoop/slaves将从服务器,也就是 dateNode 节点服务器进行记录
配置 core-site.xml
先来说一下 xml 的格式
<property> <name>参数的名称</name> <value>参数的值</value></property>
主要是配置两个参数
- fs.defaultFS:指定 Hadoop 的文件系统类型和 NameNode 的服务器节点,官方的名称为 NameNode URI
- hadoop.tmp.dir:指定 Hadoop 进程产生的文件存放的路径
配置 hdfs-site.xml
- 在这个文件里面主要配置文件系统的参数,例如文件块的大小、备份数量
- dfs.blocksize:数据块的大小
- dfs.replication:冗余数据的备份数量
配置 yarn-site.xml
- 在这个文件里面,主要是配置 yarn 的参数,yarn 是用来管理 MR 任务的框架
- yarn.resourcemanager.hostname:资源管理所在的节点服务器
- yarn.nodemanager.aux-services:mapreduce_shuffle 默认值,现在还不知道这是什么,只知道这 MapReduce 依赖的一个服务。
格式化
bin/hadoop namenode format
run
start-dfs.sh //启动所以得节点,包括 nameNdoe 和 dateNodeh
阅读全文
0 0
- hadopp 环境搭建
- hadopp ubuntu
- Hadopp预习资料
- hadopp核心革新
- hadopp 倒排索引
- hadopp 的机架感知
- Hadopp 入门 基本概念(一)
- 环境搭建
- 搭建环境
- 环境搭建
- 搭建环境
- 环境搭建
- 搭建环境
- 环境搭建
- 环境搭建
- 环境搭建
- 环境搭建
- 环境搭建
- Java开发岗位面试题归类汇总(一)
- 如何高速下载百度云资源
- 《java与模式》-12 合成模式
- POJ 3449 Geometric Shapes <几何(简单相交判断)>
- 二、Android安全机制之系统防线
- hadopp 环境搭建
- 求绝对值最大值
- gulp+webpack
- java中的try catch finally return的执行顺序问题总结
- python实现二叉树和它的七种遍历
- 算法与数据结构——算法题32:整数集合的交集(腾讯笔试) ? 待解决
- Java Spring框架初识
- Spring之HelloWorld
- 例题8-2 联合国大楼(Building for UN, ACM/ICPC NEERC 2007, UVa1605)