HDFS相关概念

自定义配置文件：
hdfs： core-site.xml hdfs-site.xml
yarn： yarn-site.xml
mapreduce: mapred-site.xml

默认配置文件：
hdfs： core-default.xml hdfs-default.xml
yarn： yarn-default.xml
mapreduce: mapred-default.xml

配置历史服务器以及日志聚合
日志聚合就是把运行的日志记录上传到HDFS文件系统里面

启动服务的三种方式：

(1)每个角色逐个启动sbin/hadoop-daemon.sh start namenodesbin/hadoop-daemon.sh stop namenode(2)分模块启动sbin/start-dfs.sh   [namenode datanode]sbin/start-yarn.shsbin/stop-yarn.sh(3)启动所有sbin/start-all.sh sbin/stop-all.sh

使用第2和第3种方法操作，需要配置ssh无密钥登录

$ ssh-keygen -t rsa$ ssh-copy-id bigdata01.ibeifeng.com

两种日志：
.log 启动、运行过程，相对比较全名 【info error】
.out 标准输出日志

NameNode
–整个集群的中心节点
–存储的是元数据信息（block、文件的权限、副本数）
–接收datanode的心跳和块报告

DataNode –block为单位存储数据（128M）
–3s报告心跳状态（10min）
–1h报告自己节点上面块的状态
–在线加入或者下线node

[nagios –服务和主机]
[ganglia –hadoop ]
[ambari –hadoop ]
[cacti –流量]
[raid]

查看fsimage [inode]

/opt/app/hadoop-2.5.0/bin/hdfs oiv -i fsimage_0000000000000000000 -o /tmp/1.xml -p XML

HDFS启动流程

格式化：fsimage

第一次启动： [硬盘 内存]
read fsimage
write edits

client –>put rm
[put rm ]write edits

[secondary namenode合并fsimage+edits]

第二次启动：
read fsimage_2 [硬盘 内存]
edits
——————–
datanode向namenode注册
datanode向namenode报告block的report

safemode – 只读不写

0.999f
$ bin/hdfs dfsadmin -safemode enter

yarn平台资源分配过程：

（1）客户端向resource manager发起请求（资源）
（2）resource manager会为job任务分配一个application master（job任务的管理者）
[am是在某个nodemanager]
（3）再向resource manager申请资源，resource manager响应am的资源的资源申请
（4）am与node manager通信，进行任务执行与响应
（5）对应的node manager执行完任务以后，会向am报告
（6）am向resource manager报告任务完成

container：资源的抽象，如内存、CPU、磁盘、网络等

yarn-site.xml
yarn.nodemanager.resource.memory-mb —内存
yarn.nodemanager.resource.cpu-vcores —CPU

分布式环境的准备：
bigdata01.ibeifeng.com 192.168.17.132
bigdata02.ibeifeng.com 192.168.17.133
bigdata03.ibeifeng.com 192.168.17.132

（1）准备JDK
（2）修改主机名 vi /etc/sysconfig/network
（3）设置IP地址 使用setup命令
（4）关闭iptables和selinux

关闭iptables永久关闭： chkconfig iptables off临时关闭： service iptables stop关闭selinux          vi /etc/sysconfig/selinux  改为SELINUX=disabled

（5）修改/etc/hosts

windows:   C:\Windows\System32\drivers\etc\hostlinux:      /etc/hosts格式：      192.168.134.2 bigdata01.ycong.com ycong

针对克隆
　——主机名
——IP
——MAC地址
/etc/udev/rules.d/70-persistent-net.rules
/etc/sysconfig/network-scripts/ifcfg-eth0

角色分配
[namenode secondarynamenode datanode]
[resourcemanager nodemanager]
[historyserver]

bigdata01.ibeifeng.com namenode datanode nodemanager
bigdata02.ibeifeng.com datanode resourcemanager nodemanager
bigdata03.ibeifeng.com datanode secondarynamenode nodemanager historyserver

配置ssh无密钥登录
bigdata01（start-dfs.sh） –> bigdata01 bigdata02 bigdata03
bigdata02（start-yarn.sh） –> bigdata01 bigdata02 bigdata03

安装配置 —》