2016/10/18

hadoop

• block cache
• HDFS federation
• HDFS2.0
  
  • 解决单点故障问题
  • 解决内存受限问题
• NAMENODE
  
  • etc/hadoop/core-site.xml 配置namenode节点及端口
  • 接受客户端文件读写服务
  • 文件权限
  • 哪些block,在那个节点上
  • fsimage是元数据,一个文件1k,2k（不包含位置信息，位置信息由datanode上传）
  • 记录日志在大数据情况下，fsimage会很大。SNN帮助NN合并 edits log，减少NN启动时间。根据edits文件修改fsmiage
  • 第一个datanode收到数据block以后会向别的datanode进行复制
• YARN
  
  • MapReduce, Spark run a YARN application

搭建HADOOP

• ？？？什么是sshd?
• 完全分布式集群搭建成功！