2016/10/20

hadoop

• 运营商给Google交钱
• 倒排索引
• 分词
• 语句的分词
• Page Rank
  
  • 垃圾中找出黄金
  • 入度 初度 指向该网页的价值

• Pig

  • Pig shell -> Mapreduce

• Hive

  • SQL -> Mapreduce SQL92标准，不支持一些连接，子查询
• HBase
  
  • 非关系数据库，列式存储
• ZooKeeper
  
  • 进城之间的协调工具
  -
• Chukwa
  
  • 数据源 服务器上的日志信息
• iptable, selinux关闭防火墙
• 免密码登录 authorized_keys 644
• kill -9 pidno
• hadoop 下面的目录 name data tmp
• 为什么放弃修改文件的功能？

内核编译

• makefile文件
  
  • 查看block下，根据config确定对应文件编译或不编译