hadoop使用场景

来源:互联网 发布:读远网 知乎 编辑:程序博客网 时间:2024/05/15 08:51


  • 大数据量存储:分布式存储
  • 日志处理: Hadoop擅长这个
  • 海量计算: 并行计算
  • ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
  • 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统
  • 机器学习: 比如Apache Mahout项目
  • 搜索引擎:hadoop + lucene实现
  • 数据挖掘:目前比较流行的广告推荐
  • 大量地从文件中顺序读。HDFS对顺序读进行了优化,代价是对于随机的访问负载较高。
  • 数据支持一次写入,多次读取。对于已经形成的数据的更新不支持。
  • 数据不进行本地缓存(文件很大,且顺序读没有局部性)
  • 任何一台服务器都有可能失效,需要通过大量的数据复制使得性能不会受到大的影响。
  • 用户细分特征建模
  • 个性化广告推荐
  • 智能仪器推荐
  • 大数据量存储:分布式存储
  • 日志处理: Hadoop擅长这个
  • 海量计算: 并行计算
  • ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
  • 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统
  • 机器学习: 比如Apache Mahout项目
  • 搜索引擎:hadoop + lucene实现
  • 数据挖掘:目前比较流行的广告推荐
  • 大量地从文件中顺序读。HDFS对顺序读进行了优化,代价是对于随机的访问负载较高。
  • 数据支持一次写入,多次读取。对于已经形成的数据的更新不支持。
  • 数据不进行本地缓存(文件很大,且顺序读没有局部性)
  • 任何一台服务器都有可能失效,需要通过大量的数据复制使得性能不会受到大的影响。
  • 用户细分特征建模
  • 个性化广告推荐
  • 智能仪器推荐
  • 0 0