大数据Big-data相关技术

来源:互联网 发布:淘宝it代购是真的吗 编辑:程序博客网 时间:2024/04/30 08:56

环境搭建

  1. CDH搭建
  2. HDFS实现扩容
  3. 大数据分析集群环境(hadoop,spark,yarn)
  4. Hadoop集群安装
  5. Spark集群安装

Google的三驾马车

  1. FileSystem
  2. Big Table
  3. MapReduce

Scala

  1. 使用Scala语言开发spark应用
  2. Spark指南和编程风格

Spark

  1. spark部分知识:
    • SparkContext
    • job
    • shuffle
    • stage
    • task
    • rdd
    • dataframe
    • mllib guide
    • spark-streaming

Sqoop

Oozie

NLP

原创粉丝点击