Spark Streaming 再学习

Hadoop的批处理系统是这样的：

• Apache Flume基于最优的HDFS块大小（64MB）将文件写入到每小时的桶中
• 每天定时执行MapReduce (Scalding) 任务N次
• Apache Sqoop将结果移入数据仓库
• 延迟是~1小时之后，加上Hadoop的处理时间

Spark流式数据处理解决方案：

• Flume将点击流数据写入HDFS
• Spark每5秒钟从HDFS上读取数据
• 输出到一个键—值存储并更新预测模型

开发人员可以根据HDFS当中的某个文件创建一个RDD，将该RDD转换为SchemaRDD、利用Spark SQL对其进行查询，而后将结果交付给MLlib库。最后，结果RDD可以被插入到Spark Streaming当中，从而充当消息交付机制的预测性模型。