HIVE笔记

cat input/ncdc/sample.txt |ch02/src/main/ruby/max_temperature_map.rb|\sort |ch02/src/main/ruby/max_temperaterue_reduce.rb

hadoop jar $HADOOP_INSTALL/conrib/streaming/hadoop-*.streaming.jar\
-input input/ncdc/sample.txt\
-output output\
-mapper ch02/src/main/ruby/max_temperature_map.rb\
-reducer ch02/src/main/ruby/max_temperature_reduce.rb\

不同的语言使用streaming 跑hadoop

Wordcount的例子
bin/hadoop jar contrib/streaming/hadoop-0.20.2.jar-streaming.jar -input input
-output output -mapper /bin/cat -reducer /usr/bin/wc

本质上是一个映射器, 从sql 到map-reduce的映射器

HIVE的组件和架构
用户接口 shell thrift web 原数据库 derby, mysql 解析器 hadoop