0915_MapReduce初窥——Word Count程序
来源:互联网 发布:2015软件外包排行 编辑:程序博客网 时间:2024/06/15 14:38
今天在公司待了一天,然后被公司神慢的DNS解析吓怕,下了一天的数据库安装包,然后并没有什么鸟用,突出一个烦。
想想技术日志不能断啊,然后之前关于Hadoop正好也没有做什么整理,那就权当整理思路,把关于Hadoop的一些自己的理解做一个整理。
首先,Hadoop是Apache的一个开源项目Nutch,后来结合了Google的MapReduce,HDFS+MapReduce加在一起,基本上就构成了整个Hadoop的架构了。
这些当然都能百度到,没什么好做整理的。
接下来安装的部分,我做到SSH,又卡壳了,之前学校实验也是,因为没注意流程,然后Hadoop的SSH要求无密码登陆,疏忽了,接下来就在无尽地找删ssh keygen的地方,之前也犯过这个错误。
这个时候就很后悔,为什么不做日志!
突出一个技术日志不能停啊!
Hadoop项目中最神级的一个Hello World程序叫做Word Count,面试题目或者电话面试真的超级喜欢找这种类似的题目来考,什么意思?
举个栗子!
常见题:在一个文件中找出所有出现的单词及其出现的次数,输出到一个文件中。
Hadoop解决方案:分成多个文件,一个文件一个map程序,在map内进行单词的切割,每切割一个进行key值value递增加一,为了减小节点间数据传输,在传入reduce之前进行map内的combine操作,也就是对已有数据进行相同key值的value值累加,并用原key值作为现在的key值;传入reduce后,在reduce部分进行map数据的最后累加操作。
写不动了,就先这样吧,技术文档还是适合码代码说明问题。朕乏了!嗯,先歇着吧!
想想技术日志不能断啊,然后之前关于Hadoop正好也没有做什么整理,那就权当整理思路,把关于Hadoop的一些自己的理解做一个整理。
首先,Hadoop是Apache的一个开源项目Nutch,后来结合了Google的MapReduce,HDFS+MapReduce加在一起,基本上就构成了整个Hadoop的架构了。
这些当然都能百度到,没什么好做整理的。
接下来安装的部分,我做到SSH,又卡壳了,之前学校实验也是,因为没注意流程,然后Hadoop的SSH要求无密码登陆,疏忽了,接下来就在无尽地找删ssh keygen的地方,之前也犯过这个错误。
这个时候就很后悔,为什么不做日志!
突出一个技术日志不能停啊!
Hadoop项目中最神级的一个Hello World程序叫做Word Count,面试题目或者电话面试真的超级喜欢找这种类似的题目来考,什么意思?
举个栗子!
常见题:在一个文件中找出所有出现的单词及其出现的次数,输出到一个文件中。
Hadoop解决方案:分成多个文件,一个文件一个map程序,在map内进行单词的切割,每切割一个进行key值value递增加一,为了减小节点间数据传输,在传入reduce之前进行map内的combine操作,也就是对已有数据进行相同key值的value值累加,并用原key值作为现在的key值;传入reduce后,在reduce部分进行map数据的最后累加操作。
写不动了,就先这样吧,技术文档还是适合码代码说明问题。朕乏了!嗯,先歇着吧!
0 0
- 0915_MapReduce初窥——Word Count程序
- 【word count 程序】 通过 java8实现
- 【hadoop学习】在伪分布式hadoop上实践word count程序——c/c++ pipes版本
- 【hadoop学习】在伪分布式hadoop上实践word count程序——c/c++ streaming版本(未完)
- IDEA + Hadoop工程入门实例 ——Word Count编程
- Learning Spark——使用spark-shell运行Word Count
- Word Count
- Hadoop完全分布式环境配置及 Word Count 程序运行
- [Memo] restricted word count
- python word count
- hadoop word count example
- Word Count on hadoop
- Word Count示例
- Spark word count 实例
- Scala 版 word count
- Spark-Word Count实例
- Spark---Word Count
- Python Word Count
- Future与Promise
- Android error 之 Syntax error, insert ";" to complete Local Variable Declaration Statement
- lintcode-数组剔除元素后的乘积-50
- 创建 DB link 来导数据
- 安卓:Fragment向Fragment传值的3种方法
- 0915_MapReduce初窥——Word Count程序
- uva 10881 Piotr's Ants 规律
- 软件测试基础知识(二)
- java面向对象漫谈
- Oracle和MySQL中的dual表
- LeetCode题解——Minimum Window Substring
- SearchBar
- 你不知道的位操作之整数取余
- Android之MediaPlayer——MediaRecorder