用mapreduce计算wordCount和手机流量统计程序运行过程
来源:互联网 发布:酷狗铃声制作专家 mac 编辑:程序博客网 时间:2024/04/30 20:40
WordCount统计
I. 建立工程Wordcount2,新建一个Folder命令为lib,并导入mapreduce相关jar包
II. 编写Map
III. 编写Reduce
IV. 编写运行程序Main
V. 打包成jar包
A. 右键工程,点击Export
B. 选择java里的JAR file,进行打包
C. 指定jar包的路径
D. 点击Next下一步
E. 选择Main class
F. 点击Finish生成jar包。右键查看属性看看jar包大小,太小表示压缩不成功
G. 把生成的jar包复制到/opt目录里
H. 在根目录下创建一个wordcount目录,并新建两个文件hello1.txt和hello2.txt
I. 进入hadoop目录下启动hadoop
J. 把本地目录/wordcount上传到hdfs上的/wordcount目录下
K. 运行jar包。开始计算hello1和hello2文件的内容
L. 查看/output目录,查看/output/part-r-00000里的内容
手机流量统计
VI. 建立工程phoneflow,新建一个Folder命令为lib,并导入mapreduce相关jar包
VII. 封装一个PhoneFlow实体类
VIII. 编写Map
IX. 编写Reduce
X. 编写运行程序Main
XI. 打包成jar包
A. 右键工程,点击Export
B. 选择java里的JAR file,进行打包
C. 选择java里的JAR file,进行打包
D. 点击Next下一步
E. 选择Main class
F. 点击Finish生成jar包。右键查看属性看看jar包大小,太小表示压缩不成功
G. 把生成的jar包复制到/opt目录里
H.把phone.log文件复制在/opt目录下
I.在hdfs上创建一个新目录/phoneflow,并把/opt/phone.log文件上传到/phnoeflow/phone.log
J. 运行PhoneFlow.jar包。开始计算phone.log文件里的内容
K.查看/pfoutput目录,查看/pfoutput/part-r-00000里的内容
附件:日志的格式和内容
- 用mapreduce计算wordCount和手机流量统计程序运行过程
- MapReduce实现手机上网流量统计
- MapReduce实战练习一:手机流量统计
- AWS EMR运行MAPREDUCE程序-WORDCOUNT
- MapReduce中wordCount程序工作过程分析
- MapReduce程序运行过程
- Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序(一)
- Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序(二)
- Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序(三)
- Hadoop2.4.1 简单的用户手机流量统计的MapReduce程序总结
- 云计算学习笔记006---运行hadoop的例子程序:统计字符--wordcount例子程序
- Hadoop MapReduce基于新API的WordCount程序运行过程分析
- Hadoop MapReduce统计手机流量案例学习(结合Partitioner)
- hadoop3.0.0运行mapreduce(wordcount)过程及问题总结
- mapreduce 统计流量
- 【学习笔记】用Hadoop在MapReduce中WordCount简单程序运行详细流程
- MapReduce程序初探 -------------- WordCount
- MapReduce WordCount程序
- SoC嵌入式软件架构设计之二:内存管理单元的软、硬件协同设计
- mysql 创建sequence
- 1001害死人不偿命的(3n+1)猜想
- recycleView 滑动删除Item,拖拽切换Item,你想了解的都在这儿
- linux 内核/用户空间获取时间
- 用mapreduce计算wordCount和手机流量统计程序运行过程
- 想快速全面了解LoRa?看这篇就够了!
- NFS服务配置
- (六)文件描述符及最大打开文件个数
- vsftpd虚拟用户目录及权限分离
- PAT-乙级-1013
- 8.事件 事件发布程序
- 小学生考试系统
- Oracle Linux 6.6系统卡在进度条界面