Hadoop渐进二:自动与手动实例wordcount运行
来源:互联网 发布:js隐藏input标签 编辑:程序博客网 时间:2024/05/16 16:16
一、自动运行
hadoop fs是调用文件系统的命令(bin/hadoop fs <args>)
1、创建输入文件(数据块)
(1)、hadoop fs -mkdir /input
(2)、删除文件块
hadoop fs -rm -r /filename/(文件夹)
hadoop fs -rm /filename(文件)
3、查看创建的文件块
hdfs dfs -ls /
4、本地文件导入到hdfs
hadoop fs -put wordcount.txt /input
5、查看创建文件块内的文件及内容
hadoop fs -ls /input
hadoop fs -cat /input/wordcount.txt
6、执行mapreduce程序
hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /input /output
7、查看输出结果
二、手动运行
1、添加环境变量(否则会出现错误can't find symbol...)
2、编写WordCount.java
... ...
3、运行:javac WordCount.java
4、将*.class打包成.jar:jar -cvf WordCount.jar ./WordCount*.class
5、Hadoop集群运行:hadoop jar WordCount.jar WordCount /input /output
6、结果:
三、linux下java程序运行
0 0
- Hadoop渐进二:自动与手动实例wordcount运行
- hadoop wordcount运行实例
- hadoop-运行WordCount实例
- Hadoop 运行wordcount 实例
- hadoop运行wordcount实例
- hadoop下运行实例wordcount
- CentOS下Hadoop搭建与wordcount实例运行
- 命令行运行hadoop实例wordcount程序
- hadoop伪分布式运行wordcount 实例Fedora14
- CentOS安装Hadoop并运行WordCount实例
- hadoop实例WordCount程序一步一步运行
- 命令行运行hadoop实例wordcount程序
- 关于运行hadoop的wordcount实例
- linux运行hadoop实例wordcount详解
- Hadoop实例WordCount程序一步一步运行
- hadoop开发:eclipse运行wordcount实例
- 运行hadoop中的实例wordcount及问题
- Hadoop笔记之二:运行WordCount实验
- 安装Sublime Text 3汉化插件
- C++总结
- 惨痛的wordpress调试教训
- hive on spark 执行出错解决
- 子查询+in+exists/not exists+all+any+多列子查询
- Hadoop渐进二:自动与手动实例wordcount运行
- java tomcat部署项目 省去项目名称
- SQL基础笔记-1
- linux中互斥量与条件变量的使用
- Java移位运算符详解实例--左移位运算符<<、右移位运算符>>>、带符号的右移位运算符>>
- nginx 上传文件大小受限 413 错误
- laravel之第三方包导入以及自定义包(附:phpstorm激活方式)
- Vue的安装
- Linux下通过加载内核计算CPU利用率以及内存利用率