大数据-运行Hadoop伪分布式实例
来源:互联网 发布:jsp mysql 编辑:程序博客网 时间:2024/06/05 05:41
上面的单机模式,grep 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:
- ./bin/hdfs dfs -mkdir -p /user/hadoop
接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input:
- ./bin/hdfs dfs -mkdir input
- ./bin/hdfs dfs -put ./etc/hadoop/*.xml input
复制完成后,可以通过如下命令查看文件列表:
- ./bin/hdfs dfs -ls input
伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地 input 文件夹,输出结果 output 文件夹都删掉来验证这一点)。
- ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
查看运行结果的命令(查看的是位于 HDFS 中的输出结果):
- ./bin/hdfs dfs -cat output/*
结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。
我们也可以将运行结果取回到本地:
- rm -r ./output # 先删除本地的 output 文件夹(如果存在)
- ./bin/hdfs dfs -get output ./output # 将 HDFS 上的 output 文件夹拷贝到本机
- cat ./output/*
Hadoop 运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ,因此若要再次执行,需要执行如下命令删除 output 文件夹:
- ./bin/hdfs dfs -rm -r output # 删除 output 文件夹
运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作:
- Configuration conf = new Configuration();
- Job job = new Job(conf);
- /* 删除输出目录 */
- Path outputPath = new Path(args[1]);
- outputPath.getFileSystem(conf).delete(outputPath, true);
若要关闭 Hadoop,则运行
- ./sbin/stop-dfs.sh
下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh
就可以!
- 大数据-运行Hadoop伪分布式实例
- 运行Hadoop伪分布式实例
- hadoop伪分布式运行wordcount 实例Fedora14
- 单机伪分布式运行hadoop
- Hadoop 单机伪分布式运行
- 单机伪分布式运行hadoop
- hadoop 大数据开发5 --伪分布式hbase配置异常
- 大数据-Hadoop 伪分布式配置(已配置成功)
- 大数据学习3:hadoop编译和伪分布式部署
- 大数据学习篇:hadoop深入浅出系列之hadoop伪分布式安装
- Hadoop 伪分布式安装、运行测试例子
- Hadoop伪分布式运行wordcount小例子
- Hadoop伪分布式运行wordcount小例子
- Hadoop运行本地和伪分布式程序
- Hadoop伪分布式运行wordcount例子
- 使用本地hadoop运行伪分布式程序
- 使用本地hadoop运行伪分布式程序
- hadoop实例之伪分布式模式
- 使用matplot画柱状图
- excel 2007(32位) 在用obdc connector 连接mysql 64位的时候报错: 在指定的 DSN 中,驱动程序和应用程序之间的体系结构不匹配
- Androidstudio下的app module 被另一个app依赖为library
- Qt中的槽
- Hadoop伪分布配置
- 大数据-运行Hadoop伪分布式实例
- free命令
- java基础知识0718
- java中使用Jedis操作Redis实例
- MyBatis中Like语句使用方式
- php 抓取页面乱码
- Android框架--Glide图片框架
- IntelliJ IDEA 2017 完美注册方法
- [译] TF-api(1) tf.nn.max_pool