hadoop MapReduce初试遇到的问题
来源:互联网 发布:百度新闻的评论 知乎 编辑:程序博客网 时间:2024/06/01 10:41
hadoop MapReduce初试遇到的问题
./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc360.mp.WordCountHbaseReader /user/hbase/tabelname01 tablename
在hadoop集群上执行 MapReduce任务时,需要用到许多依赖jar,一般情况下都是在执行时,在执行命令上进行配置指定,这样会造成执行命令太长,并且容易出错,有时还想带几个参数信息,这样更容易出错;
比较好的处理方法是,在生成运行jar时,将需要的依赖jar打包到运行jar中,这样在执行时所有依赖的jar都有了,就不用指定了。
./hdfs dfs -rmr /user/hbase/
hdfs上已有的文件不能进行覆盖,生成文件时必须是没有的新文件,可以在产生文件前执行以上命令清除已有的文件:
16/07/19 18:26:08 INFO ipc.Client: Retrying connect to server: xxxx/192.168.xx.xx:8032. Already tried 4 time(s); retry policy is etryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
hadoop集群上,如果没有启动 yarn(MapReduce),当运行MapReduce任务时,会提示上面的信息;
当执行hadoop的shell命令时,如果提示类似上面的信息,可以查看是否启动了hadoop进程。
java.lang.IllegalArgumentException: Does not contain a valid host:port authority:
java.net.UnknownHostException
hadoop集群的hostname配置,主机名不要包含下划线“_”,但可以有横线“-”。
在hadoop集群中每个机器都要配置集群所有机器的hostname域名,以便相互访问。
这里分享一个血的教训,在给hostname起名字的时候一定要注意,虽然linux支持一些特殊字符,但java里面并不支持,所以hostname的命名一定要使用数字和字母(以点号分隔)。如果起的hostname包含了特殊字符下划线,导致hadoop运行时候的reduce阶段出错。
- hadoop MapReduce初试遇到的问题
- hadoop中使用python写mapreduce遇到的问题
- spark初试遇到的小问题
- 初试自动化中遇到的问题
- hadoop初试时遇到的一些小麻烦
- MapReduce编程遇到的问题
- 记录mapreduce遇到的问题
- hadoop遇到的问题
- MapReduce初试
- 做mapreduce join时遇到的问题
- 第一个MapReduce程序遇到的问题
- MapReduce运行中遇到的问题
- Hadoop MapReduce存在的问题及下一代MapReduce(MRv2/YARN)
- hadoop之MapReduce编程的权限问题
- Hadoop -MapReduce遇见的小问题记录
- 使用Python实现Hadoop MapReduce程序遇到的问题解决办法
- 运行Hadoop遇到的问题
- hadoop遇到的问题记录
- 配置Java虚拟机内存大小
- Java启动命令大观
- Timer和ScheduledThreadPoolExecutor的区别
- 工具地址
- dom4j特殊字符处理
- hadoop MapReduce初试遇到的问题
- HBase日常维护
- activemq启动异常
- C++改变集合元素的值
- HBase 常用Shell命令
- shell脚本自动化收集
- HBase操作注意事项
- 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
- 知识链-消息中间件