Hadoop Tricks

来源:互联网 发布:ubuntu arm 版本 编辑:程序博客网 时间:2024/06/10 15:55

1. 常见写错误,所在的用户没有hdfs的写权限

Solution: 如果你不关心写权限的话,关闭它。在hdfs-site.xml中添加如下

dfs.permissions
false

2. hadoop网络接口

50030 jobtracker

50070 hdfs

60010 hbase

3. 测试hadoop能否正常工作

#!/bin/bash
# add if to test HADOOP_HOME is set or not
hadoop_base=`basename $HADOOP_HOME`
cd $HADOOP_HOME
hadoop fs -rmr output
hadoop fs -mkdir input
hadoop fs -copyFromLocal ./conf/* input
hadoop jar ${hadoop_base}-examples.jar wordcount input output
hadoop fs -cat output/part-r-00000

原创粉丝点击