mapreduce的问题

最近在重新学习MR：把遇到的问题进行总结。

1.写MR Job的时候遇到一个坑爹的异常：

LongWritable cannot be cast to org.apache.hadoop.io.IntWritable

 

当写Map的时候，key的默认输入就是LongWritable。

因为LongWritable指代Block中的数据偏移量。

 

所以把它强行转换成Text当然就Error了。。

2.在Windows上使用Hadoop时，需要将Hadoop.dll的文件放到C:\Windows\System32 下

3.在遇到用户校验时需要将hdfs-site.xml 文件中加入

        <property>
                <name>dfs.permissions</name>
                <value>false</value>

</property>