eclipse写文件入hdfs失败

eclipse写文件入hdfs失败

在hadoop平台下基于eclipse运行oryx程序时，报如下错：

java.lang.RuntimeException: Cannot create job output directory /tmp/crunch-1820027447

    at org.apache.crunch.impl.dist.DistributedPipeline.createTempDirectory(DistributedPipeline.java:318)

    at org.apache.crunch.impl.dist.DistributedPipeline.<init>(DistributedPipeline.java:93)

    at org.apache.crunch.impl.mr.MRPipeline.<init>(MRPipeline.java:97)

    at com.cloudera.oryx.computation.common.JobStep.createBasicPipeline(JobStep.java:330)

    at com.cloudera.oryx.als.computation.merge.MergeIDMappingStep.createPipeline(MergeIDMappingStep.java:50)

    at com.cloudera.oryx.computation.common.JobStep.run(JobStep.java:187)

意为无法写入。推测错误有可能时内存不足或者权限问题。排除内存不足的原因后，解决权限问题方案如下：

首先用root身份在hdfs上创建/tmp文件夹，这样，/tmp的owner是root。然后，将/tmp的权限作如下修改：

bin/hadoop fs -chown -R ubuntu:supergroup /usr

注：这里的ubuntu是eclipse的用户。然后再运行oryx，错误消失。

出现这个错误可能是hadoop安装时是root身份安装的。