Hadoop常用命令及常见问题

Hadoop

winutils.exe in the hadoop binaries
Apache 官方发行版的Hadoop的bin目录下没有winutils.exe文件。解决方法：自己在Windows平台上编译或者下载网上别人编译好的Hadoop 2.6.0 Windows 64-bit Binaries

Hadoop移植到Windows需要做的改变
How To Install Hadoop on Windows with HDP 2.0
Build and Install Hadoop 2.x or newer on Windows
Apache Hadoop docs

---

在windows上编译Hadoop

Google Protocol Buffer 的使用和原理

Build and Install Hadoop 2.x or newer on Windows上有运行示例

---

hadoop 常用命令

• 启动、关闭Hadoop
  进入HADOOP_HOME目录
  已弃用
  启动：sh bin/start-all.sh
  关闭：sh bin/stop-all.sh

  1. 查看指定目录下内容
     hadoop dfs -ls [文件目录]

  2. 打开某个已存在文件
     hadoop dfs -cat [file_path]

  3. 将本地文件/文件夹存储至Hadoop
     hadoop fs -put [本地目录/本地文件] [hadoop目录]

  4. 将Hadoop上某个文件down至本地已有目录下
     hadoop fs -get [文件目录][本地目录]

  5. 删除Hadoop上指定文件
     hadoop fs -rm [文件地址]

  6. 删除Hadoop指定文件夹
     hadoop fs -rmr [目录地址]

  7. 在hadoop指定目录内创建新目录
     hadoop fs -mkdir [目录名]

  8. 在hadoop指定目录下新建一个空文件
     使用touchz命令
     hadoop fs -touchz [文件名]

  9. 文件重命名
     hadoop fs -mv [原文件名] [新文件名]

  10. 将hadoop指定目录下所有内容保存到一个文件，同时下载到本地
      hadoop dfs -getmerge [hadoop目录] [本地目录] [addnl]
      addnl是可选的，用于指定在每个文件结尾添加一个换行符。

Hadoop命令手册
Intellij IDEA 搭建Hadoop开发环境