linux下操作hadoop的常用命令

1、查看A电脑是否能够联通B电脑的某个端口

先安装命令：#yum install telnet -y

再查看：      #telnet 192.168.142.115 8088

2、查看hdfs上的文件目录(/test/flume)是否存在

#hadoop fs -test -e /test/flume

#echo $?

如果返回值是1，代表不存在目录

如果返回值是0，代表存在该目录

3、创建文件夹

#hadoop fs  -mkdir /20160610

4、查看命令

#hadoop dfs –cat /user/test.txt

5、删除命令

#hadoop dfs –rmr /user/test.txt

6、移动命令

#hadoop dfs –mv /user/test.txt  /user/test/

7、拷贝命令

#hadoop dfs –copytolocal /user/test.txt   /opt/

#hdfs  dfs    –get    /user/test.txt   /opt/

8、查看集群剩余内存

[e_lvbin@host14 ~]$ free -g
                   total          used    free      shared    buffers     cached
Mem:           252        193         58           0          0                 147
-/+ buffers/cache:        46        206
Swap:           31          0         31

9、下面两个命令是把文件从HDFS上下载到本地的命令。

get

使用方法：Hadoop fs -get [-ignorecrc] [-crc]

复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

示例：

hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://host:port/user/hadoop/file localfile

返回值：

成功返回0，失败返回-1。

10、验证本地库是否加载成功：hadoop checknative

INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native

INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library

Native library checking:

hadoop: true /usr/local/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0

zlib:   true /lib64/libz.so.1

snappy: true /usr/local/hadoop-2.4.0/lib/native/Linux-amd64-64/libsnappy.so.1

lz4:    true revision:99

bzip2:  true /lib64/libbz2.so.1

未完待续~~~~~~~~