1.2 使用Hadoop shell命令导入和导出数据到HDFS

来源:互联网 发布:python agent开发 编辑:程序博客网 时间:2024/06/10 04:06

1.2 使用Hadoop shell命令导入和导出数据到HDFS
实验准备
实例需要用到的数据-weblog_entries.txt
在namenode创建2个文件夹用来存放实验用的数据

mkdir /home/data 
mkdir /home/data_download

将weblog_entries.txt上传到namenode里的/home/data文件夹(我使用SecureFXPortable.exe 工具)
注:以下命令都是在namenode节点运行的

实验过程
1.在HDFS中创建一个新的文件夹,用于保存weblog_entries.txt

hadoop fs -mkdir /data/weblogs

2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下

cd /home/data
hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs

3.列出HDFS上weblog_entries.txt文件的信息:

hadoop fs –ls /data/weblogs/weblog_entries.txt 

4.将HDFS上的weblog_entries.txt文件复制到本地系统的当前文件夹下

cd /home/data_download
hadoop fs -copyToLocal /data/weblogs/weblog_entries.txt ./weblog_entries.txt 

最后用 ls 命令检验下时候将weblog_entries.txt 下载到本地

0 0
原创粉丝点击