林子雨—大数据技术原理与应用—上机实验二
来源:互联网 发布:淘宝网店学校 编辑:程序博客网 时间:2024/05/17 08:19
操作系统:ubuntu16.04
hadoop版本:1.2.1
JDK版本:1.8
Eclipse 3.8 实验内容:
1.利用Hadoop提供的Shell命令完成下列任务。
(1) 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件;
(2)从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;
(3)将HDFS中指定文件的内容输出到终端中;
(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
(5) 给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
(6)提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
(7) 提供一个HDFS的目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定当该目录不为空时是否还删除该目录;
(8) 删除HDFS中指定的文件;
(9)在HDFS中,将文件从源路径移动到目的路径。
2.编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”,要求如下:实现按行读取HDFS中指定文件的方法“readLine()”,如果读到文件末尾,则返回空,否则返回文件一行的文本。
3.查看Java帮助手册或其它资料,用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。
效果图:
出现的问题:
1.hadoop fs -appendToFile文件尾添加命令失效,显示没有此命令。
2.hadoop fs -copyFromLocal 命令无法覆盖旧文件。
3.每次开启hadoop之时,都需要先格式化名称节点,这会导致hdfs中存储的文件丢失,那么每次都需要上传文件进行测试,十分不方便。
解决方案(列出遇到的问题和解决办法,列出没有解决的问题):
1.hadoop fs -appendToFile文件尾添加命令失效,显示没有此命令。
解决方法:这是由于hadoop版本太低,如果要想使用appendToFile这一命令,需要把hadoop版本升级,如下图一是hadoop-1.2.1的全部shell命令,而图二是hadoop-2.6.0拥有的shell命令。
2.每次开启hadoop之时,都需要先格式化名称节点,这会导致hdfs中存储的文件丢失,那么每次都需要上传文件进行测试,十分不方便。
解决方法:之所以会每次都要格式化名称节点,是因为每次重启ubuntu系统时,存储在/tmp下的配置文件都会丢失,这样启动hadoop就会出错。因此,我将配置文件的存储位置放在/usr/local/hadoop/hadoop_tmp/下,这样每次就不需要格式化namenode了,并且上次的文件也在hdfs中没有被删除。
没有解决的问题:
1.hadoop fs -copyFromLocal 命令无法覆盖旧文件。
3 0
- 林子雨—大数据技术原理与应用—上机实验二
- 林子雨—大数据技术原理与应用—上机实验三
- 林子雨—大数据技术原理与应用—上机实验四
- 林子雨—大数据技术原理与应用—上机实验五
- 林子雨—大数据技术原理与引用—上机实验一
- 大数据:技术与应用实践指南
- 大数据:技术与应用实践指南
- “大数据可视化技术与应用”培训
- 大数据技术与应用 百度大数据显威力
- 《Python数据分析与挖掘实战》上机实验2——航空公司客户价值分析
- 《Python数据分析与挖掘实战》上机实验1—电力窃漏电用户自动识别
- 软件测试技术lab2——Selenium上机实验
- 大数据应用之路——大数据技术大会成功举行
- 【web】上机实验二
- 见证中国大数据技术与应用时代的到来
- 上海市大数据技术与应用创新中心成立
- 第四届大数据技术与产业应用大会
- 大数据技术的应用现状与展望
- jQuery清空input file文件域的解决方案
- 【OpenCV】显著区域检测
- Ubuntu 16.04下安装的eclipse没有菜单栏
- bootstrap-table无法加载json数据
- 第八届蓝桥杯第二题
- 林子雨—大数据技术原理与应用—上机实验二
- eclipse中切换不同版本的jdk
- c#中隐式转换和显示转换(强制转换)的区别
- 人生的第一篇博客
- 普元EOS之性能调优
- 连接数据库
- 约德尔测试
- java线程
- 在没有搜索功能的网站中寻找指定内容