Hadoop(一)刚开始接触

来源:互联网 发布:c语言enum用处 编辑:程序博客网 时间:2024/05/08 00:01

  第一次写博客,不知道怎么下笔。     

之前接触了一段时间的FastDFS。用它的主要目的是要达到存储文件,访问文件的效果。但是到后来发现FastDFS不能完全实现我们的需求。首先是处于安全方面的考虑。其次断点上传,断点下载的支持都不行,只能我们逻辑端来处理。这样一来增加了复杂度。另外FastDFS用的是C。如果碰到问题去查看源码也是比较费劲。所以我们打算在我们的网盘项目里面用hadoop试试。这也是我接触Hadoop的原因。之前做过Lucene全文检索,对Lucene也有一定的了解。那时候就经常会看到hadoop这个名词。在配置这个环境的时候多多少少也碰到过问题。

     说老实话,hadoop的版本让我纠结半天。不知道安装那个版本好。结果随便选择了hadoop 0.20版本。具体安装的过程网络上到处都是。这里我就说说我碰到的问题。

     ssh无密码登陆   

    伪分布式模式的配置    

    Eclipse下到底怎么才算是开发hadoop   

   window下怎么远程连接到linux的hadoop

   没有权限操作linux文件夹 

    org.apache.hadoop.security.AccessControlException: Permission denied:(这个问题我也不知道是啥,但是我就在代码里面加了句 “conf.set("hadoop.job.ugi","root,Tarids");" 就可以了)

   还有远程连不到主机,等等问题,都是跟配置或者运行的变量有关。还有就是linux防火墙!

     碰到问题但是也没有记。索性想到哪里就说下

 

 

 

 

 

 

原创粉丝点击