Hadoop(一)刚开始接触
来源:互联网 发布:c语言enum用处 编辑:程序博客网 时间:2024/05/08 00:01
第一次写博客,不知道怎么下笔。
之前接触了一段时间的FastDFS。用它的主要目的是要达到存储文件,访问文件的效果。但是到后来发现FastDFS不能完全实现我们的需求。首先是处于安全方面的考虑。其次断点上传,断点下载的支持都不行,只能我们逻辑端来处理。这样一来增加了复杂度。另外FastDFS用的是C。如果碰到问题去查看源码也是比较费劲。所以我们打算在我们的网盘项目里面用hadoop试试。这也是我接触Hadoop的原因。之前做过Lucene全文检索,对Lucene也有一定的了解。那时候就经常会看到hadoop这个名词。在配置这个环境的时候多多少少也碰到过问题。
说老实话,hadoop的版本让我纠结半天。不知道安装那个版本好。结果随便选择了hadoop 0.20版本。具体安装的过程网络上到处都是。这里我就说说我碰到的问题。
ssh无密码登陆
伪分布式模式的配置
Eclipse下到底怎么才算是开发hadoop
window下怎么远程连接到linux的hadoop
没有权限操作linux文件夹
org.apache.hadoop.security.AccessControlException: Permission denied:(这个问题我也不知道是啥,但是我就在代码里面加了句 “conf.set("hadoop.job.ugi","root,Tarids");" 就可以了)
还有远程连不到主机,等等问题,都是跟配置或者运行的变量有关。还有就是linux防火墙!
碰到问题但是也没有记。索性想到哪里就说下
- Hadoop(一)刚开始接触
- DataDroid 刚开始接触和学习 一
- 最大流(刚开始接触的总结)
- 刚开始接触ARM
- 刚开始接触linux
- 刚开始接触Hibernate
- vins-mono slam刚开始接触
- 黑马程序员——(学习心得)刚开始接触java时的心情
- 刚开始接触这东东,大家帮忙哦。
- 刚开始接触QT的小纠结
- 黑马程序员-刚开始接触java时
- DataDroid 刚开始接触和学习 二
- 刚开始接触ios命令的一点总结
- 刚开始学习DNN的一点小经验(一)
- 青港风雨之罗雨琦(一)这才刚刚开始
- 钩子初接触(一)
- html5全接触(一)
- 初次接触Git(一)
- java对日期时间的增减
- Python 初体验之 对象的引用和拷贝
- [Linux] Linux-文件系统目录描述简介
- js常用函数
- HTML/Mysql/XML 转义字符,备查
- Hadoop(一)刚开始接触
- 温故知新--ASP.net获取当前url各种属性(文件名、参数、域名 等)
- 腾讯PHP实习生笔试题目及答案解析
- mmm
- ora-01187
- Spring IoC 注解配置
- 动态设置:eclipse 自动注释(code templates)中的{user} 用户变量
- VIM的常用编辑命令
- Xcode3.2.6 Xcode4.1 Xcode4.2.1共存、并存、同时安装