hadoop安装和一些问题积累
来源:互联网 发布:java开发工程师要求 编辑:程序博客网 时间:2024/06/12 01:20
好久没写博客了,由于工作原因最近开始研究hadoop。hadoop是现在比较热门的一个技术,主要处理分布式海量数据的运算,hadoop之外还衍生出了hive和pig以及hbase。hadoop的学习和研究主要掌握两个关键词:HDFS和MapReduce。今天先来记录一下hadoop的安装和遇到的一些问题积累,属于初级的初级。
安装环境:win7+cygwin,cygwin的安装参考了网络上的一些资料
- 安装cygwin
- 安装 SSH 守护进程
Hadoop分布式运行需要 SSH 。所以这一部分介绍在 Cygwin 下配置 SSH 守护进程。
chmod+r /etc/group
chmod+r /etc/passwd
chmod+rwx /var
ssh-host-config
When asked if privilegeseparation should be used, answer no .
记着一定要答no,否则用Hadoop-Ecliple Plugin插件进行开发时,会提示你没有权限操作文件,不能写等错误。(我因为这个问题头痛了好长时间,最后才找到是这里出现问题的。)
· When asked if sshd should be installed as a service, answer yes .
· When asked about the value of CYGWIN environment variable enterntsec .
配置完后,启动SSHD 守护进程
运行:n et start sshd 或者通过 Windows 服务,启动 CYGWINSSHD 服务 .
想要停止服务运行:n et stop sshd 就可以了
e.生成密钥
$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
f.测试
最后运行以下命令测试
sshlocalhost
- 安装hadoop:
tarzxf hadoop-0.20.1.tar.gz
安装完成之后,就可以在桌面启动cygwin,一个linux的模拟环境,进入hadoop目录/start-all.sh就可以启动hadoop了。
遇到的一些问题汇总:
解决Hadoop报Name node is in safe mode 错误
强制离开安全模式
./hadoop dfsadmin-safemode leave
HDFSInvalidInputException
进入目录/home/wei.li/filein执行命令,上传到HDFS
$/home/wei.li/hadoop-0.20.2/bin/hadoop fs -put filein input
格式化
bin/hadoop namenode-format
ClassNotFound:
jar文件中设置MainClass
删除HDFS文件
/home/wei.li/hadoop-0.20.2/bin/hadoopfs -rmr input
执行hadoop jar
/home/wei.li/hadoop-0.20.2/bin/hadoopjar wordcount.jar input output
启动时报错:
java.lang.NoClassDefFoundError:org/apache/hadoop/util/PlatformName
- 修改bin/hadoop-config.sh 190行
- JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`
查看hdfs文件:$/home/wei.li/hadoop-0.21/bin/hadoop dfs -ls
无法HDFS put文件:
1.0.21:core-site.xml
<property>
<name>mapred.child.tmp</name>
<value>/home/wei.li/temp</value>
</property>
2./hadoopnamenode -format
./start-all.sh
hdfs通过浏览器访问报错,put数据时报错:could onlybe replicated to 0 nodes, instead of 1
检查hadoop配置文件core_site.xml中的hadoop.tmp.dir目录
- hadoop安装和一些问题积累
- 对hadoop集群安装一些问题总结
- hadoop安装配置中的一些问题
- hadoop笔记:一些问题和解决方法
- 在安装Hadoop伪分布模式时的错误和一些问题
- 最近积累的一些问题
- wordcloud安装和一些问题
- Linux积累-安装与配置Hadoop
- Hadoop安装过程中遇到的一些问题
- 安装hadoop 时遇到的一些问题整理
- Hadoop安装时遇到的一些小问题
- 使用centos7安装Hadoop-2.7.3的一些小问题
- hadoop-0.23版本安装和一些参数说明
- 关于使用hadoop出各种错的一些积累
- HadOOP部署和调试遇到的一些问题 V1.0.2
- NS2一些安装和使用的问题
- ubuntu 的一些安装和配置问题
- openfire 安装 和 遇到的一些问题
- oracle中将number类型毫秒值转为时间类型
- 黑马程序员Java基础之泛型(Genric)、拆箱与装箱、享元模式
- linux环境下VNC服务器的使用
- 疯狂的IT人整理Memcached使用文档安装软件及例子
- Linux进程管理之进程的终止
- hadoop安装和一些问题积累
- C# WinForm获取当前拥有焦点的控件
- Linux命令行技巧
- location 定位
- 疯狂的IT人整理基于WebService的Hessian例子教程
- ORA-02449 的问题
- 实现提示框不抢焦点
- 常用设备与linux中的命名
- java 数组操作