利用虚拟机virtualbox配置Hadoop开发环境总结
来源:互联网 发布:网络歌曲下载 编辑:程序博客网 时间:2024/06/04 19:50
导师课题未来需要对大规模传感数据进行处理,因此用Hadoop研究怎么处理海量数据。今天完成了Hadoop的安装,期间也遇到了很多问题,总结以备后用。
主要参考了Hadoop配置安装1和Hadoop配置安装2.
<TIP1>错把校园网环境当做局域网环境
首先在本地电脑(master)上配置了两个虚拟机(slaves),网络设置方式自动DHCP。因此想着这“三台电脑”,通过校园网交换机构成了局域网。这样的一个后果就是虽然NAMENODE和DATANODE都能启动,但是NAMENODE无法监视到DATANODE的运行状态。(=.=计算机网络没学好。。)
<TIP2>设置SSH无密码登陆
master和slave,互相之间都要设置无密码登陆,不然也会造成NAMENODE无法监视到DATANODE。
<TIP3>格式化问题
格式化之后如果需要再次格式化,需要先清除新产生的data,temp文件夹内容,然后格式化,不然也会造成也会造成NAMENODE无法监视到DATANODE。
<TIP4>配置文件设置
Hadoop2.5.1中,配置文件的设置跟hadoop1.x.x略有不同,主要是yarn-site.xml的设置要正确,否则无法执行mapreduce操作。
0 0
- 利用虚拟机virtualbox配置Hadoop开发环境总结
- 配置Hadoop开发环境:VirtualBox+CentOS+Yum(1)
- virtualbox虚拟机Ubuntu配置pentaho环境BI
- (二)hadoop配置虚拟机环境
- virtualbox ubuntu虚拟机安装配置android开发环境(eclipse+ndk+sdk)及注意事项
- virtualbox虚拟机Ubuntu14.04 32位配置titanium studio开发环境
- (工作日志)VirtualBox+RedHat搭建Hadoop虚拟机环境
- 配置HADOOP开发环境
- hadoop开发环境配置
- Hadoop配置开发环境
- Hadoop 2.5.2分布式集群配置(VirtualBox虚拟机模拟)
- 利用unbuntu在虚拟机下配置Linux与hadoop的环境
- hadoop开发运行环境配置及相关问题总结
- windows 配置 vagrant virtualBox 开发环境
- hadoop介绍及虚拟机环境配置
- 配置SecureCRT连接VirtualBox虚拟机中的Linux环境
- 配置SecureCRT连接VirtualBox虚拟机中的Linux环境
- 配置securecrt连接VirtualBox虚拟机中的linux环境
- #include <vector>
- 自定义ProgressBar---跟随进度的 Popwindow
- 新建Android工程,出现default与Displaying的问题
- 通过telnet的攻击
- 多核和亲和性
- 利用虚拟机virtualbox配置Hadoop开发环境总结
- 关于删除tomcat的应用服务
- 关于Oracle 11g 空表不能exp导出问题
- 透过斐波那契数列学习函数递归
- MVC工作流程
- 利用C指针编写自己的一些数据结构(树)
- jquery文件上传控件 Uploadify
- 黑白相间棋盘
- 黑马程序员-ios学习笔记:self,super