hadoop环境搭建——从零开始

来源:互联网 发布:淘宝商城聚美优品 编辑:程序博客网 时间:2024/04/27 19:19

对hadoop的认识只停留在是mapreduce的一种实现工具,大数据,分布式等抽象层面,完全没有具象了解。搭建环境,完全从零开始,走了挺多弯路。

总结之。


0. 

目前较为普遍的起步方式是在虚拟机上模拟多台搭建hadoop。初始时为调查询问,鲁莽从cygwin下手,结果被缺失的linux知识打败,浪费很多时间。

Cygwin的主要目的是通过重新编译,将POSIX系统(例如Linux、BSD,以及其他Unix系统)上的软件移植到Windows上。cygwin是较为经典的一种linux虚拟机,要求对linux命令结构等较为熟悉,否则很难应用。

从虚拟机单节点开始。


1. 完整步骤

1.1 下载虚拟机软件virtualbox并 安装
1.2 新建linux虚拟机及基本配置

新建——选择系统命名——创建虚拟内存——创建虚拟硬盘——在设置,存储,控制器,没有盘片属性中导入虚拟光盘(事先下载的iso文件)——启动

可能出现问题:

1.2.1 this kernel requires an x86-64 CPU, but only detected an i686 CPU. unable to boot - please ues a kernel appropriate for your CPU.

1.2.2 偶尔会出现FATAL: Could not read from boot medium. System halted.

不用担心,多次重启后即可,可能由于之前异常退出未恢复。


1.3 虚拟机上安装ubuntu系统
1.4 增强功能设置共享文件夹
1.5 jdk安装及环境变量配置 vim install
1.6 下载hadoop-2.2.0,安装,环境变量,修改配置文件
1.7 ssh无密码登陆配置
1.8 初始化,启动hadoop
1.9 实现wordcount(未实现)
2.0 eclipse绑定(未实现)

0 0
原创粉丝点击