hadoop环境搭建——从零开始
来源:互联网 发布:淘宝商城聚美优品 编辑:程序博客网 时间:2024/04/27 19:19
对hadoop的认识只停留在是mapreduce的一种实现工具,大数据,分布式等抽象层面,完全没有具象了解。搭建环境,完全从零开始,走了挺多弯路。
总结之。
0.
目前较为普遍的起步方式是在虚拟机上模拟多台搭建hadoop。初始时为调查询问,鲁莽从cygwin下手,结果被缺失的linux知识打败,浪费很多时间。
Cygwin的主要目的是通过重新编译,将POSIX系统(例如Linux、BSD,以及其他Unix系统)上的软件移植到Windows上。cygwin是较为经典的一种linux虚拟机,要求对linux命令结构等较为熟悉,否则很难应用。
从虚拟机单节点开始。
1. 完整步骤
1.1 下载虚拟机软件virtualbox并 安装1.2 新建linux虚拟机及基本配置
新建——选择系统命名——创建虚拟内存——创建虚拟硬盘——在设置,存储,控制器,没有盘片属性中导入虚拟光盘(事先下载的iso文件)——启动
可能出现问题:
1.2.1 this kernel requires an x86-64 CPU, but only detected an i686 CPU. unable to boot - please ues a kernel appropriate for your CPU.
1.2.2 偶尔会出现FATAL: Could not read from boot medium. System halted.
不用担心,多次重启后即可,可能由于之前异常退出未恢复。
1.3 虚拟机上安装ubuntu系统
1.4 增强功能设置共享文件夹
1.5 jdk安装及环境变量配置 vim install
1.6 下载hadoop-2.2.0,安装,环境变量,修改配置文件
1.7 ssh无密码登陆配置
1.8 初始化,启动hadoop
1.9 实现wordcount(未实现)
2.0 eclipse绑定(未实现)
0 0
- hadoop环境搭建——从零开始
- 从零开始搭建Hadoop环境
- 第一章 Hadoop从零开始--------环境搭建
- 从零开始hadoop分布式环境搭建
- 【从零开始学hadoop】1. hadoop环境搭建
- 从零开始搭建hadoop分布式集群环境:(二)安装JDK
- Hadoop环境搭建——伪分布式环境搭建
- 从零开始搭建hadoop分布式集群环境:(五)hadoop完全分布式集群环境配置
- Hadoop环境搭建——集群篇
- Hadoop环境搭建——集群篇
- Hadoop集群搭建——环境配置
- Android从零开始-环境搭建
- 从零开始搭建Java环境
- 从零开始搭建hadoop分布式集群环境:(一)新建hadoop用户以及用户组
- Hadoop 2.6 集群搭建从零开始之3 Hadoop的安装与配置(伪分布式环境)
- Hadoop 2.6 集群搭建从零开始之4 Hadoop的安装与配置(完全分布式环境)
- Hadoop伪分布环境搭建——Linux环境配置
- 从零开始配置hadoop集群环境
- 已知二叉树的后序和中序排列,求先序排列再线索化的问题(笔试常考)
- Cocos2dx 3.0 过渡篇(一) 初体验
- ListView拖动时变黑的处理方法
- 10.2.2移动产品离线功能等详解----暨4月8日移动《在离线一体化》公开课Q&A
- 没有什么好说的
- hadoop环境搭建——从零开始
- 数组练习
- Java并发与多线程教程(1)
- 春夏交替皮肤过敏高发 专家:最好不换护肤品
- window下基于eclipse的Nodejs工程项目配置步骤
- Android之Service与IntentService的比较
- DT_WORDBREAK、DT_PATH_ELLIPSIS和DT_WORD_ELLIPSIS的使用
- 教程:如何使用Unity制作3D版iOS游戏
- Java简单U盘检测程序