Hadoop 环境搭建
来源:互联网 发布:有道词典的网络设置 编辑:程序博客网 时间:2024/06/12 01:46
Hadoop 环境的几种模式
Single Node Cluster
或称单机(本地)模式,这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。
Pseudo-Distributed Operation
即伪分布式模式,也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode, DataNode ,ResourceManager, Nodemanager, SecondaryNameNode),伪分布式(Pseudo)适用于开发和测试环境,在这个模式中,所有守护进程都在同一台机器上运行。
Fully-Distributed Operation
即全分布式模式,全分布模式通常被用于生产环境,使用N台主机组成一个Hadoop集群,Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机,Datanode运行的主机,以及tasktracker运行的主机。在分布式环境下,主节点和从节点会分开。
Hadoop环境的搭建
Hadoop环境的搭建还是比较简单的,可以参考下述两个链接
Single Node Cluster
Pseudo-Distributed Operation
Apache | Pseudo-Distributed Operation
Tutorialspoint | Enviornment Setup
Fully-Distributed Operation
Tutorialspoint | Multi Node Cluster
Apache | Hadoop Cluster Setup
Hadoop 常见指令
Apache | FileSystemShell
Apache | HDFS Commands Guide
Apache | MapReduce Commands Guide
Apache | YARN Commands
- 【hadoop】hadoop环境快速搭建
- Hadoop - Hadoop开发环境搭建
- Hadoop环境搭建
- hadoop开发环境搭建
- linux搭建hadoop环境
- nutch+hadoop环境搭建
- Hadoop环境搭建-集群
- eclipse hadoop 环境搭建
- linux搭建hadoop环境
- hadoop环境搭建步骤
- MyEclipse 搭建 hadoop 环境
- Hadoop 环境搭建
- windows搭建hadoop环境
- Hadoop环境搭建
- hadoop集群环境搭建
- Hadoop环境搭建
- hadoop环境搭建问题
- hadoop单机环境搭建
- hdu4080 Stammering Aliens(二分+字符串hash)
- C++ 对象模型
- Zookeeper安装
- TensorFlow框架(5)之机器学习实践
- [转]深入理解JVM之JVM内存区域与内存分配
- Hadoop 环境搭建
- 常用逆向工具小结(1)
- Android系统架构
- centos 升级内核
- 一个程序员的进化史-第21章
- 单张图片上传,重命名和制成缩略图
- STM32启动文件初探之startup_stm32f10x_hd.s(Reset_Handler函数)
- nginx的rewrite应用案例
- 三种常见字符编码简介:ASCII、Unicode和UTF-8