Hadoop 环境搭建

来源:互联网 发布:有道词典的网络设置 编辑:程序博客网 时间:2024/06/12 01:46

Hadoop 环境的几种模式

Single Node Cluster

或称单机(本地)模式,这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序,这也是最少使用的一个模式。

Pseudo-Distributed Operation

伪分布式模式,也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode, DataNode ,ResourceManager, Nodemanager, SecondaryNameNode),伪分布式(Pseudo)适用于开发和测试环境,在这个模式中,所有守护进程都在同一台机器上运行。

Fully-Distributed Operation

全分布式模式,全分布模式通常被用于生产环境,使用N台主机组成一个Hadoop集群,Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机,Datanode运行的主机,以及tasktracker运行的主机。在分布式环境下,主节点和从节点会分开。

Hadoop环境的搭建

Hadoop环境的搭建还是比较简单的,可以参考下述两个链接

Single Node Cluster

Pseudo-Distributed Operation

Apache | Pseudo-Distributed Operation
Tutorialspoint | Enviornment Setup

Fully-Distributed Operation

Tutorialspoint | Multi Node Cluster
Apache | Hadoop Cluster Setup

Hadoop 常见指令

Apache | FileSystemShell
Apache | HDFS Commands Guide
Apache | MapReduce Commands Guide
Apache | YARN Commands