hadoop集群的创建

条件：hadoop-2.6.0在/opt/hadoop的目录下

   centOS6.5

集群的ip:192.168.241.130  hadoopnamenode

192.168.241.131 hadoopdatanode1

192.168.241.132 hadoopdatanode2

1、配置：（在/opt/hadoop/hadoop-2.6.0/etc/hadoop的目录下）

core-site.xml:

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoopnamenode:9000</value>
</property>
</configuration>

hdfs-site.xml:

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/hdfs/name</value>
</property>
</configuration>

这是在hadoopnamenode中配置的

<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hdfs/data</value>
</property>
</configuration>

这是在hadoopdatanode1和hadoopdatanode2中设置的

mapred-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml:

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoopnamenode:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoopnamenode:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoopnamenode:8040</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoopnamenode:8088</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoopnamenode</value>
</property>
</configuration>

slaves:只有在hadoopnamenode才配置,hadoopdatanode1和hadoopdatanode2中不需要配置，可以将其删除：

hadoopdatanode1

hadoopdatanode2

/etc/hosts:

192.168.241.130 hadoopnamenode
192.168.241.131 hadoopdatanode1
192.168.241.132 hadoopdatanode2

~/.bash_profile

# User specific environment and startup programs
#set java path
export JAVA_HOME=/opt/java/jdk1.7.0_79
#set hadoop path
export HADOOP_PREFIX=/opt/hadoop/hadoop-2.6.0
export HADOOP_MAPRED_PREFIX=$HADOOP_PREFIX
export HADOOP_HDFS_PREFIX=$HADOOP_PREFIX
export HADOOP_YARN_PREFIX=$HADOOP_PREFIX
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin

source ~/.bash_profile命令及时生效

设置ssh无密码登陆：http://blog.csdn.net/se7en_q/article/details/47671425

2、测试：（/opt/hadoop/hadoop-2.6.0目录下）

$HADOOP_PREFIX/bin/hdfs namenode -format格式化namenode

./sbin/start-dfs.sh

./sbin/start-yarn.sh

执行jps命令：

   1）在hadoopnamenode下有resourceManager和namenode进程，如果没有namenode进程可以执行以下的命令：

$HADOOP_PREFIX/sbin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
   2)在hadoopdatanode 下有nodeManager和datanode进程
执行hadoop js -mkdir /tmp这是hdfs命令创建目录的操作,创建好了之后执行hadoop fs -ls /：
   15/08/14 22:48:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...    using builtin-java classes where applicable           Found 1 items   drwxr-xr-x   - root supergroup          0 2015-08-14 22:04 /tmp
如果有出现/tmp这个目录的话那就表示你已经有hdfs这个插件了，这是为安装spark做的铺垫。
3、结语：
现在hadoop已经安装完毕了，现在可以开始安装zookeeper了，虽然hadoop或者kafka中都有zookeeper，但是最好还是分开  另外装的好些，其他大数据工具都会用到它的。