hadoop集群环境初步试验

• hdfs dfsadmin -report
  观察集群的配置情况
• 使用hdfs dfs 或者hadoop fs命令对文件进行增删改查的操作
  1. hadoop fs -ls /
  2. hadoop fs -put file /
  3. hadoop fs -mkdir /dirname
  4. hadoop fs -text /filename
  5. hadoop fs -rm /filename
• 通过http://192.168.56.100:50070/web界面观察集群运行情况
• 将hdfs-site.xml的replication值设为2，通过网页观察分块情况
• 设定dfs.namenode.heartbeat.recheck-interval为10000，然后停掉其中一台slave，观察自动复制情况
• 启动停掉的slave节点，通过网页观察datanode的动态添加
• 添加新的节点，体会hadoop的横向扩展
  1. 启动slave4，关闭防火墙，修改hostname
  2. 修改etc/hosts，加入对自己以及其他机器的解析，重启网络
  3. 在master中设定对于slave4的解析
  4. 启动slave4的datanode，通过网页进行观察
  5. hdfs dfsadmin –shutdownDatanode slave4:50020
• 通过java程序访问hdfs