程序博客网 > 淘宝代购化妆品真假

Hadoop 2.0.3在Linux环境下单机部署

来源：互联网 发布：淘宝代购化妆品真假 编辑：程序博客网 时间：2024/06/05 17:54

1.Hadoop2.0简述[1]

HDFS:为了保证name服务器的规模水平，开发人员使用了多个独立的Namenodes和Namespaces。这些Namenode是联合起来的，它们之间不需要相互协调。Datanode可以为所有Namenode存放数据块，每个数据块要在平台上所有的Namenode上进行注册。Datenode定期向Namenode发送心跳信号和数据报告，接受和处理Namenodes的命令。

YARN(新一代MapReduce)：在hadoop-0.23中介绍的新架构，将JobTracker的两个主要的功能：资源管理和作业生命周期管理分成不同的部分。新的资源管理器负责管理面向应用的计算资源分配和每个应用的之间的调度及协调。

每个新的应用既是一个传统意义上的MapReduce作业，也是这些作业的 DAG(Database Availability Group数据可用性组)，资源管理者（ResourcesManager）和管理每台机器的数据管理者（NodeManager）构成了整个平台的计算布局。

每一个应用的应用管理者实际上是一个架构的数据库，向资源管理者（ResourcesManager）申请资源，数据管理者（NodeManager）进行执行和监测任务。

2. Hadoop2.0的目录结构[2]

Hadoop2.0的目录结构很像Linux操作系统的目录结构，各个目录的作用如下：

(1) 在新版本的hadoop中，由于使用hadoop的用户被分成了不同的用户组，就像Linux一样。因此执行文件和脚本被分成了两部分，分别存放在bin和sbin目录下。存放在sbin目录下的是只有超级用户(superuser)才有权限执行的脚本，比如start-dfs.sh, start-yarn.sh, stop-dfs.sh, stop-yarn.sh等，这些是对整个集群的操作，只有superuser才有权限。而存放在bin目录下的脚本所有的用户都有执行的权限，这里的脚本一般都是对集群中具体的文件或者block pool操作的命令，如上传文件，查看集群的使用情况等。

(2) etc目录下存放的就是在0.23.0版本以前conf目录下存放的东西，就是对common, hdfs, mapreduce(yarn)的配置信息。

(3) include和lib目录下，存放的是使用Hadoop的C语言接口开发用到的头文件和链接的库。

(4) libexec目录下存放的是hadoop的配置脚本，具体怎么用到的这些脚本，我也还没跟踪到。目前我就是在其中hadoop-config.sh文件中增加了JAVA_HOME环境变量。

(5) logs目录在download到的安装包里是没有的，如果你安装并运行了hadoop，就会生成logs 这个目录和里面的日志。

(6) share这个文件夹存放的是doc文档和最重要的Hadoop源代码编译生成的jar包文件，就是运行hadoop所用到的所有的jar包。

3.学习hadoop的配置文件[3]

(1) dfs.hosts记录即将作为datanode加入集群的机器列表

(2) mapred.hosts 记录即将作为tasktracker加入集群的机器列表

(3) dfs.hosts.exclude mapred.hosts.exclude 分别包含待移除的机器列表

(4) master 记录运行辅助namenode的机器列表

(5) slave 记录运行datanode和tasktracker的机器列表

(6) hadoop-env.sh 记录脚本要用的环境变量，以运行hadoop

(7) core-site.xml hadoop core的配置项，例如hdfs和mapreduce常用的i/o设置等。

(8) hdfs-site.xml hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等。

(9) mapred-site.xml mapreduce守护进程的配置项，包括jobtracker和tasktracker。

(10) hadoop-metrics.properties 控制metrics在hadoop上如何发布的属性。

(11) log4j.properties 系统日志文件、namenode审计日志、tasktracker子进程的任务日志的属性。

4. hadoop详细配置[4,5]

从Hadoop官网上下载hadoop-2.0.0-alpha.tar.gz，放到共享文件夹中，在/usr/lib中进行解压，运行tar -zxvf /mnt/hgfs/share/hadoop-2.0.0-alpha.tar.gz。

(1)在gedit ~/.bashrc中编辑：

  1. export HADOOP_PREFIX="/usr/lib/hadoop-2.0.0-alpha" 
  2. export PATH=$PATH:$HADOOP_PREFIX/bin 
  3. export PATH=$PATH:$HADOOP_PREFIX/sbin 
  4. export HADOOP_MAPRED_HOME=${HADOOP_PREFIX} 
  5. export HADOOP_COMMON_HOME=${HADOOP_PREFIX} 
  6. export HADOOP_HDFS_HOME=${HADOOP_PREFIX} 
  7. export YARN_HOME=${HADOOP_PREFIX}

仍然保存退出，再source ~/.bashrc，使之生效。

(2)在etc/hadoop目录中编辑 core-site.xml

  1. <configuration> 
  2. <property> 
  3. <name>io.native.lib.available</name> 
  4. <value>true</value> 
  5. </property> 
  6. <property> 
  7. <name>fs.default.name</name> 
  8. <value>hdfs://10.1.50.170:9000</value> 
  9. <description>The name of the default file system.Either the literal string "local" or a host:port for NDFS.</description> 
  10. <final>true</final> 
  11. </property> 
  12. </configuration>

(3) 在etc/hadoop目录中编辑hdfs-site.xml

  1. <configuration> 
  2. <property> 
  3. <name>dfs.namenode.name.dir</name> 
  4. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/dfs/name</value> 
  5. <description>Determines where on the local filesystem the DFS name node should store the 
  6. name table.If this is a comma-delimited list of directories,then name table is 
  7. replicated in all of the directories,for redundancy.</description> 
  8. <final>true</final> 
  9. </property> 
  10. <property> 
  11. <name>dfs.datanode.data.dir</name> 
  12. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/dfs/data</value> 
  13. <description>Determines where on the local filesystem 
  14. an DFS data node should store its blocks.If this is a comma-delimited
  15.  list of directories,then data will be stored in all named directories,
  16. typically on different devices.Directories that do not exist are ignored.</description> 
  17. <final>true</final> 
  18. </property> 
  19. <property> 
  20. <name>dfs.replication</name> 
  21. <value>1</value> 
  22. </property> 
  23. <property> 
  24. <name>dfs.permission</name> 
  25. <value>false</value> 
  26. </property> 
  27. </configuration>

路径

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name与

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data

是计算机中的一些文件夹，用于存放数据和编辑文件的路径必须用一个详细的URI描述。

(4)在 /etc/hadoop 使用以下内容创建一个文件mapred-site.xml

  1. <configuration> 
  2. <property> 
  3. <name>mapreduce.framework.name</name> 
  4. <value>yarn</value> 
  5. </property> 
  6. <property> 
  7. <name>mapreduce.job.tracker</name> 
  8. <value>hdfs://10.1.50.170:9001</value> 
  9. <final>true</final> 
  10. </property> 
  11. <property> 
  12. <name>mapreduce.map.memory.mb</name> 
  13. <value>1536</value> 
  14. </property> 
  15. <property> 
  16. <name>mapreduce.map.java.opts</name> 
  17. <value>-Xmx1024M</value> 
  18. </property> 
  19. <property> 
  20. <name>mapreduce.reduce.memory.mb</name> 
  21. <value>3072</value> 
  22. </property> 
  23. <property> 
  24. <name>mapreduce.reduce.java.opts</name> 
  25. <value>-Xmx2560M</value> 
  26. </property> 
  27. <property> 
  28. <name>mapreduce.task.io.sort.mb</name> 
  29. <value>512</value> 
  30. </property> 
  31. <property> 
  32. <name>mapreduce.task.io.sort.factor</name> 
  33. <value>100</value> 
  34. </property> 
  35. <property> 
  36. <name>mapreduce.reduce.shuffle.parallelcopies</name> 
  37. <value>50</value> 
  38. </property> 
  39. <property> 
  40. <name>mapred.system.dir</name> 
  41. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/mapred/system</value> 
  42. <final>true</final> 
  43. </property> 
  44. <property> 
  45. <name>mapred.local.dir</name> 
  46. <value>file:/usr/lib/hadoop-2.0.0-alpha/workspace/hadoop_space/hadoop23/mapred/local</value> 
  47. <final>true</final> 
  48. </property> 
  49. </configuration>

　路径:

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system与

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local

为计算机中用于存放数据的文件夹路径必须用一个详细的URI描述。

(5)编辑yarn-site.xml

　

  1. 　<configuration> 
  2. <property> 
  3. <name>yarn.resourcemanager.address</name> 
  4. <value>10.1.50.170:8080</value> 
  5. </property> 
  6. <property> 
  7. <name>yarn.resourcemanager.scheduler.address</name> 
  8. <value>10.1.50.170:8081</value> 
  9. </property> 
  10. <property> 
  11. <name>yarn.resourcemanager.resource-tracker.address</name> 
  12. <value>10.1.50.170:8082</value> 
  13. </property> 
  14. <property> 
  15. <name>yarn.nodemanager.aux-services</name> 
  16. <value>mapreduce.shuffle</value> 
  17. </property> 
  18. <property> 
  19. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  20. <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  21. </property> 
  22. </configuration>

(6) 在 /etc/hadoop 目录中创建hadoop-env.sh 并添加：

export HADOOP_FREFIX=/usr/lib/hadoop-2.0.0-alpha

export HADOOP_COMMON_HOME=${HADOOP_FREFIX}

export HADOOP_HDFS_HOME=${HADOOP_FREFIX}

export PATH=$PATH:$HADOOP_FREFIX/bin

export PATH=$PATH:$HADOOP_FREFIX/sbin

export HADOOP_MAPRED_HOME=${HADOOP_FREFIX}

export YARN_HOME=${HADOOP_FREFIX}

export HADOOP_CONF_HOME=${HADOOP_FREFIX}/etc/hadoop

export YARN_CONF_DIR=${HADOOP_FREFIX}/etc/hadoop

export JAVA_HOME=/usr/lib/jvm/java-7-sun

另，需要yarn-env.sh中充填相同的内容，再配置到各节点。

配置过程中遇到的问题：

▼在浏览器中localhost:8088中，只能看到主节点的信息，看不到datanode的信息。

解决方法：在重新配置yarn.xml（以上为修改后内容）后已经可以看到两个节点，但启动后有一个datanode会自动关闭。

▼在纠结了很长时间kerbose的问题后，才找到运行不能的原因是这个提示：

INFO mapreduce.Job: Job job_1340251923324_0001 failed with state FAILED due to: Application application_1340251923324_0001 failed 1 times due to AM Container for appattempt_1340251923324_0001_000001 exited with exitCode: 1 due to:Failing this attempt.. Failing the application.

按照一个国外友人的回贴[6]fs.deault.name -> hdfs://localhost:9100 in core-site.xml ，mapred.job.tracker - > http://localhost:9101 in mapred-site.xml，错误提示发生改变。再把hadoop-env.sh中的内容copy到yarn-env.sh中，平台就可以勉强运行了（还是有报警）

5.初始化hadoop

首先格式化 namenode，输入命令 hdfs namenode –format；

然后开始守护进程 hadoop-daemon.sh start namenode 和 hadoop-daemon.sh start datanode或（可以同时启动：start-dfs.sh）；然后，开始 Yarn 守护进程运行 yarn-daemon.sh start resourcemanager和 yarn-daemon.sh start nodemanager（或同时启动： start-yarn.sh）。

最后，检查守护进程是否启动运行 jps，是否输出以下结果：

在datanode上jps，有以下输出：

浏览UI，打开 localhost:8088 可以查看资源管理页面。

结束守护进程stop-dfs.sh和stop-yarn.sh(或者同时关闭stop-all.sh)。

原文链接：http://wenluoxicheng.blog.163.com/blog/static/192519939201325114018477/

淘宝代购化妆品真假 淘宝代购化妆品真假
原创粉丝点击
热门IT博客
mac desmume存档在哪mac desmume存档在哪
通信网络理论与应用通信网络理论与应用
医疗大数据公司有哪些
手机量身高软件
西安行知中学
工资绩效软件
gfxbench测试数据库
手机酷盛网络加速器
什么软件可以做白边图
数据库有什么用
淘宝手机详情页在哪里
昆明中药厂网络商学院
网络推广多少钱一个月
软件开发 搞笑图片
辽东学院网络
网络摄像头数据传输
麻雀肉哪里有卖淘宝
投资公司网络销售咋样
淘宝有没有法律
淘宝返利网哪个好
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 人工寻麻疹 为什么会得荨麻疹 顽固性荨麻疹 荨麻疹怎么引起的 秋季荨麻疹 荨麻疹的病因 荨麻疹怎么快速止痒 麻疹和荨麻疹的区别 慢性荨麻疹能自愈吗 荨麻疹可以用盐水洗吗 血清病性荨麻疹 急性荨麻疹多久能好 小孩荨麻疹 荨麻疹多久才能好 荨麻疹忌口 寒冷性荨麻疹的危害 急性荨麻疹可以自愈吗 寒性荨麻疹图片 急性荨麻疹可以洗澡吗 荨麻疹食疗 荨麻疹的危害 寒冷性寻麻疹 丘疹性寻麻疹 荨麻诊 慢性寻麻疹 胆碱能荨麻疹 急性寻麻疹 荨麻疹多长时间能好 寒性寻麻疹 慢性特发性荨麻疹 人工性寻麻疹 荨麻疹是什么症状 胆碱能型荨麻疹 宝宝荨麻疹 人工荨麻疹的危害 人工性荨麻疹能自愈吗 荨麻疹不能吃什么 寻麻症的症状 荨麻疹止痒方法 小儿丘疹性荨麻疹 胆碱性寻麻疹

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里