程序博客网 > 网络寻线仪怎么使用

hadoop 伪分布式安装实验记录一

来源：互联网 发布：网络寻线仪怎么使用 编辑：程序博客网 时间：2024/05/01 22:41

Hadoop-0.19.0的代码可以到Apache上下载，链接为http://archive.apache.org/dist/hadoop/core/hadoop-0.19.0/，我使用的Linux机器是RHEL 5，Linux上安装的Java版本为1.6.0_16，并且JAVA_HOME=/usr/java/jdk1.6.0_16。

 

实践过程

 

1、ssh无密码验证登陆localhost

 

保证Linux系统的ssh服务已经启动，并保证能够通过无密码验证登陆本机Linux系统。如果不能保证，可以按照如下的步骤去做：

（1）启动命令行窗口，执行命令行：

[plain] view plaincopy
  1. $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   
  2. $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  

（2）ssh登陆localhost，执行命令行：

$ ssh localhost

第一次登录，会提示你无法建立到127.0.0.1的连接，是否要建立，输入yes即可，下面是能够通过无密码验证登陆的信息：

[root@localhost hadoop-0.19.0]# ssh localhost
Last login: Sun Aug  1 18:35:37 2010 from 192.168.0.104
[root@localhost ~]#

 

2、Hadoop-0.19.0配置

 

下载hadoop-0.19.0.tar.gz，大约是40.3M，解压缩到Linux系统指定目录，这里我的是/root/hadoop-0.19.0目录下。

下面按照有序的步骤来说明配置过程：

（1）修改hadoop-env.sh配置

将Java环境的配置进行修改后，并取消注释“#”，修改后的行为：

  export JAVA_HOME=/usr/java/jdk1.6.0_16

（2）修改hadoop-site.xml配置

在<configuration>与</configuration>加上3个属性的配置，修改后的配置文件内容为：

[xhtml] view plaincopy
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5. <configuration>   
  6.   <property>   
  7.     <name>fs.default.name</name>   
  8.     <value>hdfs://localhost:9000</value>   
  9.   </property>   
  10.   <property>   
  11.     <name>mapred.job.tracker</name>   
  12.     <value>localhost:9001</value>   
  13.   </property>   
  14.   <property>   
  15.     <name>dfs.replication</name>   
  16.     <value>1</value>   
  17.   </property>   
  18. </configuration>   

3、运行wordcount实例

wordcount例子是hadoop发行包中自带的实例，通过运行实例可以感受并尝试理解hadoop在执行MapReduce任务时的执行过程。按照官方的“Hadoop Quick Start”教程基本可以容易地实现，下面简单说一下我的练习过程。

导航到hadoop目录下面，我的是/root/hadoop-0.19.0。

（1）格式化HDFS

执行格式化HDFS的命令行：

[plain] view plaincopy
  1. [root@localhost hadoop-0.19.0]# bin/hadoop namenode -format  

格式化执行信息如下所示：

[plain] view plaincopy
  1. 10/08/01 19:04:02 INFO namenode.NameNode: STARTUP_MSG:   
  2. /************************************************************  
  3. STARTUP_MSG: Starting NameNode  
  4. STARTUP_MSG:   host = localhost/127.0.0.1  
  5. STARTUP_MSG:   args = [-format]  
  6. STARTUP_MSG:   version = 0.19.0  
  7. STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.19 -r 713890; compiled by 'ndaley' on Fri Nov 14 03:12:29 UTC 2008  
  8. ************************************************************/  
  9. Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) y  
  10. Format aborted in /tmp/hadoop-root/dfs/name  
  11. 10/08/01 19:04:05 INFO namenode.NameNode: SHUTDOWN_MSG:   
  12. /************************************************************  
  13. SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1  
  14. ************************************************************/  

（2）启动Hadoop相关后台进程

执行命令行：

[root@localhost hadoop-0.19.0]# bin/start-all.sh

启动执行信息如下所示：

[plain] view plaincopy
  1. starting namenode, logging to /root/hadoop-0.19.0/bin/../logs/hadoop-root-namenode-localhost.out  
  2. localhost: starting datanode, logging to /root/hadoop-0.19.0/bin/../logs/hadoop-root-datanode-localhost.out  
  3. localhost: starting secondarynamenode, logging to /root/hadoop-0.19.0/bin/../logs/hadoop-root-secondarynamenode-localhost.out  
  4. starting jobtracker, logging to /root/hadoop-0.19.0/bin/../logs/hadoop-root-jobtracker-localhost.out  
  5. localhost: starting tasktracker, logging to /root/hadoop-0.19.0/bin/../logs/hadoop-root-tasktracker-localhost.out  

（3）准备执行wordcount任务的数据

首先，这里在本地创建了一个数据目录input，并拷贝一些文件到该目录下面，如下所示：

[root@localhost hadoop-0.19.0]# mkdir input
[root@localhost hadoop-0.19.0]# cp CHANGES.txt LICENSE.txt NOTICE.txt README.txt input/

然后，将本地目录input上传到HDFS文件系统上，执行如下命令：

[root@localhost hadoop-0.19.0]# bin/hadoop fs -put input/ input

（4）启动wordcount任务

执行如下命令行：

[root@localhost hadoop-0.19.0]# bin/hadoop jar hadoop-0.19.0-examples.jar wordcount input output

元数据目录为input，输出数据目录为output。

任务执行信息如下所示：

[plain] view plaincopy
  1. 10/08/01 19:06:15 INFO mapred.FileInputFormat: Total input paths to process : 4  
  2. 10/08/01 19:06:15 INFO mapred.JobClient: Running job: job_201008011904_0002  
  3. 10/08/01 19:06:16 INFO mapred.JobClient:  map 0% reduce 0%  
  4. 10/08/01 19:06:22 INFO mapred.JobClient:  map 20% reduce 0%  
  5. 10/08/01 19:06:24 INFO mapred.JobClient:  map 40% reduce 0%  
  6. 10/08/01 19:06:25 INFO mapred.JobClient:  map 60% reduce 0%  
  7. 10/08/01 19:06:27 INFO mapred.JobClient:  map 80% reduce 0%  
  8. 10/08/01 19:06:28 INFO mapred.JobClient:  map 100% reduce 0%  
  9. 10/08/01 19:06:38 INFO mapred.JobClient:  map 100% reduce 26%  
  10. 10/08/01 19:06:40 INFO mapred.JobClient:  map 100% reduce 100%  
  11. 10/08/01 19:06:41 INFO mapred.JobClient: Job complete: job_201008011904_0002  
  12. 10/08/01 19:06:41 INFO mapred.JobClient: Counters: 16  
  13. 10/08/01 19:06:41 INFO mapred.JobClient:   File Systems  
  14. 10/08/01 19:06:41 INFO mapred.JobClient:     HDFS bytes read=301489  
  15. 10/08/01 19:06:41 INFO mapred.JobClient:     HDFS bytes written=113098  
  16. 10/08/01 19:06:41 INFO mapred.JobClient:     Local bytes read=174004  
  17. 10/08/01 19:06:41 INFO mapred.JobClient:     Local bytes written=348172  
  18. 10/08/01 19:06:41 INFO mapred.JobClient:   Job Counters   
  19. 10/08/01 19:06:41 INFO mapred.JobClient:     Launched reduce tasks=1  
  20. 10/08/01 19:06:41 INFO mapred.JobClient:     Launched map tasks=5  
  21. 10/08/01 19:06:41 INFO mapred.JobClient:     Data-local map tasks=5  
  22. 10/08/01 19:06:41 INFO mapred.JobClient:   Map-Reduce Framework  
  23. 10/08/01 19:06:41 INFO mapred.JobClient:     Reduce input groups=8997  
  24. 10/08/01 19:06:41 INFO mapred.JobClient:     Combine output records=10860  
  25. 10/08/01 19:06:41 INFO mapred.JobClient:     Map input records=7363  
  26. 10/08/01 19:06:41 INFO mapred.JobClient:     Reduce output records=8997  
  27. 10/08/01 19:06:41 INFO mapred.JobClient:     Map output bytes=434077  
  28. 10/08/01 19:06:41 INFO mapred.JobClient:     Map input bytes=299871  
  29. 10/08/01 19:06:41 INFO mapred.JobClient:     Combine input records=39193  
  30. 10/08/01 19:06:41 INFO mapred.JobClient:     Map output records=39193  
  31. 10/08/01 19:06:41 INFO mapred.JobClient:     Reduce input records=10860  

（5）查看任务执行结果

可以通过如下命令行：

bin/hadoop fs -cat output/*

执行结果，截取部分显示如下所示：

[plain] view plaincopy
  1. vijayarenu      20  
  2. violations.     1  
  3. virtual 3  
  4. vis-a-vis       1  
  5. visible 1  
  6. visit   1  
  7. volume  1  
  8. volume, 1  
  9. volumes 2  
  10. volumes.        1  
  11. w.r.t   2  
  12. wait    9  
  13. waiting 6  
  14. waiting.        1  
  15. waits   3  
  16. want    1  
  17. warning 7  
  18. warning,        1  
  19. warnings        12  
  20. warnings.       3  
  21. warranties      1  
  22. warranty        1  
  23. warranty,       1  

（6）终止Hadoop相关后台进程

执行如下命令行：

[root@localhost hadoop-0.19.0]# bin/stop-all.sh

执行信息如下所示：
stopping jobtracker
localhost: stopping tasktracker
stopping namenode
localhost: stopping datanode
localhost: stopping secondarynamenode 

已经将上面列出的5个进程jobtracker、tasktracker、namenode、datanode、secondarynamenode终止。

 

异常分析

 

在进行上述实践过程中，可能会遇到某种异常情况，大致分析如下：

 

1、Call to localhost/127.0.0.1:9000 failed on local exception异常

（1）异常描述

可能你会在执行如下命令行的时候出现：

[root@localhost hadoop-0.19.0]# bin/hadoop jar hadoop-0.19.0-examples.jar wordcount input output

出错异常信息如下所示：

[plain] view plaincopy
  1. 10/08/01 19:50:55 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s).  
  2. 10/08/01 19:50:56 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s).  
  3. 10/08/01 19:50:57 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s).  
  4. 10/08/01 19:50:58 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s).  
  5. 10/08/01 19:50:59 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s).  
  6. 10/08/01 19:51:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 5 time(s).  
  7. 10/08/01 19:51:01 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s).  
  8. 10/08/01 19:51:02 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s).  
  9. 10/08/01 19:51:03 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s).  
  10. 10/08/01 19:51:04 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s).  
  11. java.lang.RuntimeException: java.io.IOException: Call to localhost/127.0.0.1:9000 failed on local exception: Connection refused  
  12.         at org.apache.hadoop.mapred.JobConf.getWorkingDirectory(JobConf.java:323)  
  13.         at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:295)  
  14.         at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:268)  
  15.         at org.apache.hadoop.examples.WordCount.run(WordCount.java:146)  
  16.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  17.         at org.apache.hadoop.examples.WordCount.main(WordCount.java:155)  
  18.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  19.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)  
  20.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  21.         at java.lang.reflect.Method.invoke(Method.java:597)  
  22.         at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)  
  23.         at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:141)  
  24.         at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:61)  
  25.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  26.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)  
  27.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  28.         at java.lang.reflect.Method.invoke(Method.java:597)  
  29.         at org.apache.hadoop.util.RunJar.main(RunJar.java:165)  
  30.         at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54)  
  31.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  32.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)  
  33.         at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68)  
  34. Caused by: java.io.IOException: Call to localhost/127.0.0.1:9000 failed on local exception: Connection refused  
  35.         at org.apache.hadoop.ipc.Client.call(Client.java:699)  
  36.         at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:216)  
  37.         at $Proxy0.getProtocolVersion(Unknown Source)  
  38.         at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:319)  
  39.         at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:104)  
  40.         at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:177)  
  41.         at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:74)  
  42.         at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1367)  
  43.         at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:56)  
  44.         at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1379)  
  45.         at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:215)  
  46.         at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:120)  
  47.         at org.apache.hadoop.mapred.JobConf.getWorkingDirectory(JobConf.java:319)  
  48.         ... 21 more  
  49. Caused by: java.net.ConnectException: Connection refused  
  50.         at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)  
  51.         at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:574)  
  52.         at sun.nio.ch.SocketAdaptor.connect(SocketAdaptor.java:100)  
  53.         at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:299)  
  54.         at org.apache.hadoop.ipc.Client$Connection.access$1700(Client.java:176)  
  55.         at org.apache.hadoop.ipc.Client.getConnection(Client.java:772)  
  56.         at org.apache.hadoop.ipc.Client.call(Client.java:685)  
  57.         ... 33 more   

（2）异常分析 

从上述异常信息分析，这句是关键：

Retrying connect to server: localhost/127.0.0.1:9000.

是说在尝试10次连接到“server”时都无法成功，这就说明到server的通信链路是不通的。我们已经在hadoop-site.xml中配置了namenode结点的值，如下所示：

[xhtml] view plaincopy
  1. <property>   
  2.   <name>fs.default.name</name>   
  3.   <value>hdfs://localhost:9000</value>   
  4. </property>  

所以，敢肯定是无法连接到server，也就是很可能namenode进程根本就没有启动，更不必谈要执行任务了。

上述异常，我模拟的过程是：

格式化了HDFS，但是没有执行bin/start-all.sh，直接启动wordcount任务，就出现上述异常。

所以，应该执行bin/start-all.sh以后再启动wordcount任务。

 

2、Input path does not exist异常

 

（1）异常描述

当你在当前hadoop目录下面创建一个input目录，并cp某些文件到里面，开始执行：

[root@localhost hadoop-0.19.0]# bin/hadoop namenode -format

[root@localhost hadoop-0.19.0]# bin/start-all.sh

这时候，你认为input已经存在，应该可以执行wordcount任务了：

[root@localhost hadoop-0.19.0]# bin/hadoop jar hadoop-0.19.0-examples.jar wordcount input output

结果抛出一堆异常，信息如下：

[plain] view plaincopy
  1. org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/root/input  
  2.         at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:179)  
  3.         at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:190)  
  4.         at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:782)  
  5.         at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1127)  
  6.         at org.apache.hadoop.examples.WordCount.run(WordCount.java:149)  
  7.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  8.         at org.apache.hadoop.examples.WordCount.main(WordCount.java:155)  
  9.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  10.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)  
  11.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  12.         at java.lang.reflect.Method.invoke(Method.java:597)  
  13.         at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)  
  14.         at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:141)  
  15.         at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:61)  
  16.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  17.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)  
  18.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  19.         at java.lang.reflect.Method.invoke(Method.java:597)  
  20.         at org.apache.hadoop.util.RunJar.main(RunJar.java:165)  
  21.         at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54)  
  22.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)  
  23.         at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)  
  24.         at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68)  

上述异常，我模拟的过程是：

[root@localhost hadoop-0.19.0]# bin/hadoop fs -rmr input
Deleted hdfs://localhost:9000/user/root/input

[root@localhost hadoop-0.19.0]# bin/hadoop fs -rmr output
Deleted hdfs://localhost:9000/user/root/output 

因为之前我已经成功执行过一次。

（2）异常分析

应该不用多说了，是因为本地的input目录并没有上传到HDFS上，所出现org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/root/input

在我的印象中，好像使用hadoop-0.16.4的时候，只要input目录存在，是不用执行上传命令，就可以运行的，后期的版本是不行的。

只需要执行上传的命令即可：

[root@localhost hadoop-0.19.0]# bin/hadoop fs -put input/ input


网络寻线仪怎么使用 网络寻线仪怎么使用
原创粉丝点击
热门IT博客
vb.net 微信开发实例vb.net 微信开发实例
数字化展厅软件数字化展厅软件
北京的java培训机构
java md5怎么用
淘宝店铺排行榜怎么看
usb加密狗刷写软件
恒辉模型 淘宝
淘宝职业退货师
得力考勤机软件下载
菲拉格慕男士香水 知乎
易语言财务软件源码
点击小图显示大图js
淘宝动动32007050
免费剪辑软件
淄博百度网盘seo
淘宝卖ps软件犯法吗
最好的网络电视
四川网络电视剧节目表
c语言最新函数库
淘宝网男士透明内裤
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 w10磁盘拒绝访问怎么办 word文档不允许修改怎么办 wps文件不能编辑怎么办 qq照片不允许转载怎么办 win7旗舰版太卡怎么办 win764系统很慢怎么办 win7电脑很卡怎么办 qq邮箱文件打不开怎么办 ps导出图片太大怎么办 饥荒海难崩档怎么办 wifi被拒绝接入怎么办 饥荒联机延迟高怎么办 微信不记得帐号了?怎么办? 熊猫麻将ip一样怎么办 公积金代扣失败怎么办 信用账户中签了怎么办 大话西游账号忘记了怎么办 网易云忘记账号怎么办 校园网登录不上怎么办 wifi名称隐藏了怎么办 玩游戏不能全屏怎么办 方舟手机版回档怎么办 进京证审核中怎么办 美篇审核中怎么办 视频不能转码怎么办 文件太大上传不了怎么办 数据库添加日志错误怎么办 桌面计算机图标不见了怎么办 qq空间封闭了怎么办 血小板600多怀孕怎么办 干活要不到工钱怎么办 银联手机号换了怎么办 深圳个体户工商年检怎么办 三个人合伙怎么办执照 两个人合伙怎么办执照 单位公章坏了怎么办 公章外壳坏了怎么办 公司变更名称银行怎么办 公司被起诉了怎么办 微信限制搜索怎么办 微博vip改不了怎么办

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里