Hadoop#1：数据文件
来源：互联网 发布：淘宝网套装春秋女装 编辑：程序博客网 时间：2024/06/06 08:38
QuickStart
晚上照着官方文档把玩了一下hadoop，本机伪分布式启动，这里记录一下。
首先是下载当前stable版本的hadoop，现在是2.6.0版本。
然后设置免输入密码ssh登录，hadoop中需要使用，
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys$ ssh-add ~/.ssh/id_dsa
修改etc/hadoop/hadoop-env.sh，注意最好是用JDK6，在我的环境中用JDK7没法启动hadoop，HADOOP_PREFIX是hadoop的安装目录，一定要设置。
# set to the root of your Java installationexport JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386export HADOOP_PREFIX=/home/blues/hadoop
接下来照着官网修改etc/hadoop/core-site.xml和etc/hadoop/hdfs-site.xml。然后就可以启动HDFS了，
$ bin/hdfs namenode -format$ sbin/start-dfs.sh
这时候已经可以通过web console来观察hadoop的运行状况了，http://localhost:50070/。
接下来跑下栗子，
- $ bin/hdfs dfs -mkdir /user。在HDFS上面创建user目录；
- $ bin/hdfs dfs -mkdir /user/blues。在user目录创建blues子目录，执行MapReduce任务时需要；
- $ bin/hdfs dfs -put etc/hadoop input。将etc/hadoop目录下的数据写入HDFS；
- $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'。提交MapReduce任务；
- $ bin/hdfs dfs -cat output/*。结果也是保存在HDFS上面的，不下载到本地直接查看；
下面是最终的结果输出，
8dfs.audit.logger4dfs.class3dfs.server.namenode.2dfs.replication2dfs.period2dfs.audit.log.maxfilesize2dfs.audit.log.maxbackupindex1dfsmetrics.log1dfsadmin1dfs.servers1dfs.file
数据文件
现在来看下机器上产生的数据文件（对于理解HDFS会比较直观）。文件是在/tmp/hadoop-blues目录下（先不纠结这个目录的配置），来看下这个目录下的文件，
blues@ubuntu:~/hadoop$ tree /tmp/hadoop-blues/tmp/hadoop-blues├── dfs│ ├── data│ │ ├── current│ │ │ ├── BP-240823735-127.0.1.1-1422454670374│ │ │ │ ├── current│ │ │ │ │ ├── dfsUsed│ │ │ │ │ ├── finalized│ │ │ │ │ │ └── subdir0│ │ │ │ │ │ └── subdir0│ │ │ │ │ │ ├── blk_1073741825│ │ │ │ │ │ ├── blk_1073741825_1001.meta│ │ │ │ │ │ ├── blk_1073741826│ │ │ │ │ │ ├── blk_1073741826_1002.meta│ │ │ │ │ │ ├── blk_1073741827│ │ │ │ │ │ ├── blk_1073741827_1003.meta│ │ │ │ │ │ ├── blk_1073741828│ │ │ │ │ │ ├── blk_1073741828_1004.meta│ │ │ │ │ │ ├── blk_1073741829│ │ │ │ │ │ ├── blk_1073741829_1005.meta│ │ │ │ │ │ ├── blk_1073741830│ │ │ │ │ │ ├── blk_1073741830_1006.meta│ │ │ │ │ │ ├── blk_1073741831│ │ │ │ │ │ ├── blk_1073741831_1007.meta│ │ │ │ │ │ ├── blk_1073741832│ │ │ │ │ │ ├── blk_1073741832_1008.meta│ │ │ │ │ │ ├── blk_1073741833│ │ │ │ │ │ ├── blk_1073741833_1009.meta│ │ │ │ │ │ ├── blk_1073741834│ │ │ │ │ │ ├── blk_1073741834_1010.meta│ │ │ │ │ │ ├── blk_1073741835│ │ │ │ │ │ ├── blk_1073741835_1011.meta│ │ │ │ │ │ ├── blk_1073741836│ │ │ │ │ │ ├── blk_1073741836_1012.meta│ │ │ │ │ │ ├── blk_1073741837│ │ │ │ │ │ ├── blk_1073741837_1013.meta│ │ │ │ │ │ ├── blk_1073741838│ │ │ │ │ │ ├── blk_1073741838_1014.meta│ │ │ │ │ │ ├── blk_1073741839│ │ │ │ │ │ ├── blk_1073741839_1015.meta│ │ │ │ │ │ ├── blk_1073741840│ │ │ │ │ │ ├── blk_1073741840_1016.meta│ │ │ │ │ │ ├── blk_1073741841│ │ │ │ │ │ ├── blk_1073741841_1017.meta│ │ │ │ │ │ ├── blk_1073741842│ │ │ │ │ │ ├── blk_1073741842_1018.meta│ │ │ │ │ │ ├── blk_1073741843│ │ │ │ │ │ ├── blk_1073741843_1019.meta│ │ │ │ │ │ ├── blk_1073741844│ │ │ │ │ │ ├── blk_1073741844_1020.meta│ │ │ │ │ │ ├── blk_1073741845│ │ │ │ │ │ ├── blk_1073741845_1021.meta│ │ │ │ │ │ ├── blk_1073741846│ │ │ │ │ │ ├── blk_1073741846_1022.meta│ │ │ │ │ │ ├── blk_1073741847│ │ │ │ │ │ ├── blk_1073741847_1023.meta│ │ │ │ │ │ ├── blk_1073741848│ │ │ │ │ │ ├── blk_1073741848_1024.meta│ │ │ │ │ │ ├── blk_1073741849│ │ │ │ │ │ ├── blk_1073741849_1025.meta│ │ │ │ │ │ ├── blk_1073741850│ │ │ │ │ │ ├── blk_1073741850_1026.meta│ │ │ │ │ │ ├── blk_1073741851│ │ │ │ │ │ ├── blk_1073741851_1027.meta│ │ │ │ │ │ ├── blk_1073741852│ │ │ │ │ │ ├── blk_1073741852_1028.meta│ │ │ │ │ │ ├── blk_1073741853│ │ │ │ │ │ ├── blk_1073741853_1029.meta│ │ │ │ │ │ ├── blk_1073741854│ │ │ │ │ │ ├── blk_1073741854_1030.meta│ │ │ │ │ │ ├── blk_1073741855│ │ │ │ │ │ ├── blk_1073741855_1031.meta│ │ │ │ │ │ ├── blk_1073741856│ │ │ │ │ │ ├── blk_1073741856_1032.meta│ │ │ │ │ │ ├── blk_1073741858│ │ │ │ │ │ └── blk_1073741858_1034.meta│ │ │ │ │ ├── rbw│ │ │ │ │ └── VERSION│ │ │ │ ├── dncp_block_verification.log.curr│ │ │ │ ├── dncp_block_verification.log.prev│ │ │ │ └── tmp│ │ │ └── VERSION│ │ └── in_use.lock│ └── name│ ├── current│ │ ├── edits_0000000000000000001-0000000000000000001│ │ ├── edits_inprogress_0000000000000000002│ │ ├── fsimage_0000000000000000000│ │ ├── fsimage_0000000000000000000.md5│ │ ├── fsimage_0000000000000000001│ │ ├── fsimage_0000000000000000001.md5│ │ ├── seen_txid│ │ └── VERSION│ └── in_use.lock└── mapred ├── local │ └── localRunner │ └── blues │ ├── jobcache │ │ ├── job_local1924735003_0002 │ │ │ ├── attempt_local1924735003_0002_m_000000_0 │ │ │ └── attempt_local1924735003_0002_r_000000_0 │ │ │ └── output │ │ ├── job_local273556555_0002 │ │ │ ├── attempt_local273556555_0002_m_000000_0 │ │ │ └── attempt_local273556555_0002_r_000000_0 │ │ │ └── output │ │ ├── job_local420307051_0001 │ │ │ ├── attempt_local420307051_0001_m_000000_0 │ │ │ ├── attempt_local420307051_0001_m_000001_0 │ │ │ ├── attempt_local420307051_0001_m_000002_0 │ │ │ ├── attempt_local420307051_0001_m_000003_0 │ │ │ ├── attempt_local420307051_0001_m_000004_0 │ │ │ ├── attempt_local420307051_0001_m_000005_0 │ │ │ ├── attempt_local420307051_0001_m_000006_0 │ │ │ ├── attempt_local420307051_0001_m_000007_0 │ │ │ └── attempt_local420307051_0001_r_000000_0 │ │ │ └── output │ │ └── job_local937170752_0001 │ │ ├── attempt_local937170752_0001_m_000000_0 │ │ ├── attempt_local937170752_0001_m_000001_0 │ │ ├── attempt_local937170752_0001_m_000002_0 │ │ ├── attempt_local937170752_0001_m_000003_0 │ │ ├── attempt_local937170752_0001_m_000004_0 │ │ ├── attempt_local937170752_0001_m_000005_0 │ │ ├── attempt_local937170752_0001_m_000006_0 │ │ ├── attempt_local937170752_0001_m_000007_0 │ │ ├── attempt_local937170752_0001_m_000008_0 │ │ ├── attempt_local937170752_0001_m_000009_0 │ │ ├── attempt_local937170752_0001_m_000010_0 │ │ ├── attempt_local937170752_0001_m_000011_0 │ │ ├── attempt_local937170752_0001_m_000012_0 │ │ ├── attempt_local937170752_0001_m_000013_0 │ │ ├── attempt_local937170752_0001_m_000014_0 │ │ ├── attempt_local937170752_0001_m_000015_0 │ │ ├── attempt_local937170752_0001_m_000016_0 │ │ ├── attempt_local937170752_0001_m_000017_0 │ │ ├── attempt_local937170752_0001_m_000018_0 │ │ ├── attempt_local937170752_0001_m_000019_0 │ │ ├── attempt_local937170752_0001_m_000020_0 │ │ ├── attempt_local937170752_0001_m_000021_0 │ │ ├── attempt_local937170752_0001_m_000022_0 │ │ ├── attempt_local937170752_0001_m_000023_0 │ │ ├── attempt_local937170752_0001_m_000024_0 │ │ ├── attempt_local937170752_0001_m_000025_0 │ │ ├── attempt_local937170752_0001_m_000026_0 │ │ ├── attempt_local937170752_0001_m_000027_0 │ │ ├── attempt_local937170752_0001_m_000028_0 │ │ ├── attempt_local937170752_0001_m_000029_0 │ │ ├── attempt_local937170752_0001_m_000030_0 │ │ ├── attempt_local937170752_0001_m_000031_0 │ │ └── attempt_local937170752_0001_r_000000_0 │ │ └── output │ ├── job_local1924735003_0002 │ ├── job_local273556555_0002 │ ├── job_local420307051_0001 │ └── job_local937170752_0001 └── staging ├── blues1076640456 ├── blues1674612759 ├── blues1924735003 ├── blues273556555 ├── blues420307051 └── blues937170752
很明显dfs跟mapred存放的分别是HDFS跟MapReduce的数据，从本质上来说，Hadoop就是提供了分布式存储（HDFS）与分布式计算（MapReduce）的服务。现在我们只看dfs下的。而dfs的两个子目录data跟name也很明显，分别是datanode跟namenode的数据。
dfs/data
可以看到data下面有很多的blk_xxx文件，这些便是我们在上面第3步$ bin/hdfs dfs -put etc/hadoop input写入的etc/hadoop目录下的所有数据，验证一下，
blues@ubuntu:~/hadoop$ less /tmp/hadoop-blues/dfs/data/current/BP-240823735-127.0.1.1-1422454670374/current/finalized/subdir0/subdir0/blk_1073741825<!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. See accompanying LICENSE file.--><configuration> <property> <name>yarn.scheduler.capacity.maximum-applications</name> <value>10000</value> <description> Maximum number of applications that can be pending and running. </description> </property>...
blk_1073741825这个文件的数据妥妥的就是etc/hadoop目录下文件名排序的第一个文件capacity-scheduler.xml的数据。
而上面我们直接查看的结果则是保存在blk_1073741858这个文件中，
blues@ubuntu:~/hadoop$ cat /tmp/hadoop-blues/dfs/data/current/BP-240823735-127.0.1.1-1422454670374/current/finalized/subdir0/subdir0/blk_10737418588dfs.audit.logger4dfs.class3dfs.server.namenode.2dfs.replication2dfs.period2dfs.audit.log.maxfilesize2dfs.audit.log.maxbackupindex1dfsmetrics.log1dfsadmin1dfs.servers1dfs.file
dfs/name
dfs/name下面主要保存的就是namenode的EditLog和FsImage了，这个设计与ZooKeeper的设计一样，可以参考之前这篇文章。namenode维护的是一些metadata，例如上面我们看到的，查看结果时要将output目录映射到blk_1073741858这个文件中。FsImage保存的就是这些metadata。
至此，我们算是简单了解了Hadoop在分布式存储方面的东东了。Have fun ^_^
参考资料
- http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
- http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
0 0
- Hadoop#1：数据文件
- hadoop外表数据文件路径查询
- 读取plist数据文件1
- ZooKeeper#1：数据文件
- 数据文件
- hadoop权威指南，天气数据文件自动下载下载
- Hadoop Namenode元数据文件 Fsimage、editlog、seen_txid说明
- hadoop streaming两个数据文件实现join合并操作
- 数据库数据文件转移方法1
- 表空间和数据文件1
- 【hadoop】Hadoop学习笔记（七）：使用distcp并行拷贝大数据文件
- hadoop学习之-使用ODCH工具实现oralce外部表访问HDFS数据文件
- hadoop学习之-应用ODCH工具实现oralce外部表访问HDFS数据文件
- hadoop编程小技巧（6）---处理大量小数据文件CombineFileInputFormat应用
- 通达信V6.1分时数据文件格式分析
- 【非关键性数据文件丢失(可以脱机数据文件的丢失)-恢复-1】
- Oracle12c新特性(1)-在信重命名数据文件和迁移数据文件
- 数据文件坏删除数据文件
- 矩阵分析-最小二乘法
- STM32 学习之系统架构
- html button
- android应用程序如何调用支付宝接口
- git 常用命令
- Hadoop#1：数据文件
- javascript--闭包性质以及JS垃圾回收器
- windows Ftp 操作
- 网络基本功系列：细说网络那些事儿
- 学习日志 2015/01/28
- 重写PagerAdapter与FragmentPagerAdapter
- 使用 soapUI 测试 REST 服务
- 有关IPv4的ToS字段
- 记 路由器TP-link WR1043ND-V2 刷Openwrt后 非TTl 修砖经历
