Hadoop笔记之DFS扩容
来源:互联网 发布:关于网络言论自由作文 编辑:程序博客网 时间:2024/06/05 10:09
不经意,实验室的Hadoop集群也运行了一年多了,数据量和log都在日增。最近准备开始新的项目,于是简单地给集群加几块硬盘,来做些地学数据挖掘的工作。Hadoop扩容是非常简单的事情。具体步骤如下:
1.增加我们的硬件,在终端用如下命令查看,系统device的情况。
fdisk -l
能够查看到各个硬盘(光驱、NFS等)的详细情况。具体的参数意义请参考http://linux.about.com/od/commands/l/blcmdl8_fdisk.htm
2.由于是新增加的设备,需要将其格式化成为我们所需要的文件系统类型(ext3,ext4等),我们通常使用mkfs命令来实现,具体参数意义还请参考
http://linux.about.com/od/commands/l/blcmdl8_mkfs.htm格式化成为ext3文件系统,命令如下:
# mkfs -t ext3 -c /dev/devicesnames
3.这一步主要是将格式化之后的mount到HDFS的数据目录下。首先,使用vi或者emcas查看我们的Hadoop集群的${hadoop-home}/conf/hdfs-site.xml文件,其中的dfs.data.dir属性所设定的目录。如果该属性用final标签固定的,那么新增一个目录,不会被作业配置覆盖(除非namenode-format?)。因而,我们只将刚刚的设备挂靠到现有的目录下。我们的部分目录如下:
/dm1/hdfs/Data,/dm2/hdfs/Data
使用如下命令分别将设备mount到各个目录下
mount /dev/device1 /dm1/hdfs/Data ...
4. 修改/etc/fstab文件,在文件后面加上如下一行,使得系统启动的时候自动挂载新设备。
/dev/device1 /dm1/hdfs/Data ext3 defaults 1 2
5. 在${hadoop-home}/bin/hadoop 使用dfs -report命令可以马上看到新增的DFS容量。
- Hadoop笔记之DFS扩容
- Hadoop之DFS扩容
- hadoop学习笔记之<hadoop fs和hdfs dfs命令>
- hadoop 学习笔记1 - DFS
- hadoop之non dfs used
- hadoop卸载及扩容
- Hadoop datanode磁盘扩容
- 集群扩容DataNode报错:Invalid dfs.datanode.data.dir /data2/hadoop/hdfs/data : EPERM: Operation not permitt
- Hadoop DFS源码研究之---Hadoop RPC机制
- Hadoop 之HDFS笔记
- fedora之硬盘扩容
- linux之 LVM扩容
- redis之扩容
- Hadoop学习笔记之---Hadoop I/O
- hadoop权威指南笔记之初识hadoop
- Hadoop学习笔记之安装Hadoop
- Hadoop学习笔记之Hadoop简介
- Hadoop学习笔记之--Hadoop的安装
- 使用memcache作为session的处理器
- Java高手谈做程序员的基本原则
- java 单例类 final类 抽象类
- linux用户与组管理
- 让android支持多种编程语言
- Hadoop笔记之DFS扩容
- KUL目前发现的bug
- 自然语言处理相关书籍及其他资源
- ctags 和 tagslist
- A Knight's Journey(P2488)
- 第八周任务一
- 万一老师直播如何播放音乐文件
- PHP与mysql
- Eclipse无法自动编译出class文件