Hadoop分布式文件系统

来源:互联网 发布:网络兼职正规网站 编辑:程序博客网 时间:2024/04/27 20:12

1、先理解一下什么是文件系统,什么是系统文件

系统文件:通常放在c盘的windows下。是系统正常启动必须的文件。坏了某个或某几个系统就不能启动了。

文件系统:是操作系统在磁盘上组织文件的方法,也指用于存储文件的磁盘(如C盘、D盘)或文件系统种类(在windows系统中是FAT、NTFS、HFS)(在Linux系统中是Ext2、Ext3、Ext4)

2、文件系统的组成部分

与文件管理有关的软件

被管理的文件

实施文件管理所需数据结构

3、分布式文件系统

如果局域网中有多台服务器,并且共享文件夹也分布在不同的服务器上,这就不利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起,构建成一个目录树这在用户看来,所有共享文件仅存储在一个地点,只需访问一个共享的DFS(Distributed file system)根目录,就能够访问分布在网络上的文件或文件夹,而不必知道这些文件的实际物理位置。

4、Hadoop分布式文件系统

Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统

一台一台的电脑上你都装好了hadoop,每台电脑有相同的用户名,密码。然后其中一台电脑作为master其余电脑作为slave(这个要在安装hadoop后进行配置)。在master这台电脑上启动hadoop,其余的电脑也就都跟着启动了。这样当你把文件导入到hadoop的时候,这个文件是分布的存储在你的这些hadoop电脑上的,至于怎么存,存在哪几台电脑,我们是不需要关心的,会自动给我们处理。这就是所谓的hadoop分布式文件系统


0 0
原创粉丝点击