Linux 新特性--Ext4,Ext3的特點和區別

来源:互联网 发布:北大元培学院知乎 编辑:程序博客网 时间:2024/04/30 14:29

转自:http://lipingke.blog.hexun.com.tw/43323785_d.html


Linux kernel 自 2.6.28 開始正式支持新的文件系統 Ext4。 Ext4 是 Ext3 的改進版,修改了 Ext3 中部分重要的數據結構,而不僅僅像 Ext3 對 Ext2 那樣,只是增加了一個日誌功能而已。Ext4 可以提供更佳的性能和可靠性,還有更為豐富的功能:

關於linux ext4文件系統特性
(
Ext4是內核版本2.6.28的重要部分)

1. 與 Ext3 兼容。 執行若幹條命令,就能從 Ext3 在線遷移到 Ext4,而無須重新格式化磁盤或重新安裝系統。原有 Ext3 數據結構照樣保留,Ext4 作用於新數據,當然,整個文件系統因此也就獲得了 Ext4 所支持的更大容量。

2. 更大的文件系統和更大的文件。 較之 Ext3 目前所支持的最大 16TB 文件系統和最大 2TB 文件,Ext4 分別支持 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的文件系統,以及 16TB 的文件。

3. 無限數量的子目錄 Ext3 目前只支持 32,000 個子目錄,而 Ext4 支持無限數量的子目錄。

4. Extents。 Ext3 采用間接塊映射,當操作大文件時,效率極其低下。比如一個 100MB 大小的文件,在 Ext3 中要建立 25,600 個數據塊(每個數據塊大小為 4KB)的映射表。而 Ext4 引入了現代文件系統中流行的 extents 概念,每個 extent 為一組連續的數據塊,上述文件則表示為“該文件數據保存在接下來的 25,600 個數據塊中”,提高了不少效率。

5. 多塊分配。 當寫入數據到 Ext3 文件系統中時,Ext3 的數據塊分配器每次只能分配一個 4KB 的塊,寫一個 100MB 文件就要調用 25,600 次數據塊分配器,而 Ext4 的多塊分配器“multiblock allocator”(mballoc) 支持一次調用分配多個數據塊。


6. 延遲分配。 Ext3 的數據塊分配策略是盡快分配,而 Ext4 和其它現代文件操作系統的策略是盡可能地延遲分配,直到文件在 cache 中寫完才開始分配數據塊並寫入磁盤,這樣就能優化整個文件的數據塊分配,與前兩種特性搭配起來可以顯著提升性能。

7. 快速 fsck。 以前執行 fsck 第一步就會很慢,因為它要檢查所有的 inode,現在 Ext4 給每個組的 inode 表中都添加了一份未使用 inode 的列表,今後 fsck Ext4 文件系統就可以跳過它們而只去檢查那些在用的 inode 了。

8. 日誌校驗。 日誌是最常用的部分,也極易導致磁盤硬件故障,而從損壞的日誌中恢復數據會導致更多的數據損壞。Ext4 的日誌校驗功能可以很方便地判斷日誌數據是否損壞,而且它將 Ext3 的兩階段日誌機制合並成一個階段,在增加安全性的同時提高了性能。

9. “無日誌”(No Journaling)模式 日誌總歸有一些開銷,Ext4 允許關閉日誌,以便某些有特殊需求用戶可以借此提升性能。

10. 在線碎片整理。 盡管延遲分配、多塊分配和 extents 能有效減少文件系統碎片,但碎片還是不可避免會產生。Ext4 支持在線碎片整理,並將提供 e4defrag 工具進行個別文件或整個文件系統的碎片整理。

11. inode 相關特性。 Ext4 支持更大的 inode,較之 Ext3 默認的 inode 大小 128 字節,Ext4 為了在 inode 中容納更多的擴展屬性(如納秒時間戳或 inode 版本),默認 inode 大小為 256 字節。Ext4 還支持快速擴展屬性(fast extended attributes)和 inode 保留(inodes reservation)。

12. 持久預分配(Persistent preallocation)。 P2P 軟件為了保證下載文件有足夠的空間存放,常常會預先創建一個與所下載文件大小相同的空文件,以免未來的數小時或數天之內磁盤空間不足導致下載失敗。 Ext4 在文件系統層面實現了持久預分配並提供相應的 API(libc 中的 posix_fallocate()),比應用軟件自己實現更有效率。

13. 默認啟用 barrier。 磁盤上配有內部緩存,以便重新調整批量數據的寫操作順序,優化寫入性能,因此文件系統必須在日誌數據寫入磁盤之後才能寫 commit 記錄,若 commit 記錄寫入在先,而日誌有可能損壞,那麽就會影響數據完整性。Ext4 默認啟用 barrier,只有當 barrier 之前的數據全部寫入磁盤,才能寫 barrier 之後的數據。(可通過 “mount -o barrier=0″ 命令禁用該特性。)

Ext4 隨 Linux kernel 2.6.28 正式發布已有數周,測試所使用的 Linux 內核版本為 2.6.28.2,測試工具為 IOzone 3.318。
IOzone 測試命令為:

  1. time /opt/iozone/bin/iozone -a -s 4G -q 256 -y 4 >|/root/ext4-iozone-stdout.txt
復制代碼

上述命令的說明如下:
Auto Mode
File size set to 4194304 KB
Using Maximum Record Size 256 KB
Using Minimum Record Size 4 KB
Command line used: /opt/iozone/bin/iozone -a -s 4G -q 256 -y 4
Output is in Kbytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 Kbytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.

測試結果除了表明 Ext4 的各方面性能都超過了上一代 Ext3,甚至在大多數情況下,比沒有日誌功能的 Ext2 還要快出不少:

 

 

 


reclenwriterewritereadrereadrandom readrandom writebkwd readrecord rewritestride readfwritefrewritefreadfrereadExt2

real 28m12.718s
user 0m10.725s
sys 5m8.265s
4218,680216,596630,248245,80288,700138,065106,1121,882,62373,538214,175218,364566,570247,3818215,308218,690556,064246,260154,680150,052188,3972,462,367130,896217,157216,647583,808248,39716216,457216,843575,046245,701258,660158,750306,8422,654,320220,939216,061218,140598,174246,58132217,925214,289537,976243,081394,013167,002464,2402,397,831340,775217,434219,353583,463246,34164215,460219,256527,919244,362503,227162,917609,5462,546,079456,243216,875217,692571,707244,264128219,081216,173540,831242,526609,750161,442721,7012,656,729551,122217,780217,427579,271242,291256216,091217,631565,111245,157654,274173,955870,5472,574,261634,835216,638219,693563,735247,101Ext3

real 27m42.449s
user 0m11.529s
sys 7m17.049s
4218,242213,039482,132243,98688,007156,926105,5571,540,73975,010216,028216,432522,704243,3858218,390217,915544,892244,979152,424190,454181,4861,945,603130,737218,364216,431530,853243,22216218,083217,683561,038244,506255,244200,032300,2122,096,495221,329216,930216,661514,177244,06932216,258217,013569,246243,811389,745198,275446,4621,934,853338,785216,809219,296530,634243,44664218,850217,711577,529243,725497,689201,693589,5352,036,412450,449219,387214,900514,353244,809128220,234215,687530,519241,615608,244199,619714,2951,992,168553,022217,828218,454513,596241,510256216,011220,188592,578242,548642,341199,408834,2402,092,959624,043217,682218,165529,358242,878Ext4

real 27m3.485s
user 0m10.847s
sys 6m9.578s
4221,823216,992532,488273,66885,210183,195103,0361,862,81774,781225,841220,620523,799272,8488226,028218,580561,960272,036154,972216,505178,4822,135,372132,506227,423215,766641,021271,32816222,241217,746547,548270,895260,899223,895295,2882,095,966223,135226,055216,210621,287273,47532220,121213,025240,426247,628345,210175,977451,6312,145,351342,236225,796213,427598,331269,75964223,983214,437308,696551,577754,941225,897523,1302,218,016448,086227,030214,706582,795272,323128222,576217,816624,636271,293644,500224,997720,4682,308,315582,943225,971217,373552,335274,237256221,202222,238541,685270,898671,748228,085845,4942,215,381643,715225,411219,166580,066273,342




如何使用Ext4

目前的Ext4文件系統是第一個穩定版本,整個的開發進度和發布計劃都被放緩了,就是為了保證用戶可以享受到“和使用Ext3同等級”的穩定。

一個非常重要的事情是,目前還沒有Ext4 Grub。更準確的說,就是目前沒有grub支持ext4。換句話說,就是你目前的發行版本的grub不支持ext4。目前我們的Grub2正在開發之中,在ubuntu和debian發行版中已經有了grub2的grub-pc軟件包了,但是目前官方仍沒有宣布正式支持。在Google SoC中也包含了一個開發版本,且發布了相關補丁。你可以試用一下,你自己選擇嘍。

在你的發行版本的下一個新版本之中,可能會有相關的支持出現。所以安全起見,盡量保持你的/boot目錄為Ext3文件系統類型。

警告歸警告,轉換到Ext4其實是件很容易的事情,如下方法均可:

1 建立一個全新的Ext4文件系統。

這是最簡單的方法,你只需要升級你的e2fsprogs到Ext4,並且使用mkfs.ext4命令創建文件系統即可。

2 從Ext3遷移到Ext4。

你需要使用tune2fs命令和fsck命令,並且當前文件系統需要被卸載才可以。運行命令

tune2fs -O extents,uninit_bg,dir_index /dev/yourfilesystem

此後,你務必運行fsck命令,否則Ext4將無法掛載你的新文件系統。在fsck過程中,可能會有一些error需要你的確認。你可以考慮使用 -p選項,來告訴fsck你想要的是“automatic repair”,即fsck -pf /dev/yourfilesystem

3 使用Ext4來掛載一個Ext3文件系統。

你可以使用mount -t ext4 /dev/yourpartition /mnt來將一個Ext3文件系統用Ext4來掛載,但你將享受不到那些需要改變磁盤格式才可以享受得到的特性,比如Extents。你可以享受到的只有 那些不需要改變磁盤格式即可享受得到的特性,比如多塊分配、延遲分配等。我們當然不建議您這麽做,因為Ext4的優秀特性,您將無法體會….

編譯時的一些註意:
關於選項的取舍,一共有這樣的幾個註意點:


  1. 在“General setup”裏,Cpuset Support是給有多於16個CPU的主機使用的,一般無須選擇。
  2. 在“Block layer”裏,假如沒有2TB的硬盤,就去掉Support for Large Block Devices 。但是實際上如果要使用ext4文件系統,這個選項不能回答N。
  3. 在“ Timer frequency ”裏,默認是250Hz,最好選擇1000Hz以提高GUI響應。經過測試,效果還是不錯的,現在我的GUI反應速度和Windows已經差距不大了。
  4. 默認設置裏面,沒有選上任何Sound的選項,需要自己根據硬件情況把Sound裏的驅動選上。
  5. 如果不是很舊很舊的硬件,就可以去掉APM。
  6. 在Processor family裏選擇對應的CPU的類型,不放心的可以用lshw查看一下。
  7. 如果沒有4G內存,把NOHIGHMEM設置為N。

 

在xconfig裏面可以查找模塊,一般是在找硬件模塊的時候很有用。至於其它的細節情況,可以先用lsmod命令查看一下,一一地選擇對應的模塊。而且,一些內核模塊在中國並沒有相關的硬件,只需要放心大膽地去掉那些無用的模塊。比如說,有了某一個模塊,那麽就可以把和它並列的模塊都去掉。當然,還需要註意選項之間的依賴關系。



用lshw可以查看到某些硬件使用的模塊,這樣可以更快地選擇到自己需要的東西。



如果不是一個kernel的開發者,可以在Kernel Hacking裏面把Debug symbol去掉,這樣可以大大減小內核的大小。



完成選項的選擇後,就可以編譯了:


make-kpkg clean
make-kpkg --initrd kernel_image

有關make-kpkg的情況,可以用man make-kpkg查看,內容並不多。

編譯完成就是安裝。編譯好的內核在上一層目錄,產生了一個deb包,下面安裝一下就好了。

因為make-kpkg是debian的編譯工具,所以其它發行版裏面不能直接使用,那麽過程相對就要復雜一些。大概的是下面的過程:

make bzImage
make modules
make modules_install
make install

更多的信息可以去搜索一下,這裏不再贅述。