hadoop优化:文件系统设置noatime
来源:互联网 发布:电源监控软件 编辑:程序博客网 时间:2024/06/05 08:44
相信对性能、优化这些关键字有兴趣的朋友都知道在 Linux 下面挂载文件系统的时候设置 noatime 可以显著提高文件系统的性能。默认情况下,Linux ext2/ext3 文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间。因为系统运行的时候要访问大量文件,如果能减少一些动作(比如减少时间戳的记录次数等)将会显著提高磁盘 IO 的效率、提升文件系统的性能。Linux 提供了 noatime 这个参数来禁止记录最近一次访问时间戳。
给文件系统挂载的时候加上 noatime 参数能大幅提高文件系统性能:
# vi /etc/fstab
/dev/sda1 / ext3 defaults,noatime,errors=remount-ro 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
proc /proc proc defaults 0 0
/dev/sda2 swap swap defaults,noatime 0 0
修改设置后只需要重新挂载文件系统、不需要重启就可以应用新设置:
# mount -o remount /
# mount
/dev/sda1 on / type ext3 (rw,noatime,errors=remount-ro)
proc on /proc type proc (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
void touch_atime(struct vfsmount *mnt, struct dentry *dentry)
1405{
1406 struct inode *inode = dentry->d_inode;
1407 struct timespec now;
1408
1409 if (inode->i_flags & S_NOATIME)
1410 return;
1411 if (IS_NOATIME(inode))
1412 return;
1413 if ((inode->i_sb->s_flags & MS_NODIRATIME) && S_ISDIR(inode->i_mode))
1414 return;
1415
1416 if (mnt->mnt_flags & MNT_NOATIME)
1417 return;
1418 if ((mnt->mnt_flags & MNT_NODIRATIME) && S_ISDIR(inode->i_mode))
1419 return;
...
1435}
给文件系统挂载的时候加上 noatime 参数能大幅提高文件系统性能:
# vi /etc/fstab
/dev/sda1 / ext3 defaults,noatime,errors=remount-ro 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
proc /proc proc defaults 0 0
/dev/sda2 swap swap defaults,noatime 0 0
修改设置后只需要重新挂载文件系统、不需要重启就可以应用新设置:
# mount -o remount /
# mount
/dev/sda1 on / type ext3 (rw,noatime,errors=remount-ro)
proc on /proc type proc (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
void touch_atime(struct vfsmount *mnt, struct dentry *dentry)
1405{
1406 struct inode *inode = dentry->d_inode;
1407 struct timespec now;
1408
1409 if (inode->i_flags & S_NOATIME)
1410 return;
1411 if (IS_NOATIME(inode))
1412 return;
1413 if ((inode->i_sb->s_flags & MS_NODIRATIME) && S_ISDIR(inode->i_mode))
1414 return;
1415
1416 if (mnt->mnt_flags & MNT_NOATIME)
1417 return;
1418 if ((mnt->mnt_flags & MNT_NODIRATIME) && S_ISDIR(inode->i_mode))
1419 return;
...
1435}
0 0
- hadoop优化:文件系统设置noatime
- 使用noatime提升文件系统性能
- 需要同时设置 noatime 和 nodiratime 吗?
- 在linux下使用noatime提升文件系统性能
- 提高IO性能(只需要设置 noatime)
- hadoop 文件系统
- Hadoop文件系统
- Hadoop作业JVM堆大小设置优化
- Hadoop作业JVM堆大小设置优化
- hadoop集群优化之内存设置
- 文件系统优化
- mount的noatime选项
- mount的noatime选项
- Hadoop Map&Reduce个数优化设置以及JVM重用
- HDFS-hadoop分布式文件系统
- hadoop文件系统的读取
- Hadoop分布式文件系统使用指南
- Hadoop分布式文件系统使用指南
- mysql 查询邻近的两条记录并合并成一条
- TCP/IP详解学习笔记(5)-- ICMP:internet 控制报文协议
- 沉浸式状态栏
- Mac卸载Android Studio
- win7无法安装Microsoft .NET Framework 4.5\4.0
- hadoop优化:文件系统设置noatime
- Spring 源码阅读-Spring概述
- Combinations(组合数)
- 软件系统维护心得
- xcode 生成注释
- 关键字-分节16(union及大小端)
- TCP/IP详解学习笔记(6)-- IP选路
- 《运维之下》——第三章:运维平台
- HashMap和Hashtable