Java的大内存分页支持

来源：互联网发布：淘宝子账号手机登陆编辑：程序博客网时间：2024/04/30 05:16

引用：http://kilik.iteye.com/blog/677253

最近在研究java的性能调优，顺手写了一个小程序来测试性能问题。这个程序用来进行矩阵乘法运算，如下：

Java代码  
for (int i = 0; i < 2048; i++)  
    for (int j = 0; j < 2048; j++)  
        for (int k = 0; k < 2048; k++)  
            res[i][j] += mul1[i][k] * mul2[k][j];  

在ubuntu 10.04（64bit）下，JDK 1.6.0.20运行该程序共耗时76秒。分析下来，影响运行速度的因素主要有两个：cache miss 和 TLB miss.

这里主要讲TLB miss的问题，cache miss留待下回分解。由于，在默认情况下内存分页大小为4K, 而每次作乘法时，取值均跨至少8K（4*2048）的范围，而一级数据页表缓存（L1 DTLB）是非常小的，Intel Core 2架构下4KB小页表的条目只有16个。这意味着TLB miss的概率很高，最差情况下每次数据访问都将出现一次miss；而使用大内存分页（如，2M）后，大概每256次数据访问出现一次miss。实际情况确实反映了这一现象，使用大内存页后，同样的程序耗时大幅下降到45秒。

接下来介绍如何在Ubuntu 10.04(64bit) + JDK (Hotspot 1.6.0.20) 环境下启用大内存页，并指定jvm使用大内存页。这些步骤应该也可以应用到其他linux系统。(注，为完成下列步骤，用户需要有root权限）

1. 了解linux系统对大内存页的支持。

# grep Huge /proc/meminfo

HugePages_Total: 0
HugePages_Free: 0
Hugepagesize: 2048 kB

说明，系统支持2M的大内存分页。

2. 修改内核参数，为large page预留内存

a. 设置共享内存段最大值，最少要大于jvm使用的large page的内存。

如需要设置大小为2G（1024*1024*1024*2=2147483648），则添加下行到文件 /etc/sysctl.conf

kernel.shmmax=2147483648

b. 设置需要预留多少大内存页。

如需要为jvm预留1G的large page内存，则需要预留512页大内存页（512*2M=1G）

添加下行到文件 /etc/sysctl.conf

vm.nr_hugepages=512

3. 为你的进程添加访问large page共享内存段的权限

添加新的用户组，并把自己加入到这个组。如，添加用户组 hugetlb，并把当前用户 kilik 添加到该组。

添加下行到文件 /etc/sysctl.conf ，其中1001为用户组hugetlb的gid。

vm.hugetlb_shm_group = 1001

4. 修改用户安全设置，允许进程锁定更大的内存段

large page共享内存必须锁定到主存，不能swap到磁盘，因此需要修改用户的memlock设置。添加如下两行到文件 /etc/security/limits.conf。其中，1048576代表1G（1024*1024 K）

kilik hard memlock 1048576
kilik soft memlock 1048576

5. 重启OS以使上述设置生效。

6. 添加相关jvm运行参数，告诉jvm使用large page内存。

不同的jvm有不同的参数设置来开启大内存页的支持，对Sun Hotspot而言，这个参数是 -XX:+UseLargePages。因此可以使用如下命令行来运行矩阵乘法程序。

java -XX:+UseLargePages -Xmx512m -Xms512m -cp . org.kilik.perf.ClassicMatrixMulti

0 0