MySQL优化

来源：互联网发布：java lamda 编辑：程序博客网时间：2024/06/07 07:43

mysql数据库基本配置建议
2008-06-19 18:58
作者：石展来源：http://hi.baidu.com/wushizhan 转载请注明作者和出处，且不能用于商业用途，违者必究。

如下是数据库安装后的基本配置规范，提取了配置中最最通用的部分，给出数据库最基本的配置要求，且给出的参数是脱离应用，不会由于参数调整引起crash的，请大家回贴多多拍砖！

一.mysql配置文件my.cnf参考:
#####################################################
[mysqld]
#通用配置部分
port = 端口
socket = mysql_path/var/mysql.sock
table_cache = 512
thread_cache = 30
max_connections = 500
back_log = 400
max_connect_errors = 1000
thread_concurrency = 8
log-error=ecomdb-err.log
log-slow-queries = ecomdb-slow.log
long_query_time =1
#mysql 4.1以上开启
#log-queries-not-using-indexes
#若是主库，则开启binlog
#log-bin=ecomdb-master-bin

#建议配置部分(若需结合应用寻求更多帮助，直接回贴问石展~~~~)
#若使用innodb请开启如下配置
#innodb_buffer_pool_size = (内存的50%-80%,建议保守设置)
#innodb_additional_mem_pool_size = 100M
#innodb_log_file_size = 100M
#innodb_log_buffer_size = 16M

#######################################################

2.重要配置选项说明:

(1) 最大连接数
Max_connections为允许的并行客户端最大连接数，为避免连接数溢出引起连接拒绝，调大此值至500:
Max_connections = 500

(2) 最大错误连接数
Max_connect_errors为最大错误连接数，默认为10，当由于密码错误等原因引起与数据库和客户端中断超过该数目，则阻塞后面的连接。建议调大为1000:
Max_connect_errors = 1000

(3) 表缓存
table_cache为所有线程打开的表数目的缓存，增大该值可以增加mysqld需要的文件描述符的数量，建议调至512:
table_cache = 512

(4) 线程缓存
thread_cache为数据库端的线程缓存。如果新连接很多，可以增加该变量以提高性能。此参数和应用对数据库的连接数关系较大，一般比数据库的正常连接数稍大即可，可以考虑设置为30:
thread_cache = 30

(5) back_log
当主MySQL线程在短时间内得到许多连接请求时发挥作用。主线程需要花一些时间(尽管很少)来检查连接并启动一个新线程。back_log值说明 MySQL临时停止响应新请求前在短时间内可以堆起多少请求，可以考虑调整为400：
back_log = 400

(6) 慢查询日志
    如下配置将时间超过 long_query_time(秒) 的慢查询记录到适当命名的慢查询日志文件中，以方便进行数据库优化，超时时间建议为1秒，此项必须开启。
    log-slow-queries = ecomdb-slow.log
    long_query_time =1
    #mysql 4.1以上开启，可记录未使用索引的sql
    #log-queries-not-using-indexes

(7) 二进制日志
对于主库，需开启二进制日志，在灾难恢复及数据库同步时使用：
log-bin=sfdbwsz-master-bin

(8) 错误日志
将数据库严重错误时的信息写入指定文件名的日志文件中，数据库故障时需首先查看这些日志:
log-error=ecomdb-err.log

【back_log】

# back_log 是操作系统在监听队列中所能保持的连接数，队列保存了在MySQL连接管理器线程处理之前的连接。
# 如果你有非常高的连接率并且出现”connection refused” 报错，你就应该增加此处的值。
# 检查你的操作系统文档来获取这个变量的最大值。如果将back_log设定到比你操作系统限制更高的值，将会没有效果。

MySQL有的主要连接请求的数量。当主MySQL线程在短时间内得到许多连接请求时发挥作用。主线程需要花一些时间(尽管很少)来检查连接并启动一个新线程。back_log值说明MySQL临时停止响应新请求前在短时间内可以堆起多少请求。如果你需要在短时间内允许大量连接，可以增加该数值。

#ulimit -s
返回一个8192，不知所云……难道ulimit -s 返回内核栈的大小。

系统有默认的大小限制。。。ulimit -a 可以看到 stack size ，我这里是8K，当然不同的版本还是有差异的。。。
clone函数可以修改栈的大小，如果没有指定那么编译就是用默认的大小限制...
这两个并不冲突

(1)、back_log： phpma.com
要求 MySQL 能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求，这就起作用，然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。
back_log 值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。只有如果期望在一个短时间内有很多连接，你需要增加它，换句话说，这值对到来的TCP/IP连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制。试图设定back_log高于你的操作系统的限制将是无效的。
当你观察你的主机进程列表，发现大量 264084 | unauthenticated user | xxx.xxx.xxx.xxx | NULL | Connect | NULL | login | NULL 的待连接进程时，就要加大 back_log 的值了。默认数值是50，我把它改为500。

开启慢查询日志一般的方法都是写配置文件然后重启

研究了一下可以用set global 开启

从MySQL5.1.6版开始，general query log和slow query log开始支持写到文件或者数据库表两种方式，并且日志的开启，输出方式的修改，都可以在Global级别动态修改。

mysql> set global log_slow_queries=ON ;
有的参数是可以不重启直接通过set global修改，但是如果不修改配置文件重启后参数还原成配置文件里的了

用analyze进行处理，定期进行处理
ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name[, tbl_name]...
对表进行定义分析analyze table table_name
CHECK TABLE tb1_name[,tbl_name]...[option]...option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}
定期对表进行优化
OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name [,tbl_name]...
则应使用OPTIMIZE TABLE命令来进行表优化。这个命令可以将表中的空间碎片进行合并，并且可以消除由于删除或者更新造成的空间浪费，但OPTIMIZE TABLE 命令只对MyISAM、 BDB 和InnoDB表起作用。
例如： optimize table table_name
下面是mysql教程服务器优化配置的方法
(1)、back_log：
要求 MySQL 能有的连接数量。当主要MySQL线程在一个很短时间内得到非常多的连接请求，这就起作用，然后主线程花些时间(尽管很短)检查连接并且启动一个新线程。
back_log值指出在MySQL暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。只有如果期望在一个短时间内有很多连接，你需要增加它，换句话说，这值对到来的TCP/IP连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制。试图设定back_log高于你的操作系统的限制将是无效的。
当你观察你的主机进程列表，发现大量 264084 | unauthenticated user | xxx.xxx.xxx.xxx | NULL | Connect | NULL | login | NULL 的待连接进程时，就要加大 back_log 的值了。默认数值是50，我把它改为500。

(2)、interactive_timeout：
服务器在关闭它前在一个交互连接上等待行动的秒数。一个交互的客户被定义为对 mysql_real_connect()使用 CLIENT_INTERACTIVE 选项的客户。默认数值是28800，我把它改为7200。

(3)、key_buffer_size：
索引块是缓冲的并且被所有的线程共享。key_buffer_size是用于索引块的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)，到你能负担得起那样多。如果你使它太大，系统将开始换页并且真的变慢了。默认数值是8388600(8M)，我的MySQL主机有2GB内存，所以我把它改为402649088(400MB)。

(4)、max_connections：
允许的同时客户的数量。增加该值增加 mysqld 要求的文件描述符的数量。这个数字应该增加，否则，你将经常看到 Too many connections 错误。默认数值是100，我把它改为1024 。

(5)、record_buffer：
每个进行一个顺序扫描的线程为其扫描的每张表分配这个大小的一个缓冲区。如果你做很多顺序扫描，你可能想要增加该值。默认数值是131072(128K)，我把它改为16773120 (16M)

(6)、sort_buffer：
每个需要进行排序的线程分配该大小的一个缓冲区。增加这值加速ORDER BY或GROUP BY操作。默认数值是2097144(2M)，我把它改为 16777208 (16M)。

(7)、table_cache：
为所有线程打开表的数量。增加该值能增加mysqld要求的文件描述符的数量。MySQL对每个唯一打开的表需要2个文件描述符。默认数值是64，我把它改为512。

(、thread_cache_size：
可以复用的保存在中的线程的数量。如果有，新的线程从缓存中取得，当断开连接的时候如果有空间，客户的线置在缓存中。如果有很多新的线程，为了提高性能可以这个变量值。通过比较 Connections 和 Threads_created 状态的变量，可以看到这个变量的作用。我把它设置为 80。

(10)、wait_timeout：
服务器在关闭它之前在一个连接上等待行动的秒数。默认数值是28800，我把它改为7200。

注：参数的调整可以通过修改 /etc/my.cnf 文件并重启 MySQL 实现。这是一个比较谨慎的工作，上面的结果也仅仅是我的一些看法，你可以根据你自己主机的硬件情况（特别是内存大小）进一步修改。
在Apache, PHP, MySQL的体系架构中，MySQL对于性能的影响最大，也是关键的核心部分。对于Discuz!论坛程序也是如此，MySQL的设置是否合理优化，直接影响到论坛的速度和承载量！同时，MySQL也是优化难度最大的一个部分，不但需要理解一些MySQL专业知识，同时还需要长时间的观察统计并且根据经验进行判断，然后设置合理的参数。下面我们了解一下MySQL优化的一些基础，MySQL的优化我分为两个部分，一是服务器物理硬件的优化；二是MySQL自身(my.cnf)的优化。
(1) 服务器硬件对MySQL性能的影响
a) 磁盘寻道能力（磁盘I/O）,以目前高转速SCSI硬盘(7200转/秒)为例，这种硬盘理论上每秒寻道7200次，这是物理特性决定的，没有办法改变。MySQL每秒钟都在进行大量、复杂的查询操作，对磁盘的读写量可想而知。所以，通常认为磁盘I/O是制约MySQL性能的最大因素之一，对于日均访问量在100万PV以上的Discuz!论坛，由于磁盘I/O的制约，MySQL的性能会非常低下！解决这一制约因素可以考虑以下几种解决方案：使用RAID-0+1磁盘阵列，注意不要尝试使用RAID-5，MySQL在RAID-5磁盘阵列上的效率不会像你期待的那样快；抛弃传统的硬盘，使用速度更快的闪存式存储设备。经过Discuz!公司技术工程的测试，使用闪存式存储设备可比传统硬盘速度高出6－10倍左右。
b) CPU 对于MySQL应用，推荐使用S.M.P.架构的多路对称CPU，例如：可以使用两颗Intel Xeon 3.6GHz的CPU。
c) 物理内存对于一台使用MySQL的Database Server来说，服务器内存建议不要小于2GB，推荐使用4GB以上的物理内存。
(2) MySQL自身因素当解决了上述服务器硬件制约因素后，让我们看看MySQL自身的优化是如何操作的。对MySQL自身的优化主要是对其配置文件my.cnf中的各项参数进行优化调整。下面我们介绍一些对性能影响较大的参数。由于my.cnf文件的优化设置是与服务器硬件配置息息相关的，因而我们指定一个假想的服务器硬件环境：
CPU: 2颗Intel Xeon 2.4GHz 内存: 4GB DDR 硬盘: SCSI 73GB
下面，我们根据以上硬件配置结合一份已经优化好的my.cnf进行说明：
# vi /etc/my.cnf以下只列出my.cnf文件中[mysqld]段落中的内容，其他段落内容对MySQL运行性能影响甚微，因而姑且忽略。
[mysqld]
port = 3306
serverid = 1
socket = /tmp/mysql.sock
skip-locking
# 避免MySQL的外部锁定，减少出错几率增强稳定性。
skip-name-resolve禁止MySQL对外部连接进行DNS解析，使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意，如果开启该选项，则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求！

back_log = 384指定MySQL可能的连接数量。当MySQL主线程在很短的时间内接收到非常多的连接请求，该参数生效，主线程花费很短的时间检查连接并且启动一个新线程。
back_log参数的值指出在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中。如果系统在一个短时间内有很多连接，则需要增大该参数的值，该参数值指定到来的TCP/IP连接的侦听队列的大小。不同的操作系统在这个队列大小上有它自己的限制。试图设定back_log高于你的操作系统的限制将是无效的。默认值为50。对于Linux系统推荐设置为小于512的整数。

key_buffer_size = 256M
# key_buffer_size指定用于索引的缓冲区大小，增加它可得到更好的索引处理性能。对于内存在4GB左右的服务器该参数可设置为256M或384M。注意：该参数值设置的过大反而会是服务器整体效率降低！
max_allowed_packet = 4M
thread_stack = 256K
table_cache = 128K
sort_buffer_size = 6M查询排序时所能使用的缓冲区大小。注意：该参数对应的分配内存是每连接独占！如果有100个连接，那么实际分配的总共排序缓冲区大小为100 × 6 ＝ 600MB。所以，对于内存在4GB左右的服务器推荐设置为6-8M。

read_buffer_size = 4M读查询操作所能使用的缓冲区大小。和sort_buffer_size一样，该参数对应的分配内存也是每连接独享！

join_buffer_size = 8M联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享！

myisam_sort_buffer_size = 64M
table_cache = 512
thread_cache_size = 64
query_cache_size = 64M指定MySQL查询缓冲区的大小。可以通过在MySQL控制台执行以下命令观察：
# > SHOW VARIABLES LIKE '%query_cache%';
# > SHOW STATUS LIKE 'Qcache%';
# 如果Qcache_lowmem_prunes的值非常大，则表明经常出现缓冲不够的情况；如果Qcache_hits的值非常大，则表明查询缓冲使用非常频繁，如果该值较小反而会影响效率，那么可以考虑不用查询缓冲；Qcache_free_blocks，如果该值非常大，则表明缓冲区中碎片很多。
sql优化方法
，EXPLAIN 输出的结果格式改变了，使得它更适合例如 UNION 语句、子查询以及派生表的结构。更令人注意的是，它新增了2个字段： id 和 select_type。当你使用早于MySQL 4.1的版本就看不到这些字段了。
　　EXPLAIN 结果的每行记录显示了每个表的相关信息，每行记录都包含以下几个字段：
　　id
　　本次 SELECT 的标识符。在查询中每个 SELECT 都有一个顺序的数值。
　　select_type
　　SELECT 的类型，可能会有以下几种：
　　SIMPLE
　　简单的 SELECT (没有使用 UNION 或子查询)
　　PRIMARY
　　最外层的 SELECT。
　　UNION
　　第二层，在SELECT 之后使用了 UNION 。
　　DEPENDENT UNION
　　UNION 语句中的第二个 SELECT，依赖于外部子查询
　　SUBQUERY
　　子查询中的第一个 SELECT
　　DEPENDENT SUBQUERY
　　子查询中的第一个 SUBQUERY 依赖于外部的子查询
　　DERIVED
　　派生表 SELECT(FROM 子句中的子查询)
　　table
　　记录查询引用的表。
　　type
　　表连接类型。以下列出了各种不同类型的表连接，依次是从最好的到最差的：
　　system
　　表只有一行记录(等于系统表)。这是 const 表连接类型的一个特例。
　　const
　　表中最多只有一行匹配的记录，它在查询一开始的时候就会被读取出来。由于只有一行记录，在余下的优化程序里该行记录的字段值可以被当作是一个恒定值。const 表查询起来非常快，因为只要读取一次!const 用于在和 PRIMARY KEY 或 UNIQUE 索引中有固定值比较的情形。下面的几个查询中，tbl_name 就是 const 表了：
　　
　　SELECT*FROMtbl_nameWHEREprimary_key=1;
　　SELECT*FROMtbl_name
　　WHEREprimary_key_part1=1ANDprimary_key_part2=2;

　　eq_ref
　　从该表中会有一行记录被读取出来以和从前一个表中读取出来的记录做联合。与 const 类型不同的是，这是最好的连接类型。它用在索引所有部分都用于做连接并且这个索引是一个 PRIMARY KEY 或 UNIQUE 类型。eq_ref 可以用于在进行"="做比较时检索字段。比较的值可以是固定值或者是表达式，表达式中可以使用表里的字段，它们在读表之前已经准备好了。以下的几个例子中，MySQL使用了 eq_ref 连接来处理 ref_table：
　　
　　SELECT*FROMref_table,other_table
　　WHEREref_table.key_column=other_table.column;
　　SELECT*FROMref_table,other_table
　　WHEREref_table.key_column_part1=other_table.column
　　ANDref_table.key_column_part2=1;

　　ref
　　该表中所有符合检索值的记录都会被取出来和从上一个表中取出来的记录作联合。ref 用于连接程序使用键的最左前缀或者是该键不是 PRIMARY KEY 或 UNIQUE 索引(换句话说，就是连接程序无法根据键值只取得一条记录)的情况。当根据键值只查询到少数几条匹配的记录时，这就是一个不错的连接类型。ref 还可以用于检索字段使用 = 操作符来比较的时候。以下的几个例子中，MySQL将使用 ref 来处理 ref_table：
　　
　　SELECT*FROMref_tableWHEREkey_column=expr;
　　SELECT*FROMref_table,other_table
　　WHEREref_table.key_column=other_table.column;
　　SELECT*FROMref_table,other_table
　　WHEREref_table.key_column_part1=other_table.column
　　ANDref_table.key_column_part2=1;

　　ref_or_null
　　这种连接类型类似 ref，不同的是MySQL会在检索的时候额外的搜索包含 NULL 值的记录。这种连接类型的优化是从MySQL 4.1.1开始的，它经常用于子查询。在以下的例子中，MySQL使用 ref_or_null 类型来处理 ref_table：
　　
　　SELECT*FROMref_table
　　WHEREkey_column=exprORkey_columnISNULL;

　　index_merge
　　这种连接类型意味着使用了 Index Merge 优化方法。这种情况下，key字段包括了所有使用的索引，key_len 包括了使用的键的最长部分。详情请看"7.2.5 How MySQL Optimizes OR Clauses"。
　　unique_subquery
　　这种类型用例如一下形式的 IN 子查询来替换 ref：
　　value IN (SELECT primary_key FROM single_table WHERE some_expr)
　　unique_subquery 只是用来完全替换子查询的索引查找函数效率更高了。
　　index_subquery
　　这种连接类型类似 unique_subquery。它用子查询来代替 IN，不过它用于在子查询中没有唯一索引的情况下，例如以下形式：
　　value IN (SELECT key_column FROM single_table WHERE some_expr)
　　range
　　只有在给定范围的记录才会被取出来，利用索引来取得一条记录。key 字段表示使用了哪个索引。key_len 字段包括了使用的键的最长部分。这种类型时 ref 字段值是 NULL。range 用于将某个字段和一个定植用以下任何操作符比较时 =, <>, >, >=, <, <=, IS NULL, <=>, BETWEEN, 或 IN：
tmp_table_size = 256M
max_connections = 768指定MySQL允许的最大连接进程数。如果在访问论坛时经常出现Too Many Connections的错误提示，则需要增大该参数值。

max_connect_errors = 10000000
wait_timeout = 10指定一个请求的最大连接时间，对于4GB左右内存的服务器可以设置为5-10。

thread_concurrency = 8该参数取值为服务器逻辑CPU数量×2，在本例中，服务器有2颗物理CPU，而每颗物理CPU又支持H.T超线程，所以实际取值为4 × 2 ＝ 8

skip-networking开启该选项可以彻底关闭MySQL的TCP/IP连接方式，如果WEB服务器是以远程连接的方式访问MySQL数据库教程服务器则不要开启该选项！否则将无法正常连接！