SiteScope监控系列

SiteScope监控系列一：apache

   本来监控apache通过早期版本的Lr的可以很好的完成。结果后期版本中监控器中没有此选项了，只好使用SiteScope来进行监控，然后再将获取到的数据传给LR了。
   下面简单介绍一下监控过程：
   1、首先安装SiteScope，本人安装的是最新的10.0版本，安装过程比较简单，基本上都是下一步，下一步。
   2、配置apache，这个和之前用LR的监控apache时，配置的方式一样。
  （1）安装apache2.2.9版本（Linux）
   tar zxvf httpd-2.2.9.tar.gz
   ./configure --prefix=[安装路径] --enable-headers=shared --enable-expires=shared --enable-rewrite=shared --enable-status=shared
   make
   make install
  （2）配置apache
   进入httpd.conf文件，添加以下内容：
   <Location /server-status>
        SetHandler server-status
        Order allow,deny
        Allow from all
   </Location>
   ExtendedStatus On
   保存文档。重启Apache。输入http：//IP/server-status进行测试。看能否等到响应信息。
    3、配置SiteScope。
   （1）登录SiteScope；
   （2）新建组；
   （3）新建监控器；
      1>、名称随便输入；
      2>、管理URL，输入：http://IP/server-status?auto
      3>、计数器设置，选择需要监控的指标。
      4>、保存，如果没有问题，SiteScope马上就能获取到apache的性能参数。
   容易出现错误：
   （1）SiteScope必须要有相应的许可证号。
   （2）apache配置文件有问题，配置好httpd.conf之后，一定要测试一下。
    4、 在LR中获取SiteScope数据
    （1）在Controller的监视器中选择SiteScope，
    （2）填写SiteScope的IP地址和操作系统，
    （3）获取SiteScope的监控内容，选择相应的计数器，
    （4）完成监控。
   注意：LR9.5取SiteScope10.0，连接上之后，LR的Controller会报一个错误：Monitor name :SiteScope. Failed to connect to server 10.1.80.5, port 8888.Details: 服务器返回的信息无效或不可识别.此问题不影响监控.
   至此完成对apache的监控。

SiteScope监控系列二：Mysql

  监测MySQL需要使用到JDBC驱动程序，为了让sitescope能够监测到MySQL，请到下载MySQL JDBC驱动，下载成功后，解压文件，把 “mysql-connector-java-X.XXX-bin.jar”这个压缩文件复制到(sitescope安装目录下)sitescope\java\lib\ext下，重启系统。

1. 进入sitescope主界面，点击“新建组”，输入自定义的组名，即可成功添加组；

2. 进入新建的组，在新建组一栏下点击“新建监控器”，新添加监控器，监控mysql的监视器选择“数据库计数器”；

3. 进入监控器设置：

主设置：

数据库连接URL：jdbc:mysql://IP/数据库名称；

例如：jdbc:mysql://206.168.191.19/aBigDatabase；

查询：show status;

数据库驱动程序：org.gjt.mm.mysql.Driver；

4. 点击“获取计数器”，“OK”保存，到此为止，SiteScope已经能够监测到数据信息；

5. 连接LoadRunner：打开 LoadRunner的Controller，在“run”中添加“sitescope”，即可成功监测到被测数据库的信息了。

连接远程的MYSQL数据库
报以下错误：Host 'HostName' is not allowed to connect to this MySQL server

需要创建用户并且指定机器名就OK了

ERROR 1130: Host '192.168.1.3' is not allowed to connect to this MySQL server  

解决方法：

1．改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，从"localhost"改称"%"

mysql -u root -pvmwaremysql>use mysql;mysql>update user set host = '%' where user = 'root';mysql>select host, user from user;

2. 授权法。例如，你想myuser使用mypassword从任何主机连接到mysql服务器的话。

GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;

如果你想允许用户myuser从ip为192.168.1.18的主机连接到mysql服务器，并使用mypassword作为密码

GRANT ALL PRIVILEGES ON *.* TO'root'@'192.168.1.8' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;（建议使用的方法）

GRANT ALL PRIVILEGES ON *.* TO 'root'@'10.10.40.54' IDENTIFIED BY '123456' WITH GRANT OPTION

 

附录：

mysql常用计数器

计数器

计数器分析

Threads_connected

表示当前有多少个客户连接该mysql服务器，连接数是否过多，网络是否存在问题，它是动态变化的，当达到最大连接数时，数据库系统就不能提供更多的连接数了，这时，程序还想新建连接线程，数据库系统就会拒绝，如果程序没做太多的错误处理，就会出现报错信息

Threads_running

如果数据库超负荷，将会得到一个正在（查询的语句持续）增长的数值。这个值也可以小于预先设定的值。这个值在很短的时间内超过限定值是没问题的。若超过预设值时且5秒内没有回落，要同时监视其他的一些值

Aborted_clients

客户端被异常中断的数值，对于一些应用程序是没有影响的，但对于另一些应用程序可能要跟踪该值，因为异常中断连接可能表明一些应用程序有问题

Questions

每秒钟获得的查询数量，也可以是全部查询的数量。

Opened_tables

指表缓存没有命中的数量。如果该值很大，就需要增加table_cache的数值

Select_full_join

没有主键(key)联合(join)的执行。该值可能是零。这是捕获开发错误的好方法，因为这样的查询有可能降低系统的性能

Select_scan

执行全表搜索查询的数量。如果发现该值持续增长，说明需要优化，缺乏必要的索引或其他问题

Slow_queries

超过该值(--long-query-time)的查询数量，或没有使用索引查询数量。对于全部查询会有小的冲突。如果该值增长，表明系统有性能问题

Threads_created

该值一般较低。较高的值意味着需要增加thread_cache的数值，或遇到了持续增加的连接，表明存在潜在的问题

 

用mysqldumpslow分析mysql的slow query log

mysql有一个功能就是可以log下来运行的比较慢的sql语句，默认是没有这个log的，为了开启这个功能，要修改my.cnf或者在mysql启动的时候加入一些参数。如果在my.cnf里面修改，需增加如下几行

引用

long_query_time = 1
log-slow-queries = /var/youpath/slow.log
log-queries-not-using-indexes[这个在mysql4.10以后才被引入]

long_query_time 是指执行超过多久的sql会被log下来，这里是1秒。
log-slow-queries 设置把日志写在那里，可以为空，系统会给一个缺省的文件host_name-slow.log，我生成的log就在mysql的data目录
log-queries-not-using-indexes 就是字面意思，log下来没有使用索引的query。
把上述参数打开，运行一段时间，就可以关掉了，省得影响生产环境。

接下来就是分析了，我这里的文件名字叫host-slow.log。
先mysqldumpslow –help以下，我主要用的是

引用

-s ORDER what to sort by (t, at, l, al, r, ar etc), ‘at’ is default
-t NUM just show the top n queries
-g PATTERN grep: only consider stmts that include this string
-s，是order的顺序，说明写的不够详细，俺用下来，包括看了代码，主要有
c,t,l,r和ac,at,al,ar，分别是按照query次数，时间，lock的时间和返回的记录数来排序，前面加了a的时倒叙
-t，是top n的意思，即为返回前面多少条的数据
-g，后边可以写一个正则匹配模式，大小写不敏感的

mysqldumpslow -s c -t 20 host-slow.log
mysqldumpslow -s r -t 20 host-slow.log
上述命令可以看出访问次数最多的20个sql语句和返回记录集最多的20个sql。
mysqldumpslow -t 10 -s t -g “left join” host-slow.log
这个是按照时间返回前10条里面含有左连接的sql语句。
用了这个工具就可以查询出来那些 sql语句是性能的瓶颈，进行优化，比如加索引，该应用的实现方式等。  

 

linux系统整体性能查看的方法:

vmstat 10 -----每10秒刷新一次

 

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 0  0      0  56508  10968  68380    0    0   184    40 1021   88  3 14 78  5  0
 0  0      0  56508  10976  68376    0    0     0     3 1251   49  0  0 100  0  0
 0  0      0  56508  10976  68376    0    0     0     0 1250   50  0  0 100  0  0
 0  0      0  56508  10984  68376    0    0     0     4 1251   51  0  0 100  0  0
 0  0      0  56508  10984  68376    0    0     0     0 1250   48  0  0 100  0  0
 0  0      0  56508  10984  68376    0    0     0     0 1250   50  0  0 100  0  0
 0  0      0  56508  10984  68376    0    0     0     0 1250   51  0  0 100  0  0
 0  0      0  56508  10992  68376    0    0     0     2 1250   49  0  0 100  0  0
 0  0      0  56508  10992  68376    0    0     0     0 1250   51  0  0 100  0  0

 

procs:
r-->;在运行队列中等待的进程数
b-->;在等待io的进程数
w-->;可以进入运行队列但被替换的进程

memoy
swap-->;现时可用的交换内存（k表示）
free-->;空闲的内存（k表示）

pages
re－－》回收的页面
mf－－》非严重错误的页面
pi－－》进入页面数（k表示）
po－－》出页面数（k表示）
fr－－》空余的页面数（k表示）
de－－》提前读入的页面中的未命中数
sr－－》通过时钟算法扫描的页面

disk 显示每秒的磁盘操作。 s表示scsi盘，0表示盘号

fault 显示每秒的中断数
in－－》设备中断
sy－－》系统中断
cy－－》cpu交换

cpu 表示cpu的使用状态
cs－－》用户进程使用的时间
sy－－》系统进程使用的时间
id－－》cpu空闲的时间


其中:
如果 r经常大于 4 ，且id经常少于40，表示cpu的负荷很重。
如果pi，po长期不等于0，表示内存不足。
如果disk经常不等于0，且在 b中的队列大于3，表示 io性能不好。

 

每100s显示一次mysql运行的状态:

mysqladmin extended -i100 –r

 

显示mysql服务器的线程列表

mysqladmin -u root -p process

Enter password:

+----+------+-----------+----+---------+------+-------+------------------+

| Id | User | Host      | db | Command | Time | State | Info             |

+----+------+-----------+----+---------+------+-------+------------------+

| 12 | root | localhost |    | Query   | 0    |       | show processlist |

+----+------+-----------+----+---------+------+-------+------------------+

 

以下部分转自网络：

 

一，获取mysql用户下的进程总数

ps -ef | awk '{print $1}' | grep "mysql" | grep -v "grep" | wc-1

二，主机性能状态

# uptime

[root@ ~]# uptime
 13:05:52 up 53 days, 52 min,  1 user,  load average: 0.00, 0.00, 0.00

 

三，CPU使用率

# top
或
# vmstat

四，磁盘IO量

# vmstat或 # iostat
五，swap进出量[内存]

# free
六，数据库性能状态
(1)QPS(每秒Query量)
QPS = Questions(or Queries) / seconds
mysql > show /*50000 global */ status like 'Question';

(2)TPS(每秒事务量)
TPS = (Com_commit + Com_rollback) / seconds
mysql > show status like 'Com_commit';
mysql > show status like 'Com_rollback';

(3)key Buffer命中率
key_buffer_read_hits = (1-key_reads / key_read_requests) * 100%
key_buffer_write_hits = (1-key_writes / key_write_requests) * 100%

mysql> show status like 'Key%';

(4)InnoDB Buffer命中率
innodb_buffer_read_hits = (1 - innodb_buffer_pool_reads / innodb_buffer_pool_read_requests) * 100%

mysql> show status like 'innodb_buffer_pool_read%';

(5)Query Cache命中率
Query_cache_hits = (Qcahce_hits / (Qcache_hits + Qcache_inserts )) * 100%;

mysql> show status like 'Qcache%';
(6)Table Cache状态量
mysql> show status like 'open%';

(7)Thread Cache命中率
Thread_cache_hits = (1 - Threads_created / connections ) * 100%

mysql> show status like 'Thread%';

mysql> show status like 'Connections';

(8)锁定状态
mysql> show status like '%lock%';

(9)复制延时量
mysql > show slave status

(10) Tmp Table状况(临时表状况)
mysql > show status like 'Create_tmp%';
(11) Binlog Cache 使用状况
mysql > show status like 'Binlog_cache%';

(12) Innodb_log_waits量
mysql > show status like 'innodb_log_waits';