shell 指令（二）

1.小结：用户通过系统处理数据，检测硬件数据
用户(user* group* ch*)
系统(top)：进程管理ps 优先级nice 定时作业cron
硬件：磁盘 (du/df) 内存(free) cpu(uptime) 网络(net)
数据(mysql)：文本(vim/grep ) 文件(find curd/zip output)






2.参数:
-a 追加 全部
-c -f 执行
-d 目录 + delete
-h 字节单位
-i 忽略大小写 交互-p
-l 显示列表
-n 输出行号
-r 反向排序 递归
-s replace
-t 分隔符
-u 去重排序
-v 反选


user( ugoa rwx )
file(-m modify -c change -a access + date: Ymd His)
zip(zj jc(create)v jx(extract)v )
cron（（分钟（0-59） 小时（0-23） 日期（1-31） 月份（1-12） 周（0(周日)-6） 命令|（所有时刻） ,（分隔时段） -（时段内） /n（每隔n分钟））)
crontab文件的一些例子：4
- / ,同时使
, /等价
星期 日期并列
可执行文件




#每天早上7点执行一次 /bin/ls : 执行文件
0 7 * * * /bin/ls


#每天18 : 00至23 : 00之间每隔30分钟重启apache。 0,30 相同 /30
0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart


#每天晚上11点到早上7点之间，每隔一小时重启apache - /同时使
* 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart


#在 12 月内, 每天的早上 6 点到 12 点中，每隔3个小时执行一次 /usr/bin/backup :
0 6-12/3 * 12 * /usr/bin/backup


#晚上11点到早上8点之间每两个小时，早上8点 - / ,同时使
0 23-7/2，8 * * * date


#每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点 星期和日期是并列的：
0 11 4 * mon-wed date


#每月的4号与每周一到周三的11点重启apache
0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart




其他：


30 21 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每晚的21:30重启apache。


45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每月1、10、22日的4 : 45重启apache。


10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每周六、周日的1 : 10重启apache。


0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每星期六的11 : 00 pm重启apache。


* */1 * * * /usr/local/etc/rc.d/lighttpd restart
每一小时重启apache
/*
0 4 1 jan * /usr/local/etc/rc.d/lighttpd restart
一月一号的4点重启apache


周一到周五每天下午 5:00 寄一封信给 [e-mail] :
0 17 * * 1-5 mail -s "hi" [e-mail] < /tmp/maildata


每月每天的午夜 0 点 20 分, 2 点 20 分, 4 点 20 分....执行 echo "haha"
20 0-23/2 * * * echo "haha"




注意 :当程序在你所指定的时间执行后，系统会寄一封信给你，显示该程序执行的内容，若是你不希望收到这样的信，请在每一行空一格之后加上 > /dev/null 2>&1 即可


#每天早上6点10分
10 6 * * * date


#每两个小时
0 */2 * * * date


#1月份日早上4点
0 4 1 jan * date
/*


3.管道：过滤执行，输出


输出：5
2>/dev/null错误的丢弃
2>&1 正确错误一起输出
< 提取
>> 追加
> 重新写入




字符：12
//tr split tee wc wget iconv tar cut join awk xargs sed
tr 删除冒号 cat /etc/passwd |tr -d ':' > /root/passwd.linux
split 分割10行 split -l 10 ./err.txt termcap
tee 输出文件 cat test.sh | tee -a ok.txt
wc 统计行数 last | grep [a-zA-Z] | grep -v ‘zhouyue' | wc -l
wget下载一个文件： wget -P dir url
iconv 转码：iconv -f from -t to new-aa.txt
tar压缩和解压：tar -cvf -packname filename| tar -xvf -(这个减号是取前面的输出作为输入)
cut 截取第一列 cat /etc/passwd |cut -d ':' -f1 | sort | uniq -c
join 连接字符串 join -t ':' -1 4 /etc/passwd -2 3 /etc/group //-1是第一个文件 -2是第二个文件 4是第四个字段 3是第三个字段 匹配的拿前面去，拼接字符，
awk 选取某一列 cat /etc/passwd | awk -F ':' '{print $5}'>>awk.txt 2>&1
xargs php改名字 ls |grep .php |xargs -i mv {} {}.bak
(sed -n '1,$p' )</etc/passwd #第一行至最后一行， 输出来


4.shell : for while + if case




循环：while
unset var
while [ "$var" != "end" ] # 1.比较时候中括号和等号两头都不能挨着 2.for while if 3.if 判断不挨着 4.read 输入赋值
do # echo -n 不换行
echo -n "please input a number: "
read var
if [ "$var" = "end" ]
then
break
fi
echo "var is $var"
done




循环：for
sum=0
for a in `seq 1 100`
do
if [ `expr $a % 3` -ne 0 ] #expr 加减乘除运算符要有空格
then
continue
fi
echo $a
sum=`expr $sum + $a` #左面赋值的不加$,变量才加$，比如$var
done
echo "sum=$sum"


判断：if then elif then else fi
echo "please input a file name:"
read file_name
if [ -d $file_name ]
then
echo "$file_name is a directory"
elif [ -f $file_name ]
then
echo "$file_name is a regular file"
# elif [ -c $file_name -o -b $file_name ]
# then
# echo "$file_name is a device file"
else
echo "$file_name is an unkonwn file"
fi


判断：case in esac
echo "please input a number"
read number
case $number in
[a-z])
echo 'that is a alpha'
;;
[0-9])
echo 'that is a number'
;;
*)
echo 'please input a alpha or a number'
esac


select 选择
#!/bin/bash
# favourite OS. samli 2004.4.19
echo "What is your favourite OS?"
select var in "Linux" "UNIX" "Windows" "Other"; do
echo "You have selected $var."
#break
done






###定义函数


example1()
{
abc=456
}


###调用函数
example1
echo abc
abc=234234
example1
echo $abc
###定义函数，使用参数
example2()
{
echo $1
echo $2
}


###调用函数,向它传递参数
example2 abc bbb
example2 dksdfsdfsfaa bbb

数组使用

Shell中的数组

一、数组和字符串
Array[3] = "a b c" echo $Array[1]  输出b,
str=“a b c” Array = ($str) echo$Array[1],同样输出b，要注意： Array = ($str)中的右值的括号不能缺
上面这个就是我们常说的把字符串放到一个数组中，也可以理解为动态数组，比C和C++简单多了

计算字符串长度可用的三种方法：
echo “$str”|awk '{print length($0)}'
expr length “$str”
echo “$str”|wc -c
但是第三种得出的值会多1，可能是把结束符也计算在内了

判断字符串为空的方法有三种：
if [ "$str" =  "" ] 
if [ x"$str" = x ]
if [ -z "$str" ] 
二、其他类型的数组
arr=(123 34 3 5) echo $arr，输出123，在这里等同于echo ${arr[0]};
echo ${arr[1]},输出34，注意格式，除了首地址，必须要加上{},否则会出错
三、数组的长度和遍历
length=${#array[@]}----数组的长度，这里的长度是最大下标
echo ${array[@]}-------输出数组全部元素
array[1]=5--------------向数组的某个元素赋值和标c的语法一样
echo ${array[@]:1:2}---输出的是array[0]和array[1]的值
echo ${array[@]:2}-----输出数组第三个元素以后的值
echo ${array[@]::2}-----输出数组下标小于2的值
$ echo ${#array[3]} ----取得元素3的长度
unset array--------------清除array
array=------------------清空array，赋给array空值

遍历字符串方法一
for ((i=0;i<${#array[@]};i++))
do
   echo ${array[$i]}
done

遍历字符串方法二
str="a --m"
for i in $str
do
echo $i
done

用while遍历
len=${#arr[@]}
i=0
while [ $i -lt $len ]
do
echo ${arr[$i]}
let i++
done

四、其他：
Array[3] = "a b c"和Array[3] = a b c这两个是等价的；如果Array[3] = "a "bc""，想要查找"，用awk是找不到的，单引号
是可以找到的，就是双引号找不到；我们可以用截取字符串的方法来判断是否双引号，截取的字符串的方法如下：
${varible##*string} 从左向右截取最后一个string后的字符串
${varible#*string}从左向右截取第一个string后的字符串
${varible%%string*}从右向左截取最后一个string后的字符串
${varible%string*}从右向左截取第一个string后的字符串
将上面的string换成“即可，然后在判断字符串的长度，如果相等就是没有，如果不相等就是有双引号，不可以
用更改数组分隔符的方法，那样做无效，这个双引号是shell内建的符号。

通用的awk查找方法，例如：
find=`echo {${arr[$i]}|awk 'BEGIN{FS=""}{for(i=1;i<=NF;i++) if($i==";") print $i}'`；
也可以用math和index方法，例如：flag=`echo {$line}|awk '{print match($0,"channel")}'` 
数组默认的分隔符是空格，如果想改变默认的分隔符，用下面的方法
str="abd#ddd#ff";str2=($(echo $str|tr ''#''|tr -s ''));

+5.mysql:4
全量：所有库-A 指定库-B 库test 表test b 表结构 -d


1、导出数据库为test下面表名为b的数据
mysqldump -uroot -h 127.0.0.1 test b > b_test.sql


2、导出数据库为test的所有数据
mysqldump -uroot -h 127.0.0.1 test >test.sql


3、导出数据库名为test和retail的数据库
mysqldump -uroot -h 127.0.0.1 -B test retail > /data/db.sql


4、导出所有的数据库
mysqldump -uroot -h127.0.0.1 -A > /data/all.sql


5、导出数据库的结构（以上脚本添加选项 -d）
mysqldump -uroot -h 127.0.0.1 test b -d> b_test.sql




增量：3
//binlog转成sql
mysqlbinlog -d database mysql-bin.000014>bin.sql
//备份
mysqldump -uroot -proot —master-data=1（changemasterto） —events -single-transaction (隔离级别为：REPEATABLE READ，不会看到其他会话已经提交了的数据) database gzip>/opt/all.sql.gz




附加:
1.隔离级别-->mvcc原理-->不同隔离级别使用


//隔离（脏读（读取了未提交的数据） 不可重复读/已提交读（本事务读取到了其他事务提交的数据） 可重复读(本事务不会读取其他事务提交后的数据，本事务更新后会才会读取到，但是会产生幻读，mysql mvcc多版本并发解决了这个问题，)


我们知道，mysql的innodb采用的是行锁，而且采用了多版本并发控制来提高读操作的性能。
什么是多版本并发控制呢 ？其实就是在每一行记录的后面增加两个隐藏列，记录创建版本号和删除版本号，而每一个事务在启动的时候，都有一个唯一的递增的版本号。


在查询时要符合以下两个条件的记录才能被事务查询出来：
删除版本号是在当前事务启动之后做的。 创建版本号是在事务启动之前。
这样就保证了各个事务互不影响。从这里也可以体会到一种提高系统性能的思路，就是：
通过版本号来减少锁的争用。


另外，只有read-committed和 repeatable-read 两种事务隔离级别才能使用mVcc
read-uncommited由于是读到未提交的，所以不存在版本的问题
而serializable 则会对所有读取的行加锁。






2.显示binlog 4--寻找binlog 2-->导出binlog 2


1.登录mysql，使用下面的命令可以列出里面binlog 的sql语句的位置：
mysql --user=root -pmy_pwd -e 'SHOW BINLOG EVENTS G'
mysql> show binlog events;


只查看第一个binlog文件的内容
show binlog events;


查看指定binlog文件的内容
show binlog events in 'mysql-bin.000002';


查看当前正在写入的binlog文件
show master status\G


获取binlog文件列表
show binary logs;


*************************** 1. row ***************************
Log_name: mysql-bin.000001
Pos: 4
Event_type: Format_desc
Server_id: 1
End_log_pos: 106
Info: Server ver: 5.1.73-log, Binlog ver: 4
1 row in set (0.00 sec)




根据pos 范围来提取相关的sql 语句，并保存到文件当中：
mysqlbinlog --start-position=98 --stop-position=117 /var/lib/mysql2/mysql-bin.000001 --result-file=/home/binlog.1


查询的同时导入数据库：
mysqlbinlog --start-position=98 --stop-position=117 /var/lib/mysql2/mysql-bin.000001 |mysql -uroot -p


根据时间来进行恢复：
mysqlbinlog --start-datetime="2009-12-01 12:00:00" --stop-datetime="2009-12-01 19:00:00" /var/lib/mysql2/mysql-bin.000001 --result-file=/home/binlog.1


结合系统命令可以只对某个表的操作进行恢复。比如我只恢复对cdr 表的插入动作进行恢复：
#>grep "insert into cdr " /home/binlog.1 >/home/binlog.2
#>mysql -uroot -ppassword asterisk </home/binlog.2




导入大数据：
mysql load data infile 的用法(40w数据 用了3-5秒导进mysql)
* load data infile "d:/Websites/Sxxxx/test1.txt" ignore into table `names` fields terminated by ',' enclosed by '"';


======================备库参考==============================
自动备份数据库脚本两个！
MySQL：Linux下自动备份数据库的shell脚本 Linux 服务器上的程序每天都在更新 MySQL 数据库，于是就想起写一个 shell 脚本，结合 crontab，定时备份数据库。其实非常简单，主要就是使用 MySQL 自带的 mysqldump 命令。


脚本内容如下：
#!/bin/sh
# File: /home/mysql/backup.sh
# Database info
DB_NAME="test"
DB_USER="username"
DB_PASS="password"
# Others vars
BIN_DIR="/usr/local/mysql/bin"
BCK_DIR="/home/mysql/backup"
DATE=`date %F`
# TODO
$BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS $DB_NAME | gzip > $BCK_DIR/db_$DATE.gz


然后使用将此脚本加到 /etc/crontab 定时任务中：
01 5 * * 0 mysql /home/mysql/backup.sh


好了，每周日凌晨 5:01 系统就会自动运行 backup.sh 文件备份 MySQL 数据库了。
/home/www/inc/back
第二个！！！！
#!/bin/sh
# File: /home/mysql/backup.sh
# Database info bakupmysql
DB_USER="user"
DB_PASS="password"
# Others vars
DATE=`date %Y-%m-%d`
mkdir /home/mysqlbak/$DATE
BIN_DIR="/usr/local/mysql/bin"
BCK_DIR="/home/mysqlbak/$DATE"
# TODO
$BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS discuz > $BCK_DIR/discuz.sql
$BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS zjblog > $BCK_DIR/zjblog.sql
$BIN_DIR/mysqldump --opt -u$DB_USER -p$DB_PASS openads > $BCK_DIR/openads.sql






6.运维监控：10


运维监控：10
free -m fdisk -l df -h du-sh 
vmstat/sar/iostat 1 4   // 每隔1秒,显示一次设备统计信息.总共输出4次
uptime w  uptime 12:39:12 up 2:50, 3 users, load average: 0.00, 0.03, 0.00//当前时间 运行时间 几个用户 1-5-15分钟负载
top --http://jingyan.baidu.com/article/4d58d5412917cb9dd4e9c0ed.html


//处理器进程uptime 统计信息 cpu/进程sar 内存free 交换分区 进程显示区
top - 14:07:44 up  2:41,  2 users,  load average: 0.00, 0.00, 0.00
Tasks: 161 total,   1 running, 160 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.3%sy,  0.0%ni, 99.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   2979092k total,   955380k used,  2023712k free,   144860k buffers
Swap:  2097148k total,        0k used,  2097148k free,   589796k cached
PID USER PR NI  VIRT RES SHR  S %CPU% %MEM%  TIME+ COMMAND






---------查看Linux服务器CPU详细情况--------------
#查看物理CPU的个数
[root@host /]# cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l
---------查看Linux服务器内存情况--------------




#查看内存使用情况
[root@host ~]# free -m 
>total：内存总数
>used：已使用内存数
>free：空闲内存数
>shared：多进程共享内存数
>buffers：缓冲内存数
>cached：缓存内存数
可用内存 = free buffers cached
已用内存 = used-buffers-cached
swap 交换内存数，此项可判断内存是否够用的标准
---------查看Linux服务器硬盘使用情况--------------




#查看硬盘及分区信息
[root@host ~]# fdisk -l 
#检查文件系统的磁盘空间占用情况
[root@host ~]# df -h 
#查看指定目录的大小
[root@host /]# du -sh /bin/    
#查看硬盘的I/O性能
[root@host /]# iostat 1 5#iostaat是含在套装systat中，在CentOs5.5用命令yum -y install sysstat来安装


---------查看Linux服务器的平均负载--------------
[root@host /]# uptime 12:39:12 up 2:50, 3 users, load average: 0.00, 0.03, 0.00
[root@host /]# w 12:39:59 up 2:50, 3 users, load average: 0.00, 0.03, 0.00USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATroot tty1 - 09:53 32:17 0.36s 0.36s -bashroot pts/0 192.168.1.102 10:23 1:54m 0.03s 0.03s -bashroot pts/1 192.168.1.105 12:16 0.00s 0.09s 0.02s w
[root@host /]# vmstat 1 4   // 每隔1秒,显示一次设备统计信息.总共输出4次.
#proces r:等待运行的进程数 b:非中断睡眠状态的进程数 w:被交换出去的可运行进程数
#memory swpd:虚拟内存使用情况 fres:空闲的内存 buff:用作缓存的内存数（单位:KB）
#swap si:从磁盘交换到内存的交换页数量 so:从内存交换到磁盘的交换页数量（单位:kb/秒）
#io bi:发送到块设备的块数 bo:从块设备接收到的块数（单位:块/秒）
#system in:每秒的中断数，包括时钟中断 cs:每秒的环境（上下文）切换数
#cpu us:CPU使用时间 sy:CPU系统使用时间 id:闲置时间（单位:百分比）
标准情况下:r小于5,b约为0
如果user sys 小于70 表示系统性能较好；如果大于等于85以上，表示性能比较糟糕


sar --系统 sar -u 3 5 | sar -P 3 5
%usr：CPU处在用户模式下的时间百分比。
%sys：CPU处在系统模式下的时间百分比。
%wio：CPU等待输入输出完成时间的百分比。
%idle：CPU空闲时间百分比。
在所有的显示中，我们应主要注意%wio和%idle，
 * %wio的值过高，表示硬盘存在I/O瓶颈，
 * %idle值高，表示CPU较空闲，
 * 如果%idle值高但系统响应慢时，有可能是CPU等待分配内存，此时应加大内存容量。
 * %idle值如果持续低于10，那么系统的CPU处理能力相对较低，表明系统中最需要解决的资源是CPU。