运维工作常用的shell命令

Author by :Andy-xu
Blog:my.oschina.net/xxbAndy/blog

#seq 1 100 //1到100排序
#seq 1 3 100 //1到100排序，间隔为3

shell中的变量设置规则:
1.变量与变量的内容用"="链接；
2.等号两边不能直接接空格
3.变量只能是英文字母与数字(必须以字母开头)
4、变量内容若有空格符可以使用双引号或者单引号将变量结合起来(注意：双引号中的特殊字符$,可以保持原有特性，单引号的特殊字符仅作为一般字符)
#awk -F '{print $"$i"}'
5.若该变量需要在其他子程序执行，则需要以export来使变量变成环境变量(自定义变量转变成环境变量)
注意：子进程会继承父进程的(使用bash或sh切换到子shell)
#export name 加载name环境变量
6.shell内置的环境变量的含义：
$？ 返回上一个进程的返回值
$$ 返回当前运行进程的PID
$! 后台进行的最后一个进程的PID

7.查看进程的方式：
#ps -aux / #top /#pstree /#netstat -antlp
8.杀死进程
#kill /#pkill / #killall
9.通过程序查找进程的PID
#pgrep -l http 显示程序的名字和进程PID(-o显示起始进程PID；-n显示终止进程PID)
10.进程的调度：
#nohup 退出系统后可以继续运行某个程序。(可以启动一个要运行几天甚至几周的进程)
#renice 通过修改进程的优先值，调度进程的发生
#at，crontab 通过定时处理相关的程序调度
#kill 中断一个后台进程进行相应的调度

####################################3系统全面查看工具：###############################################
11.linux下查看网络流量的命令：
#sar -n DEV 1 4 （查看网络接口，每一秒查看一次，查找4次） #sysstat包(sar系统活动情况报告)
-n 选项提供6个不同的开关:DEV|EDEV|NFS|NFSD|SOCK|ALL
DEV:显示网络接口信息
EDEV：显示关于网络错误的统计数据
NFS:统计活动NFS客户端
NFSD:统计NFS服务器端
SOCK:统计套接字
ALL:统计所有
rxpck/s：每秒钟接收的数据包
txpck/s：每秒钟发送的数据包
rxkb/s：每秒钟接收的字节数
txkb/s：每秒钟发送的字节数
rxcmp/s：每秒钟接收的压缩数据包
txcmp/s：每秒钟发送的压缩数据包
rxmcst/s：每秒钟接收的多播数据包
[root@node2 ~]# sar -n DEV 2 2
Linux 2.6.32-431.el6.x86_64 (node2.example.com) 09/26/2014 _x86_64_ (1 CPU)
10:24:51 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
10:24:53 AM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:24:53 AM eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:24:53 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
10:24:55 AM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:24:55 AM eth0 0.50 0.50 0.03 0.19 0.00 0.00 0.00
Average: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
Average: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: eth0 0.25 0.25 0.01 0.09 0.00 0.00 0.00

sar的详细用法：
sar [options] [-A] [-o file] t

t 为采样间隔，n为采样次数，默认为1；
-o file 表示将命令结果以二进制文件存储在文件中
options表示命令选项：
-A:所有报告的总和
-u:输出CPU使用情况的统计信息
-v:输出inode、文件和其他内核表的统计信息
-d:输出每一块设备的活动信息
-r:输出内存和交换空间的统计信息
-b:显示I/O和传送速率的统计信息
-c:输出进程统计信息，每秒创建的进程数
##############################################################################################

12.网络数据采集分析工具:tcpdump
#tcpdump -i eth0 监视指定网络接口的数据包
#tcpdump host IP 指定固定IP 进行获取相应的数据包
#tcpdump host 10.0.0.1 and \ (ip1 or ip2\) 截获10.0.1主机和ip1或ip2的通信
#tcpdump -i eth0 src host name 截获主机name发送的所有数据
#tcpdump -i eth0 dst host name 监视所有送到主机name的数据包
#tcpdump tcp port 23 host ip1 截取主机IP1接受或发出的telnet包
注意:好像还有ifstat，nload，iptraf等工具可以使用

13.查看网络连接状况：
#w (查看链接到本机的)
#netstat -ant (查看本机连接)

查看/boot使用率 (可以使用这个统计磁盘使用率，并进行报警)
#df -T | grep /boot | awk '{print $6}' |awk -F % '{print $1}'
#df -T | grep /boot | awk '{print $6}' |cut -d% -f 1

批量替换
[root@desktop51 Desktop]# sed -i "s/xx/co/g" /root/lines

[root@desktop51 ~]# grep ich /usr/share/mime/packages/freedesktop.org.xml | sed 's/[ ]*//g' > /root/xx 这个是替换所有的空格g表示全文
[root@desktop51 ~]# grep ich /usr/share/mime/packages/freedesktop.org.xml | sed 's/[ ]*//' > /root/lines 这个呢只是替换行前面的空格

root@desktop51 ~]# du --exclude=*.iso /var/ftp/pub/ -sh 统计pub目录里不包含.iso的文件并统计大小

find使用详解：

-name filename #查找名为filename的文件
-perm #按执行权限来查找
-user username #按文件属主来查找
-group groupname #按组来查找
-mtime -n +n #按文件更改时间来查找文件，-n指n天以内，+n指n天以前
-atime -n +n #按文件访问时间来查GIN: 0px">

-ctime -n +n #按文件创建时间来查找文件，-n指n天以内，+n指n天以前

-nogroup #查无有效属组的文件，即文件的属组在/etc/groups中不存在
-nouser #查无有效属主的文件，即文件的属主在/etc/passwd中不存
-newer f1 !f2 找文件，-n指n天以内，+n指n天以前
-ctime -n +n #按文件创建时间来查找文件，-n指n天以内，+n指n天以前
-nogroup #查无有效属组的文件，即文件的属组在/etc/groups中不存在
-nouser #查无有效属主的文件，即文件的属主在/etc/passwd中不存

-type b/d/c/p/l/f #查是块设备、目录、字符设备、管道、符号链接、普通文件

find / -mmin -5 # 查找在系统中最后5分钟里修改过的文件

[root@desktop51 Desktop]# find -type f -exec du {} \; | sort -nr | head -3
600 ./RH135/RH135-13 安装和管理软件.pdf
536 ./RH135/RH135-12 管理SELINUX.pdf
452 ./RH135/RH135-5 网络配置和排错.pdf

-n
是显示升序

3.查找一个文件出现频率最高的是个词
cat words.txt | sort | uniq -c | sort -k1,1nr | head -10
　　主要考察对sort、uniq命令的使用，相关解释如下，命令及参数的详细说明请自行通过man查看，简单介绍下以上指令各部分的功能：

sort: 对单词进行排序

uniq -c: 显示唯一的行，并在每行行首加上本行在文件中出现的次数

sort -k1,1nr: 按照第一个字段，数值排序，且为逆序

head -10: 取前10行数据

[root@desktop51 ~]# cat .bash_history | sort | uniq -c | sort -k1,1nr |head -3
173 ls
25 cd ..
22 mail

找出用户和id 最后5个
[root@desktop51 ~]# awk -F: '{print $1":"$3}' /etc/passwd | tail -5
postgres:26
jboss:496
rhevm:109
vdsm:36
test:501
[root@desktop51 ~]# awk -F: '{print $1"\t" $3}' /etc/passwd | tail -5
postgres 26
jboss 496
rhevm 109
vdsm 36
test 501

[root@desktop51 ~]# df -h | grep / | head -1 | awk '{print $5}'
60%
[root@desktop51 ~]# df -h | grep /$ 以/结尾的
/dev/sda2 73G 42G 28G 60% /
[root@desktop51 ~]# df -h | grep /$ | awk '{print $5}' | awk -F% '{if ($1>50) {print "根分区使用大于50%"} else {print "根分区使用小于50%"}}'
根分区使用大于50%
[root@desktop51 ~]# df -h | grep /#
[root@desktop51 ~]# df -h | grep /$
/dev/sda2 73G 42G 28G 60% /
[root@desktop51 ~]#
4.
[root@desktop51 ~]# uptime | cut -d, -f1 | awk '{print $3}' | awk -F: '{print " 系统运行了"$1"小时"$2"分钟"}'
系统运行了2小时58分钟

#cat /var/log/secure | awk '/Failed/{print $(NF-3)}' 打印倒数第四个
注意：这样统计的是每个ip的访问次数，记住有些ip可能多次访问，因此需要进行整理数据
#sort |uniq -c 进行排序，并且统计ip的个数

5.
[root@desktop51 ~]# netstat -antlp | grep LISTEN
tcp 0 0 0.0.0.0:50725 0.0.0.0:* LISTEN 1873/rpc.statd
tcp 0 0 127.0.0.1:5900 0.0.0.0:* LISTEN 11790/qemu-kvm
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1715/rpcbind
tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 2502/dnsmasq
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 2137/sshd
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 1926/cupsd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 2247/master
[root@desktop51 ~]# netstat -antlp | grep LISTEN | awk '{print $NF}'
1873/rpc.statd
11790/qemu-kvm
1715/rpcbind 在awk中$NF表示最后一列？ -F指定分割符默认空格
2502/dnsmasq
2137/sshd
1926/cupsd
2247/master

输出只监听的进程和pid
[root@desktop51 ~]# netstat -antlp | grep LISTEN | awk '{print $NF}' | sort -u | awk -F/ '{print $2 "("$1")"}'
qemu-kvm(11790)
rpcbind(1715)
rpc.statd(1873)
cupsd(1926)
sshd(2137)
master(2247)
dnsmasq(2502)

只输出设备的ip和netmask
[root@desktop51 ~]# ifconfig | grep inet | awk '{print $2":"$4}' | awk -F: '{print $2 "/"$4}'
192.168.0.51/255.255.255.0
127.0.0.1/
192.168.122.1/255.255.255.0
akw语言用-F指定分割符，默认不写表示的是空格

30-31是字体颜色
40-41是背景颜色
[root@desktop12 Desktop]# echo -e "\033[41m A \033[0m" 输出红背景的A
A
[root@desktop12 Desktop]# echo -e "\033[31m A \033[0m" 输出红字体A
A

#echo $RANDOM|md5sum | cut -c 1-8 加密字符串8个(一般可以作为用户密码)

使用 ip 的ping测试，可以将在线和线下的输出直接>>到一个文件日志里面。在执行ip测试脚本的时候直接使用后台进行执行。

解决ddos攻击生产案例脚本：
#!/bin/bash
for a in `netstat -antlp | grep ES |awk '{print $5}'|cut -d: -f1 | uniq -c | sort -r |awk '$1 > 100 {print$2}'`
do
iptables -A INPUT -s $a -j DROP
done

mysql多实例启动脚本：(启动和关闭命令已知)使用函数，case，if
#！/bin/bash
function start(){
mysqld_safe --default-file=/data/3306/my.cnf &
}
function stop(){
mysqladmin -u root -pxxbandy -S /data/3306/mysql.sock shutdown
}
case "$1" in
start)
start
;;
stop)
stop
;;
*)
exit 3
;;
esac

变量赋值 变量=值
乘法 expr 3 \* 5
var1=3
expr $var1 \* 10
赋值乘法
var2=`expr $var1 \* 3` //注意前提是var1有值
echo $var2 显示var2的值为9
a=10 b=3 c=9
expr $a + $b + $c //输出a+b+c的值
d=`expr $a + $b + $c` //将计算结果赋值给d
echo $d

打印星星：
#/bin/bash
for i in `seq 1 23`
do
spaceNumber=`expr 20 + $i`
for j in `seq 1 $spaceNumber`
do
echo -n ' '
done

startNumber=`expr 48 - 2 \* $i - 1`
for k in `seq 1 $startNumber`
do
echo -n '*'
done
echo
done