linux运维故障定位汇总
2014-01-04 15:37
363 查看
linux 运维常用shell命令
1.删除0字节文件
2.查看进程按内存从大到小排列
3.按cpu利用率从大到小排列
4.打印说cache里的URL
5.查看http的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
6. sed -i '/Root/s/no/yes/' /etc/ssh/sshd_config (sed在这个文里Root的一行，匹配Root一行，将no替换成yes.)
7..如何杀掉mysql进程：
8.显示运行3级别开启的服务:ls /etc/rc3.d/S* |cut -c 15- (从中了解到cut的用途，截取数据)
9.如何在编写SHELL显示多个信息，用EOFcat << EOF+--------------------------------------------------------------+| === Welcome to Tunoff services === |+--------------------------------------------------------------+EOF
10. for 的巧用(如给mysql建软链接)
ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
12.内存的大小:
13. 查看80端口的连接数
14 .查看Apache的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
15.因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦.find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。
---------------------------------------------------------------------------------------16 CPU负载 # cat /proc/loadavg检查前三个输出值是否超过了系统逻辑CPU的4倍。
18 CPU负载 #mpstat 1 1检查%idle是否过低(比如小于5%)
21 磁盘空间 # df -h检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：# du -cks * | sort -rn | head -n 10
22 磁盘I/O负载 # iostat -x 1 2检查I/O使用率(%util)是否超过100%
23 网络负载 # sar -n DEV检查网络流量(rxbyt/s, txbyt/s)是否过高
24 网络错误 # netstat -i检查是否有网络错误(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev
25 网络连接数目 # netstat -an | grep -E "^(tcp)" | cut -c 68- | sort | uniq -c | sort -n
26 进程总数 # ps aux | wc -l检查进程个数是否正常 (比如超过250)
27 可运行进程数目 # vmwtat 1 5列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍
28 进程 # top -id 1观察是否有异常进程出现
29 网络状态 检查DNS, 网关等是否可以正常连通
30 用户 # who | wc -l检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime
31 系统日志 # cat /var/log/rflogview/*errors检查是否有异常错误记录 也可以搜寻一些异常关键字，例如：
32 核心日志 # dmesg检查是否有异常错误记录
34 打开文件数目 # lsof | wc -l检查打开文件总数是否过多
35 日志 # logwatch –print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。
36.杀掉80端口相关的进程lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh
37.清除僵死进程。ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
38.tcpdump 抓包 ，用来防止80端口被人攻击时可以分析数据# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
39.然后检查IP的重复数 并从小到大排序 注意 "-t\ +0" 中间是两个空格# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0
40.查看有多少个活动的php-cgi进程netstat -anp | grep php-cgi | grep ^tcp | wc -lchkconfig --list | awk '{if ($5=="3:on") print $1}'
41，列出最常用的十条命令history | awk '{a[$4]++}END{for(i in a){print a[$i] " " i}}' | sort -rn | head
42，批量重命名
44，脚本修改密码的方法
45,查询服务器型号/序列号dmidecode | grep -A 4 "System Information" | sed -n '3p;$p'
46,删除空目录find . -type d -empty | xargs rm -rf
47,找出当前目录下2K以上的文件移到/tmp目录find . -type f -size +2k|xargs -i mv {} /tmp
48,netstat命令只显示80端口netstat -ntpl|grep ":80[[:space:]]"
49,递归建目录mkdir -p {0..255}/{0..255}
50,shell求1到100和的问题seq 1 100 | awk '{sum+=$0}END{print sum}'
51,awk匹配范围时可以条件选择awk '/start1/||/start2/,/end/' file
52,我想往每个文件夹里复制同一个文件有什么好方法吗？find dir -type d -mindepth 1 | xargs -i echo "cp a" {} | sh
55，查看http的并发请求数及其TCP连接状态netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
56，如何杀掉mysql进程？ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9
58,取IP地址ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6-或者:ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
59,查看Apache的并发请求数及其TCP连接状态netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
60,杀掉80端口相关的进程lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'
61,清除僵死进程ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
62,将整列合并成两行
63，shell 语句记录,打印时间 每隔10秒awk 'BEGIN{for(i=0;i<=36000;i+=10) printf "%02d:%02d:%02d\n",i/3600+8,i/60%60,i%60}'
64， 查询一个目录下的文件个数 （包括字目录）find . -type f -printf %h"\n"|sort|uniq -c
65,查询一个进程已经运行了多长时间ps -eo comm,etime | grep syslogd | awk '{print $2}'
66,将数字1234567890 从后往前每隔3位 加一个逗号
67,将lettet文本的 每个英语单词 首字母变成大写echo "aaaaaaaa">>lettersed 's/\<[a-z]/\U&/g' letter
68,如何在编写SHELL显示多个信息，用cat << EOF+--------------------------------------------------------------+| === Welcome to Tunoff services === |+--------------------------------------------------------------+EOF
69,使文件中前2列和后3列完全一样的行只保留1行(任取一行保留)aa b test asfa??fff ddtest2test3aa b test4 hjks fff ddaa b test5 hjks fff dd变成aa b test asfa??fff ddtest2test3
cat file | sort | awk ‘!($1$2 in a){a[$1$2];print}’
70,恢复MYSQL密码！
（1)、关闭Mysql： 如果 MySQL 正在运行，首先杀之 killall -TERM mysqld
（2）、另外的方法启动 MySQL ：/usr/local/mysql/bin/mysqld_safe --skip-grant-tables & mysql -u root -p
（3）、可以不需要密码就进入 MySQL 了。然后就是 #mysql>use mysql>update user set password=password("Sailor#Bika@@") where user="root";>flush privileges;74、重新杀 MySQL ，用正常方法启动 MySQL
75:去除linux文本中#和空行的命令
1.cat /etc/1.txt | grep -Ev (^#|^$)2.cat /etc/1.txt | grep -v ^# | grep -v ^$
75.显示消耗内存/CPU最多的10个进程ps aux | sort -nk +4 | tailps aux | sort -nk +3 | tail——————————————————————————————————————————76.查看Apache的并发请求数及其TCP连接状态netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
——————————————————————————————————————————77.找出自己最常用的10条命令及使用次数（或求访问最多的ip数）sed -e 's/| /\n/g' ~/.bash_history |cut -d ' ' -f 1 | sort | uniq -c | sort -nr | head——————————————————————————————————————————78.日志中第10个字段表示连接时间，求平均连接时间cat access_log |grep “connect cbp” |awk ‘BEGIN{sum=0;count=0;}{sum+=$10;count++;}END{printf(“sum=%d,count=%d,avg=%f\n”,sum,count,sum/count)}’——————————————————————————————————————————78.lsof命令lsof abc.txt 显示开启文件abc.txt的进程lsof -i :22 知道22端口现在运行什么程序lsof -c abc 显示abc进程现在打开的文件lsof -p 12 看进程号为12的进程打开了哪些文件——————————————————————————————————————————79.杀掉一个程序的所有进程pkill -9 httpdkillall -9 httpd注意尽量不用-9，数据库服务器上更不能轻易用kill，否则造成重要数据丢失后果将不堪设想。——————————————————————————————————————————80.rsync命令（要求只同步某天的压缩文件，而且远程目录保持与本地目录一致）/usr/bin/rsync -azvR –password-file=/etc/rsync.secrets `find . -name “*$yesterday.gz” -type f ` storage@192.168.2.23::logbackup/13.21/——————————————————————————————————————————8.把目录下*.sh文件改名为*.SHfind . -name “*.sh” | sed ’s/\(.*\)\.sh/mv \0 \1.SH/’ |shfind . -name “*.sh” | sed ’s/\(.*\)\.sh/mv & \1.SH/’|sh （跟上面那个效果一样）——————————————————————————————————————————81.ssh执行远程的程序，并在本地显示ssh -n -l zouyunhao 192.168.2.14 “ls -al /home/zouyunhao”——————————————————————————————————————————82. 直接用命令行修改密码echo “zouyunhaoPassword” |passwd –stdin zouyunhao——————————————————————————————————————————ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub user@remoteServer——————————————————————————————————————————83.以http方式共享当前文件夹的文件$ python -m SimpleHTTPServer在浏览器访问http://IP:8000/即可下载当前目录的文件。——————————————————————————————————————————84.shell段注释:<<’echo hello,world!’——————————————————————————————————————————85.查看服务器序列号dmidecode |grep “Serial Number” （查看机器其他硬件信息也可用这个命令）——————————————————————————————————————————86.查看网卡是否有网线物理连接/sbin/mii-tool——————————————————————————————————————————87.查看linux系统或者mysql错误码表示的意思，如查看13错误码表示的意思：perror 13——————————————————————————————————————————88.关于cpu个数查看逻辑cpu个数：cat /proc/cpuinfo | grep “processor” | wc -l查看物理cpu个数：cat /proc/cpuinfo | grep “physical id” | sort | uniq | wc -l查看每个物理cpu的核数cores：cat /proc/cpuinfo | grep “cpu cores”如果所有物理cpu的cores个数加起来小于逻辑cpu的个数，则该cpu使用了超线程技术。查看每个物理cpu中逻辑cpu的个数：cat /proc/cpuinfo | grep “siblings”——————————————————————————————————————————89.从格式不规范的日志中截取字符串perl -ne ’print “$1\n” if /servletPath=(\S+)/g’ test.log
90.查看系统tcp连接中各个状态的连接数。netstat -an | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'91.netstat -an |grep 80 |grep ESTA |awk '{print$5 "\n"}' |awk 'BEGIN {FS=":"} {print $1 "\n"}' |sort |uniq
92.输出每个ip的连接数，以及总的各个状态的连接数。netstat -n | awk '/^tcp/ {n=split($(NF-1),array,":");if(n<=2)++S[array[(1)]];else++S[array[(4)]];++s[$NF];++N} END {for(a in S){printf("%-20s %s\n", a, S[a]);++I}printf("%-20s %s\n","TOTAL_IP",I);for(a in s) printf("%-20s %s\n",a, s[a]);printf("%-20s %s\n","TOTAL_LINK",N);}22.有人会问如果不知道mysql root的密码情况下，是否可以修改密码呢？答案：可以的，想知道方法请继续往下看：
只有在mysqld启动的时候加上 --skip-grant-tables就ok，
例：
[root@server]# /usr/local/mysql/bin/mysqld_safe --skip-grant-tables &
[root@server]# /usr/local/mysql/bin/mysql -uroot -p
mysql> use mysql;
mysql> update user set password=password('sa')where user='root';mysql> flush privileges;杀掉mysql的进程或者重新启动mysql，然后重新登录，密码生效。
1 删除0字节文件find-type f -size 0 -exec rm -rf {} \;
2 查看进程按内存从大到小排列ps -e -o "%C : %p : %z : %a"|sort -k5 -nr
3 按cpu利用率从大到小排列ps -e -o "%C : %p : %z : %a"|sort -nr
4 打印说cache里的URLgrep -r -a jpg /data/cache/* | strings | grep "http:" |awk-F'http:' '{print "http:"$2;}'
5 查看http的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
6 sed-i '/Root/s/no/yes/' /etc/ssh/sshd_config sed在这个文里Root的一行，匹配Root一行，将no替换成yes.
7 如何杀掉mysql进程：ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9 (从中了解到awk的用途)pgrep mysql |xargs kill -9killall -TERM mysqldkill -9 `cat /usr/local/apache2/logs/httpd.pid` 试试查杀进程PID
8 显示运行3级别开启的服务:ls /etc/rc3.d/S* |cut -c 15- (从中了解到cut的用途，截取数据)
9 如何在编写SHELL显示多个信息，用EOFcat << EOF+--------------------------------------------------------------+| === Welcome to Tunoff services === |+--------------------------------------------------------------+EOF
10 for 的巧用(如给mysql建软链接)cd /usr/local/mysql/binfor i in *do ln /usr/local/mysql/bin/$i /usr/bin/$idone
11 取IP地址：ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者
ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
12 内存的大小:free -m |grep "Mem" | awk '{print $2}'
13netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort
14 查看Apache的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
15 因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦.find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。
-------------------------------------------------------------------------------16 CPU负载 # cat /proc/loadavg检查前三个输出值是否超过了系统逻辑CPU的4倍。
18 CPU负载 #mpstat 1 1检查%idle是否过低(比如小于5%)
19 内存空间 # free检查free值是否过低 也可以用 # cat /proc/meminfo
20 swap空间 # free检查swap used值是否过高 如果swap used值过高，进一步检查swap动作是否频繁：# vmstat 1 5观察si和so值是否较大
21 磁盘空间 # df -h检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：# du -cks * | sort -rn | head -n 10
22 磁盘I/O负载 # iostat -x 1 2检查I/O使用率(%util)是否超过100%
23 网络负载 # sar -n DEV检查网络流量(rxbyt/s, txbyt/s)是否过高
24 网络错误 # netstat -i检查是否有网络错误(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev
25 网络连接数目 # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n
26 进程总数 # ps aux | wc -l检查进程个数是否正常 (比如超过250)
27 可运行进程数目 # vmwtat 1 5列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍28 进程 # top -id 1观察是否有异常进程出现
29 网络状态 检查DNS, 网关等是否可以正常连通
30 用户 # who | wc -l检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime
31 系统日志 # cat /var/log/rflogview/*errors检查是否有异常错误记录 也可以搜寻一些异常关键字，例如：# grep -i error /var/log/messages# grep -i fail /var/log/messages# egrep -i 'error|warn' /var/log/messages 查看系统异常32 核心日志 # dmesg检查是否有异常错误记录
33 系统时间 # date检查系统时间是否正确
34 打开文件数目 # lsof | wc -l检查打开文件总数是否过多
35 日志 # logwatch –print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。
36 杀掉80端口相关的进程lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh
37 清除僵死进程。ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
38 tcpdump 抓包 ，用来防止80端口被人攻击时可以分析数据# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
39 然后检查IP的重复数 并从小到大排序 注意 "-t\ +0" 中间是两个空格# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0
40 查看有多少个活动的php-cgi进程netstat -anp | grep php-cgi | grep ^tcp | wc -l
41 利用iptables对应简单攻击netstat -an | grep -v LISTEN | awk ‘{print $5}’ |grep -v 127.0.0.1|grep -v 本机ip|sed “s/::ffff://g”|awk ‘BEGIN { FS=”:” } { Num[$1]++ } END { for(i in Num) if(Num>8) { print i} }’ |grep ‘[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}’| xargs -i[] iptables -I INPUT -s [] -j DROP
Num>8部分设定值为阀值，这条句子会自动将netstat -an 中查到的来自同一ＩＰ的超过一定量的连接的列入禁止范围。本机ip改成你的服务器的ip地址
选择性的删除某些行：# 删除所有空白行 （类似于 "grep '.' "）awk NFawk '/./'
# 删除重复连续的行 （模拟 "uniq"）awk 'a !~ $0; {a=$0}'
# 删除重复的、非连续的行awk '! a[$0]++' # 最简练awk '!($0 in a) {a[$0];print}' # 最有效
查询系统状态的指令集：
cat 文件名 一屏查看文件内容more 文件名 分页查看文件内容less 文件名 可控分页查看文件内容
grep -l -r 字符串 路径 显示包含字符串的文件名grep -L -r 字符串 路径 显示不包含字符串的文件名
lsof -p 进程号（例如：lsof -p 2428）查看进程打开的文件lsof abc.txt 显示开启文件abc.txt的进程lsof -i :22 显示22端口现在运行什么程序lsof -c nsd 显示nsd进程现在打开的文件
nohup 程序 & 在后台运行程序，退出登录后，并不结束程序
strace -f -F -o outfile <cmd> 详细显示程序的运行信息
arping IP地址 根据IP查网卡地址nmblookup -A IP地址 根据IP查电脑名
linux删除特殊文件名的文件
假设Linux系统中有一个文件名叫“-ee”，如果我们想对它进行操作，例如要删除它，按照一般的删除方法在命令行中输入rm -ee命令，界面会提示我们是“无效选项”(invalid option)，原来由于文件名的第一个字符为“-”，Linux把文件名当作选项了，我们可以使用“–”符号来解决这个问题，输入“rm — -ee”命令便可顺利删除名为“-ee”的文件。如果是其他特殊字符的话可以在特殊字符前加一个“”符号，或者用双引号把整个文件名括起来。如，/usr/lcoal/目录下有个--exclude 文件，通过命令rm -- --exclude删除此文件
一句话快速查找PHP木马的方法find ./ -name "*.php" -type f -print0|xargs -0 egrep "(phpspy|c99sh|milw0rm|eval\(base64_decode|eval\(gzinflate\(base64_decode|eval\(gzinflate\(str_rot13\(base64_decode|spider_bc)"|awk -F: '{print $1}'|sort|uniq
如何删去重复行并保持顺序不变？awk '{ if (!seen[$0]++) { print $0; } }' $file_pathperl -lne 'print unless $seen{$_}++ ' $file_path
本文出自 “吕布天下” 博客，请务必保留此出处/article/4534960.html
export LANG=zh_CN.UTF8 export LANG=zh_CN.GB18030 source /etc/profile #让Linux在终端支持中文显示
dmidecode -t processor | grep Socket （物理cpu个数）
dmidecode | grep Size | grep MB | awk '{a+=$2}END{print a}' （物理内存大小MB）
dmidecode | grep Size | grep MB | wc -l （物理内存个数）
ps -eo pid,lstart,etime | grep 26871 （进程运行时间）
26871 Thu Sep 26 17:08:55 2013 00:19iotop -o (查看那个进程最磨磁盘) lsof -p 10412 （查看进程打开的文件10412是PID） dstat -acdgilmnprstTfy (查看网卡流量)
1.删除0字节文件
find -type f -size 0 -exec rm -rf {} \;2.查看进程按内存从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -k5 -nr
3.按cpu利用率从大到小排列
ps -e -o "%C : %p : %z : %a"|sort -nr
4.打印说cache里的URL
grep -r -a jpg /data/cache/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}'5.查看http的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
6. sed -i '/Root/s/no/yes/' /etc/ssh/sshd_config (sed在这个文里Root的一行，匹配Root一行，将no替换成yes.)
7..如何杀掉mysql进程：
ps aux |grep mysql |grep -v grep |awk '{print $2}' |xargs kill -9 (从中了解到awk的用途)
killall -TERM mysqld
kill -9 `cat /usr/local/apache2/logs/httpd.pid` 试试查杀进程PID8.显示运行3级别开启的服务:ls /etc/rc3.d/S* |cut -c 15- (从中了解到cut的用途，截取数据)
9.如何在编写SHELL显示多个信息，用EOFcat << EOF+--------------------------------------------------------------+| === Welcome to Tunoff services === |+--------------------------------------------------------------+EOF
10. for 的巧用(如给mysql建软链接)
cd /usr/local/mysql/bin for i in * do ln /usr/local/mysql/bin/$i /usr/bin/$i done11. 取IP地址：ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者
ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
12.内存的大小:
free -m |grep "Mem" | awk '{print $2}'13. 查看80端口的连接数
netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort14 .查看Apache的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
15.因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦.find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。
---------------------------------------------------------------------------------------16 CPU负载 # cat /proc/loadavg检查前三个输出值是否超过了系统逻辑CPU的4倍。
18 CPU负载 #mpstat 1 1检查%idle是否过低(比如小于5%)
21 磁盘空间 # df -h检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：# du -cks * | sort -rn | head -n 10
22 磁盘I/O负载 # iostat -x 1 2检查I/O使用率(%util)是否超过100%
23 网络负载 # sar -n DEV检查网络流量(rxbyt/s, txbyt/s)是否过高
24 网络错误 # netstat -i检查是否有网络错误(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev
25 网络连接数目 # netstat -an | grep -E "^(tcp)" | cut -c 68- | sort | uniq -c | sort -n
26 进程总数 # ps aux | wc -l检查进程个数是否正常 (比如超过250)
27 可运行进程数目 # vmwtat 1 5列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍
28 进程 # top -id 1观察是否有异常进程出现
29 网络状态 检查DNS, 网关等是否可以正常连通
30 用户 # who | wc -l检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime
31 系统日志 # cat /var/log/rflogview/*errors检查是否有异常错误记录 也可以搜寻一些异常关键字，例如：
# grep -i error /var/log/messages # grep -i fail /var/log/messages
32 核心日志 # dmesg检查是否有异常错误记录
34 打开文件数目 # lsof | wc -l检查打开文件总数是否过多
35 日志 # logwatch –print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。
36.杀掉80端口相关的进程lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh
37.清除僵死进程。ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
38.tcpdump 抓包 ，用来防止80端口被人攻击时可以分析数据# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
39.然后检查IP的重复数 并从小到大排序 注意 "-t\ +0" 中间是两个空格# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0
40.查看有多少个活动的php-cgi进程netstat -anp | grep php-cgi | grep ^tcp | wc -lchkconfig --list | awk '{if ($5=="3:on") print $1}'
41，列出最常用的十条命令history | awk '{a[$4]++}END{for(i in a){print a[$i] " " i}}' | sort -rn | head
42，批量重命名
find . -type f -name '*.a' |sed 's/^\(.*\)\.a$/mv & \1.b/'|sh for i in *.a;do mv $i `echo $i | sed 's#a#b#g'`;done for file in *.gz;do mv $file `basename $file .gz`.zip;done
44，脚本修改密码的方法
echo -e "password\npassword" |passwd username#!/bin/bash
useradd aaa
u()
{
passwd aaa
}
u <<eof
12345678
12345678
eof
echo 12345678 >>a.pass
echo 12345678 >>a.pass
u < a.pass45,查询服务器型号/序列号dmidecode | grep -A 4 "System Information" | sed -n '3p;$p'
46,删除空目录find . -type d -empty | xargs rm -rf
47,找出当前目录下2K以上的文件移到/tmp目录find . -type f -size +2k|xargs -i mv {} /tmp
48,netstat命令只显示80端口netstat -ntpl|grep ":80[[:space:]]"
49,递归建目录mkdir -p {0..255}/{0..255}
50,shell求1到100和的问题seq 1 100 | awk '{sum+=$0}END{print sum}'
51,awk匹配范围时可以条件选择awk '/start1/||/start2/,/end/' file
52,我想往每个文件夹里复制同一个文件有什么好方法吗？find dir -type d -mindepth 1 | xargs -i echo "cp a" {} | sh
55，查看http的并发请求数及其TCP连接状态netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
56，如何杀掉mysql进程？ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9
58,取IP地址ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6-或者:ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
59,查看Apache的并发请求数及其TCP连接状态netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
60,杀掉80端口相关的进程lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'
61,清除僵死进程ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
62,将整列合并成两行
cat test 192.168.110.171 00:1F:D0:D4:DD:47 192.168.110.172 00:1D:7D:D6:E3:2E 192.168.110.174 00:1F:D0:D4:DD:38 192.168.110.177 00:1D:7D:4C:73:DF xargs -n 2 < test sed 'N;s/\n/ /' test 192.168.110.171 00:1F:D0:D4:DD:47 192.168.110.172 00:1D:7D:D6:E3:2E 192.168.110.174 00:1F:D0:D4:DD:38 192.168.110.177 00:1D:7D:4C:73:DF
63，shell 语句记录,打印时间 每隔10秒awk 'BEGIN{for(i=0;i<=36000;i+=10) printf "%02d:%02d:%02d\n",i/3600+8,i/60%60,i%60}'
64， 查询一个目录下的文件个数 （包括字目录）find . -type f -printf %h"\n"|sort|uniq -c
65,查询一个进程已经运行了多长时间ps -eo comm,etime | grep syslogd | awk '{print $2}'
66,将数字1234567890 从后往前每隔3位 加一个逗号
echo 1234567890|rev|sed 's/.\{3\}/&,/g'|rev|sed -r 's/^,//'
echo 1234567890|sed -r 's/[0-9]{3}$/,&/;:a;s/([0-9]+)([0-9]{3}),/\1,\2,/;ta'
echo "1234567890" |perl -pe "s/(?<=\d)(?=(?:\d\d\d)+$)/,/g"67,将lettet文本的 每个英语单词 首字母变成大写echo "aaaaaaaa">>lettersed 's/\<[a-z]/\U&/g' letter
68,如何在编写SHELL显示多个信息，用cat << EOF+--------------------------------------------------------------+| === Welcome to Tunoff services === |+--------------------------------------------------------------+EOF
69,使文件中前2列和后3列完全一样的行只保留1行(任取一行保留)aa b test asfa??fff ddtest2test3aa b test4 hjks fff ddaa b test5 hjks fff dd变成aa b test asfa??fff ddtest2test3
cat file | sort | awk ‘!($1$2 in a){a[$1$2];print}’
70,恢复MYSQL密码！
（1)、关闭Mysql： 如果 MySQL 正在运行，首先杀之 killall -TERM mysqld
（2）、另外的方法启动 MySQL ：/usr/local/mysql/bin/mysqld_safe --skip-grant-tables & mysql -u root -p
（3）、可以不需要密码就进入 MySQL 了。然后就是 #mysql>use mysql>update user set password=password("Sailor#Bika@@") where user="root";>flush privileges;74、重新杀 MySQL ，用正常方法启动 MySQL
75:去除linux文本中#和空行的命令
1.cat /etc/1.txt | grep -Ev (^#|^$)2.cat /etc/1.txt | grep -v ^# | grep -v ^$
75.显示消耗内存/CPU最多的10个进程ps aux | sort -nk +4 | tailps aux | sort -nk +3 | tail——————————————————————————————————————————76.查看Apache的并发请求数及其TCP连接状态netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
——————————————————————————————————————————77.找出自己最常用的10条命令及使用次数（或求访问最多的ip数）sed -e 's/| /\n/g' ~/.bash_history |cut -d ' ' -f 1 | sort | uniq -c | sort -nr | head——————————————————————————————————————————78.日志中第10个字段表示连接时间，求平均连接时间cat access_log |grep “connect cbp” |awk ‘BEGIN{sum=0;count=0;}{sum+=$10;count++;}END{printf(“sum=%d,count=%d,avg=%f\n”,sum,count,sum/count)}’——————————————————————————————————————————78.lsof命令lsof abc.txt 显示开启文件abc.txt的进程lsof -i :22 知道22端口现在运行什么程序lsof -c abc 显示abc进程现在打开的文件lsof -p 12 看进程号为12的进程打开了哪些文件——————————————————————————————————————————79.杀掉一个程序的所有进程pkill -9 httpdkillall -9 httpd注意尽量不用-9，数据库服务器上更不能轻易用kill，否则造成重要数据丢失后果将不堪设想。——————————————————————————————————————————80.rsync命令（要求只同步某天的压缩文件，而且远程目录保持与本地目录一致）/usr/bin/rsync -azvR –password-file=/etc/rsync.secrets `find . -name “*$yesterday.gz” -type f ` storage@192.168.2.23::logbackup/13.21/——————————————————————————————————————————8.把目录下*.sh文件改名为*.SHfind . -name “*.sh” | sed ’s/\(.*\)\.sh/mv \0 \1.SH/’ |shfind . -name “*.sh” | sed ’s/\(.*\)\.sh/mv & \1.SH/’|sh （跟上面那个效果一样）——————————————————————————————————————————81.ssh执行远程的程序，并在本地显示ssh -n -l zouyunhao 192.168.2.14 “ls -al /home/zouyunhao”——————————————————————————————————————————82. 直接用命令行修改密码echo “zouyunhaoPassword” |passwd –stdin zouyunhao——————————————————————————————————————————ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub user@remoteServer——————————————————————————————————————————83.以http方式共享当前文件夹的文件$ python -m SimpleHTTPServer在浏览器访问http://IP:8000/即可下载当前目录的文件。——————————————————————————————————————————84.shell段注释:<<’echo hello,world!’——————————————————————————————————————————85.查看服务器序列号dmidecode |grep “Serial Number” （查看机器其他硬件信息也可用这个命令）——————————————————————————————————————————86.查看网卡是否有网线物理连接/sbin/mii-tool——————————————————————————————————————————87.查看linux系统或者mysql错误码表示的意思，如查看13错误码表示的意思：perror 13——————————————————————————————————————————88.关于cpu个数查看逻辑cpu个数：cat /proc/cpuinfo | grep “processor” | wc -l查看物理cpu个数：cat /proc/cpuinfo | grep “physical id” | sort | uniq | wc -l查看每个物理cpu的核数cores：cat /proc/cpuinfo | grep “cpu cores”如果所有物理cpu的cores个数加起来小于逻辑cpu的个数，则该cpu使用了超线程技术。查看每个物理cpu中逻辑cpu的个数：cat /proc/cpuinfo | grep “siblings”——————————————————————————————————————————89.从格式不规范的日志中截取字符串perl -ne ’print “$1\n” if /servletPath=(\S+)/g’ test.log
90.查看系统tcp连接中各个状态的连接数。netstat -an | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'91.netstat -an |grep 80 |grep ESTA |awk '{print$5 "\n"}' |awk 'BEGIN {FS=":"} {print $1 "\n"}' |sort |uniq
92.输出每个ip的连接数，以及总的各个状态的连接数。netstat -n | awk '/^tcp/ {n=split($(NF-1),array,":");if(n<=2)++S[array[(1)]];else++S[array[(4)]];++s[$NF];++N} END {for(a in S){printf("%-20s %s\n", a, S[a]);++I}printf("%-20s %s\n","TOTAL_IP",I);for(a in s) printf("%-20s %s\n",a, s[a]);printf("%-20s %s\n","TOTAL_LINK",N);}22.有人会问如果不知道mysql root的密码情况下，是否可以修改密码呢？答案：可以的，想知道方法请继续往下看：
只有在mysqld启动的时候加上 --skip-grant-tables就ok，
例：
[root@server]# /usr/local/mysql/bin/mysqld_safe --skip-grant-tables &
[root@server]# /usr/local/mysql/bin/mysql -uroot -p
mysql> use mysql;
mysql> update user set password=password('sa')where user='root';mysql> flush privileges;杀掉mysql的进程或者重新启动mysql，然后重新登录，密码生效。
1 删除0字节文件find-type f -size 0 -exec rm -rf {} \;
2 查看进程按内存从大到小排列ps -e -o "%C : %p : %z : %a"|sort -k5 -nr
3 按cpu利用率从大到小排列ps -e -o "%C : %p : %z : %a"|sort -nr
4 打印说cache里的URLgrep -r -a jpg /data/cache/* | strings | grep "http:" |awk-F'http:' '{print "http:"$2;}'
5 查看http的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
6 sed-i '/Root/s/no/yes/' /etc/ssh/sshd_config sed在这个文里Root的一行，匹配Root一行，将no替换成yes.
7 如何杀掉mysql进程：ps aux|grep mysql|grep -v grep|awk '{print $2}'|xargs kill -9 (从中了解到awk的用途)pgrep mysql |xargs kill -9killall -TERM mysqldkill -9 `cat /usr/local/apache2/logs/httpd.pid` 试试查杀进程PID
8 显示运行3级别开启的服务:ls /etc/rc3.d/S* |cut -c 15- (从中了解到cut的用途，截取数据)
9 如何在编写SHELL显示多个信息，用EOFcat << EOF+--------------------------------------------------------------+| === Welcome to Tunoff services === |+--------------------------------------------------------------+EOF
10 for 的巧用(如给mysql建软链接)cd /usr/local/mysql/binfor i in *do ln /usr/local/mysql/bin/$i /usr/bin/$idone
11 取IP地址：ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者
ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'
12 内存的大小:free -m |grep "Mem" | awk '{print $2}'
13netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort
14 查看Apache的并发请求数及其TCP连接状态：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
15 因为同事要统计一下服务器下面所有的jpg的文件的大小,写了个shell给他来统计.原来用xargs实现,但他一次处理一部分,搞的有多个总和....,下面的命令就能解决啦.find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'
CPU的数量（多核算多个CPU，cat /proc/cpuinfo |grep -c processor）越多，系统负载越低，每秒能处理的请求数也越多。
-------------------------------------------------------------------------------16 CPU负载 # cat /proc/loadavg检查前三个输出值是否超过了系统逻辑CPU的4倍。
18 CPU负载 #mpstat 1 1检查%idle是否过低(比如小于5%)
19 内存空间 # free检查free值是否过低 也可以用 # cat /proc/meminfo
20 swap空间 # free检查swap used值是否过高 如果swap used值过高，进一步检查swap动作是否频繁：# vmstat 1 5观察si和so值是否较大
21 磁盘空间 # df -h检查是否有分区使用率(Use%)过高(比如超过90%) 如发现某个分区空间接近用尽，可以进入该分区的挂载点，用以下命令找出占用空间最多的文件或目录：# du -cks * | sort -rn | head -n 10
22 磁盘I/O负载 # iostat -x 1 2检查I/O使用率(%util)是否超过100%
23 网络负载 # sar -n DEV检查网络流量(rxbyt/s, txbyt/s)是否过高
24 网络错误 # netstat -i检查是否有网络错误(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev
25 网络连接数目 # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n
26 进程总数 # ps aux | wc -l检查进程个数是否正常 (比如超过250)
27 可运行进程数目 # vmwtat 1 5列给出的是可运行进程的数目，检查其是否超过系统逻辑CPU的4倍28 进程 # top -id 1观察是否有异常进程出现
29 网络状态 检查DNS, 网关等是否可以正常连通
30 用户 # who | wc -l检查登录用户是否过多 (比如超过50个) 也可以用命令：# uptime
31 系统日志 # cat /var/log/rflogview/*errors检查是否有异常错误记录 也可以搜寻一些异常关键字，例如：# grep -i error /var/log/messages# grep -i fail /var/log/messages# egrep -i 'error|warn' /var/log/messages 查看系统异常32 核心日志 # dmesg检查是否有异常错误记录
33 系统时间 # date检查系统时间是否正确
34 打开文件数目 # lsof | wc -l检查打开文件总数是否过多
35 日志 # logwatch –print 配置/etc/log.d/logwatch.conf，将 Mailto 设置为自己的email 地址，启动mail服务 (sendmail或者postfix)，这样就可以每天收到日志报告了。缺省logwatch只报告昨天的日志，可以用# logwatch –print –range all 获得所有的日志分析结果。可以用# logwatch –print –detail high 获得更具体的日志分析结果(而不仅仅是出错日志)。
36 杀掉80端口相关的进程lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh
37 清除僵死进程。ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9
38 tcpdump 抓包 ，用来防止80端口被人攻击时可以分析数据# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts
39 然后检查IP的重复数 并从小到大排序 注意 "-t\ +0" 中间是两个空格# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0
40 查看有多少个活动的php-cgi进程netstat -anp | grep php-cgi | grep ^tcp | wc -l
41 利用iptables对应简单攻击netstat -an | grep -v LISTEN | awk ‘{print $5}’ |grep -v 127.0.0.1|grep -v 本机ip|sed “s/::ffff://g”|awk ‘BEGIN { FS=”:” } { Num[$1]++ } END { for(i in Num) if(Num>8) { print i} }’ |grep ‘[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}’| xargs -i[] iptables -I INPUT -s [] -j DROP
Num>8部分设定值为阀值，这条句子会自动将netstat -an 中查到的来自同一ＩＰ的超过一定量的连接的列入禁止范围。本机ip改成你的服务器的ip地址
选择性的删除某些行：# 删除所有空白行 （类似于 "grep '.' "）awk NFawk '/./'
# 删除重复连续的行 （模拟 "uniq"）awk 'a !~ $0; {a=$0}'
# 删除重复的、非连续的行awk '! a[$0]++' # 最简练awk '!($0 in a) {a[$0];print}' # 最有效
查询系统状态的指令集：
cat 文件名 一屏查看文件内容more 文件名 分页查看文件内容less 文件名 可控分页查看文件内容
grep -l -r 字符串 路径 显示包含字符串的文件名grep -L -r 字符串 路径 显示不包含字符串的文件名
lsof -p 进程号（例如：lsof -p 2428）查看进程打开的文件lsof abc.txt 显示开启文件abc.txt的进程lsof -i :22 显示22端口现在运行什么程序lsof -c nsd 显示nsd进程现在打开的文件
nohup 程序 & 在后台运行程序，退出登录后，并不结束程序
strace -f -F -o outfile <cmd> 详细显示程序的运行信息
arping IP地址 根据IP查网卡地址nmblookup -A IP地址 根据IP查电脑名
linux删除特殊文件名的文件
假设Linux系统中有一个文件名叫“-ee”，如果我们想对它进行操作，例如要删除它，按照一般的删除方法在命令行中输入rm -ee命令，界面会提示我们是“无效选项”(invalid option)，原来由于文件名的第一个字符为“-”，Linux把文件名当作选项了，我们可以使用“–”符号来解决这个问题，输入“rm — -ee”命令便可顺利删除名为“-ee”的文件。如果是其他特殊字符的话可以在特殊字符前加一个“”符号，或者用双引号把整个文件名括起来。如，/usr/lcoal/目录下有个--exclude 文件，通过命令rm -- --exclude删除此文件
一句话快速查找PHP木马的方法find ./ -name "*.php" -type f -print0|xargs -0 egrep "(phpspy|c99sh|milw0rm|eval\(base64_decode|eval\(gzinflate\(base64_decode|eval\(gzinflate\(str_rot13\(base64_decode|spider_bc)"|awk -F: '{print $1}'|sort|uniq
如何删去重复行并保持顺序不变？awk '{ if (!seen[$0]++) { print $0; } }' $file_pathperl -lne 'print unless $seen{$_}++ ' $file_path
本文出自 “吕布天下” 博客，请务必保留此出处/article/4534960.html
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- linux运维故障定位汇总
- linux运维故障定位汇总
- 关于Linux运维常见故障排查和处理的33个技巧汇总
- 很实用的Linux高端运维命令汇总
- linux平台下server运维问题分析与定位
- Linux企业运维人员最常用150个命令汇总
- Linux企业运维人员最常用150个命令汇总
- Linux企业运维人员最常用150个命令汇总
- Linux企业运维人员最常用150个命令汇总
- 该怎么解决运维定位服务故障问题？
- Linux 企业运维人员最常用 150 个命令汇总! 收藏了！
- Linux企业运维人员最常用150个命令汇总
- Linux 系统运维学习方法汇总
- Linux企业运维人员最常用150个命令汇总
- 全栈程序员Linux笔记：上手即用的系统运维和问题定位命令
- linux常用有效定位及处理命令汇总
- 运维定位服务故障时，前5分钟都在忙啥？
- Linux 系统运维学习方法汇总
- Linux 企业运维人员最常用 150 个命令汇总