linux shell脚本编写

大家好

这是一篇自己阅读、学习的shell编程，工作中大量应用，尤为awk、sed、grep为主。希望对大家速成有用
可以直接翻看到中部位置
【data】
export PATH=/mall/jdk/jdk1.7/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
export LANG=zh_CN.GB18030

start=`date +%s -d "2011-11-28 15:55:37"`
end=`date +%s -d "2011-11-28 15:55:52"`
echo $(($end-$start))
date "+%Y-%m-%d %H:%M:%S"
date -d '+1 day' +"%d" 本日+1
date -s 20100405
date -s 14:31:00

1、上个月末
date -d `date +%y%m01`"-1 day" +%d
2、往前倒
date -d -`date +%d`day +%d
3、条件
if [`date +%d -d tomorrow` == 01 ];
4、上个月
date -d last-month
date -d -1month
date -d '-1 month' +"%m"
5、下个月
date -d next-month
date -d 1month
6、本月初
date -d 1`date +%B`
上个月初
date -d 1`date -d last-month +%B`
指定月份
day -d 1May

echo `date +%d` | xargs -I{} date -d '-{} day' +%Y%m%d Linux如何得到上月月末日期

sed -i "3s/.*/$table/g" conf/run.sql
table=t_sms_mt_log_`date +"%m"` 本月，然后月初1号还是统计上月
date -d '-1 day' +"%m" 本月，实实在在的本月
subject="每日验证码下发数量统计_`date -d '-1 day' +"%m%d"`"

select * from t_sys_user where user_code='duanzz';

update t_sys_user set terminal_id='13730000000' where user_code='duanzz';

set fileformat=unix

字符串的截取-替换
echo ${stringa:1} 从第二位一直往后所有
echo ${stringa:2:5} 从第三位往后一共截取5位

echo ${stringZ:(-4)} 从右到左开始截取
echo ${stringZ: -4} 从右到左开始截取，和上面效果一样
a=${stringa%%f} 去掉变量stringa后缀f。
echo ${stringZ/abc/xyz} 变量中字符串 abc被xyz替换
echo ${stringZ/#abc/XYZ} 用'XYZ'替换开头的'abc'.
echo ${stringZ/%abc/XYZ} 用'XYZ'替换结尾的'abc'.

you_id=${USER}-on-${HOSTNAME}
you_id=$USER\-on-$HOSTNAME
echo $you_id root-on-db1 效果一样。变量与字符串混合输出
val=${1##+(0)} # 使用局部变量, 匹配最长连续的一个或多个0.

引用:${backup_DIR}/$DATE
#备份的变量：
backup_dir=/home/mysql/mysql_bak
date=`date -d "+%Y%m%d %H:%M:%d"`
yes_time=`date -d yesterday "+%Y%m%d"`
mkdir -p /opt/chen$date\nailong chen20160608nailong
date -d "2 day ago" +"%Y-%m-%d" 昨天日期
date -d "1 week ago" +"%Y-%m-%d" 上周日期
date +%Y%m%d%h%M

单引号(' ')操作与双引号基本一样, 但是不允许引用变量, 因为$的特殊意义被关闭了. 在单引号中,
任何特殊字符都按照字面的意思进行解释, 除了'. 所以说单引号("全引用")是一种比双引号("部分引
用")更严格的引用方法.

'' 单引号屏蔽所有特殊字符
"" 双引号屏蔽部分特殊字符

【eval】

两次扫描

test.txt内容：hello shell world!

myfile="cat test.txt"

(1)echo $myfile　　#result:cat test.txt

(2)eval echo $myfile　　#result:hello shell world!

【echo】
echo -e 处理特殊字符，解释特殊字符。生效特殊字符
echo -n 不换行输出
echo -e "a\ndddd" //自动换行
echo $(ls -al)不换行 echo "$(ls -al)" 换行

bash$ echo hello\!
hello!
bash$ echo "hello\!"
hello\!
bash$ echo -e x\ty
xty
bash$ echo -e "x\ty"
x y

echo "chen" >> file :把chen内容追加到file文件中来，不覆盖
echo "chen" > file :覆盖了！！！

[A-Za-z0-9]

######################## (( ... ))结构可以用来计算并测试算术表达式的结果.
#!/bin/bash
((5 > 4))
echo $?
echo "Exit status of \"((5 > 4))\" is $?."

【从键盘输入-不止是read】
command << word
any input
word

read -p "Your command: " CMD
until [ $CMD == 'q' ]; do
! which $CMD && echo "Wrong command" && read -p "Input again:" CMD && continue
COMMAND=` which $CMD | grep -v "^alias" | grep -o "[^[:space:]]\{1,\}"`
bincp $COMMAND
echo "copy $COMMAND finished."
read -p "Continue: " CMD
done

【输出到屏幕上】
cat << word
-----------
name id
word
【脚本中调用】 source _function.sh
【shell函数】
hello ()
{
echo `date`
}
hello ###这儿直接写hello
`反引号允许你将shell命令的输出赋值给变量
today=`date +%Y%m%d`
echo "today is `date +%Y%m%d`"

sleep 5 #过五秒再执行

【basename】
$ basename /tmp/test/file.txt
file.txt
$ basename /tmp/test/file.txt .txt
file

【dirname】
dirname /var/log/messages 获取文件或文件夹的路径（上一级）
/var/log

【数组】
var=("123" "456" "789")
var[1]=123
var[2]=456
echo "$var[1],$var[2]"
#

echo $? 条件为真，输出0，条件为否，输出1
cp 1.txt /opt/apps/2.txt >/dev/null 2>&1
status=$?
echo $? #如果cp这个命令成功的话，输出0，不成功的话，输出1

：冒号在此是占位符，{str:=expr} 如果变量str不为空,${str:=expr}就等于str的值，若str为空，就把expr的值赋值给str
: >> target_file 如果这个文件之前并不存在, 那么就创建它
if [ $name="" ] 如果这个变量为空值
then : # 什么都不做,引出分支.
if [ ! -s 22.txt ] 如果22.txt这个文件为空
或者是 if [ -z 22.txt ]

[ $I -eq 1 ] && MIN=$MYRAND

if [ -s $name ] 如果这个变量为空
if [ -d $path ] 如果目录存在
if [ -s $path ] 如果目录存在
if [ -n "$1" ] # 测试是否有命令行参数(非空).
-a 文件存在 YES !
-f 这是一个一般文件
-d 这是一个目录
-b 这是一个快设备（软盘，硬盘，光驱等）
-c 这是一个字符设备（键盘，声卡等）
-p 这个文件是一个管道
-h 或者 -L 这是一个符号链接
-r 文件是否可读
-w 文件是否可写
-x 文件是否可执行
-O 你是否为文件拥有者
-G 文件group-id是否与你相同
f1 -nt f2 文件f1比文件f2新
f1 -ot f2 文件f1比文件f2旧

&&:and |:或者 !:非 command||comand ||:前者命令为真，后者才能执行，否则后者不执行
comand&&comand 前者为真，后者执行，前者为假，后者略过
sort:排序 wc：统计
cd /opt && ./1.txt ：逐次执行的
【查找内存使用情况】
[root@db1 opt]# free -m|grep Mem|awk '{print "used\n----"};{print $3}'
used
----
985

【数值比较】
------------在 [ ] 中使用
-eq 数值相等。
-ne 数值不相等。
-gt 第一个数大于第二个数。
-lt 第一个数小于第二个数。
-le 第一个数小于等于第二个数。
-ge 第一个数大于等于第二个数。
------------在 (( )) 中使用
<= > < >=
----------字符串比较 = ==

小于, 按照ASCII字符进行排序
if [[ "$a" < "$b" ]]
if [ "$a" \< "$b" ]
注意"<"使用在[ ]结构中的时候需要被转义.

-a 逻辑与 exp1 -a exp2 如果表达式exp1和exp2都为真的话, 那么结果为真.
-o 逻辑或 exp1 -o exp2 如果表达式exp1和exp2中至少有一个为真的话, 那么结果为真.
if [ "$exp1" -a "$exp2" ]

与(逻辑)
1 if [ $condition1 ] && [ $condition2 ]
2 # 与 if [ $condition1 -a $condition2 ] 相同
3 # 如果condition1和condition2都为true, 那结果就为true.
4
5 if [[ $condition1 && $condition2 ]] # 也可以.
6 # 注意: &&不允许出现在[ ... ]结构中.

或(逻辑)
1 if [ $condition1 ] || [ $condition2 ]
2 # 与 if [ $condition1 -o $condition2 ] 相同
3 # 如果condition1或condition2中的一个为true, 那么结果就为true.
4
5 if [[ $condition1 || $condition2 ]] # 也可以.
6 # 注意||操作符是不能够出现在[ ... ]结构中的.

【grep】
经常跟cat使用： cat /path/filename |grep [option]
grep -i 忽略大小写
grep -v "^#" file ：grep -v "^#" filename 输出头字符不为#的行
grep -o 只显示匹配的字符串
grep --color 输出时，查找的关键字带颜色。
grep '[nN]*' test1.sh
grep -C 5 foo file 显示file文件里匹配foo字串那行以及上下5行
grep -B 5 foo file 显示foo及前5行
grep -A 5 foo file 显示foo及后5行

精准匹配 grep ':80\b' 只匹配到 :80
netstat -nat|grep ':80\>'
netstat -nat|grep ':80\b'
grep -E '123|abc' filename // 找出文件（filename）中包含123或者包含abc的行

【sed】

-r 支持正则表达式

sed -n '5p' filename 选择第5行输出
sed -n '/^\//p' /etc/fstab sed出以/开头的行并且print出来
sed '/^\/dev/d' fstab 查找以/dev开头的行删除
sed 's/^L/#/g' fstab_bak 把fstab_bak中L开头的行，把L换成# 加g表示全局替换

sed -n '/^\//a hello' /etc/fstab sed出以/开头的行并且随后追加一行：hello进去并且print出来，a的作用是追加，给文件追加内容
sed -n '/^\//a hello \n chen' /etc/fstab 再添加一行chen 这是给后面添加行，如果是前面添加 把a换位i

sed '3r /etc/fstab' fstab_bak 在fstab_bak的第三行处添加etc/fstab的内容进来
sed '/tmp/w /etc/tmp.txt' /etc/fstab 讲fstab有tmp的行保存在/etc/tmp.txt文件中来

sed '1,3d' /etc/fstab 删除第一行和第三行
sed '1,+2d' /etc/fstab 删除第一行以及以下两行
sed -e '8/p' -e 's/30/50/g' 1.txt 多个命令执行
sed '/^F/=' 1.txt 首字符为F的，并且输出他 的行号
sed '/chen/s/x/X/g' passwd 找到passwd中chen那一行，并且在那一行将x改为X
sed -n '/^#/!{/chen/p}' 11.txt 查找首字母不为#的且包含chen的行。打印出来
sed -i '/chen/{s/^#//g}' 11.txt 包含chen，并且首字符为#，去掉#。生效
sed -i '/^#/d' a.txt 去除空行
sed '/^chen/s/^chen.*/CHENNAILONG/' install.log 把chen开头的行整行替换为CHENNAILONG
sed -i "7s/.*/$table/g" conf/run.sql 把第七行替换为$table变量的值
sed 's/<!--/&chen/' 1.txt 在<!--后面追加 chen
\ 转译特殊字符
cat tomcat_running_state.txt |sed -r 's/\s+/\n/1' 第一个空格替换为换行

BASHUSERS=`echo $BASHUSERS | sed 's@[[:space:]]@,@g'`

xargs的默认命令是echo，这意味着通过管道传递给xargs的输入将会包含换行和空白，不过通过xargs的处理，换行和空白将被空格取代。

sed的后向引用；待研究
如果想sed命令生效 可加上-i

sed -f /path/script /etc/fstab 去这个目录选找script下面的所有脚本，对fstab进行处理

sed -i 's/^[[:space:]]//g' /etc/fastab 去fstab下，把行首的空格去掉 [[:space"]]+ 至少一个空格

【awk】

~ 匹配正则表达式 < 小于 ==不包含，必须等于
~！不匹配正则表达式 !== 不等于 &&两边都为真 |或者|| !非
awk '{print $1,$4}' fstab_bak awk出第一列与第四列
awk '{print $1"\t"$4}' fstab_bak awk出第一列与第四列，输出时候，中间加上空格
awk '{if($1~/devpts/)}print{$2}' fstab_bak 如果第一列出现devpts，这打印devpts的第二列内容
awk '{if($1~/devpts/)}print{ "good"}' fstab_bak 如果第一列出现devpts，这打印出good
awk '{if($1<$2)}{print $0}' fstab_bak 如果第一列中的数字小于第二列中的数字，输出这一行
awk '{$1~/^...a/}' fstab_bak 第一列中如果有第三字符为a的
awk '{$1~/tmpfs|proc/}' fstab_bak 第一列有tmpfs或者proc的，输出出来
awk -F "," '{print $2}' q.txt 以","为分隔符，找出第二段并且输出
awk '{name=$1;belts=$4;if(belts ~/yellow/)print name "is belt" belts}' grant.txt
awk '{if($1~"chen")($1="chennailong");print $1}' 1.txt 第一列中有chen出现，chen替换为chennailong
awk '{if($1~/chen/) {($1="chennailong");print $1}}' 1.txt 上条命令输出所有，多一对{}代表输出只修改那一行
awk '{if($1~/chen/){print $0}}' 1.txt
awk '{sum+=$2};{print sum}' 1.txt 统计第二列的总和
ls -al | awk ' /^[^d]/ {print $9"\t"$5} {tot+=$5} END {print "total KB:"tot}' 统计此目录下文件的文件名和长度，以及总和
awk 'BEGIN {split("123#456#789",myawk,"#")}' 给字段123#456#789切分，以#为分隔符
awk -F! '{print substr($3,6,11)}' 1.txt 截取以！为分隔符的第三段的第6字符以及包括第六字符往后11字符，如果只有6，那就是6个地附后往后这个行所有的了
awk 'sub(/chen/,"chen",$1)' 1.txt 截取第一段（默认分隔符为空格），含有chen的，替换为CHEN
awk 'BEGIN {ST="chen is a good boy"} END {print substr(ST,1,4)}' 1.txt 定义一个变量叫ST，然后使用substr截取第一字符以及包括第一字符往后4字符
awk 'BEGIN {ST=$1} END {print substr($1,1,4)}' 1.txt
awk 'BEGIN {ST=$1} END {print substr($1,1,4)}' 1.txt |sed '/ST/p
awk '{print length($0)}' 计算字符串长度
num=$(awk -F! '{print substr($3,6,11)}' 1.txt) 赋值。。。 有点意外吧
echo $num
awk '{print NR}' filename 统计一下此文件总共多少行
awk '{print NF}' filename 统计一下此文件总共多少域
awk '{if (NR > 0 && $4~/chen/) print$0}' filename 打印不为空行，并且第四列包含chen的行
awk -F: {'print $1'} /etc/passwd|tr "\n" " " #查找passwd里面的用户，这么多用户横向输出出来
echo $PWD |awk -F/ '{print $NF}' 显示其目录
awk -F '"' 特殊字符

who |awk '{if($1~/root/);print $1"\t""welcome"}'
who |awk '{print $1"\t""welcome"}'
【wc】
wc -l | file 计算行数
wc -w | file 计算文件中单词数
wc -c 。。。。字符数
【cut】
cut -b 3 :取第三列（无分隔符）
cat 1.txt |cut -d! -f1 以！为分隔符，切出第一段输出
cat 1.txt |cut -d! -f2-3 以！为分隔符，切出第一段与第三段输出
cut -c1 cut -c1-5 按照字符切割
【find】
find /etc -perm 777 -print
find /etc -type |xargs -exec ls -al {}\; -exec只用在find出文件时候使用
find -type f
find /etc -user chen -print
find /etc -size +1G -print.
find /etc -mtime -n(距今多少天) +n(多少天前)
find ./ -name "*.txt" -delete
find ./ -name "*.txt" |xargs rm -rf
find ./ -name "*.txt" -exec {} rm \;
【sort】
sort passwd 默认排序
sort -t passwd
sort -t: -k1 passwd 按照：分隔符排序，k1是表示第一域。表示按照用户名排序了。
sort -n -k 2 这是按照数字排序，表示按照第二列的数字排序
cat access.log |awk '{print $1}' |sort |uniq -c |sort -n -r |head -n 10
awk '{print $1}' access.log|sort | uniq -c |sort -n -k 1 -r|more
sort -u (去除重复行，排序) sort -r（降序） sort -r file.log -o file.log(排序后重定向)
sort -n number。log （字符型，升序排序）
【head】
head -n 10 一般经过排序后，统计选取前10 或者 head -10
tail -n 10 统计后10 tail -1000 acess.log
【uniq】
uniq -c 打印每一重复行的次数：基本上是统计ip什么的访问次数-----用的最多

uniq -d 只显示有重复数据行，并且重复行只显示其中一行

【脚本练习】-------【if else判断】
#!/bin/bash
echo "give Y is ok; gei N is no"
read choose
echo "your action is $choose"
if [ "$choose" == "Y" ]
then
echo "your choose is yes,thanks"
elif [ "$choose" == "N" ]
then
echo "your choose is no,we are sorry to you"
else
echo "take your answer in [Y]or
"
fi

【if】
if [ "$UID" -ne "$ROOT_UID" ] # 当然要使用root用户来运行. 下列为判断 不为root时候
if [ -n "$1" ] # 测试是否有命令行参数(非空).
一

if cd "$dir" 2>/dev/null; then # "2>/dev/null" 会隐藏错误信息.
二
与此相似, 在中括号中的条件判断也不一定非得要if不可, 也可以使用列表结构.
var1=20
var2=22
[ "$var1" -ne "$var2" ] && echo "$var1 is not equal to $var2"
home=/home/bozo
[ -d "$home" ] || echo "$home directory does not exist."

【expr】

用于整数值，也可用于字符串
expr 10 + 10 输出20
expr 30 / 3 输出10
expr 30 \* 3 输出90

【case】
case $name in
root) echo "welcome super user"
;;
chen) echo "welcome chen"
;;
*) echo "unknown words"
;;
esac
【for循环】
for $name in chen root ni #这里面是条件，如果什么满足什么
do
echo $name #如条件成立，则输出操作
done

for i in *.txt;do mv $i $(sed "s/txt/sh/" <<<$i);done 把所有txt文件改为sh文件
for I in {1..100}20.

【until】 until循环不断挂起，直至文件22.txt被删除，删除后，脚本进入正常状态
#!/bin/bash
file=/opt/22.txt
until [ ! -f $file ]

do

sleep 1
done
echo "file deleted"

【while】while简单循环 count小与5，则继续+1.档不满足小与5时。输出此时count的值
#!/bin/bash
count=0
while [ "$count" -lt 5 ]
do
count=`expr $count + 1`
echo $count
done

【split】文件有6行，切割为每2行为一个文件，一共切出3个文件。依次为xaa xab xac
split -2 a.txt

也可以 while read name 键盘输入

【tr】一般进行替换或者删除，进行字符转换
tr -s "[a-z]" < a.txt 表示去除重复字母 例如homeeeeee变为home
tr -s "[\012]" <a.txt 或者 tr -s "["\n"]" <a.txt 删除空行
tr -s "[a-z]" "[A-Z]" <a.txt 将小写转换为大写
tr -s "[chen]" "[chennailog]" <a.txt 将chen替换为chennailing

cat 201601.csv|awk -F ',' '{print $1}' |sort|uniq -c|sort -rn|awk '{if ($1>1);print $2}'|xargs -i grep {} 201601.csv

如果这一行的第一列=另外一行的第一列，输出这一整行

export TMOUT=0 终端永不超时，直接在上面 不会exit

ROOT_UID=0 # $UID为0的时候,用户才具有root用户的权限
LINES=50 # 默认的保存行数
E_XCD=66 # 不能修改目录?
E_NOTROOT=67 # 非root用户将以error退出