shell是一种程序

shell是一种程序；
shell扫描命令行，判断要执行的程序名称以及要传该该程序的参数；可能会执行一些特殊字符的替换；如*、？、[...]等；<、>、>>、|等；

正则表达式
.：匹配任何字符；

工具

ed工具：

常用命令：
ed filename；
1，$p //显示所有行；
1，$s/oid/OID/g //用OID替换oid；
/ ... / //搜索前后都有空格的任意三个字符；
/ //重复搜索；
/^the/ //搜索以the开头的行；^ 表示行首匹配；
1，$s/^/>>/ //在每行开头插入>>；
1，$s/$/>>/ //在每行末尾添加>>,$匹配行结束；
/转义字符
1,$s/..$// //删除每行最后2个字符；
^$ //匹配不含字符的行；
/[tT]he //搜索the或The； [0123456789] = [0-9]
1，$s/[aeiouAEIOU]//g //删除所有元音字母；
一般来说，诸如*、.、[...]、$和^等正则表达式特殊符号，只有在搜索串中才有特殊意义，而在替换串中没有特殊意义；
如果左方括号后的第一字符是^，那么匹配的意思是反过来；如：[^A-Z]匹配除大写字母以外的任何字符；
*，在构成正则表达式时，用星号来匹配0或若干个紧靠在星号前的字符；如X*；
正则表达式总是寻求最大匹配，所以 .* 匹配一行；
如果要把连字符放在方括号中作为可选的字符，必须把它放在紧跟左方括号的位置如:[-0-9]；[^-0-9]；
X/{1,10/} //匹配1至10个连续的X；前后数字可以相同；
X/{5,/} //匹配至少5个连续的X；
/(.../) //保存匹配的字符串；把字符串包括在前加反斜杠的小括号中，可以捕获正则表达式匹配的字符串，捕获的字符串存储在编号为1到9的寄存器中；如：
^/(./) //匹配行首的第一个字符，并将该字符存到1号寄存器中；用/n来引用存在寄存器中的内容；因此：
^/(./)/1 //匹配的是一行的头两个字符相同；
^/(./).*/1$ //匹配一行中的头一个字符(^.)跟最后一个字符(/1$)相同的行。
/(.../) //把内容赋给下一个的寄存器；如
^/(.../)/(.../) //行中头三个字符存在1号寄存器中，接着三个字符存在2号寄存器中；
1,$s//(.*/) /(.*/)//2 /1/ //交换两个字段；其中/(.*/) /(.*/)表示匹配制表符(右小括号和反斜杠之间的字符)之间的所有字符并将它们赋给1号寄存器，匹配制表符之后的所有字符并将它们赋给2号寄存器；

cut工具

从数据文件或命令的输出中析取各种各样的数据域；
一般格式：cut –cchars file；如cut –c2-5 file；把每行的第二个到第五个字符取出来；
cut可以从标准输入读取；如who | cut –c1-8,18-
另一种格式：cut –ddchar –ffields file；dchar是数据中分隔各字段的分隔符，默认的分隔符是制表符，fields表示要从文件file中析取出来的字段；如：cut –d: -f1,6 /etc/passwd；
附：sed –n l file；会显示file中的制表符为’/t’；

paste工具

把多个文件中的对应行合在一起；paste files；之间的分隔符是制表符；
如：paste names addresses numbers
-d选项：如paste –d ‘+’ names addresses numbers ；指定分隔符
-s选项：把同一个文件中的行粘在一起；
sed工具
意指流编辑器(stream editor)，与ed不同，sed不能用于交互；
一般格式：sed command file；如sed ‘s/OID/oid/’ file；用oid替换OID；处理的是每行的第一个；
sed处理的是临时文件，可以这样做：
sed ‘s/OID/oid/’ file > tmp
mv tmp file
sed ‘s/OID/oid/g’ file 处理的是一行中的多出；
-n选项：从文件中析取几行；如sed –n ‘1,2p’ file 只显示前两行
p命令；sed –n ‘/OID/p’ file 只打印包含OID的行；
d命令；sed ‘1,2d’ file 删除掉第一和第二行
sed ‘/oid/d’ file 删除包含oid的行
sed ‘s/...//’ file 删除file文件每一行的前三个字符

tr工具

过滤器tr用来转换来自标准输入的字符；一般格式：tr from-chars to-chars；
如：tr e x < file，处理文件需要重定向；
cut –d: -f1,6 /etc/passwd | tr : ‘ ’
处理范围：tr ‘[a-z]’ ‘[A-Z]’ < file
-s选项：用来压缩to-chars中重复的字符；如：
tr –s ‘ :’ ‘/11’ 输入中的一个或多个连续的冒号在输出中都被替换成一个制表符；
-d选项；删除输入流中的字符；如：
tr –d ‘ ‘ < file == sed ‘s/ //g’ file
grep工具
-i选项；表示不区分大小写；
-v选项；表示不包含那些行；如：grep –v ‘unix’ file
-l选项；只给出包含给定模式的文件列表，而不给出文件中的匹配行；如：grep –l ‘oid’ *.c
-n选项；显示行号；

sort工具

取出指定输入文件的每一行，将它们按升序排序；
-u选项；在输出中去除重复的行；
-r选项；颠倒排序顺序；
-o选项；指定输出文件；sort names >file == sort names –o file
但是sort names >names不行；而sort names –o names可以；
-n及+1n；指定某个字段排序；字段之间用空格或制表符分隔；而可以用-t指定分隔符；如：
sort +2n –t: /etc/passwd

uniq工具

可以先排序在使用该工具；如：sort names | uniq
-d选项；找出文件中有哪些重复行；

shell编程初步

操作符前后不能加空格；
echo $variable
对于命令：x=*；echo $x的执行；shell在给变量赋值时不进行文件名替换；即echo *；
mv $filename ${filename}X；把文件名后面加字母X；当变量名后面要跟字母、数字或下划线时，才有必要使用大括号；
算术扩展的格式：$((expression))；如echo $((i+1))；

引用

单引号；告诉shell忽略所包含的所有特殊字符，双引号只要求忽略大多数，不被忽略的特殊字符：美元符号、反引号、反斜杠；
双引号中不做文件名替换；
反引号；告诉shell执行括起来的命令，等同于$(command)，但不如$()好理解；
如：mail $(sort –u names) < memo
expr命令：如expr 17 /* 6 ；结果是102，需要把操作符和操作数作为分开的参数；只计算整数算术表达式，浮点数可以用awk和bc命令；

参数传递

每当执行shell程序时，shell自动把第一个参数存在一个特殊的shell变量1中，第二个参数存在变量2中，以此类推；如引用第一个参数：$1； who | grep $1；
$#里面存放的是命令行中的参数个数；
$*表示传递给程序的所有的参数；
shell先替换变量名，然后把命令行划分为各个参数；
几个小程序：
查找：grep ‘‘$1’’ phonebook
添加：echo ‘‘$1 $2’’ >> phonebook
sort –o phonebook phonebook
删除：grep –v ‘‘$1’’ phonebook > /tmp/phonebook
mv /tmp/phonebook phonebook
传递9个以上的参数：${n}
shift命令是把位置参数左移；即原来存在$2中的任何内容赋给$1，等，且$#自动减1；shift也可以指定移动的个数；如：shift n；

判断

if命令格式：
if commandt
then
command
command
...
fi
其中，commandt需要执行并检测退出状态，如果退出状态为0，则执行其后then和fi自己的命令；
程序退出为0时通常表示运行成功；
shell自动将最后所执行命令的退出状态设置到shell变量$?中；
当不需要命令的输出结果时，可以把输出重定向到系统的垃圾桶--/dev/null中，从它读取的是文件结束符；
如下命令： who | grep “^$user ” > /dev/null
test命令；经常用来在if命令中测试一种或几种条件；格式：test expression
如：test “$name” = fred
其中对双引号的说明：如果没有使用引号，当name为空时，test得到的参数只有两个，即=和fred；而当有引号时，得到的是null、=和fred；
检测字符串的操作符：=、!=、string、-n string、-z string；其中-n理解为检测长度是否不为0，-z检测长度是否为0或是否为空；
test X”$symbol” = X ;判断symbol是否为空；
等号操作符的优先级比-z的高；
test expression 等价于 [ expression ] ；其中[为命令，但该命令后面需要跟随]
test整数操作符：-eq 、-ge、-gt、-le、-lt、-ne；
test文件操作符：-d 为目录、-e 存在、-f 为普通文件、-r 为进程可读文件、-s 长度不为0、-w 为进程可写文件、 -x 可执行、-L 为符合化链接；
逻辑非： ！ ；逻辑与： -a ；逻辑或：-o；其中-o优先级小于-a；
小括号：()可以改变求值顺序；但小括号对shell具有特殊意义；需要转义；且需要空格隔开，如：[ /( “$count” –ge 0 /) –a /( “$count” –lt 10 /) ]
else结构；
exit命令；内部命令，立即终止shell程序的执行；exit n；n为退出状态；
elif命令，格式和c的else if类似；
date +%H；可以直接获得小时值；
case命令；
case value in
val1) command
command;;
val2) command
command;;
esac
case语句中可以用特殊字符指定匹配模式，就和文件名替换中的一样：?、*、[...]
调试程序的-x选项；sh –x后面跟程序名及其参数；
把符合|用于两个模式之间时，其作用是逻辑或；如：
hour=$(date +%H)
case “$hour” in
0? | 1[01] ) echo “ morning”;;
1[2-7] ) echo “afternoon”;;
* ) echo “evening”;;
esac
空命令； ：
&& 和 || 命令，和c类似；

循环

for命令格式：首先word1赋值给var，执行循环体，让后...
for var in word1 word2 ... wordn
do
command
...
done
shell允许在for命令的词列表中使用文件名替换；如：for file in file[1-4]、for file in *；
$@和$*类似，只是$@可以在前后加双引号；
for命令后面不带列表时；即 for var 等同于 for var in “$@”
while循环，先执行command1，并检测其退出状态，如果为0，就执行command；
while command1
do
command
...
done
while常与shift命令结合使用，以处理命令行中键入的参数个数可变的情况；
while [“$#” –ne 0 ]
do
echo “$1”
shift
done
until命令；格式同while，当command1退出状态为0时，循环结束；
发送邮件：echo “$user has loggde on” | mail fred
break命令同c的；且有break n；退出最里层的n重循环；
continue命令也同c的，且有continue n；使最里层的n重循环后面的所有命令都被跳过；
可以给循环重定向其输出输入，循环中的单个命令也可以再重定向；
终端：/dev/tty，它总表示你的终端；
如在单行或命令行中输入循环，格式如：for i in 1 2 3 4; do echo $i; done
其他循环及判断如上；
getcmd命令；
getopts命令；命令设计目标是在循环中运行，每次执行循环，getopts就检查一下命令行参数；同c的getopts；格式：getopts options variable；选项后面如果有：，则表示选项后面需要参数，并把该参数存入一个特殊的变量：OPTARG；每处理一次OPTIND会加1；

数据的读入和显示

read命令；
格式：read variables；shell从标准输入读入一行数据，并把读入的词一次赋给变量，如果读入的多，就把剩余的赋给最后一个变量；
echo命令会自动在其最后一个参数之后加上行结束符；
echo解释的医学特殊字符：/b 退格；/c 行尾不带行结束符；/f 换页；/n 换行；/r 回车；/t 制表符；等；
basename命令：给出参数的基本文件名；如 basename /usr/bin/file 得到file；
一个小拷贝程序：p204
numargs=$#
filelist=
copylist=
while [ “$#” –gt 1 ]
do
filelist=”$filelist $1”
shift
done
to=”$1”
if [“$numargs” –lt 2 –o “$numargs” –gt 2 –a ! –d “$to” ]
then
echo “Usage: mycp file1 file2”
echo “ mycp file(s) dir”
exit 1
fi
for from in $filelist
do
if [ -d “$to” ]
then
tofile=”$to/$(basename $from)”
else
tofile=”$to”
fi
if [ -e “$tofile” ]
then
echo “$tofile already exits; overwrite (yes/no) ? /c”
read answer
if [ “$answer” = yes ]
then
copylist=”$copylist $from”
fi
else
copylist=”$copylist $from”
fi
done
if [ -n “$copylist” ]
then
cp $copylist $to
fi
shell变量$$，保存当前进程的ID；
cat filename |
while read line
do
echo “$line”
done
上面通过管道把cat输出给while循环；
read命令-r选项，防止它解释反斜杠字符；
printf命令：格式：printf “format” arg1 arg2 ...
printf与echo不同，它不会自动向输出添加换行符；然而可以理解”/n”；

环境

子shell就是登陆shell为了运行期望的程序而执行的全新的shell；新shell运行时，是在自己是环境中运行，使用它自己的局部变量集；
局部变量
变量一旦被导出，对所有后续执行的子shell，该变量都是导出变量，包括孙子shell；语法：export variables;
导出变量的清单都复制给子shell；仅仅是复制；
export –p，就会得到shell所导出的所有变量的清单；
shell作为命令提示符显示的字符$存在变量PS1中，可以改变它；辅助命令提示符>存在于变量PS2中；
登陆系统后的宿主目录存在特殊变量：HOME中；当cd不带参数时，就使用该变量；
PATH指定是执行命令时shell要搜索的目录；这些目录彼此用冒号分隔；执行命令时也可以直接给命令指明路径；
CDPATH变量跟PATH变量相似；
.命令；读作”dot”；格式：. file；它的作用是在当前shell中执行file中的内容，也就是由当前shell来执行file中的命令，不产生子shell来执行这些程序；
一个应用，. mysql，如一个mysql中的内容：
HOME=/usr2/data
BIN=$HOME/bin
PATH=$PATH$BIN

PS1=”mysql> ”
export HOME BIN PATH PS1
/usr/bin/sh
exec命令：执行程序，格式 exec program；或重新分配标准输出输入，
格式 exec < file；exec > report;
可以把命令组成一组，用小括号或大括号括起来；小括号形式是用子shell执行这些命令；大括号则在当前shell中执行；且大括号的左括号后必须有个空格，最后一条命令后必须有分号；这样一组的命令可以使用&在后台进行执行；
给子shell传递变量的另一种方法，如DBHOME=/usr/data DBID=326 dbrun
同(DBHOME=/usr/data; DBID=326; export DBHOME DBID; dbrun)
profile文件；两个profile文件
在登录系统时，当shell显示命令提示符并等待你键入第一条命令时；在这之前，登录shell执行了系统中两个特殊文件：profile；一个是/etc/profile，该文件有系统管理员设置，通常做一些诸如检查是否有邮件、设置默认的创建文件的掩码、给某些标准导出变量赋值、以及任何管理员希望每当用户登录时都需要执行的命令；一个是宿主目录下面的.profile，当你得到账户时，系统给的一个默认文件，里面可以是一些环境变量，然后导出这些变量；
这两个文件是登陆shell执行的；(就如. /etc/profile . .profile)
一个关于终端的变量：TERM变量；
date命令和一些c标准库函数要用到TZ变量来确定时区信息；如：TZ=EST5 date

深入参数

参数替换
${parameter} 如因为参数名后面的字符可能会导致冲突，可以把参数名放在大括号中，如mv $file ${file}x
${parameter:-value}；该结构意思：如果parameter不为空，就替换它的值，否则就替换为value；
${parameter:=value}；当parameter为空时，不但使用value，还把它赋给parameter；但不能给位置参数赋值；这些不能作为单独的命令；
${parameter:?value}；如果parameter不为空，shell就替换它的值；否则shell就把value写入标准错误，然后退出；
${parameter:+value}；如果parameter不为空，则中结构替换为value；否则什么也不替换；
以上的value都可以是命令替换；如：WORKDIR=${DBDIR:-$(pwd)}
模式匹配结构：四种参数替换结构；每种结构都有两个参数：变量名以及模式；
${variable%pattern}；shell在variable中查找，看它是否以给定的模式结尾，如果是就从命令行中把variable的内容从右边去掉最短的匹配模式；
${variable%%pattern}；从右边去掉最长的匹配模式，不过只有在pattern中用了*时才是；人、否则同%;
${variable#pattern}；从左边去掉；
${variable##pattern}；从左边去掉最长的匹配pattern中的内容；
上面结构中都不对变量本身作修改；只有命令行中替换的内容受影响；
如检测存在file中的文件名是否以.o这两个字母结尾：if [ ${file%.o} != $file ]
$0变量：shell自动把程序名存在一个特殊的变量$0中；
set命令：设置各种shell选项，以及给位置参数$1、$2等重新赋值；
-x选项；打开shell的跟踪模式；set –x
+x选项；关闭跟踪模式；可以插入到程序里面；
命令行set a b c；把这些值赋给了$1、$2等，以及把个数赋给$#；
--选项；它让set不要把行中后面的其他字符作为选项；
IFS变量；代表内边字段分隔符；即空白字符；可以用：echo “$IFS” | od –b查看；可以给它赋值；
readonly命令用来说明以后不能修改其值的变量；变量的只读属性不能传递给子shell；且一旦为只读就没办法将它撤消；
readonly –p；得到只读变量的清单；
unset命令；把变量从环境中删除；但不能删除只读变量；

杂项

eval命令；eval command-line；shell在执行命令行之前扫描它两次；
如：pipe=”|”
eval ls $pipe wc -l
第一次扫描命令行时，它替换出pipe的值|，接着eval使它再次扫描命令行，这时shell把|作为管道符号了；
如：eval echo /$$#
wait命令；
wait process-id；process-id如为空，则shell等待所有的子进程完成；
$!变量保存shell最后一个送到后台的进程标志值；
trap命令；在按下删除键后，终端向运行中的程序发送信号，程序可以决定接受到信号后应该采取的行动，可以通过trap命令实现；trap commands signals；
常用信号编号：0 退出shell；1 挂起；2 中断(Delete、Ctrl+C)；15 软件结束信号(kill发出)；
如：trap “rm $WORKDIR/work1$$ $WORKDIR/dataout$$; exit” 1 2
trap “” 2；忽略信号，如果忽略一个信号，则所有的子shell也忽略该信号；如果设置一个信号的动作，而子shell还是采取默认动作；
trap 1 2；把收到信号1或2时的动作恢复为默认设置；
>&表示输出重定向到跟其后的文件描述符相关联的文件；
如标准输出和标准错误集中到一个文件：command > foo 2>>foo；或command >foo 2>&1
把标准输出定向到foo，把标准错误重定向到标准输出(因为它已经重定向到foo了)
>&-的作用是关闭标准输出，如果在前面加上文件描述符，就关闭与之关联的文件；<&-；
<<；内联输入重定向；如command <<word；格式把<<跟在命令之后，shell将把其后的各行作为command的标准输入，直到遇上仅包含word的行；如wc –l <<ENDOFDATA
shell对重定向的输入数据做参数替换、执行反引号中的命令并识别反斜杠字符。然而其他的特殊字符如*、|以及”等都忽略掉。如果在这些数据行中有美元符号、反引号、反斜杠字符，而且不希望shell来处理这些字符，可以在他们前面加上一个反斜杠字符；如果希望shell把所有的输入行都原样保留，可以在跟在<<之后的词之前加上反斜杠；如果紧接着<<的第一个字符是连字符-，shell就会把数据行中开头的制表符去掉；p274
内联输入重定向特性的最大用处之一是创建shell档案文件；
p378有个档案文件的例子不是很了解；
函数；格式：name(){ command; ... command; }
unset –f name；把一个函数的定义从shell中去掉；
函数中exit命令不只是结束函数，也结束调用函数的shell程序；
return命令只是结束函数；
type命令；如：type pwd；查看命令的来源，或类型；

!#；如果在一个文件中行首，那么该行余下的部分指明了对文件的一个解释；
ENV文件；当你启动shell时，它所做的第一件事情就是在你的环境中寻找名为ENV的变量，如果找到了，则执行由ENV所指定的文件；这非常类似于登陆时执行的配置文件；
行编辑器模式；set –o vi ；set –o emacs；打开vi模式或emacs模式；
命令历史记录列表保存在你的宿主目录下的文件.sh_history；
vi的一些命令：i、a是插入模式；esc后进入命令模式：w、b、x、h、l、$、0；k、j；/；
查看记录的命令：history，可以跟数字；
fc命令：可以为历史记录中的一条或多条命令启动编辑器，或直接将历史命令列在终端上；如：fc –l 100 122；将命令100到命令122写入标准输出；
fc –n –l -20；将最后20条命令写入标准输出；
alias命令；用例定义别名；如：alias name=string；alias ll=’ls –l’；unalias name；删除别名；