linux命令行练级攻略
2015-09-29 15:58
561 查看
基础
学习 Bash 的基础知识。具体来说,输入man bash并至少全文浏览一遍; 它很简单并且不长。其他的 shell 可能很好用,但 Bash 功能强大且几乎所有情况下都是可用的 ( 只学习 zsh,fish 或其他的 shell 的话,在你自己的电脑上会显得很方便,但在很多情况下会限制你,比如当你需要在服务器上工作时)。
学习并掌握至少一个基于文本的编辑器。通常 Vim (
vi) 会是你最好的选择。
学会如何使用
man命令去阅读文档。学会使用
apropos去查找文档。了解有些命令并不对应可执行文件,而是Bash内置的,可以使用
help和
help -d命令获取帮助信息。
学会使用
>和
<来重定向输出和输入,学会使用
|来重定向管道。了解标准输出 stdout 和标准错误 stderr。
学会使用通配符
*(或许再算上
?和
{…
}) 和引用以及引用中
'和
"的区别。
熟悉 Bash 任务管理工具:
&,ctrl-z,ctrl-c,
jobs,
fg,
bg,
kill等。
了解
ssh,以及基本的无密码认证,
ssh-agent,
ssh-add等。
学会基本的文件管理:
ls和
ls -l(了解
ls -l中每一列代表的意义),
less,
head,
tail和
tail -f(甚至
less +F),
ln和
ln -s(了解硬链接与软链接的区别),
chown,
chmod,
du(硬盘使用情况概述:
du -hk *)。 关于文件系统的管理,学习
df,
mount,
fdisk,
mkfs,
lsblk。
学习基本的网络管理:
ip或
ifconfig,
dig。
熟悉正则表达式,以及
grep/
egrep里不同参数的作用,例如
-i,
-o,
-A,和
-B。
学会使用
apt-get,
yum,
dnf或
pacman(取决于你使用的 Linux 发行版)来查找或安装包。确保你的环境中有
pip来安装基于 Python 的命令行工具 (部分程序使用
pip来安装会很简单)。
日常使用
在 Bash 中,可以使用 Tab 自动补全参数,使用 ctrl-r 搜索命令行历史。在 Bash 中,使用 ctrl-w 删除你键入的最后一个单词,使用 ctrl-u 删除整行,使用 alt-b 和 alt-f 按单词移动,使用 ctrl-k 从光标处删除到行尾,使用 ctrl-l 清屏。键入
man readline查看 Bash 中的默认快捷键,内容很多。例如 alt-. 循环地移向前一个参数,以及 alt-* 展开通配符。
你喜欢的话,可以键入
set -o vi来使用 vi 风格的快捷键。
键入
history查看命令行历史记录。其中有许多缩写,例如
!$(最后键入的参数)和
!!(最后键入的命令),尽管通常被 ctrl-r和 alt-. 取代。
回到上一个工作路径:
cd -
如果你输入命令的时候改变了主意,按下 alt-# 在行首添加
#(将你输入的命令视为注释),并回车。这样做的话,之后你可以很方便的利用命令行历史回到你刚才输入到一半的命令。
使用
xargs( 或
parallel)。他们非常给力。注意到你可以控制每行参数个数(
-L)和最大并行数(
-P)。如果你不确定它们是否会按你想的那样工作,先使用
xargs echo查看一下。此外,使用
-I{}会很方便。例如:
12 | find . -name '*.py' | xargs grep some_functioncat hosts | xargs -I{} ssh root@{} hostname |
pstree -p有助于展示进程树。
使用
pgrep和
pkill根据名字查找进程或发送信号。
了解你可以发往进程的信号的种类。比如,使用
kill -STOP [pid]停止一个进程。使用
man 7 signal查看详细列表。
使用
nohup或
disown使一个后台进程持续运行。
使用
netstat -lntp或
ss -plat检查哪些进程在监听端口(默认是检查 TCP 端口; 使用参数
-u检查 UDP 端口)。
有关打开套接字和文件,请参阅
lsof。
在 Bash 脚本中,使用
set -x去调试输出,尽可能的使用严格模式,使用
set -e令脚本在发生错误时退出而不是继续运行,使用
set -o pipefail严谨地对待错误(尽管问题可能很微妙)。当牵扯到很多脚本时,使用
trap。
在 Bash 脚本中,子 shell(使用括号
(...))是一种便捷的方式去组织参数。一个常见的例子是临时地移动工作路径,代码如下:
123 | # do something in current dir(cd /some/other/dir && other-command)# continue in original dir |
${name:?error message}。例如,当 Bash 脚本需要一个参数时,可以使用这样的代码
input_file=${1:?usage: $0 input_file}。数学表达式:
i=$(( (i + 1) % 5 ))。序列:
{1..10}。
截断字符串:
${var%suffix}和
${var#prefix}。例如,假设
var=foo.pdf,那么
echo ${var%.pdf}.txt将输出
foo.txt。
通过使用
<(some command)可以将输出视为文件。例如,对比本地文件
/etc/hosts和一个远程文件:
1 | diff /etc/hosts <(ssh somehost cat /etc/hosts) |
cat <<EOF ...。
在 Bash 中,同时重定向标准输出和标准错误,
some-command >logfile 2>&1。通常,为了保证命令不会在标准输入里残留一个打开了的文件句柄导致你当前所在的终端无法操作,添加
</dev/null是一个好习惯。
使用
man ascii查看具有十六进制和十进制值的ASCII表。
man unicode,
man utf-8,以及
man latin1有助于你去了解通用的编码信息。
使用
screen或
tmux来使用多个屏幕,当你在使用 ssh 时(保存 session 信息)将尤为有用。另一个轻量级的解决方案是
dtach。
ssh 中,了解如何使用
-L或
-D(偶尔需要用
-R)去开启隧道是非常有用的,例如当你需要从一台远程服务器上访问 web。
对 ssh 设置做一些小优化可能是很有用的,例如这个
~/.ssh/config文件包含了防止特定环境下断开连接、压缩数据、多通道等选项:
1234567 | TCPKeepAlive=yesServerAliveInterval=15ServerAliveCountMax=6Compression=yesControlMaster autoControlPath /tmp/%r@%h:%pControlPersist yes |
StrictHostKeyChecking=no,
ForwardAgent=yes
获取文件的八进制格式权限,使用类似如下的代码:
1 | stat -c '%A %a %n' /etc/timezone |
percol可以交互式地从另一个命令输出中选取值。
使用
fpp(PathPicker)可以与基于另一个命令(例如
git)输出的文件交互。
将 web 服务器上当前目录下所有的文件(以及子目录)暴露给你所处网络的所有用户,使用:
python -m SimpleHTTPServer 7777(使用端口 7777 和 Python 2)或
python -m http.server 7777(使用端口 7777 和 Python 3)。
文件及数据处理
在当前路径下通过文件名定位一个文件,find . -iname '*something*'(或类似的)。在所有路径下通过文件名查找文件,使用
locate something(但请记住
updatedb可能没有对最近新建的文件建立索引)。
使用
ag在源代码或数据文件里检索(比
grep -r更好)。
将HTML转为文本:
lynx -dump -stdin
Markdown,HTML,以及所有文档格式之间的转换,试试
pandoc。
如果你不得不处理 XML,
xmlstarlet宝刀未老。
使用
jq处理 JSON。
Excel 或 CSV 文件的处理,csvkit 提供了
in2csv,
csvcut,
csvjoin,
csvgrep等工具。
关于 Amazon S3,
s3cmd很方便而
s4cmd更快。Amazon
官方的
aws是其他 AWS 相关工作的基础。
了解如何使用
sort和
uniq,包括 uniq 的
-u参数和
-d参数,详见后文一行代码节。另外可以了解一下
comm。
了解如何使用
cut,
paste和
join来更改文件。很多人都会使用
cut,但几乎都不会使用
join。
了解如何运用
wc去计算新行数(
-l),字符数(
-m),单词数(
-w)以及字节数(
-c)。
了解如何使用
tee将标准输入复制到文件甚至标准输出,例如
ls -al | tee file.txt。
了解语言环境对许多命令行工具的微妙影响,包括排序的顺序和性能。大多数 Linux 的安装过程会将
LANG或其他有关的变量设置为符合本地的设置。意识到当你改变语言环境时,排序的结果可能会改变。明白国际化可能会时 sort 或其他命令运行效率下降许多倍。某些情况下(例如集合运算)你可以放心的使用
export LC_ALL=C来忽略掉国际化并使用基于字节的顺序。
了解
awk和
sed关于数据的简单处理的用法。例如,将文本文件中第三列的所有数字求和:
awk '{ x += $3 } END { print x }'. 这可能比同等作用的 Python 代码块三倍且代码量少三倍。
替换一个或多个文件中出现的字符串:
1 | perl -pi.bak -e 's/old-string/new-string/g' my-files-*.txt |
rename。对于复杂的重命名规则,repren 或许有帮助。
1234 | # Recover backup files foo.bak -> foo:rename 's/\.bak$//' *.bak# Full rename of filenames,directories,and contents foo -> bar:repren --full --preserve-case --from foo --to bar . |
shuf从一个文件中随机选取行。
了解
sort的参数。明白键的工作原理(
-t和
-k)。例如,注意到你需要
-k1,1来仅按第一个域来排序,而
-k1意味着按整行排序。稳定排序(
sort -s)在某些情况下很有用。例如,以第二个域为主关键字,第一个域为次关键字进行排序,你可以使用
sort -k1,1 | sort -s -k2,2。处理可读性数字(例如
du -h的输出)的时候使用
sort -h。
如果你想在 Bash 命令行中写 tab 制表符,按下 ctrl-v [Tab] 或键入
$'\t'(后者可能更好,因为你可以复制粘贴它)。
标准的源代码对比及合并工具是
diff和
patch。使用
diffstat查看变更总览数据。注意到
diff -r对整个文件夹有效。使用
diff -r tree1 tree2 | diffstat查看变更总览数据。
对于二进制文件,使用
hd使其以十六进制显示以及使用
bvi来编辑二进制。
同样对于二进制文件,使用
strings(包括
grep等等)允许你查找一些文本。
二进制文件对比(Delta 压缩),使用
xdelta3。
使用
iconv更改文本编码。而更高级的用法,可以使用
uconv,它支持一些高级的 Unicode 功能。例如,这条命令将所有元音字母转为小写并移除了:
1 | uconv -f utf-8 -t utf-8 -x '::Any-Lower; ::Any-NFD; [:Nonspacing Mark:] >; ::Any-NFC; ' < input.txt > output.txt |
split(按大小拆分)和
csplit(按模式拆分)。
使用
zless,
zmore,
zcat和
zgrep对压缩过的文件进行操作。
系统调试
curl和
curl -I可以便捷地被应用于 web 调试中,它们的好兄弟
wget也可以,或者是更潮的
httpie。
使用
iostat、
netstat、
top(
htop更佳)和
dstat去获取硬盘、cpu 和网络的状态。熟练掌握这些工具可以使你快速的对系统的当前状态有一个大概的认识。
若要对系统有一个深度的总体认识,使用
glances。它在一个终端窗口中向你提供一些系统级的数据。这对于快速的检查各个子系统非常有帮助。
若要了解内存状态,运行并理解
free和
vmstat的输出。尤其注意”cached”的值,它指的是 Linux 内核用来作为文件缓存的内存大小,因此它与空闲内存无关。
Java 系统调试则是一件截然不同的事,一个可以用于 Oracle 的 JVM 或其他 JVM 上的调试的小技巧是你可以运行
kill -3 <pid>同时一个完整的栈轨迹和堆概述(包括 GC 的细节)会被保存到标准输出/日志文件。
使用
mtr去跟踪路由,用于确定网络问题。
用
ncdu来查看磁盘使用情况,它比常用的命令,如
du -sh *,更节省时间。
查找正在使用带宽的套接字连接或进程,使用
iftop或
nethogs。
ab工具(捆绑于 Apache)可以简单粗暴地检查 web 服务器的性能。对于更复杂的负载测试,使用
siege。
wireshark,
tshark和
ngrep可用于复杂的网络调试。
了解
strace和
ltrace。这俩工具在你的程序运行失败、挂起甚至崩溃,而你却不知道为什么或你想对性能有个总体的认识的时候是非常有用的。注意 profile 参数(
-c)和附加到一个运行的进程参数 (
-p)。
了解使用
ldd来检查共享库。
了解如何运用
gdb连接到一个运行着的进程并获取它的堆栈轨迹。
学会使用
/proc。它在调试正在出现的问题的时候有时会效果惊人。比如:
/proc/cpuinfo,
/proc/xxx/cwd,
/proc/xxx/exe,
/proc/xxx/fd/,
/proc/xxx/smaps。
当调试一些之前出现的问题的时候,
sar非常有用。它展示了 cpu、内存以及网络等的历史数据。
关于更深层次的系统分析以及性能分析,看看
stap(SystemTap),
perf),以及
sysdig。
查看你当前使用的 Linux 发行版(大部分发行版有效):
lsb_release -a
无论什么东西工作得很欢乐时试试
dmesg(可能是硬件或驱动问题)。
一行代码
一些命令组合的例子:当你需要对文本文件做集合交、并、差运算时,结合使用
sort/
uniq很有帮助。假设
a与
b是两内容不同的文件。这种方式效率很高,并且在小文件和上G的文件上都能运用 (
sort不被内存大小约束,尽管在
/tmp在一个小的根分区上时你可能需要
-T参数),参阅前文中关于
LC_ALL和
sort的
-u参数的部分。
123 | cat a b | sort | uniq > c # c is a union bcat a b | sort | uniq -d > c # c is a intersect bcat a b b | sort | uniq -u > c # c is set difference a - b |
grep . *来阅读检查目录下所有文件的内容,例如检查一个充满配置文件的目录比如
/sys、
/proc、
/etc。
计算文本文件第三列中所有数的和(可能比同等作用的 Python 代码快三倍且代码量少三倍):
1 | awk '{ x += $3 } END { print x }' myfile |
ls -l但比
ls -lR更易于理解:
1 | find . -type f -ls |
xargs或
parallel。注意到你可以控制每行参数个数(
-L)和最大并行数(
-P)。如果你不确定它们是否会按你想的那样工作,先使用
xargs echo查看一下。此外,使用
-I{}会很方便。例如:
12 | find . -name '*.py' | xargs grep some_functioncat hosts | xargs -I{} ssh root@{} hostname |
acct_id参数在URI中。如果你想计算出每个
acct_id值有多少次请求,使用如下代码:
1 | cat access.log | egrep -o 'acct_id=[0-9]+' | cut -d= -f2 | sort | uniq -c | sort -rn |
1234567 | function taocl() { curl -s https://raw.githubusercontent.com/jlevy/the-art-of-command-line/master/README.md | pandoc -f markdown -t html | xmlstarlet fo --html --dropdtd | xmlstarlet sel -t -v "(html/body/ul/li[count(p)>0])[$RANDOM mod last()+1]" | xmlstarlet unesc | fmt -80} |
冷门但有用
expr: 计算表达式或正则匹配
m4: 简单地宏处理器
yes: 多次打印字符串
cal: 漂亮的日历
env: 执行一个命令(脚本文件中很有用)
printenv: 打印环境变量(调试时或在使用脚本文件时很有用)
look: 查找以特定字符串开头的单词
cut、
paste和
join: 数据修改
fmt: 格式化文本段落
pr: 将文本格式化成页/列形式
fold: 包裹文本中的几行
column: 将文本格式化成多列或表格
expand和
unexpand: 制表符与空格之间转换
nl: 添加行号
seq: 打印数字
bc: 计算器
factor: 分解因数
gpg: 加密并签名文件
toe: terminfo entries 列表
nc: 网络调试及数据传输
socat: 套接字代理,与
netcat类似
slurm: 网络可视化
dd: 文件或设备间传输数据
file: 确定文件类型
tree: 以树的形式显示路径和文件,类似于递归的
ls
stat: 文件信息
tac: 反向输出文件
shuf: 文件中随机选取几行
comm: 一行一行的比较排序过的文件
pv: 监视通过管道的数据
hd和
bvi: 保存或编辑二进制文件
strings: 从二进制文件中抽取文本
tr: 转换字母
iconv或
uconv: 简易的文件编码
split和
csplit: 分割文件
units: 将一种计量单位转换为另一种等效的计量单位(参阅
/usr/share/units/definitions.units)
7z: 高比例的文件压缩
ldd: 动态库信息
nm: 提取 obj 文件中的符号
ab: 性能分析 web 服务器
strace: 系统调用调试
mtr: 更好的网络调试跟踪工具
cssh: 可视化的并发 shell
rsync: 通过 ssh 同步文件和文件夹
wireshark和
tshark: 抓包和网络调试工具
ngrep: 网络层的 grep
host和
dig: DNS 查找
lsof: 列出当前系统打开文件的工具以及查看端口信息
dstat: 系统状态查看
glances: 高层次的多子系统总览
iostat: CPU 和硬盘状态
htop: top 的加强版
last: 登入记录
w: 查看处于登录状态的用户
id: 用户/组 ID 信息
sar: 系统历史数据
iftop或
nethogs: 套接字及进程的网络利用
ss: 套接字数据
dmesg: 引导及系统错误信息
hdparm: SATA/ATA 磁盘更改及性能分析
lsb_release: Linux 发行版信息
lsblk: 列出块设备信息: 以树形展示你的磁盘以及磁盘分区信息
lshw,
lscpu,
lspci,
lsusb和
dmidecode: 查看硬件信息,包括 CPU、BIOS、RAID、显卡、USB设备等
fortune,
ddate和
sl: 额,这主要取决于你是否认为蒸汽火车和莫名其妙的名人名言是否”有用”
更多资源
awesome-shell: 一份精心组织的命令行工具及资源的列表。Strict mode: 为了编写更好的脚本文件。
相关文章推荐
- linux应用编程笔记(5)系统调用文件编程方法实现文件复制
- Linux进程查看与管理以及作业控制
- Linux内核源码详解——命令篇之iostat[zz]
- Linux 版本简述
- Linux统计某文件夹下文件、文件夹的个数
- Centos6.5更换163源 epel源
- 学习笔记 centos7 lamp 作业
- linux 技巧:使用 screen 管理你的远程会话
- linux exec函数家族
- 由尚德Linux内核编程进阶视频教程(29集)
- linux 生成和使用动态链接库和静态链接库的Makefile编写
- Linux系统VPS/服务器安装WINDOWS桌面环境可以采用的几个方法
- Centos6.4 本地yum源配置
- Linux定时执行任务命令概述:at和crontab
- I can only install jdk1.6 on CentOS 6.5
- linux ulimit到底是做什么的
- 如何查看Linux 硬件配置信息
- linux使用flock文件锁解决脚本重复执行问题
- Linux简史及特点
- centos安装图形