linux进程管理及计划任务

进程管理：
什么是进程？
在Linux系统当中：触法任何一个事件时，系统都会将它定义成为一个进程，并且给予这个进程一个ID，称为PID，同时依据触发这个进程的用户与相关属性关系，给予这个PID一组有效的权限设置。

进程与程序：
程序(program)：通常为二进制程序放置在存储媒介中，以物理文件的形式存在。
进程(process)：程序被触发后，执行者的权限与属性、程序的程序代码与所需数据等都会被加载到内存中，操作系统并给予这个内存内的单元一个标识符(PID),可以说，进程就是一个正在运行中的程序。
进程ID（Process ID，PID）号码被用来标记各个进程

UID、GID、和SELinux语境决定对文件系统的存取和访问权限，

通常从执行进程的用户来继承

存在生命周期

子进程与父进程：
子进程是由一个进程所产生的进程，产生这个子进程的进程称为父进程；父进程终止子进程自然终止。
子进程与父进程之间的关系最大的复杂点在于进程相互之间的调用，在linux中的过程调用中通常称为fork-and-exec的流程，进程都会通过父进程以复制的方式产生一个一模一样的子进程，然后被复制出来的子进程再以exec的方式来执行实际要进行的进程，最终就成为一个子进程的存在。

进程的创建：
init：第一个进程
父子关系
进程：都由其父进程创建，
fork(), clone()

进程的优先级：
系统优先级：数字越小，优先级越高

0-139（CentOS4,5）：各有140个运行队列和过期队列
0-98，99（CenOS6）
实时优先级:99-0：值最大优先级最高

Nice值：-20，19对应系统优先级100-139或99

进程的调度使用的算法不同，所用的时间有所不同，我们需要实现时间复杂度优化,最理想状态为O(1)状态，
Big O：时间复杂度，用时和规模的关系
O(1)：计算规模不论多大，用时恒定（理想状态）
O(logN)：计算规模增大，用时以函数形增长
O(n)：计算规模增大，用时以线性增长
O(n^2)：计算规模增大，用时抛物线形增长
O(2^n)：计算规模增大，用时以指数型增长

进程内存分配：
Page Frame: 页框，用存储页面数据，存储Page 4k （内存分配给进程的空间）
LRU：Least Recently Used 近期最少使用算法,释放内存（当内存空间不足时使用）
物理地址空间和线性地址空间
MMU：Memory Management Unit 负责转换线性和物理地址

进程间通讯：IPC: Inter Process Communication
同一主机上：
signal：发信号的形式实现
shm: shared memory ： 共享内存
semophore：信号量，一种计数器，相当于加上一种标识位，添加访问权限
不同主机上：
rpc: remote procedure call：远程调用
socket: IP和端口号

进程状态：
Linux内核：抢占式多任务
进程类型：
守护进程: daemon,在系统引导过程中启动的进程，和终端无关进程
前台进程：跟终端相关，通过终端启动的进程
注意：两者可相互转化
进程状态：
运行态：running
就绪态：ready
睡眠态：
可中断：interruptable
不可中断：uninterruptable
停止态：stopped,暂停于内存中，但不会被调度，除非手动启动
僵死态：zombie，结束进程，父进程结束前，子进程不关闭

系统管理工具
进程的分类：
CPU-Bound：CPU密集型，非交互
IO-Bound：IO密集型，交互

Linux系统状态的查看及管理工具：
pstree, ps, pidof, pgrep, top, htop, glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup

pstree命令： pstree-display a tree of processes
pstree命令以树状图的方式展现进程之间的派生关系，显示效果比较直观。

ps: process state：进程状态
ps-report a snapshot of the current processes
Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

进程管理工具：
ps命令：ps命令用于报告当前系统的进程状态。可以搭配kill指令随时中断、删除不必要的程序。ps命令是最基本同时也是非常强大的进程查看命令，使用该命令可以确定有哪些进程正在运行和运行的状态、进程是否结束、进程有没有僵死、哪些进程占用了过多的资源等等，总之大部分信息都是可以通过执行该命令得到的。
命令语法： ps [OPTION]...
支持三种格式选项：
UNIX选项 如 -a
BSD选项 如 a
GUN选项 如 --help
默认显示当前终端中的进程
a选项包括所有终端中的进程

x选项包括不链接终端的进程

u选项显示进程所有者的信息

f选项显示进程的父进程

o属性… 选项显示定制的信息：pid（进程ID）、comm（进程命令）、%cpu（处理器）、%mem（内存）、stat（状态）、tty（终端）、euser（有效用户）、ruser（发起用户）...





VSZ: Virtual memory SiZe，虚拟内存集，线性内存
RSS: ReSidentSize, 常驻内存集
STAT：进程状态
R：running

S: interruptable sleeping

D: uninterruptable sleeping

T: stopped

Z: zombie

+: 前台进程

l: 多线程进程

N：低优先级进程

<: 高优先级进程

s: session leader，会话（子进程）发起者

常用组合：-ef
-e: 显示所有进程
-f: 显示完整格式程序信息
常用组合：-eFH
-F: 显示更完整格式的进程信息
-H: 以进程层级格式显示进程相关信息
常用组合：自定义
-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm

ni: nice值
pri: priority，优先级
psr: processor, CPU编号
rtprio: 实时优先级




搜索进程:
最灵活：ps选项| 其它命令
按预定义的模式：pgrep
pgrep [options] patter
-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示父进程为此处指定的进程的进程列表
按确切的程序名称：/sbin/pidof
$ pidofbash

系统工具
uptime:
显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分钟的平均负载，一般不会超过1）
系统平均负载:
指在特定时间间隔内运行队列中的平均进程数。
如果每个CPU内核的当前活动进程数不大于3的话，那么系统的性能良好。如果每个CPU内核的任务数大于 5，那么这台机器的性能有严重问题。
如果linux主机是1个双核CPU的话，当Load Average 为6的时候说明机器已经被充分使用了。




进程管理工具:
top：有许多内置命令：
排序：
P：以占据的CPU百分比,%CPU
M：占据内存百分比,%MEM
T：累积占据CPU时长,TIME+
首部信息显示：
uptime信息：l命令
tasks及cpu信息：t命令
cpu分别显示：1 (数字)
memory信息：m命令




退出命令：q
修改刷新时间间隔：s
终止指定进程：k
保存文件：W

栏位信息简介:
us：用户空间
sy：内核空间
ni：调整nice时间
id：空闲
wa：等待IO时间
hi：硬中断
si：软中断（模式切换）
st：虚拟机偷走的时间

栏位信息简介
PID (Process Id):任务的进程ID
PPID (Parent Process Pid):父任务的进程ID
RUSER (Real User Name):任务的所有者真实名称
UID (User Id):任务所有者IDUSER (User Name):任务所有者名称
GROUP (Group Name):任务所有者群组名
TTY (Controlling Tty):终端
PR (Priority):优先级
%CPU (CPU usage):CPU使用率
%MEM (Memory usage (RES)):内存使用率
S (Process Status):进程状态
TIME+ (CPU Time, hundredths):CPU时间，精确到秒



选项：
-d #: 指定刷新时间间隔，默认为3秒
-b: 以批次方式
-n #: 显示多少批次

htop命令：htop 是一个 Linux 下的交互式的进程浏览器，可以用来替换top命令。需从Fedora-EPEL源安装
选项：
-d #: 指定延迟时间；
-u UserName: 仅显示指定用户的进程；
-s COLUME: 以指定字段进行排序；
子命令：
s: 跟踪选定进程的系统调用；
l: 显示选定进程打开的文件列表；
a：将选定的进程绑定至某指定CPU核心；
t: 显示进程树




vmstat命令：vmstat命令的含义为显示虚拟内存状态（“Viryual Memor Statics”），但是它可以报告关于进程、内存、I/O等系统整体运行状态。
vmstat [options] [delay [count]]
选项：
-s: 显示内存的统计数据 vmstat 2 5




procs:
r：等待运行的进程的个数，和核心数有关
b：处于不可中断睡眠态的进程个数(被阻塞的队列的长度)
memory：
swpd: 交换内存的使用总量
free：空闲物理内存总量
buffer：用于buffer的内存总量
cache：用于cache的内存总量
swap:
si：从磁盘交换进内存的数据速率(kb/s)
so：从内存交换至磁盘的数据速率(kb/s)
io：
bi：从块设备读入数据到系统的速率；(kb/s)
bo: 保存数据至块设备的速率；
system：
in: interrupts, 中断速率，包括时钟
cs: context switch, 进程切换速率
cpu：
us:Timespent running non-kernel code.
sy: Time spent running kernel code
id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
wa: Time spent waiting for IO. 2.5.41前，包括in idle.
st: Time stolen from a virtual machine. 2.6.11前, unknown.

pmap命令：进程的内存映射
pmap[options] pid[...]
-x: 显示详细格式的信息；
#pmap1
另外一种实现：
# cat /proc/PID/maps

系统监控工具：
Glances 是一个由 Python 编写，使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具。 通过 Glances，我们可以监视 CPU，平均负载，内存，网络流量，磁盘 I/O，其他处理器 和 文件系统 空间的利用情况。
Glances 是一个用来监视 GNU/Linux 和 FreeBSD 操作系统的 GPL 授权的自由软件。

Glances 同时也提供了很多实用的选项。 其中我们能够在配置文件见到的一项主要的功能就是设置关键值及相应的标签 （careful[小心], warning[警告] 和 critical[严重]）， 然后她会自动帮我们用不同颜色标出系统达到某个瓶颈的信息。

glances命令：EPEL源
命令语法：
glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [--password] [-t refresh] [-f file] [-o output]
常用选项：
-b: 以Byte为单位显示网卡数据速率
-d: 关闭磁盘I/O模块
-f /path/to/somefile: 设定输入文件位置
-o {HTML|CSV}：输出格式
-m: 禁用mount模块
-n: 禁用网络模块
-t #: 延迟时间间隔
-1：每个CPU的相关数据单独显示
C/S模式下运行glances命令
服务模式：
glances -s -B IPADDR
IPADDR: 指明监听的本机哪个地址
客户端模式：
glances -c IPADDR
IPADDR：要连入的服务器端地址





dstat命令：系统资源统计；dstat命令是一个全能系统信息统计工具。拥有一个彩色的界面，在手动观察性能状况时，数据比较显眼容易观察；而且dstat支持即时刷新，如输入dstat 3即每三秒收集一次，但最新的数据都会每秒刷新显示。dstat也可以收集指定的性能资源，如dstat -c即显示CPU的使用情况。
dstat[-afv] [options..] [delay [count]]
-c: 显示cpu相关信息 ；-C #,#,...,total
-d: 显示disk相关信息 ；-D total,sda,sdb,...
-g：显示page相关统计数据
-m: 显示memory相关统计数据
-n: 显示network相关统计数据
-p: 显示process相关统计数据
-r: 显示io请求相关的统计数据
-s: 显示swapped相关的统计数据
--top-cpu：显示最占用CPU的进程
--top-io: 显示最占用io的进程
--top-mem: 显示最占用内存的进程
--top-latency: 显示延迟最大的进程

进程管理工具
kill命令：
向进程发送控制信号，以实现对进程管理
显示当前系统可用信号：kill -l
常用信号：man 7 signal
1) SIGHUP: 无须关闭进程而让其重读配置文件
2) SIGINT: 中止正在运行的进程；相当于Ctrl+c
9) SIGKILL: 杀死正在运行的进程
15) SIGTERM：终止正在运行的进程
18) SIGCONT：
19) SIGSTOP：
指定信号的方法：
(1) 信号的数字标识；1, 2, 9
(2) 信号完整名称；SIGHUP
(3) 信号的简写名称；HUP

按PID：kill [-SIGNAL] pid…
按名称：killall[-SIGNAL] comm…
按模式：pkill[options] pattern
-SIGNAL
-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示父进程为此处指定的进程的进程列表

作业管理
Linux的作业控制
前台作业：通过终端启动，且启动后一直占据终端；
后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）
如何让作业运行于后台？
(1) 运行中的作业：Ctrl+z
(2) 尚未启动的作业：# COMMAND &
此类后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系：
# nohup COMMAND &
查看所有作业：
# jobs
作业控制：
# fg [[%]JOB_NUM]：把指定的后台作业调回前台；
# bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行；
# kill [%JOB_NUM]：终止指定的作业；

进程优先级：
进程优先级调整：
静态优先级：100-139
进程默认启动时的nice值为0，优先级为120
只有根用户才能降低nice值（提高优先性）
nice命令：
nice [OPTION] [COMMAND [ARG]...]
renice命令：
renice[-n] priority pid...
查看：
psaxopid,comm,ni

任务计划：
Linux任务计划、周期性任务执行
未来的某时间点执行一次任务：at, batch
周期性运行某任务: cron
at命令：
at [option] TIME
TIME:
HH:MM [YYYY-mm-dd]
noon, midnight, teatime
tomorrow
now+#{minutes,hours,days, OR weeks}
常用选项：
-q QUEUE:
-l: 列出指定队列中等待运行的作业；相当于atq
-d: 删除指定的作业；相当于atrm
-c: 查看具体作业任务
-f /path/from/somefile：从指定的文件中读取任务
-m:强制at发送邮件，表示执行完毕
注意：作业执行命令的结果中的标准输出和错误以邮件通知给相关用户
例：
1、三天后的下午5点执行

/bin/ls

：

[root@CentOS-6 ~]# at 5pm +3days
at> /bin/ls
at> <EOT>
job 4 at 2016-09-14 17:00

2、明天17点钟，输出时间到指定文件内：

[root@CentOS-6 ~]# at 17:20 tomorrow
at> date >/root/time.log
at> <EOT>
job 5 at 2016-09-12 17:20

3、计划任务设定后，在没有执行之前我们可以用atq命令来查看系统没有执行工作任务：

[root@CentOS-6 ~]# atq
4	2016-09-14 17:00 a root
5	2016-09-12 17:20 a root

4、删除已经设置的任务：

[root@CentOS-6 ~]# atq
4	2016-09-14 17:00 a root
5	2016-09-12 17:20 a root
[root@CentOS-6 ~]# atrm 4
[root@CentOS-6 ~]# atq
5	2016-09-12 17:20 a root

5、显示已经设置的任务内容：

[root@CentOS-6 ~]# at -c 5
#!/bin/sh
# atrun uid=0 gid=0
# mail root 0
umask 22
...
略
...
date >/root/time.log

marcinDELIMITER26eb659b

batch命令：让系统自行选择空闲时间去执行此处指定的任务
batch命令进程和作业管理 batch命令用于在指定时间，当系统不繁忙时执行任务，用法与at相似。
语法

batch(选项)(参数)
选项
-f：指定包含具体指令的任务文件；
-q：指定新任务的队列名称；
-m：任务执行完后向用户发送E-mail。

参数
日期时间：指定任务执行的日期时间。
实例

[root@CentOS-6 ~]# batch
at> echo 123
at> <EOT>
job 6 at 2016-09-11 11:20

周期性任务计划：cron
相关的程序包：
cronie: 主程序包，提供crond守护进程及相关辅助工具

cronie-anacron：cronie的补充程序；用于监控cronie任务执行状况；如cronie中的任务在过去该运行的时间点未能正常运行，则anacron会随后启动一次此任务

crontabs：包含CentOS提供系统维护任务

确保crond守护处于运行状态：
CentOS 7:
systemctl status crond
...running...
CentOS 6:
service crond status

计划周期性执行的任务提交给crond，到指定时间会自动运行，向crond提交作业的方式不同于at，它需要使用专用的配置文件，此文件有固定格式，不建议直接使用文本编辑器编辑此文件，使用crond命令编辑。

cron任务分为两类：
系统cron任务：主要用于实现系统自身的维护；
手动编辑:/etc/crontab文件
用户cron任务
命令：crontab命令

Crontab的基本组成：




系统cron的配置格式：/etc/crontab SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# For details see man 4 crontabs
注意：①每一行定义一个周期性任务；共七个字段* * * * * ：定义周期性时间user-name ：运行任务的用户身份command to be executed：任务②此处的环境变量不同于用户登录后获得的环境，因此，建议命令使用绝对路径，或自定义PATH变量。③执行结果邮件发送给MAILTO指定的用户
系统的计划任务: /etc/crontab /etc/cron.d/ 配置文件 /etc/cron.hourly/ 脚本 /etc/cron.daily/脚本 /etc/cron.weekly/脚本 /etc/cron.monthly/脚本

用户cron：[b]用户cron的配置格式:/var/spool/cron/USERNAME[/b]crontab命令定义，每个用户都有专用的cron任务文件：/var/spool/cron/USERNAME

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
# For details see man 4 crontabs
注意：
①每行定义一个cron任务，共六个字段；
②此处的环境变量不同于用户登录后获得的环境，因此，建议命令使用绝对路径，或自定义PATH变量。
③邮件发送给当前用户；

crontab配置文件格式：




时间表示法：
①特定值：
给定时间点有效取值范围内的值；
注意：day of week和 day of month 一般不同时使用；
②*
给定时间点上有效取值范围内的所有值；表示“每..”
③离散取值；
在给定时间时间点上使用逗号分隔的多个值
#，#，#
④连续取值：-
在时间点上使用-连接开头和结束
#-#
⑤在指定时间点上，定义步长： /
/#：#即步长
*/2：每两分钟

例如：每3小时echo命令；

0 */3 * * * gentoo/bin/echo "hello"

特别时间格式：@reboot = Run once after reboot.@yearly = 0 0 1 1 *@annually = 0 0 1 1 *@monthly = 0 0 1 * *@weekly = 0 0 * * 0@daily0 = 0 * * *@hourly = 0 * * * *注意：
(1)指定的时间点不能被步长整除时，其意义将不服存在；
(2)最小时间单位为“分钟”，想完成“秒"任务：得需要额外借助于其他机制
定义每分钟任务；而在利用脚本实现没分钟之内，循环执行多次；

示例：
1、 3 * * * * ：每小时第三分钟执行一次；
2、 3 4 * * * ：每周任务；每周５的４点３分；
3、 5 6 7 * * ：每月任务；每月的7号6点5分
4、 7 8 9 10 * ：每年任务，每年的10月9号8点7分　
5、 9 8 * * 3,7：每周三和周日；
6、 0 8,20 * *3,7:每周三和周日的8点和20点
7、 0 9-18 * * 1-5：周一至周五9-18点每小时执行一次
8、 */5 * * * *：每五分钟执行一次任务

crontab命令： crontab[-u user] [-l | -r | -e] [-i] -l: 列出所有任务； -e: 编辑任务； -r: 移除所有任务； -i：同-r一同使用，以交互式模式移除指定任务 -u user: 仅root可运行，指定用户管理cron任务注意：
运行结果的标准输出和错误以邮件通知给相关用户 (1) COMMAND > /dev/null (2) COMMAND &> /dev/null对于cron任务来讲，%有特殊用途；如果在命令中要使用%，则需要转义；不过，如果把%放置于单引号中，也可以不用转义；

at和crontab一次性作业使用at

重复性作业使用crontab

没有被重定向的输出会被邮寄给用户

根用户能够修改其它用户的作业

思考：如何在秒级别运行任务？
由于crontab最小时间单位为分钟，所以我们需要借用sleep命令使其“睡一会”，来实现秒级别，及不能整除时间单位的计划任务。

sleep命令：
sleep NUMBER [SUFFIX]...
SUFFIX:
s: 秒, 默认
m: 分
h: 小时
d: 天
如：每20秒执行一次

* * * * *  for min in 0 1 2; do echo "hi"; sleep 20 ; done

练习
①每12小时备份一次/etc目录至/backups目录中，保存文件名称格式为“/etc-yyyy-mm-dd-hh.tar.gz”

# crontab -e
0 */12 * * * tar -zcf  /backups/etc-`date +\%F-\%H`.tar.gz  /etc

②每周2，4，7备份/var/log/secure文件至/logs目录中，文件名格式为“secure-yyyymmdd”;

# crontab -e
* * * * 2,4,7  cp -r /var/log/secure  /logs/secre-`date +\%F`

③每两个小时取出当前系统/proc/meminfo文件中以S或M开头的行信息追加至/tmp/meminfo.txt文件中；

# crontab -e
0 */2 * * * grep "^[SM].*"/proc/meminfo >> /tmp/meminfo.txt

④四月的第一个星期日早晨1点59分运行a.sh

# crontab -e
59 1 1-7 4 * test `date +\%w` -eq 0 && bash a.sh

⑤工作日时间，每10分钟执行一次磁盘空间检查，一旦发现任何分区利用率高于80%，就执行wall警报

# vim /testdir/disk.sh

#!/bin/bash
a=`df | grep  "^/dev/sd" | tr -s ' ' '%'| cut -d% -f5 | sort -n  | tail -1`
if [ $a -gt 80 ];then
wall "The disk will be full"
fi

# chmod +x disk.sh
# crontab -e
*/10 * * * 1-5 /testdir/disk.sh

思考：某任务在指定的时间因关机未能执行，下次开机会不会自动执行？ 不会！如果期望某时间因故未能按时执行，下次开机后无论是否带来相应的时间点都要执行一次，可使用anacron实现。anacron系统： 运行计算机关机时cron不运行的任务，CentOS6.0以后版本取消anacron服务，由crond服务管理。 假设计算机没有一直开机 对笔记本电脑、台式机、工作站及其它不一直开机的系统很重要 对偶尔要关机的服务器很有用 配置文件：/etc/anacrontab，负责执行/etc/ cron.daily/etc/cron.weekly/etc/cron.monthly中系统任务。/etc/cron.hourly/由/cron.d/0hourly执行字段1：如果在这些日子里没有运行这些任务……

字段2：在重新引导后等待这么多分钟后运行它

字段3：任务识别器，在日志文件中标识

字段4：要执行的任务

当执行任务时，更新/var/spool/anacron/文件时间戳

管理临时文件：
rhel7.0之前使用tmpwatch工具定时清除临时文件。rhel7.0使用systemd-tmpfiles-setup服务实现配置文件：/etc/tmpfiles.d/*.conf

/run/tmpfiles.d/*.conf

/usr/lib/tmpfiles/*.conf

命令：systemd -tmpfiles –clean|remove|create configfile