您的位置：首页 > 运维架构 > Linux

Linux的内核软中断（softirq）执行分析

2011-01-08 20:12 232 查看

本文对Linux内核软中断的执行流程进行了分析，并尽可能的结合当前运行环境详细地写出我的理解，但这并不表明我的理解一定正确。这本是论坛里的一篇帖子，发出来是为了抛砖引玉，如果您在阅读本文时发现了我的错误，还望得到您的指正。

今天无意中看了眼2.6内核的软中断实现，发现和以前我看到的大不相同（以前也是走马观花，不大仔细），可以说改动很大。连softirq的调用点都不一样了，以前是三个调用点，今天搜索了一下源代码，发现在多出了ksoftirqd后，softirq在系统中的调用点仅是在ISR返回时和使用了local_bh_enable()函数后被调用了。网卡部分的显示调用，我觉得应该不算是系统中的调用点。ksoftirqd返回去调用do_softirq()函数应该也只能算是其中的一个分支，因为其本身从源头上来讲也还是在
ISR返回时irq_exit()调用的。这样一来就和前些日子写的那份笔记（Windows/Linux

/Solaris软中断机制）里介绍的Linux内核部分的软中断有出处了，看来以后讨论Linuxkernel代码一定要以内核版本为前题，要不非乱了不可。得买本Linux方面的书了，每次上来直接看相关代码也不是回事，时间也不允许。

//

002	//do_IRQ函数执行完硬件ISR后退出时调用此函数。

//

005	void irq_exit( void )

007	account_system_vtime(current);

008	trace_hardirq_exit();

009	sub_preempt_count(IRQ_EXIT_OFFSET);

//

012	//判断当前是否有硬件中断嵌套，并且是否有软中断在

013	//pending状态，注意：这里只有两个条件同时满足

014	//时，才有可能调用do_softirq()进入软中断。也就是

015	//说确认当前所有硬件中断处理完成，且有硬件中断安装了

016	//软中断处理时理时才会进入。

//

018	if (!in_interrupt()&&local_softirq_pending())

//

021	//其实这里就是调用do_softirq()执行

//

023	invoke_softirq();

024	preempt_enable_no_resched();

028	#ifndef__ARCH_HAS_DO_SOFTIRQ

030	asmlinkage void do_softirq( void )

032	__u32pending;

033	unsigned long flags;

//

036	//这个函数判断，如果当前有硬件中断嵌套，或者

037	//有软中断正在执行时候，则马上返回。在这个

038	//入口判断主要是为了与ksoftirqd互斥。

//

040	if (in_interrupt())

041	return ;

//

044	//关中断执行以下代码

//

046	local_irq_save(flags);

//

049	//判断是否有pending的软中断需要处理。

//

051	pending=local_softirq_pending();

//

054	//如果有则调用__do_softirq()进行实际处理

//

056	if (pending)

057	__do_softirq();

//

//开中断继续执行

//

062	local_irq_restore(flags);

//

067	//最大软中断调用次数为10次。

//

070	#defineMAX_SOFTIRQ_RESTART10

072	asmlinkage void __do_softirq( void )

//

075	//软件中断处理结构，此结构中包括了ISR中

076	//注册的回调函数。

//

078	struct softirq_action*h;

079	__u32pending;

080	int max_restart=MAX_SOFTIRQ_RESTART;

int

cpu;

//

084	//得到当前所有pending的软中断。

//

086	pending=local_softirq_pending();

087	account_system_vtime(current);

//

090	//执行到这里要屏蔽其他软中断，这里也就证明了

091	//每个CPU上同时运行的软中断只能有一个。

//

093	__local_bh_disable((unsigned long )__builtin_return_address(0));

094	trace_softirq_enter();

//

097	//针对SMP得到当前正在处理的CPU

//

099	cpu=smp_processor_id();

//

//循环标志

//

restart:

//

105	//每次循环在允许硬件ISR强占前，首先重置软中断

//的标志位。

//

108	/Resetthependingbitmaskbeforeenablingirqs/

109	set_softirq_pending(0);

//

112	//到这里才开中断运行，注意：以前运行状态一直是关中断

113	//运行，这时当前处理软中断才可能被硬件中断抢占。也就

114	//是说在进入软中断时不是一开始就会被硬件中断抢占。只有

115	//在这里以后的代码才可能被硬件中断抢占。

//

117	local_irq_enable();

//

120	//这里要注意，以下代码运行时可以被硬件中断抢占，但

121	//这个硬件ISR执行完成后，它的所注册的软中断无法马上运行，

122	//别忘了，现在虽是开硬件中断执行，但前面的__local_bh_disable()

123	//函数屏蔽了软中断。所以这种环境下只能被硬件中断抢占，但这

124	//个硬中断注册的软中断回调函数无法运行。要问为什么，那是因为

125	//__local_bh_disable()函数设置了一个标志当作互斥量，而这个

126	//标志正是上面的irq_exit()和do_softirq()函数中的

127	//in_interrupt()函数判断的条件之一，也就是说in_interrupt()

128	//函数不仅检测硬中断而且还判断了软中断。所以在这个环境下触发

129	//硬中断时注册的软中断，根本无法重新进入到这个函数中来，只能

130	//是做一个标志，等待下面的重复循环（最大MAX_SOFTIRQ_RESTART）

131	//才可能处理到这个时候触发的硬件中断所注册的软中断。

//

//

136	//得到软中断向量表。

//

138	h=softirq_vec;

//

141	//循环处理所有softirq软中断注册函数。

//

do

//

145	//如果对应的软中断设置pending标志则表明

146	//需要进一步处理它所注册的函数。

//

148	if (pending&1){

//

150	//在这里执行了这个软中断所注册的回调函数。

//

152	h->action(h);

153	rcu_bh_qsctr_inc(cpu);

//

156	//继续找，直到把软中断向量表中所有pending的软

//中断处理完成。

//

h++;

//

162	//从代码里可以看出按位操作，表明一次循环只

163	//处理32个软中断的回调函数。

//

165	pending>>=1;

166	} while (pending);

//

169	//关中断执行以下代码。注意：这里又关中断了，下面的

170	//代码执行过程中硬件中断无法抢占。

//

172	local_irq_disable();

//

175	//前面提到过，在刚才开硬件中断执行环境时只能被硬件中断

176	//抢占，在这个时候是无法处理软中断的，因为刚才开中

177	//断执行过程中可能多次被硬件中断抢占，每抢占一次就有可

178	//能注册一个软中断，所以要再重新取一次所有的软中断。

179	//以便下面的代码进行处理后跳回到restart处重复执行。

//

181	pending=local_softirq_pending();

//

184	//如果在上面的开中断执行环境中触发了硬件中断，且每个都

185	//注册了一个软中断的话，这个软中断会设置pending位，

186	//但在当前一直屏蔽软中断的环境下无法得到执行，前面提

187	//到过，因为irq_exit()和do_softirq()根本无法进入到

188	//这个处理过程中来。这个在上面详细的记录过了。那么在

189	//这里又有了一个执行的机会。注意：虽然当前环境一直是

190	//处于屏蔽软中断执行的环境中，但在这里又给出了一个执行

191	//刚才在开中断环境过程中触发硬件中断时所注册的软中断的

192	//机会，其实只要理解了软中断机制就会知道，无非是在一些特

193	//定环境下调用ISR注册到软中断向量表里的函数而已。

//

//

197	//如果刚才触发的硬件中断注册了软中断，并且重复执行次数

198	//没有到10次的话，那么则跳转到restart标志处重复以上

199	//所介绍的所有步骤：设置软中断标志位，重新开中断执行...

200	//注意：这里是要两个条件都满足的情况下才可能重复以上步骤。

//

202	if (pending&&--max_restart)

203	goto restart;

//

206	//如果以上步骤重复了10次后还有pending的软中断的话，

207	//那么系统在一定时间内可能达到了一个峰值，为了平衡这点。

208	//系统专门建立了一个ksoftirqd线程来处理，这样避免在一

209	//定时间内负荷太大。这个ksoftirqd线程本身是一个大循环，

210	//在某些条件下为了不负载过重，它是可以被其他进程抢占的，

211	//但注意，它是显示的调用了preempt_xxx()和schedule()

212	//才会被抢占和切换的。这么做的原因是因为在它一旦调用

213	//local_softirq_pending()函数检测到有pending的软中断

214	//需要处理的时候，则会显示的调用do_softirq()来处理软中

215	//断。也就是说，下面代码唤醒的ksoftirqd线程有可能会回

216	//到这个函数当中来，尤其是在系统需要响应很多软中断的情况

217	//下，它的调用入口是do_softirq()，这也就是为什么在do_softirq()

218	//的入口处也会用in_interrupt()函数来判断是否有软中断

219	//正在处理的原因了，目的还是为了防止重入。ksoftirqd实现

220	//看下面对ksoftirqd()函数的分析。

//

222	if (pending)

//

225	//此函数实际是调用wake_up_process()来唤醒ksoftirqd

//

227	wakeup_softirqd();

229	trace_softirq_exit();

231	account_system_vtime(current);

//

234	//到最后才开软中断执行环境，允许软中断执行。注意：这里

235	//使用的不是local_bh_enable()，不会再次触发do_softirq()

//的调用。

//

238	_local_bh_enable();

243	static int ksoftirqd( void *__bind_cpu)

//

247	//显示调用此函数设置当前进程的静态优先级。当然，

248	//这个优先级会随调度器策略而变化。

//

250	set_user_nice(current,19);

//

253	//设置当前进程不允许被挂启

//

255	current->flags\|=PF_NOFREEZE;

//

258	//设置当前进程状态为可中断的状态，这种睡眠状

259	//态可响应信号处理等。

//

261	set_current_state(TASK_INTERRUPTIBLE);

//

264	//下面是一个大循环，循环判断当前进程是否会停止，

265	//不会则继续判断当前是否有pending的软中断需

//要处理。

//

268	while (!kthread_should_stop()){

//

271	//如果可以进行处理，那么在此处理期间内禁止

272	//当前进程被抢占。

//

274	preempt_disable();

//

277	//首先判断系统当前没有需要处理的pending状态的

//软中断

//

280	if (!local_softirq_pending()){

//

283	//没有的话在主动放弃CPU前先要允许抢占，因为

284	//一直是在不允许抢占状态下执行的代码。

//

286	preempt_enable_no_resched();

//

289	//显示调用此函数主动放弃CPU将当前进程放入睡眠队列，

290	//并切换新的进程执行（调度器相关不记录在此）

//

292	schedule();

//

295	//注意：如果当前显示调用schedule()函数主动切换的进

296	//程再次被调度执行的话，那么将从调用这个函数的下一条

297	//语句开始执行。也就是说，在这里当前进程再次被执行的

298	//话，将会执行下面的preempt_disable()函数。

//

//

302	//当进程再度被调度时，在以下处理期间内禁止当前进程

//被抢占。

//

305	preempt_disable();

//

309	//设置当前进程为运行状态。注意：已经设置了当前进程不可抢占

310	//在进入循环后，以上两个分支不论走哪个都会执行到这里。一是

311	//进入循环时就有pending的软中断需要执行时。二是进入循环时

312	//没有pending的软中断，当前进程再次被调度获得CPU时继续

//执行时。

//

315	__set_current_state(TASK_RUNNING);

//

318	//循环判断是否有pending的软中断，如果有则调用do_softirq()

319	//来做具体处理。注意：这里又是一个do_softirq()的入口点，

320	//那么在__do_softirq()当中循环处理10次软中断的回调函数

321	//后，如果还有pending的话，会又调用到这里。那么在这里则

322	//又会有可能去调用__do_softirq()来处理软中断回调函数。在前

323	//面介绍__do_softirq()时已经提到过，处理10次还处理不完的

324	//话说明系统正处于繁忙状态。根据以上分析，我们可以试想如果在

325	//系统非常繁忙时，这个进程将会与do_softirq()相互交替执行，

326	//这时此进程占用CPU应该会很高，虽然下面的cond_resched()

327	//函数做了一些处理，它在处理完一轮软中断后当前处理进程可能会

328	//因被调度而减少CPU负荷，但是在非常繁忙时这个进程仍然有可

329	//能大量占用CPU。

//

331	while (local_softirq_pending()){

332	/*Preemptdisablestopscpugoingoffline.

333	Ifalreadyoffline,we'llbeonwrongCPU:

334	don'tprocess*/

335	if (cpu_is_offline(( long )__bind_cpu))

//

338	//如果当前被关联的CPU无法继续处理则跳转

339	//到wait_to_die标记出，等待结束并退出。

//

341	goto wait_to_die;

//

344	//执行do_softirq()来处理具体的软中断回调函数。注

345	//意：如果此时有一个正在处理的软中断的话，则会马上

346	//返回，还记得前面介绍的in_interrupt()函数么。

//

348	do_softirq();

//

351	//允许当前进程被抢占。

//

353	preempt_enable_no_resched();

//

356	//这个函数有可能间接的调用schedule()来切换当前

357	//进程，而且上面已经允许当前进程可被抢占。也就是

358	//说在处理完一轮软中断回调函数时，有可能会切换到

359	//其他进程。我认为这样做的目的一是为了在某些负载

360	//超标的情况下不至于让这个进程长时间大量的占用CPU，

361	//二是让在有很多软中断需要处理时不至于让其他进程

//得不到响应。

//

364	cond_resched();

//

367	//禁止当前进程被抢占。

//

369	preempt_disable();

//

372	//处理完所有软中断了吗？没有的话继续循环以上步骤

//

//

377	//待一切都处理完成后，允许当前进程被抢占，并设置

378	//当前进程状态为可中断状态，继续循环以上所有过程。

//

380	preempt_enable();

381	set_current_state(TASK_INTERRUPTIBLE);

//

385	//如果将会停止则设置当前进程为运行状态后直接返回。

386	//调度器会根据优先级来使当前进程运行。

//

388	__set_current_state(TASK_RUNNING);

389	return 0;

//

392	//一直等待到当前进程被停止

//

394	wait_to_die:

//

397	//允许当前进程被抢占。

//

399	preempt_enable();

400	/Waitforkthread_stop/

//

403	//设置当前进程状态为可中断的状态，这种睡眠状

404	//态可响应信号处理等。

//

406	set_current_state(TASK_INTERRUPTIBLE);

//

409	//判断当前进程是否会被停止，如果不是的话

410	//则设置进程状态为可中断状态并放弃当前CPU

411	//主动切换。也就是说这里将一直等待当前进程

412	//将被停止时候才结束。

//

414	while (!kthread_should_stop()){

415	schedule();

416	set_current_state(TASK_INTERRUPTIBLE);

//

420	//如果将会停止则设置当前进程为运行状态后直接返回。

421	//调度器会根据优先级来使当前进程运行。

//

423	__set_current_state(TASK_RUNNING);

424	return 0;

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航