我們在做Linux服務器的時候經常會需要知道誰在做進程切換,什麼原因需要做進程切換。 因為進程切換的代價很高,我給出一個LMbench測試出來的數字:
Context switching – times in microseconds – smaller is better
————————————————————————-
Host OS 2p/0K 2p/16K 2p/64K 8p/16K 8p/64K 16p/16K 16p/64K
ctxsw ctxsw ctxsw ctxsw ctxsw ctxsw ctxsw
——— ————- —— —— —— —— —— ——- ——-
my174.cm4 Linux 2.6.18- 6.1100 7.0200 6.1100 8.7400 7.7200 8.96000 9.62000
在我的很高端的服務器上,進程切換的開銷在8us左右, 這個相對於高性能的服務器是不可接受的, 所以我們要在一個時間片內盡可能的多做事情,而不是把時間浪費在無謂的切換上。
好奇害死貓,我們來調查下誰在切換我們的進程:
view sourceprint?[root@my174 admin]# dstat 1
----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read writ| recv send| in out | int csw
0 0 100 0 0 0| 0 0 | 796B 1488B| 0 0 |1004 128
0 0 100 0 0 0| 0 0 | 280B 728B| 0 0 |1005 114
0 0 100 0 0 0| 0 0 | 280B 728B| 0 0 |1005 128
0 0 100 0 0 0| 0 0 | 280B 728B| 0 0 |1005 114
0 0 100 0 0 0| 0 320k| 280B 728B| 0 0 |1008 143
...
我們可以看到 csw的數目是 120/S, 但是dstat或者vmstat類似的工具並沒有告訴我們誰在干壞事。好吧!我們自己動手行吧。
祭出我們可愛的systemtap!
view sourceprint?[root@my174 admin]# cat >cswmon.stp
#! /usr/bin/env stap
#
#
global csw_count
global idle_count
probe scheduler.cpu_off {
csw_count[task_prev, task_next]++
idle_count+=idle
}
function fmt_task(task_prev, task_next)
{
return sprintf("%s(%d)->%s(%d)",
task_execname(task_prev),
task_pid(task_prev),
task_execname(task_next),
task_pid(task_next))
}
function print_cswtop () {
printf ("%45s %10s\n", "Context switch", "COUNT")
foreach ([task_prev, task_next] in csw_count- limit 20) {
printf("%45s %10d\n", fmt_task(task_prev, task_next), csw_count[task_prev, task_next])
}
printf("%45s %10d\n", "idle", idle_count)
delete csw_count
delete idle_count
}
probe timer.s({GetProperty(Content)}) {
print_cswtop ()
printf("--------------------------------------------------------------\n")
}
CTRL+D
這個腳本會每隔設定的時間打印出TOP 20切換最多的進程和他的pid, 我們來看下結果把:
view sourceprint?[root@my174 admin]# stap cswmon.stp 5
Context switch COUNT
swapper(0)->systemtap/11(908) 500
systemtap/11(908)->swapper(0) 498
swapper(0)->fct1-worker(2492) 50
fct1-worker(2492)->swapper(0) 50
swapper(0)->fct0-worker(2191) 50
fct0-worker(2191)->swapper(0) 50
swapper(0)->bond0(3432) 50
bond0(3432)->swapper(0) 50
stapio(879)->swapper(0) 26
swapper(0)->stapio(879) 25
stapio(879)->swapper(0) 19
swapper(0)->stapio(879) 17
swapper(0)->watchdog/9(31) 5
watchdog/9(31)->swapper(0) 5
swapper(0)->mysqld(18346) 5
mysqld(18346)->swapper(0) 5
swapper(0)->watchdog/13(43) 5
watchdog/13(43)->swapper(0) 5
swapper(0)->watchdog/14(46) 5
watchdog/14(46)->swapper(0) 5
idle 859
--------------------------------------------------------------
...
我們可以看到進程從哪裡切換到哪裡,並且發生了多少次, 最後一行,我打印出來idle的次數,也就是說這時候系統沒啥事情做,就切換到idle(0)這個進程去休息去了。
通過上面的調查,我們會很清楚的了解到我們系統的開銷發生在那裡,方便我們定位問題