Linux内核编译以及perfctr模块安装

Linux内核编译以及perfctr模块安装

零、需求介绍

需要使用PAPI得到硬件级的数据，即与微指令相关的数据，例如L1/L2 cache miss、TLB miss、Cycle等，而PAPI需要perfctr（Performance-monitoring counters support）模块的支持，而Linux内核当中默认没有perfctr模块，并且perfctr只在某些内核上被支持，它实际上是内核的一个补丁，需要重新编译内核，打上补丁才能在内核上运行perfctr模块。更多信息参考papi和perfctr的INSTALL文件。

一、环境介绍
Intel(R) Xeon(R) CPU ，X86_64平台；
物理机<建议不要在虚拟机上试,否则可能出现问题,后面介绍>

CentOS release 5.4 (Final)

内核版本是2.6.18-164.el5-x86_64

查看内核、平台等信息
#uname -a
Linux gc04vm13 2.6.18-164.el5<原来内核> #1 SMP Thu Sep 3 03:28:30 EDT 2009 x86_64 x86_64 x86_64 GNU/Linux
查看操作系统版本
#cat /etc/issue
CentOS release 5.4 (Final)
查看CPU信息
cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
1  Intel(R) Xeon(R) CPU           E5520  @ 2.27GHz  <只给虚拟机分配了一个CPU>

二、准备工作
(i)下载papi，可以在http://icl.cs.utk.edu/papi/custom/index.html?lid=51&slid=69上下载各个版本的papi，这里下载papi-3.6.0。

papi中包含了perfctr，用户不需要单独下载perfctr，(当然也可以单独下载，网址是http://user.it.uu.se/~mikpe/linux/perfctr)，这里选择2.6版本的perfctr。
解压papi，阅读papi-3.6.0/src/perfctr-2.6.x目录下的INSTALL文件，里面讲到“该版本的perfctr适用于如下版本的Linux内核：在papi-3.6.0/src/perfctr-2.6.x/patches目录下，若存在patch-kernel-*补丁，说明适用于*版本的Linux内核，我们选择2.6.19版本的linux内核。

注意: PERFCTR 的版本并不是和linux内核版本相对应的，比如ompi自带的perfctr-2.6.x可适用于很多版本的linux内核，例如2.4.26版本的内核。

(ii)下载linux-2.6.19.tar.bz2，在网站 http://www.kernel.org/pub/linux/kernel/ 上可以下载任何版本的linux内核。

一般情况下，当前内核版本是x.y.***版本的话，编译的新内核版本最好也是x.y.***版本，例如不要从2.4.x升级到2.6.x，因为两者差异比较大，一般[主].[次]版本号相同的内核可以顺利升级。

(iii) 认真看完perfctr的INSTALL文件，里面详细说明了安装步骤和测试。

三、安装步骤

(1)解压内核
bzip2 -d linux-2.6.19.tar.bz2
tar xvf linux-2.6.19.tar
生成linux-2.6.19目录

(2)复制内核到/usr/src目录下
cp -r linux-2.6.19 /usr/src/

(3) 解压papi到目录/opt下,

tar zxvf papi-3.6.0.tar.gz

cp papi-3.6.0 /opt/

(4)
cd /usr/src/linux-2.6.19
make mrproper

(5)在内核目录下执行update-kernel
cd /usr/src/linux-2.6.19
/opt/papi-3.6.0/src/perfctr-2.6.x/update-kernel
<必须在内核目录下执行，否则在后续选择内核模块时找不到perctr>

若内核版本有问题则出现如下信息
Error: no suitable patch found for kernel 2.6.19zkl-perfctr
See perfctr-2.6.x/patches/ for supported kernel versions，

可以查看perfctr-2.6.x/patches/下支持的内核版本。

(6)该步骤可以跳过，也可以这样做

拷贝原有内核的.config到当前内核目录下
cd /usr/src/linux-2.6.19
cp /usr/src/kernels/2.6.18-164.el5-x86_64/.config .
(7)配置选择内核模块

cd /usr/src/linux-2.6.19
make menuconfig

选择模块:

查看perfctr-2.6.x目录下的INSTALL文件，它有如下这些内容，其意思是说必须选择这样几个模块:
(i)Loadable module support 选项下，一般默认即可，这个模块的功能是帮助系统可以动态加载模块。



(ii)Processor type and features选项下的Performance-monitoring counters support（即PERFCTR），

这个必须选择，笔者做实验觉得应该将PERFCTR选择为(M)，其子项均选择为*，将它编译成可动态加载的模块，请按如下方式选择。



注意：
我在做实验时，最开始将PERFCTR选择为*，将其编译进内核，最后安装完毕，始终不能执行perfectr的实例，查看系统目录/lib/modules/'uname -r'/drivers下也没有perfectr模块，使用lsmod不能查看到perfctr模块，既然编译进了内核，应该能看到的，不知啥原因？更不能使用命令modprobe perfctr加载模块(因为不是以动态加载模块的形式加载的)，可能与没有将PERFCTR模块设置为M有关。

内核模块选择操作方式:
选择模块是按Y会出现*，按M会出现M，按N可以取消选择。也可以按空格键从*切换到无，为大写M(键下大写M)表示编译成可动态加载的模块，*表示编译进入内核。
(iii)内核支持APIC
此外必须保证内核支持APIC(Advanced Programmable Interrupt Controller高级可编程中断控制器)，这是因为后面papi要使用，所以请保证选中了APIC相关项，可以按"/",然后键入APIC，搜索以下与之相关的模块是否选择了，这个模块实际上在在Processor type and features选项下，模块选择完毕，可以使用命令grep PIC /usr/src/linux-2.6.19/.config查看apic是否选择，选择了的话应该显示CONFIG_X86_GOOD_APIC=y等字样，papi的INSTALL文件中说到“SMP(多核，对称多处理器)上默认选择了该项，但是UP(单处理器)上默认没选择”。

----------------------------------------------------------------------------------------
以下摘自perfctr的INSTALL文件
You should either configure with modules (CONFIG_MODULES=y) AND module
versions (CONFIG_MODVERSIONS=y), or completely without modules
(CONFIG_MODULES=n). Modules without module versions is an inherently
unsafe configuration which is not recommended.

Loadable module support选项

You should also enable at least CONFIG_PERFCTR, CONFIG_PERFCTR_VIRTUAL,
and CONFIG_PERFCTR_GLOBAL.

Processor type and features选项下的Performance-monitoring counters support（即PERFCTR）选项下的所有选项都选中

You may also select CONFIG_PERFCTR=m to build the bulk of the driver (或者设为M，编译成动态加载的模块)
as a loadable kernel module; the module will be named `perfctr'.

Note: The perfctr kernel patch adds one word to the `thread_struct'
type, which makes the patched kernel binary incompatible with an
unpatched one. This is why it is important to distinguish the patched
kernel via EXTRAVERSION and CONFIG_MODVERSIONS.
----------------------------------------------------------------------------------------

(7)修改/usr/src/linux-2.6.19/Makefile，加上扩展版本号，对该内核给一个标记，
EXTRAVERSION =-zkl-perfctr
这样做之后，您编译内核完成后，你的内核版本就是linux-2.6.19-zkl-perfctr

(8)编译内核

第一种做法=================================================================================

# make clean
# make vmlinux modules <使用此命令编译内核和模块> 动作完成后在/usr/src/linux-2.6.19/下生成了模块相关文件，例如在drivers中有很多相关文件
# make modules_install 安装模块，此命令会利用上面在/usr/src/linux-2.6.19/下生成的模块相关文件，对它们进行编译，在系统目录/lib/modules/2.6.19-zkl-perfctr下生成模块，例如可以在drivers中看到perfctr模块
# make bzImage 编译生成内核文件，/usr/src/linux-2.6.19/arch/x86_64/boot/目录下生成了内核文件bzImage
# make install 执行此命令必须保证之前生成了内核文件bzImage
sh /usr/src/linux-2.6.19/arch/x86_64/boot/install.sh 2.6.19-zkl-perfctr arch/x86_64/boot/bzImage System.map "/boot"
此命令等同于第二种方法中的(e)，只不过使用make install命令会自动完成e中的几种动作，实现内核多重启动
=====================================================================================

或者

第二种做法

<建议使用第一种>
===============================================================================

(a) make clean 将之前生成的.o文件删除掉，这样不会产生新旧版本的误差

(b) make bzImage
命令执行成功将提示如下信息，在/usr/src/linux-2.6.19/arch/x86_64/boot/目录下生成了内核文件bzImage
Root device is (8, 3)
Boot sector 512 bytes.
Setup is 7252 bytes.
System is 1794 kB
Kernel: arch/x86_64/boot/bzImage is ready (#1)

(c) make modules 制作出模块相关的文件

(d) make modules_install 安装模块

(e)实现内核多重启动

cp /usr/src/linux-2.6.19/arch/x86_64/boot/bzImage / (/表示一条命令太长了，换行)
> /boot/vmlinux-2.6.19-zkl-perfctr

cp /usr/src/linux-2.6.19/System.map /
> /boot/System.map-2.6.19-zkl-perfctr

手动生成initrd-2.6.19-zkl-perfctr.img文件到/boot目录下：
cd /usr/src/linux-2.6.19
[root@gc04vm13 linux-2.6.19]# mkinitrd /boot/initrd-2.6.19zkl-perfctr.img 2.6.19-zkl-perfctr （注意内核是2.6.19-zkl-perfctr，这是因为前面修改了Makefile中的版本扩展号，该命令将在/boot目录下生成initrd-2.6.19zkl-perfctr.img文件）

编辑系统内核启动文件
vim /boot/grub/menu.lst

# grub.conf generated by anaconda
#
# Note that you do not have to rerun grub after making changes to this file
# NOTICE: You have a /boot partition. This means that
# all kernel and initrd paths are relative to /boot/, eg.
# root (hd0,0)
# kernel /vmlinuz-version ro root=/dev/VolGroup00/LogVol00
# initrd /initrd-version.img
#boot=/dev/sda
default=0 #对应到第一个title
timeout=10 #系统内核选择时的延迟
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title CentOS (2.6.18-164.el5)
root (hd0,0)
kernel /vmlinuz-2.6.18-164.el5 ro root=/dev/VolGroup00/LogVol00
initrd /initrd-2.6.18-164.el5.img
##加上以下启动新内核的语句
title CentOS (2.6.19-zkl-perfctr)
root (hd0,0)
kernel /vmlinuz-2.6.19-zkl-perfctr ro root=/dev/VolGroup00/LogVol00 # 这是表示内核文件是/boot/vmlinux-2.6.19-zkl-perfctr
initrd /initrd-2.6.19-zkl-perfctr.img # 这是前面生成的文件/boot/initrd-2.6.19zkl-perfctr.img

=================================================================================

(10)重新启动系统，
在启动菜单中将会出现两个内核选项，使用上下按钮选择新内核启动
或者
将新内核设置为默认启动内核，即修改上面文件中default=1

(11)系统重启后，可以使用命令查看perfctr模块是否安装上，
# modprobe perfctr 加载模块
lsmod 显示模块
rmmod perfctr移除模块
若perfctr模块安装成功后，你将看到perfctr模块，并且你可以在 /lib/modules/2.6.19-zkl-perfctr/kernel/drivers/perfctr中看到perfctr模块perfctr.ko

(12)编译安装perfctr，

#cd /opt/papi-3.6.0/src/perfctr-2.6.x
#make
#mknod /dev/perfctr c 10 108 <可能提示已存在文件,删除再建即可>
#chmod 644 /dev/perfctr
#make PREFIX=/usr/local install

至此，安装全部完成,perfctr相关文件安装再/usr/local下的bin、include、lib下

(13)测试

测试perfctr-2.6.x下面的例子，出现结果，证明安装perfctr安装成功

[root@gc04vm13 perfctr-2.6.x]# examples/global/global

PerfCtr Info:
abi_version 0x05010501
driver_version 2.6.32 DEBUG
cpu_type 5 (?)
cpu_features 0x7 (rdpmc,rdtsc,pcint)
cpu_khz 2259879
tsc_to_cpu_mult 1
cpu_nrctrs 0
cpus [0], total: 1
cpus_forbidden [], total: 0
cpu type 5 (?) not supported

不支持，这是因为以上步骤我是在VMware虚拟机中完成的，换成物理机就没问题，正常情况下是运行后每隔5秒刷现一次

涉及的命令:

cp -r papi-3.6.0  /opt/
cp linux-2.6.20.tar.gz /usr/src/kernels
cd /usr/src/kernels
tar zxvf  linux-2.6.20.tar.gz
cd linux-2.6.20
#make clean <当前内核未编译过时不需要执行该命令>
#make mrproper <当前内核未编译时不需要执行该命令>
/opt/papi-3.6.0/src/perfctr-2.6.x/update-kernel
cp 当前内核目录/.config . <复制当前内核下的.config文件到当前目录>
make menuconfig
做如下选择：
(1)Processor type and features选项下的Performance-monitoring counters support，即要支持硬件计数器
(2)搜索 APIC 选项，查看是否已经选上y，没有则选上
（也可以在退出 menuconfig 后使用 grep APIC .config 查询APIC相关选项是否是y）
退出 menuconfig，保存。

make modules
make modules_install
make bzImage
make install

完毕后选择新内核重新启动
新内核启动后
modprobe perfctr
lsmod | grep perfctr
cd /opt/papi-3.6.0/src/perfctr-2.6.x/
make
examples/perfex -i
examples/global/global  检测perfctr是否能正常运行,若出现错误,重启系统
mknod /dev/perfctr c 10 108
chmod 644 /dev/perfctr
make PREFIX=/usr/local install  将perfctr的头文件、库、可执行命令安装到/usr/local下