［授权发表］利用 qemu 模拟嵌入式系统制作全过程

利用qemu模拟嵌入式系统制作全过程

by Pingbo Wen of TinyLab.org
2013/08/31

最初发表：泰晓科技 – 聚焦嵌入式 Linux，追本溯源，见微知著！
原文链接：利用 qemu 模拟嵌入式系统制作全过程
评论说明：为更好地聚合大家的讨论，请到上面原文的评论区回复。

---

这篇文章将介绍如何用 Qemu 来搭建一个基于 ARM 的嵌入式 Linux 系统。通过该文章可以学习到如何配置和交叉编译 Kernel，如何配置 Busybox 并编译，如何制作 Initramfs，如何制作根文件系统，如何定制自己的 Uboot，如何通过 Uboot 向 Kernel 传递参数等。开始干活！

零、环境搭建

在实现我们的目标之前，我们需要搭建自己的工作环境。在这里，假设你的主机上已经有gcc本地编译环境，并运行Ubuntu 12.10。但是这并不影响在其他的linux平台上进行，只要修改一下对应的命令就可以了。

首先，我们需要下载一个ARM交叉工具链。你可以在网上下载源码自己编译，也可以下载已经编译好的工具链。在工具链中有基本的ARM编译工具，比如：gcc, gdb, addr2line, nm, objcopy, objdump等。可能你会问，这些工具本机不是已经有了么？如果不出意外，我想你的主机应该是x86架构的。不同的架构，有不同的指令集，你不能拿一个x86的执行文件放到一个ARM机器上执行。所以我们需要一个能够在x86架构上生成ARM可执行程序的GCC编译器。有很多预先编译好的ARM工具链，这里使用的是CodeSourcery[1]。更多关于toolchain的信息可以在elinux.org找到[2]。下载下来后，直接解压，放到某个目录，然后配置一下PATH环境变量，这里是这样配置的：

export PATH=~/arm-2013.05/bin:$PATH

配置完ARM交叉工具链后，我们需要下载一些源码，并安装一些软件。
命令如下：

# install qemusudo apt-get install qemu qemu-kvm qemu-kvm-extras qemu-user qemu-system# install mkimage toolsudo apt-get install uboot-mkimage# install gitsudo apt-get install git# prepare related directorymkdir -pv ~/armsource/{kernel,uboot,ramfs,busybox}# download latest kernel stable code to kernel dirgit clone http://git.kernel.org/pub/scm/linux/kernel/git/stable/linux-stable.git ~/armsource/kernel# download latest u-boot code to uboot dirgit clone git://git.denx.de/u-boot.git ~/armsource/uboot# download latest busybox code to busybox dirgit clone git://busybox.net/busybox.git ~/armsource/busybox

一、配置kernel

环境搭建完后，我们就正式进入主题了。现在我们需要配置kernel源码，编译，并用qemu运行我们自己编译的kernel。这样我们就能够对我们的kernel进行测试，并做出对应的修改。

进入kernel源码目录，我们需要找最新的kernel稳定版本。在写这篇文章的时候，最新的稳定版本是3.10.10。我们可以通过git切换到3.10.10。由于我们编译的内核需要运行在ARM上，所以我们应该到arch/arm/configs下找到对应我们设备的kernel配置文件。但是我们没有实际意义上的设备，而是用qemu模拟的设备，所以我们应该选择qemu能够模拟的设备的配置文件。这里我们选择常用的versatile_defconfig。对应的命令如下：

cd ~/armsource/kernel# checkout a tag and create a branchgit checkout v3.10.10 -b linux-3.10.10# create .config filemake versatile_defconfig ARCH=arm

配置完了，我们就可以编译了。编译的时候，我们可以用多个线程来加速编译，具体用多少个就要看你主机的配置了。这里我们用12个线程编译，命令如下：

make -j12 ARCH=arm CROSS_COMPILE=arm-none-linux-gnueabi-

注意，如果交叉编译环境没有配置好，这个地方会提示找不到对应的gcc编译器。这里-j12是指定编译线程为12个，ARCH是指定目标架构为arm，所用的交叉编译器arm-none-linux-gnueabi-。

OK，kernel已经编译好了，那么我们需要用qemu把它跑起来。关于qemu的具体使用，请看qemu的官方文档[3]，这里直接给出命令：

qemu-system-arm -M versatilepb -kernel arch/arm/boot/zImage -nographic

这里-M是指定模拟的具体设备型号，versatile系列的pb版本，-kernel指定的是对应的内核，-nographic是把qemu输出直接导向到当前终端。

好，命令成功执行了。但是，好像没有任何有效输出。我们通过C-a x来退出qemu。编译的kernel好像不怎么好使，配置文件肯定有问题。打开.config配置文件，发现传递给kernel的参数没有指定console，难怪没有输出。我们定位到CMDLINE，并加入console参数：

CONFIG_CMDLINE="console=ttyAMA0 root=/dev/ram0"

保存.config，重新编译kernel，并用qemu加载。现在终于有输出了。如果不出意外，kernel应该会停在找不到根文件系统，并跳出一个panic。为什么会找不到根文件系统？因为我们压根就没有给它传递过，当然找不到。

那现在是不是应该制作我们自己的根文件系统了。先别急，为了让后面的路好走一点，我们这里还需对内核进行一些配置。首先，我们需要用ARM EABI去编译kernel，这样我们才能让kernel运行我们交叉编译的用户态程序，因为我们所有的程序都是用gnueabi的编译器编译的。具体可以看wikipedia相关页面[4]，你也可以简单的理解为嵌入式的ABI。其次，我们需要把对kernel module的支持去掉，这样可以把相关的驱动都编译到一个文件里，方便我们之后的加载。

当然，你可以使能kernel的debug选项，这样就可以调试内核了，并打印很多调试信息。这里就不再说了，如果感兴趣，可以看我之前写的关于kernel调试的文章[5]。

总结起来，这一次我们对.config做了如下修改：

# CONFIG_MODULES is not setCONFIG_AEABI=yCONFIG_OABI_COMPAT=yCONFIG_PRINTK_TIME=yCONFIG_EARLY_PRINTK=yCONFIG_CMDLINE="earlyprintk console=ttyAMA0 root=/dev/ram0"

二、通过busybox制作initramfs镜像

如果你注意到了之前传递给kernel的参数，你会发现有一个root=/dev/ram0的参数。没错，这就是给kernel指定的根文件系统，kernel检查到这个参数的时候，会到指定的地方加载根文件系统，并执行其中的init程序。这样就不会出现刚才那种情况，找不到根文件系统了。

我们的目标就是让kernel挂载我们的ramfs根文件系统，并且在执行init程序的时候，调用busybox中的一个shell，这样我们就有一个可用的shell来和系统进行交互了。

整个ramfs中的核心就是一个busybox可执行文件。busybox就像是一把瑞士军刀，可以把很多linux下的命令(比如：cp, rm, whoami等)全部集成到一个可执行文件[6]。这为制作嵌入式根文件系统提供了很大的便利，开发者不用单独编译每一个要支持的命令，还不用考虑库的依赖关系。基本上每一个制作嵌入式系统的开发者的首选就是busybox。

busybox也是采用Kconfig来管理配置选项，所以配置和编译busybox和kernel没有多大区别。busybox很灵活，你可以自由取舍你想要支持的命令，并且还可以添加你自己写的程序。在编译busybox的时候，为了简单省事，我们这里采用静态编译，这样就不用为busybox准备其他libc，ld等依赖库了。

具体命令如下：

cd ~/armsource/busybox# using stable version 1.21git checkout origin/1_21_stable -b busybox-1.21# using default configuremake defconfig ARCH=arm# compile busybox in staticmake menuconfigmake -j12 ARCH=arm CROSS_COMPILE=arm-none-linux-gnueabi-

编译完后，我们就得到一个busybox静态链接的文件。

接下来，我们需要一个init程序。这个程序将是kernel执行的第一个用户态的程序，我们需要它来产生一个可交互的shell。在桌面级别的linux发行版本，使用的init程序一般是System V init(传统的init)，upstart(ubuntu)，systemd(fedora)等。busybox也带有一个init程序，但是我们想自己写一个。既然自己写，那有两种实现方式，用C和libc实现，或者写一个shell脚本。

为了简单，这里选择后者，具体脚本如下：

#!/bin/shecho echo "###########################################################"echo "## THis is a init script for initrd/initramfs            ##"echo "## Author: [e-mail]                          ##"echo "## Date: 2013/08/17 16:27:34 CST                         ##"echo "###########################################################"echoPATH="/bin:/sbin:/usr/bin:/usr/sbin"if [ ! -f "/bin/busybox" ];then  echo "cat not find busybox in /bin dir, exit"  exit 1fiBUSYBOX="/bin/busybox"echo "build root filesystem..."$BUSYBOX --install -sif [ ! -d /proc ];then  echo "/proc dir not exist, create it..."  $BUSYBOX mkdir /procfiecho "mount proc fs..."$BUSYBOX mount -t proc proc /procif [ ! -d /dev ];then  echo "/dev dir not exist, create it..."  $BUSYBOX mkdir /devfi# echo "mount tmpfs in /dev..."# $BUSYBOX mount -t tmpfs dev /dev$BUSYBOX mkdir -p /dev/ptsecho "mount devpts..."$BUSYBOX mount -t devpts devpts /dev/ptsif [ ! -d /sys ];then  echo "/sys dir not exist, create it..."  $BUSYBOX mkdir /sysfiecho "mount sys fs..."$BUSYBOX mount -t sysfs sys /sysecho "/sbin/mdev" > /proc/sys/kernel/hotplugecho "populate the dev dir..."$BUSYBOX mdev -secho "drop to shell..."$BUSYBOX shexit 0

我们把这个脚本保存在~/armsource目录下。在这个脚本中，我们通过busybox –install -s来构建基本文件系统，挂载相应的虚拟文件系统，然后就调用busybox自带的shell。

现在我们已经编译好了busybox，并准备好了相应的init脚本。我们需要考虑根文件系统的目录结构了。kenel支持很多种文件系统，比如：ext4, ext3, ext2, cramfs, nfs, jffs2, reiserfs等，还包括一些伪文件系统: sysfs, proc, ramfs等。而在kernel初始化完成后，会尝试挂载一个它所支持的根文件系统。根文件系统的目录结构标准是FHS，由一些kernel开发者制定，感兴趣的可以看wikipedia相关页面[7]。

由于我们要制作一个很简单的ramfs，其中只有一个busybox可执行文件，所以我们没必要过多的考虑什么标准。只需一些必须的目录结构就OK。这里，我们使用的目录结构如下：

├── bin│   ├── busybox│   └── sh ->busybox├── dev│   └── console├── etc│   └── init.d│       └── rcS├── init├── sbin└── usr    ├── bin    └── sbin

你可以通过如下命令来创建这个文件系统：

cd ~/armsource/ramfsmkdir -pv bin dev etc/init.d sbin user/{bin,sbin}cp ~/armsource/busybox/busybox bin/ln -s busybox bin/shmknod -m 644 dev/console c 5 1cp ~/armsource/init .touch etc/init.d/rcSchmod +x bin/busybox etc/init.d/rcS init

现在我们有了基本的initramfs，万事具备了，就差点东风了。这个东风就是怎样制作intramfs镜像，并让kernel加载它。

在kernel文档中，对initramfs和initrd有详细的说明[8][9]。initramfs其实就是一个用gzip压缩的cpio文件。我们可以把initramfs直接集成到kernel里，也可以单独加载initramfs。在kernel源码的scripts目录下，有一个gen_initramfs_list.sh脚本，专门是用来生成initramfs镜像和initramfs list文件。你可以通过如下方式自动生成initramfs镜像：

sh scripts/gen_initramfs_list.sh -o ramfs.gz ~/armsource/ramfs

然后修改kernel的.config配置文件来包含这个文件：

CONFIG_INITRAMFS_SOURCE="ramfs.gz"

重新编译后，kernel就自动集成了你制作的ramfs.gz，并会在初始化完成后，加载这个根文件系统，并产生一个shell。

你也可以用gen_initramfs_list.sh脚本生成一个列表文件，然后CONFIG_INITRAMFS_SOURCE中指定这个列表文件。也可以把你做的根文件系统自动集成到kernel里面。命令如下：

sh scripts/gen_initramfs_list.sh ~/armsource/ramfs > initramfs_list

对应的内核配置：CONFIG_INITRAMFS_SOURCE=”initramfs_list”

但是这里并不打算这么做，我们自己手动制作initramfs镜像，然后外部加载。命令如下：

cd ~/armsource/ramfsfind . | cpio -o -H newc | gzip -9 > ramfs.gz

选项-H是用来指定生成的格式。

手动生成ramfs.gz后，我们就可以通过qemu来加载了，命令如下：

qemu-system-arm -M versatilepb -kernel arch/arm/boot/zImage -nographic -initrd ramfs.gz

现在我们的系统起来了，并且正确执行了我们自己写的脚本，进入了shell。我们可以在里面执行基本常用的命令。是不是有点小兴奋。

三、配置物理文件系统，切换根文件系统

不是已经配置了根文件系统，并加载了，为什么还需要切换呢？可能你还沉浸在刚才的小兴奋里，但是，很不幸的告诉你。现在制作的小linux系统还不是一个完全的系统，因为没有完成基本的初始化，尽管看上去好像已经完成了。

在linux中initramfs和initrd只是一个用于系统初始化的小型文件系统，通常用来加载一些第三方的驱动。为什么要通过这种方式来加载驱动呢？因为由于版权协议的关系，如果要把驱动放到kernenl里，意味着你必须要开放源代码。但是有些时候，一些商业公司不想开源自己的驱动，那它就可以把驱动放到initramfs或者initrd。这样既不违背kernel版权协议，又达到不开源的目的。也就是说在正常的linux发行版本中，kernel初始化完成后，会先挂载initramfs/initrd，来加载其他驱动，并做一些初始化设置。然后才会挂载真真的根文件系统，通过一个switch_root来切换根文件系统，执行第二个init程序，加载各种用户程序。在这中间，linux kernel跳了两下。

既然他们跳了两下，那我们也跳两下。第一下已经跳了，现在的目标是制作物理文件系统，并修改initramfs中的init脚本，来挂载我们物理文件系统，并切换root文件系统，执行对应的init。

为了省事，我们直接把原先的initramfs文件系统复制一份，当作物理根文件系统。由于是模拟，所以我们直接利用dd来生成一个磁盘镜像。具体命令如下：

dd if=/dev/zero of=~/armsource/hda.img bs=1 count=10Mmkfs -t ext2 hda.imgmount hda.img /mntcp -r ~/armsource/ramfs/* /mntumount /mnt

这样hda.img就是我们制作的物理根文件系统，ext2格式。现在我们需要修改原先在initramfs中的init脚本，让其通过busybox的switch_root功能切换根文件系统。这里需要注意的是，在切换根文件系统时，不能直接调用busybox的switch_root，而是需要通过exec来调用。这样才能让最终的init进程pid为1。

修改后的init脚本如下：

#!/bin/shecho echo "###########################################################"echo "## THis is a init script for sd ext2 filesystem          ##"echo "## Author: [e-mail]                          ##"echo "## Date: 2013/08/17 16:27:34 CST                         ##"echo "###########################################################"echoPATH="/bin:/sbin:/usr/bin:/usr/sbin"if [ ! -f "/bin/busybox" ];then  echo "cat not find busybox in /bin dir, exit"  exit 1fiBUSYBOX="/bin/busybox"echo "build root filesystem..."$BUSYBOX --install -sif [ ! -d /proc ];then  echo "/proc dir not exist, create it..."  $BUSYBOX mkdir /procfiecho "mount proc fs..."$BUSYBOX mount -t proc proc /procif [ ! -d /dev ];then  echo "/dev dir not exist, create it..."  $BUSYBOX mkdir /devfi# echo "mount tmpfs in /dev..."# $BUSYBOX mount -t tmpfs dev /dev$BUSYBOX mkdir -p /dev/ptsecho "mount devpts..."$BUSYBOX mount -t devpts devpts /dev/ptsif [ ! -d /sys ];then  echo "/sys dir not exist, create it..."  $BUSYBOX mkdir /sysfiecho "mount sys fs..."$BUSYBOX mount -t sysfs sys /sysecho "/sbin/mdev" > /proc/sys/kernel/hotplugecho "populate the dev dir..."$BUSYBOX mdev -secho "dev filesystem is ok now, log all in kernel kmsg" >>  /dev/kmsgecho "you can add some third part driver in this phase..." >>  /dev/kmsgecho "begin switch root directory to sd card" >> /dev/kmsg$BUSYBOX mkdir /newrootif [ ! -b "/dev/mmcblk0" ];then  echo "can not find /dev/mmcblk0, please make sure the sd \    card is attached correctly!" >> /dev/kmsg  echo "drop to shell" >> /dev/kmsg  $BUSYBOX shelse  $BUSYBOX mount /dev/mmcblk0 /newroot  if [ $? -eq 0 ];then    echo "mount root file system successfully..." >> /dev/kmsg  else    echo "failed to mount root file system, drop to shell" >>  /dev/kmsg    $BUSYBOX sh  fifi# the root file system is mounted, clean the world for new root file systemecho "" > /proc/sys/kernel/hotplug$BUSYBOX umount -f /proc$BUSYBOX umount -f /sys$BUSYBOX umount -f /dev/pts# $BUSYBOX umount -f /devecho "enter new root..." >> /dev/kmsgexec $BUSYBOX switch_root -c /dev/console /newroot /initif [ $? -ne 0 ];then  echo "enter new root file system failed, drop to shell" >>  /dev/kmsg  $BUSYBOX mount -t proc proc /proc  $BUSYBOX shfi

现在我们可以通过qemu来挂载hda.img，为了简单，我们这里把这个设备虚拟为sd卡，这也是为什么上面的init脚本挂载物理根文件系统时，是找/dev/mmcblk0了。具体命令如下：

qemu-system-arm -M versatilepb -kernel arch/arm/boot/zImage -nographic -initrd ramfs.gz -sd hda.img

如果不出意外，你可以看到这个自己做的linux系统，通过调用两个init脚本，跳到最终的hda.img上的文件系统。

四、配置Uboot，加载kernel

可能到这里，你觉得，终于把整个流程走了一遍了。但是，还差一环。之前我们都是通过qemu来直接加载我们的kernel，initramfs和物理镜像，但是在真真的嵌入式设备，这些加载过程都需要你好好考虑。那么在这一节，我们借助uboot来模拟加载过程。

我们的目标是让uboot来加载kernel，initramfs，并识别qemu虚拟的sd卡设备。这里我们通过tftp来向uboot传递kernel和initramfs镜像。既然要依靠uboot来加载系统镜像，那么需要按照uboot的镜像格式制作加载的镜像。而mkimage工具，就是干这活的。在制作uboot镜像时，我们需要指定镜像类型，加载地址，执行地址等，制作uboot版的initramfs命令如下：

mkimage -A arm -O linux -T ramdisk -C none -a 0x00808000 -e 0x00808000 -n ramdisk -d ramfs.gz ramfs-uboot.img

其中-a 和 -e分别是指定加载定制和执行地址

而kernel的uboot版就不需要这么手动生成了，在编译kernel的时候，可以通过make uImage来制作uboot格式镜像，默认的加载地址是0x00008000，你也可以通过LOADADDR指定你自己的加载地址，这里用默认的。

镜像准备好之后，需要把这两个镜像拷贝到一个指定的目录，这样在用tftp传输的时候，能够找到对应的镜像。这里假设拷贝到~/armsource/tftp目录下。

下一步，我们需要交叉编译uboot。在编译之前，我们需要对uboot进行一些配置。由于我们使用的是versatilepb，它对应的配置文件在include/configs/versatile.h中，这里对这个文件的修改如下：

#define CONFIG_ARCH_VERSATILE_QEMU#define CONFIG_INITRD_TAG#define CONFIG_SYS_PROMPT  "myboard > "#define CONFIG_BOOTCOMMAND \  "sete ipaddr 10.0.2.15;"\  "sete serverip 10.0.2.2;"\  "set bootargs 'console=ttyAMA0,115200 root=/dev/mmcblk0';"\  "tftpboot 0x00007fc0 uImage;"\  "tftpboot 0x00807fc0 ramfs-uboot.img;"\  "bootm 0x7fc0 0x807fc0"

其中ARCH_VERSATILE_QEMU是为了让uboot为了适应qemu做一些配置上的调整。
INITRD_TAG是让uboot通过tag_list给kernel传递initramfs的地址，如果没有这个配置选项，kernel是找不到uboot传给他的initramfs。
SYS_PROMPT是指定uboot的命令提示符，你可以指定你自己的名字。
BOOTCOMMAND是指定uboot起来后，自动执行的命令，这里是让uboot自动设置自己的ip和tftp服务器的ip，然后设定传递给kernel的参数，最后三个命令是把kernel镜像和initramfs镜像装载进来，并从内存指定地址开始执行指令。其实这些命令，也可以在uboot起来后，自己输入。

注意：在设置uboot的ip的时候，一定要和qemu给定的ip对应。由于这里使用的qemu内部自带的tftp服务，所以这里的ip和qemu内部tftp服务器的ip在同一个网段。

uboot配置完之后，可以通过如下命令来编译uboot:

make versatilepb_config ARCH=arm CROSS_COMPILE=arm-none-linux-gnueabi-make -j12 ARCH=arm CROSS_COMPILE=arm-none-linux-gnueabi-

如果没什么错误，就会生成一个u-boot镜像，然后我们就可以通过qemu来加载它：

sudo qemu-system-arm -M versatilepb -kernel u-boot -m 256M -net nic -net user,tftp=~/armsource/tftp -sd hda.img -nographic

命令执行后，你就可以和之前一样的内核加载，最后经过两次跳转，到我们的sd卡上的文件系统。

五、结语

到这里，我们最终完成了qemu – > uboot –> kernel –> initramfs –> hda.img这一过程[10]。而这也是制作嵌入式系统，甚至一个桌面发行版本的基本流程。如果看完这篇文章后，还对嵌入式系统念念不忘，还是建议你买一块开发板，然后真真走一遍这个过程，毕竟这是用qemu模拟的。现在有很多open source hardware project(Arduino, Beagle Board, Cubieboard，Odroid，PandaBoard，Raspberry Pi)，你可以购买他们的板子，然后移植任何自己喜欢的东西。由于是open source，你可以获取到很多资料，并且有社区支持。

REFERENCE

1. Download CodeSourcery: https://sourcery.mentor.com/GNUToolchain/release2449
2. toolchain: http://elinux.org/Toolchains
3. Qemu User Document: http://qemu.weilnetz.de/qemu-doc.html
4. EABI: http://en.wikipedia.org/wiki/Application_binary_interface
5. kernel debug
6. Busybox: http://www.ibm.com/developerworks/library/l-busybox/
7. FHS: http://en.wikipedia.org/wiki/Filesystem_Hierarchy_Standard
8. initrd: http://www.ibm.com/developerworks/library/l-initrd/index.html
9. Initrd/Initramfs: http://wiki.sourcemage.org/HowTo(2f)Initramfs.html
10. http://elinux.org/Virtual_Development_Board