Linux中断机制之二：初始化

相关概念和关键数据结构

1、 irq号：在当前系统中全局唯一，对应内核数据结构struct irq_desc，每个外设的中断有一个irq号(体系结构预留的中断，是没有对应的irq_desc结构和irq号的)，该irq在该中断的生命周期内都不会改变，且和该中断的中断处理函数关联；内核使用一个bitmap allocated_irqs来标识当前系统已经分配的irq；irq号的管理与底层中断设备和配置无关，属于Generic Interrupt Layer；对于irq号分布集中的情况，不配置CONFIG_SPARSE_IRQ，内核采用数组直接管理，数组下标就是irq号；而对于irq号比较分散的，设置CONFIG_SPARSE_IRQ，内核采用radix tree来管理所有的irq号。
2、 vector号：内核使用全局bitmap used_vectors来标识那些vector被系统预留，不能被外设分配使用。
3、 irq号和vector号的关联：内核中使用per-cpu变量vector_irq来描述irq号和vector号的关联，对每个CPU，vector_irq是一个数组，在X86架构下成员数量为256，其数组的index为vector，值为irq,如果为-1则表示该CPU上的这个vector尚未分配。
4、 struct irq_desc结构，用来描述一个中断，是内核generic interrupt layer的关键数据结构，其包含了中断的大部分信息，并连接了driver层和物理中断设备层，每个irq号对应一个该结构，共享相同irq号的中断共享该结构。它的关键成员包括：

a)  irq_data  :为该中断对应的物理中断设备层相关的数据。     b)  handle_irq：为该该中断使用的通用逻辑接口。c)  action：为driver层提供的ISR信息，其为一个单向链表结构，所有共享该中断的设备的ISR都链接在这里。

内核关键数据结构和相关初始化

对X86 CPU，Linux内核使用全局idt_table来表达当前的IDT，该变量定义在traps.c

gate_desc  idt_table[NR_VECTORS] __page_aligned_data = { { { { 0, 0 } } }, };//初始化为全0。

对中断相关的初始化，内核主要有以下工作：
1、 设置used_vectors，确保外设不能分配到X86保留使用的vector(预留的vector范围为[0,31]，另外还有其他通过apic_intr_init等接口预留的系统使用的vector);
2、 设置X86CPU保留使用的vector对应的IDT entry;这些entry使用特定的中断处理接口；
3、 设置外设 (包括ISA中断)使用的中断处理接口，这些中断处理接口都一样。
4、 设置ISA IRQ使用的irq_desc；
5、 把IDT的首地址加载到CPU的IDTR(Interrupt Descriptor Table Register);
6、 初始化中断控制器(下一章描述)
以上工作主要在以下函数中完成：

start_kernel    trap_init         使用set_intr_gate等接口初始化保留vector        used_vectors中[0,0x1f]对应的vector被置1，表示已经预留不能再使用        cpu_init            load_idt((const struct desc_ptr *)&idt_descr) 把&idt_descr的地址加载到idtr                native_load_idt()    init_IRQ        初始化0号CPU的vector_irq：其vector[0x30-0x3f]和irq号[0-15](ISA中断)对应        x86_init.irqs.intr_init(native_init_IRQ)            x86_init.irqs.pre_vector_init(init_ISA_irqs)                init_ISA_irqs:初始化ISA，设置irq号[0,15] (ISA中断)的irq_desc            apic_intr_init 设置APIC相关中断(使用的alloc_intr_gate会设置used_vectors)            使用interrupt数组初始化设置外设中断idt entry

可以看到，这个过程会完成每个中断vector对应的idt entry的初始化，系统把这些中断vector分成以下几种：
1、X86保留vector，这些vector包括[0,0x1f]和APIC等系统部件占用的vector,对这些vector，会记录在bitmap used_vectors中，确保不会被外设分配使用；同时这些vector都使用各自的中断处理接口，其中断处理过程相对简单(没有generic interrupt layer的参与，CPU直接调用到各自的ISR)。
2、ISA irqs，对这些中断，在初始化过程中已经完成了irq_desc、vector_irq、以及IDT中对应entry的分配和设置，同时可以发现ISA中断，在初始化的时候都被设置为运行在0号CPU。
3、其它外设的中断，对这些中断，在初始化过程中仅设置了对应的IDT，和ISA中断一样，其中断处理接口都来自interrupt数组。

中断处理接口interrupt数组
interrupt数组是内核中外设中断对应的IDT entry，其在entry_64.S中定义，定义如下：

    .section .init.rodata,"a"/*符号interrupt位于数据段*/ENTRY(interrupt)    .section .entry.text/*以下开始内容输出到text段*/    .p2align 5    .p2align CONFIG_X86_L1_CACHE_SHIFTENTRY(irq_entries_start)/*符号irq_entries_start位于代码段*/    INTR_FRAMEvector=FIRST_EXTERNAL_VECTOR.rept (NR_VECTORS-FIRST_EXTERNAL_VECTOR+6)/7/*一共224/7次外层循环*/    .balign 32  .rept 7/*内层循环每组为7个vector对应的处理接口*/    .if vector < NR_VECTORS      .if vector <> FIRST_EXTERNAL_VECTOR    CFI_ADJUST_CFA_OFFSET -8      .endif1:  pushq_cfi $(~vector+0x80) /* 代码段内容*/      .if ((vector-FIRST_EXTERNAL_VECTOR)%7) <> 6/*每组最后一个接口不需要jmp*/    jmp 2f      .endif      .previous/*返回之前的段，也就是以下内容输出到数据段*/    .quad 1b /*数据段的数据为标号1的地址,b表示这个标号在前面*/      .section .entry.text/*切换回代码段*/vector=vector+1    .endif  .endr/*循环7次，跳转到.rept7 */2:  jmp common_interrupt.endr/*循环，对应前面的.rept (NR_VECTORS-FIRST_EXTERNAL_VECTOR+6)/7对应*/    CFI_ENDPROCEND(irq_entries_start).previousEND(interrupt).previous

这段汇编的效果是：在代码段，生成了一个符号irq_entries_start，该符号对应的内容是一组可执行代码，一共(NR_VECTORS-FIRST_EXTERNAL_VECTOR+6)/7组，每组为7个中断入口，为：

pushq_cfi $(~0x20+0x80)jmp 2f /*2f是一个地址，表示为后面标号2的地址，也就是后面jmp common_interrupt 这段代码的地址*/以上内容重复5次，一共6次，下面是第7个中断入口。pushq_cfi $(~0x26+0x80) jmp common_interrupt

每组的最后一个中断入口不需要jmp 2f是因为其pushq_cfi(就是pushq咯)下面就
是2f这个标号的地址了。（不明白的是：为什么不在jmp 2f的地方直接写上jmp common_interrupt?非要jmp 2f，2f的地方再次jmp common_interrupt？ ）

而interrupt是一个数组，该数组在初始化完成后释放，其每个数组项都是一个地址，是对应的“pushq_cfi”代码的地址(每个代表中断入口的标号)。系统在初始化的时候，对外设使用interrupt数组作中断处理接口，就是在中断发生时，执行代码段：

pushq_cfi $(~vector+0x80)jmp 2f (执行jmp common_interrupt)

初始化中断控制器

对中断控制器的使用基本上有三种机制：
1、 中断路由表 $PIR
struct irq_routing_table，该结构用于使用PIR和8259A的系统，在微软的文献《PCI IRQ Routing Table Specification》中描述了该结构详细信息。其描述了一个PCI设备的INT#是如何连接到PIR设备的输入端口的。其关键数据是一个可变长的struct irq_info数组，每个struct irq_info描述了一个PCI物理设备的4个INT#相关的中断路由信息和对应可用的ISA IRQs的bitmap。BIOS根据相关设备的物理连接填写该数据结构，OS在设备初始化过程中使用这些信息为使用INT#的设备分配对应的vector和irq。
2、 MP table
struct mpc_intsrc，该数据结构用于使用I/O APIC的系统中，描述系统中所有PCI设备4个INT#信号和I/O APIC输入引脚的对应关系。该数据结构的srcbus成员为对应PCI设备的bus id；srcbusirq描述了一个INT#信号，其bit0-bit1用于描述是INTA#–INTD#中的哪一个(对应值为0-3)，bit2-bit6描述该PCI设备的slot id。dstapic为该描述对应的I/O APIC的ID。dstirq描述srcbus和srcbusirq确定的INT#对应的irq号信息(具体的解析有多种情况)。在系统中有一个以该数据结构为成员的全局数组mp_irqs，用于管理系统中所有的硬件中断信号和irq之间的关联。对MP table及其使用的更加详细的描述，见《Multiprocessor Specification v1.4》
3、 ACPI(Advanced Configuration and PowerInterface)机制
这种机制为I/O APIC机制和中PIR机制提供统一的管理界面，该机制使用struct acpi_prt_entry描述INT#和GSI(能和vector、irq对应)的关系，系统中所有的struct acpi_prt_entry由OS从BIOS提供的信息中获取，并保存在链表acpi_prt_list中。
注：对GSI的说明，GSI(global system interrupt)表示的是系统中中断控制器的每个输入管脚的唯一编号，在使用ACPI模式管理中断控制器的时候使用。对使用8259A的系统，GSI和ISA IRQ是一一对应的。对于使用APIC的，每个I/O APIC会由BISO分配一个基址，这个base+对应管脚的编号(从0开始)就是对应的GSI。通常是基址为0的I/O APIC的前16个管脚用于ISA IRQS，对GSI更加详细的描述，见《Advanced Configuration and Power Interface Revision 2.0》

除了中断路由表，其它两种机制的初始化(包括相关中断路由信息的初始化)的在《interrupt in linux》中有很详细的描述。这些初始化操作都在内核初始化的时候完成。

为PCI设备配置中断

为PCI设备配置中断，分为两个步骤，
步骤一：为设备分配irq号(对MSIX，会有多个)，为该中断分配执行CPU和它使用的vector，并通过对中断控制器的设置，确保对应的中断信号和vector匹配。对于使用INT#类型的中断，通常通过pci_enable_device/pci_enable_device_mem/pci_enable_device_io中对函数pcibios_enable_device的调用来完成(只有在没有开启MSI/MSIX的时候才会为INT#做配置)，而要配置MSI/MSIX中断要使用的是pci_enable_msix。
步骤二：request_irq为该设备的irq指定对应的中断处理例程，把irq号和驱动定义ISR关联。

pcibios_enable_device

该接口用于使能PCI设备INT#模式的中断。其主要功能由pcibios_enable_irq(dev)完成，pcibios_enable_irq是一个函数指针，对于ACPI模式，其在上电过程中被设置为acpi_pci_irq_enable，其它情况被设置为pirq_enable_irq。

对ACPI模式，其执行过程为：
1、 acpi_pci_irq_enable：其先根据设备的管脚信息获取一个GSI(可以认为有了GSI，就有了irq号，gsi_to_irq可以完成其转换)，有了gsi/irq，要完成设置还必须有vector并且把它们关联起来，因此如果GSI获取成功，会使用acpi_register_gsi来完成后续操作。
2、 acpi_register_gsi：其主要功能由__acpi_register_gsi来完成，该函数指针在ACPI模式下被设置为acpi_register_gsi_ioapic，acpi_register_gsi_ioapic的执行过程如下：
mp_register_gsi===>io_apic_set_pci_routing===>io_apic_set_pci_routing===>io_apic_setup_irq_pin_once===>io_apic_setup_irq_pin===>setup_ioapic_irq，在setup_ioapic_irq中，就会利用assign_irq_vector为该irq选择对应的执行CPU，并分配该CPU上的vector，同时还把该vector等配置写入到I/O APIC对应管脚的RTE，从而完成整个中断的配置。这样在该INT#信号到来的时候，I/O APIC就能根据对应管脚的RTE，把该信号翻译为一个vector，并通过中断消息发送到local APIC。同时在setup_ioapic_irq中，还通过ioapic_register_intr===>irq_set_chip_and_handler_name为得到的irq号对应的irq_desc设置了->irq_data.chip和handle_irq函数指针（对level触发的，为handle_fasteoi_irq，否则为handle_edge_irq）

对其它模式，其通过pcibios_lookup_irq完成执行：
在配置了I/O APIC的场景，pirq_enable_irq通过IO_APIC_get_PCI_irq_vector获取到irq号，然后和ACPI模式一样，通过io_apic_set_pci_routing完成对I/O APIC的配置。而对没有配置I/O APIC的场景，主要通过pcibios_lookup_irq来完成相关操作：
1、 pcibios_lookup_irq通过读取BIOS提供的中断路由表 ($PIR表，irq_routing_table)信息和当前irq分配情况(pirq_penalty数组)，在考虑均衡的前提下为当前设备分配一个可用的irq。
2、 根据当前PIR的相关信息，决定最终的irq号选择，相关代码行如下

    if ((pirq & 0xf0) == 0xf0) {        irq = pirq & 0xf;        msg = "hardcoded";    } else if (r->get && (irq = r->get(pirq_router_dev, dev, pirq)) && \ /*pirq_piix_get*/    ((!(pci_probe & PCI_USE_PIRQ_MASK)) || ((1 << irq) & mask))) {        msg = "found";        eisa_set_level_irq(irq);    } else if (newirq && r->set &&        (dev->class >> 8) != PCI_CLASS_DISPLAY_VGA) {        if (r->set(pirq_router_dev, dev, pirq, newirq)) {            eisa_set_level_irq(newirq);            msg = "assigned";            irq = newirq;        }    }

也就是：如果是硬链接(INT#直接连接到了8259A，没有经过PIR)，直接获取irq号，如果PIR中已经有该输入线的配置，使用已有的值，否则利用刚刚分配的可用irq，并写入到PIR，以便能够完成中断信号到irq号的转换。
注意：
1、这里的r，也就是pirq_router，代表一种PIR硬件，全局配置pirq_routers中描述了当前支持的PIR，并在初始化的时候通过pirq_find_router获取了对应当前配置的PIR对应的描述。
2、这里没有分配vector，是因为这里使用的irq号范围为0-16，是ISA IRQs，其与vector的对应关系简单：vector = IRQ0_VECTOR + irq，并在系统初始化过程中，已经通过early_irq_init中分配了irq_desc结构，通过init_IRQ设置了vector_irq(只运行于CPU0上)，然后通过x86_init.irqs.intr_init(native_init_IRQ)===> x86_init.irqs.pre_vector_init(init_ISA_irqs)设置了->irq_data.chip(i8259A_chip)和handle_irq函数指针(handle_level_irq)。

Pci_enable_msix

该函数完成MSIX中断相关的设置。

int pci_enable_msix(struct pci_dev *dev, struct msix_entry *entries, int nvec){    int status, nr_entries;    int i, j;    if (!entries)        return -EINVAL;    /*检查MSIX中断功能在当前设备上是否可用*/    status = pci_msi_check_device(dev, nvec, PCI_CAP_ID_MSIX);    if (status)        return status;    /*该设备支持的MSI-X中断数量*/    nr_entries = pci_msix_table_size(dev);    if (nvec > nr_entries)        return nr_entries;    /* Check for any invalid entries */    for (i = 0; i < nvec; i++) {        if (entries[i].entry >= nr_entries)            return -EINVAL;     /* invalid entry */        for (j = i + 1; j < nvec; j++) {            if (entries[i].entry == entries[j].entry)                return -EINVAL; /* duplicate entry */        }    }    WARN_ON(!!dev->msix_enabled);    /* Check whether driver already requested for MSI irq */    if (dev->msi_enabled) {        dev_info(&dev->dev, "can't enable MSI-X "               "(MSI IRQ already assigned)\n");        return -EINVAL;    }    /*关键函数:完成MSI-X中断相关设置*/    status = msix_capability_init(dev, entries, nvec);    return status;}       

msix_capability_init中实现中断初始化的是arch_setup_msi_irqs，对于X86系统，其为x86_setup_msi_irqs，x86_setup_msi_irqs中直接调用了native_setup_msi_irqs，该函数是X86系统中实现MSIX中断初始化的关键函数，对于没有启用interrupt remap的系统，其实现如下：

int native_setup_msi_irqs(struct pci_dev *dev, int nvec, int type){    node = dev_to_node(&dev->dev);    /*nr_irqs_gsi是MSI-X的irq号起始地址，是按照IOAPIC引脚分配    的最大irq号+1*/    irq_want = nr_irqs_gsi;    sub_handle = 0;    list_for_each_entry(msidesc, &dev->msi_list, list) {        /*按照全局配置分配irq号和对应的irq_desc，并        在目标*/        irq = create_irq_nr(irq_want, node);        if (irq == 0)            return -1;        irq_want = irq + 1;        if (!intr_remapping_enabled)/*对于没有启用interrupt remap的系统，intr_remapping_enabled=0*/            goto no_ir;no_ir:        /*使能MSIX中断，把中断信息(关键的vector)        写入PCIE配置区，设置irq_desc数据*/        ret = setup_msi_irq(dev, msidesc, irq);        if (ret < 0)            goto error;        sub_handle++;    }    return 0;error:    destroy_irq(irq);    return ret;}

该函数中有两个关键函数，分别是create_irq_nr和setup_msi_irq，其中create_irq_nr是分配一个vector给当前的中断，分配vector的同时，也为该中断指定了执行CPU。setup_msi_irq则负责把相关配置信息写入到PCIE配置区，并设置irq_desc的数据，其中关键的是irq_desc的handle_irq被设置为handle_edge_irq。
create_irq_nr的实现如下：

unsigned int create_irq_nr(unsigned int from, int node){    if (from < nr_irqs_gsi)        from = nr_irqs_gsi;    /*从全局bitmap中查找一个没有用的irq号,并分配和    初始化一个对应的irq_desc*/    irq = alloc_irq_from(from, node);    if (irq < 0)        return 0;    cfg = alloc_irq_cfg(irq, node);    if (!cfg) {        free_irq_at(irq, NULL);        return 0;    }    raw_spin_lock_irqsave(&vector_lock, flags);    /*关键函数:负责分配一个vector，并和irq号关联    其中的"apic"是根据系统配置在系统加载过程中    初始化，在当前系统为apic_physflat*/    if (!__assign_irq_vector(irq, cfg, apic->target_cpus()))        ret = irq;    raw_spin_unlock_irqrestore(&vector_lock, flags);    if (ret) {        irq_set_chip_data(irq, cfg);        irq_clear_status_flags(irq, IRQ_NOREQUEST);    } else {        free_irq_at(irq, cfg);    }    return ret;}

其中__assign_irq_vector负责分配vector，并和中断在CPU上的调度相关，其实现如下

/*@mask:该vector可以分配在哪些CPU上*/static int__assign_irq_vector(int irq, struct irq_cfg *cfg, const struct cpumask *mask){    static int current_vector = FIRST_EXTERNAL_VECTOR + VECTOR_OFFSET_START;    static int current_offset = VECTOR_OFFSET_START % 8;    unsigned int old_vector;    int cpu, err;    cpumask_var_t tmp_mask;    if (cfg->move_in_progress)        return -EBUSY;    if (!alloc_cpumask_var(&tmp_mask, GFP_ATOMIC))        return -ENOMEM;    old_vector = cfg->vector;    if (old_vector) {/*如果已经存在满足CPU绑定要求的vector，不        多次分配*/        cpumask_and(tmp_mask, mask, cpu_online_mask);        cpumask_and(tmp_mask, cfg->domain, tmp_mask);        if (!cpumask_empty(tmp_mask)) {            free_cpumask_var(tmp_mask);            return 0;        }    }    /* Only try and allocate irqs on cpus that are present */    err = -ENOSPC;    for_each_cpu_and(cpu, mask, cpu_online_mask) {        int new_cpu;        int vector, offset;        /*获取当前APIC配置要求的中断运行cpu，大部分        (包括当前系统apic_physflat)为tmp_mask就对应变量'cpu'*/        apic->vector_allocation_domain(cpu, tmp_mask);        vector = current_vector;        offset = current_offset;next:        vector += 8;        if (vector >= first_system_vector) {            /* If out of vectors on large boxen, must share them. */            offset = (offset + 1) % 8;            vector = FIRST_EXTERNAL_VECTOR + offset;        }        if (unlikely(current_vector == vector))            continue;        /*如果是系统预留的vector,不可使用*/        if (test_bit(vector, used_vectors))            goto next;        /*如果apic要求的任何cpu核心上该vector已经被占用，则        该vector不可用*/        for_each_cpu_and(new_cpu, tmp_mask, cpu_online_mask)            if (per_cpu(vector_irq, new_cpu)[vector] != -1)                goto next;        /* Found one! */        current_vector = vector;        current_offset = offset;        if (old_vector) {            cfg->move_in_progress = 1;            cpumask_copy(cfg->old_domain, cfg->domain);        }        /*关键步骤:对当前apic配置的可能运行该中断的所有CPU        配置其vector_irq，以便中断发生时可以通过vector查找到        irq号*/        for_each_cpu_and(new_cpu, tmp_mask, cpu_online_mask)            per_cpu(vector_irq, new_cpu)[vector] = irq;        cfg->vector = vector;        cpumask_copy(cfg->domain, tmp_mask);        err = 0;        break;    }    free_cpumask_var(tmp_mask);    return err;}

从实现中可以看到，该函数从FIRST_EXTERNAL_VECTOR(外设中断的起始vector号，通常是0x20) 到first_system_vector(外部中断结束vector号，通常是254，255被系统作为保留的SPURIOUS_APIC_VECTOR使用)的范围中，为当前中断分配一个vector，要求该vector在对应的cpu上均可用，该vector按照系统配置的要求和对应的cpu核心绑定，并在要求的cpu中没有被其它中断使用。需要说明的是，在setup_msi_irq中会再次通过msi_compose_msg再次调用__assign_irq_vector，但是由于这时已经存在满足CPU绑定要求的vector，不会多次分配。

从以上分析可以得到MSI-X中断的一个绑定特征：根据当前APIC配置，每个中断都有对应的可以运行的cpu，pci_enable_msix在这些要求的cpu核心上建立了vector (APIC的配置由数据结构struct apic来抽象，其vector_allocation_domain用于决定需要在那些cpu核心上为该中断建立vector)，当前我的系统使用的是apic_physflat，对每个MSI中断，其只在一个cpu核心上建立vector，对应的MSI-X中断事实上被绑定到该cpu核心上。在用户通过echo xxx > /proc/irq/xxx/affinity来调整中断的绑定属性时，内核会重新为该中断分配一个新的在对应核心上可用的vector，但是irq号不会改变。绑定属性调整的调用路径大致为irq_affinity_proc_fops===>irq_affinity_proc_write===> write_irq_affinity===>irq_set_affinity===>__irq_set_affinity_locked===>chip->irq_set_affinity(msi_set_affinity)。也就是最终通过msi_set_affinity来实现，在该函数中首先通过 __ioapic_set_affinity在绑定属性要求的cpu中选择空闲vector，然后通过__write_msi_msg把配置写入PCIE配置区。需要说明的是：该irq最终可以运行的cpu数量并不完全由用户指定，还与apic的模式相关，对于apic_physflat，实际上只为该irq分配了一个cpu核心，该irq只能运行在用户指定的cpu中的一个，而不是全部。

附：关于全局变量apic

该全局变量为local apic的抽象，在不同的系统配置下，有不同的选择，其最终的选择结果，由内核的config(反应在/arch/x86/kernel/apic/Makefile)和硬件配置等来决定。
1、 定义各种apic driver
首先，每种apic配置都会使用apic_driver/ apic_drivers来定义，apic_driver的定义如下

#define apic_driver(sym)                    \    static struct apic *__apicdrivers_##sym __used      \    __aligned(sizeof(struct apic *))            \    __section(.apicdrivers) = { &sym }

这个定义的目的是把sym的地址写入到名为” .apicdrivers”的段中。
2、 定义全局符号__apicdrivers和__apicdrivers_end
在linker script vmlinux.lds.S中，定义了__apicdrivers为” .apicdrivers”段的开始地址，而__apicdrivers_end为结束地址。” .apicdrivers”段中是各个不同的apic配置对应的struct apic。

    . = ALIGN(8);    .apicdrivers : AT(ADDR(.apicdrivers) - LOAD_OFFSET) {        __apicdrivers = .;        *(.apicdrivers);        __apicdrivers_end = .;    }

3、 apic的probe
在初始化过程(start_kernel)中，会调用default_setup_apic_routing(probe_64.c中定义)来完成apic的probe，该函数会按照各个struct apic结构在.apicdrivers中的顺序，依次调用其probe接口，第一个调用返回非0的struct apic结构就被初始化到全局变量apic。也就是：如果有多个apic结构可用，最终会选择在.apicdrivers段中出现的第一个；所以makefile文件中各个.o出现的顺序也会觉得最终的apic probe结果。

request_irq

该函数把irq和用户指定的中断处理函数关联。用户指定的每个处理函数对应于一个struct irqaction结构，这些处理函数构成一个链表，保存在struct irq_desc：：action成员中。详细见request_irq===>request_threaded_irq中的处理。