SMMU驱动代码分析
本文主要分析linux kernel中SMMUv3的代码(drivers/iommu/arm-smmu-v3.c)
linux kernel版本是linux 5.7, 体系结构是aarch64
SMMU的作用是把CPU提交给设备的VA地址,直接作为设备发出的地址,变成正确的物理地址,访问到物理内存上。和 mmu 不同的是,一个 smmu 可以有多个设备连着,他们的页表不可能复用,SMMU 用 stream id 作区分。一个设备有多个进程,所以 smmu 单元也要支持多页表,smmu 使用substream id 区分多进程的页表。
smmu的设备节点定义
在讨论smmu的代码前,先看下smmu的设备节点是怎么定义的
smmu@2b400000 {compatible = "arm,smmu-v3";reg = <0x0 0x2b400000 0x0 0x20000>;interrupts = <GIC_SPI 74 IRQ_TYPE_EDGE_RISING>,<GIC_SPI 75 IRQ_TYPE_EDGE_RISING>,<GIC_SPI 77 IRQ_TYPE_EDGE_RISING>,<GIC_SPI 79 IRQ_TYPE_EDGE_RISING>;interrupt-names = "eventq", "priq", "cmdq-sync", "gerror";dma-coherent;#iommu-cells = <1>;msi-parent = <&its 0xff0000>;};
compatible: 用于匹配smmu驱动。
reg:smmu设备的物理基地址。
interrupts: 描述与中断名称对应的smmu中断源,上述分别对应中断类型,中断号以及中断触发方式。
interrupt-names: 中断名称。
eventq,当event queue从空变为非空状态时上报中断。
priq, 当pri queue从空变为非空状态时上报中断。
cmdq-sync, command queue中CMDQ_SYNC命令完成时产生中断。
gerror,event记录到event queue过程中产生的错误会记录在SMMU_GERROR寄存器中,并产生中断。
combined,组合中断,需要硬件支持,如果提供了组合中断,则将优先使用组合中断。
dma-coherent:表示设备通过smmu进行的DMA访问是否cache coherent的,假设DMA把外设的数据搬运到内存的某个位置,cpu去读那段地址,因为cache命中了,读到的还是旧的值,这就是cache的不coherent。
#iommu-cells: 一个cell代表一个streamid, smmu-v3必须定义为1。
msi-parent:指定msi中断控制器。
struct arm_smmu_domain {struct arm_smmu_device *smmu;struct mutex init_mutex; /* Protects smmu pointer */struct io_pgtable_ops *pgtbl_ops;bool non_strict;atomic_t nr_ats_masters;enum arm_smmu_domain_stage stage;union {struct arm_smmu_s1_cfg s1_cfg;struct arm_smmu_s2_cfg s2_cfg;};struct iommu_domain domain;struct list_head devices;spinlock_t devices_lock;
};
arm_smmu_device: 指定smmu设备
io_pgtable_ops: io页表映射定义的一系列操作
non_strict: smmu non-strict模式,在该补丁集中引入 add non-strict mode support for arm-smmu-v3,
主要是为了解决开启smmu后,频繁的unmap,需要频繁的invalid tlb带来的性能损失, 所以不在每一次unmap后都进行tlb invalidate操作,而是累计一定次数或者时间后执行invalid all操作,但这样是有一定的安全风险(页表虽然释放了但是还是在tlb中有残留,可能被利用到)。可以通过启动参数控制。
nr_ats_masters: ats的设备数量,enable_ats时数量+1, disable ats时数量减1
arm_smmu_domain_stage: 代表smmu支持的方式,支持stage1的转换,stage2的转换,stage1 + stage2的转换,以及bypass模式。
arm_smmu_s1_cfg: stage1转换需要的数据结构
arm_smmu_s2_cfg: stage2转换需要的数据结构
smmu驱动初始化
static int arm_smmu_device_probe(struct platform_device *pdev)
{int irq, ret;struct resource *res;resource_size_t ioaddr;struct arm_smmu_device *smmu;struct device *dev = &pdev->dev;bool bypass;smmu = devm_kzalloc(dev, sizeof(*smmu), GFP_KERNEL);if (!smmu)return -ENOMEM;smmu->dev = dev;if (dev->of_node) {ret = arm_smmu_device_dt_probe(pdev, smmu);} else {ret = arm_smmu_device_acpi_probe(pdev, smmu);if (ret == -ENODEV)return ret;}/* Set bypass mode according to firmware probing result */bypass = !!ret;/* Base address */res = platform_get_resource(pdev, IORESOURCE_MEM, 0);if (!res)return -EINVAL;if (resource_size(res) < arm_smmu_resource_size(smmu)) {dev_err(dev, "MMIO region too small (%pr)\n", res);return -EINVAL;}ioaddr = res->start;/** Don't map the IMPLEMENTATION DEFINED regions, since they may contain* the PMCG registers which are reserved by the PMU driver.*/smmu->base = arm_smmu_ioremap(dev, ioaddr, ARM_SMMU_REG_SZ);if (IS_ERR(smmu->base))return PTR_ERR(smmu->base);if (arm_smmu_resource_size(smmu) > SZ_64K) {smmu->page1 = arm_smmu_ioremap(dev, ioaddr + SZ_64K,ARM_SMMU_REG_SZ);if (IS_ERR(smmu->page1))return PTR_ERR(smmu->page1);} else {smmu->page1 = smmu->base;}/* Interrupt lines */irq = platform_get_irq_byname_optional(pdev, "combined");if (irq > 0)smmu->combined_irq = irq;else {irq = platform_get_irq_byname_optional(pdev, "eventq");if (irq > 0)smmu->evtq.q.irq = irq;irq = platform_get_irq_byname_optional(pdev, "priq");if (irq > 0)smmu->priq.q.irq = irq;irq = platform_get_irq_byname_optional(pdev, "gerror");if (irq > 0)smmu->gerr_irq = irq;}/* Probe the h/w */ret = arm_smmu_device_hw_probe(smmu);if (ret)return ret;/* Initialise in-memory data structures */ret = arm_smmu_init_structures(smmu);if (ret)return ret;/* Record our private device structure */platform_set_drvdata(pdev, smmu);/* Check for RMRs and install bypass STEs if any */arm_smmu_rmr_install_bypass_ste(smmu);/* Reset the device */ret = arm_smmu_device_reset(smmu, bypass);if (ret)return ret;/* And we're up. Go go go! */ret = iommu_device_sysfs_add(&smmu->iommu, dev, NULL,"smmu3.%pa", &ioaddr);if (ret)return ret;ret = iommu_device_register(&smmu->iommu, &arm_smmu_ops, dev);if (ret) {dev_err(dev, "Failed to register iommu\n");goto err_sysfs_remove;}ret = arm_smmu_set_bus_ops(&arm_smmu_ops);if (ret)goto err_unregister_device;return 0;err_unregister_device:iommu_device_unregister(&smmu->iommu);
err_sysfs_remove:iommu_device_sysfs_remove(&smmu->iommu);return ret;
}
+->arm_smmu_device_probe() //smmu设备驱动probe入口函数+-> arm_smmu_device_dt_probe() //smmu设备树解析+-> platform_get_irq_byname() // smmu设备中断解析+-> arm_smmu_device_hw_probe() // smmu硬件规格探测+-> arm_smmu_init_structures() //smmu 数据结构初始化+-> arm_smmu_device_reset() // smmu设备复位, 硬件初始化配置+-> iommu_device_register() // iommu设备注册+-> arm_smmu_set_bus_ops() // 给支持的总线设置bus->iommu_ops
1.arm_smmu_device_dt_probe
static int arm_smmu_device_dt_probe(struct platform_device *pdev,struct arm_smmu_device *smmu)
{struct device *dev = &pdev->dev;u32 cells;int ret = -EINVAL;if (of_property_read_u32(dev->of_node, "#iommu-cells", &cells))dev_err(dev, "missing #iommu-cells property\n");else if (cells != 1)dev_err(dev, "invalid #iommu-cells value (%d)\n", cells);elseret = 0;parse_driver_options(smmu);if (of_dma_is_coherent(dev->of_node))smmu->features |= ARM_SMMU_FEAT_COHERENCY;return ret;
}
a. 读取设备树,看smmu的设备节点定义中#iommu-cells是否为1, 如果不为1则直接bypass 掉smmu
b. parse_driver_options, 主要解析smmu是否有需要规避的硬件bug
c. 解析smmu设备中的dma-coherent属性
2. platform_get_irq_byname
/* Interrupt lines */irq = platform_get_irq_byname_optional(pdev, "combined"); if (irq > 0)smmu->combined_irq = irq;else {irq = platform_get_irq_byname_optional(pdev, "eventq");if (irq > 0)smmu->evtq.q.irq = irq;irq = platform_get_irq_byname_optional(pdev, "priq");if (irq > 0)smmu->priq.q.irq = irq;irq = platform_get_irq_byname_optional(pdev, "gerror");if (irq > 0)smmu->gerr_irq = irq;}
分别获取dts节点中定义的"combined", “eventq”, “priq”, "gerror"中断号
3.arm_smmu_device_hw_probe
该函数主要探测smmu设备的硬件规格,主要是通过读SMMU的IDR0,IDR1,IDR5寄存器确认
4.arm_smmu_init_structures
smmu相关的数据结构的内存申请和初始化
static int arm_smmu_init_structures(struct arm_smmu_device *smmu)
{int ret;ret = arm_smmu_init_queues(smmu); ----------------- (a)if (ret)return ret;return arm_smmu_init_strtab(smmu); ----------------- (b)
}
(a) arm_smmu_init_queues()
会初始化三个queue, 分别为cmd queue, event queue, pri queue.
SMMU使用这3个队列做基本的事件管理。
event queue用于记录软件配置错误的状态信息,smmu将配置错误信息记录到event queue中,软件会通过从event queue读取配置错误信息,然后进行相应的配置错误处理。
软件使用command queue和smmu 硬件进行交互,软件写命令发送到command queue中,smmu会从command queue中读取命令进行处理。
pri queue需要硬件支持pri 特性,和event queue类似,当有相应硬件事件发生时,硬件把相应的描述符写入pri queue, 然后上报中断。
(b) arm_smmu_init_strtab
static int arm_smmu_init_strtab(struct arm_smmu_device *smmu)
{u64 reg;int ret;if (smmu->features & ARM_SMMU_FEAT_2_LVL_STRTAB) ret = arm_smmu_init_strtab_2lvl(smmu);elseret = arm_smmu_init_strtab_linear(smmu);if (ret)return ret;/* Set the strtab base address */reg = smmu->strtab_cfg.strtab_dma & STRTAB_BASE_ADDR_MASK;reg |= STRTAB_BASE_RA;smmu->strtab_cfg.strtab_base = reg;/* Allocate the first VMID for stage-2 bypass STEs */set_bit(0, smmu->vmid_map);return 0;
}
首先确认SMMU的stream table的组织方式是线性table还是2-level table.
如果是linear table:
**arm_smmu_init_strtab_linear**// 计算stream table的size, 如果使用linear 查找,stream table的size = sid * 64(sid表示有多少个ste, 一个STE的大小为64B)size = (1 << smmu->sid_bits) * (STRTAB_STE_DWORDS << 3);// 申请Stream table的内存strtab = dmam_alloc_coherent()// 配置stream table(STRTAB_BASE_CFG)的format, 决定stream table的格式是linearreg = FIELD_PREP(STRTAB_BASE_CFG_FMT, STRTAB_BASE_CFG_FMT_LINEAR);// 配置stream table(STRTAB_BASE_CFG)的log2size, ste的entry数目是2 ^ log2sizereg |= FIELD_PREP(STRTAB_BASE_CFG_LOG2SIZE, smmu->sid_bits);// cfg->num_l1_ents对应的是sid, 对SMMU下的所有sid逐一调用arm_smmu_write_strtab_entarm_smmu_init_bypass_stes(strtab, cfg->num_l1_ents)
如果是2-level table:
先通过sid的高位找到L1_STD(STRTAB_BASE + sid[9:8] * 8, 一个L1_STD的大小为8B), L1_STD定义了下一级查找的基地址,然后通过sid 找到具体的STE(l2ptr + sid[7:0] * 64).
+-> arm_smmu_init_strtab_2lvl()/* 计算l1的大小, 一个l1 std的大小为8byte, 对应的l1_std = sid[maxbit:split], maxbit是log2Size - 1, 所以l1的大小等于2 ^ (log2Size - split) * 8 */l1size = cfg->num_l1_ents * (STRTAB_L1_DESC_DWORDS << 3);// 申请L1 stream table的空间strtab = dmam_alloc_coherent()// 配置stream table(STRTAB_BASE_CFG)的format, 决定stream table的格式是2-levelreg = FIELD_PREP(STRTAB_BASE_CFG_FMT, STRTAB_BASE_CFG_FMT_2LVL);/* 配置stream table(STRTAB_BASE_CFG)的log2size,2级ste的entry是2 ^ log2size, l1 std的entry大小为2 ^ (log2size - split) */reg |= FIELD_PREP(STRTAB_BASE_CFG_LOG2SIZE, size);/* 配置stream table(STRTAB_BASE_CFG)的split, split的值可以被配置为6/8/10,分别对应l1 std能够指向的最大二级ste的空间为4k/16k/64k*/reg |= FIELD_PREP(STRTAB_BASE_CFG_SPLIT, STRTAB_SPLIT);/* 分配L1STD的内存, 并配置L1 descriptor的SPAN,SPAN表示L2 table包含多少个STE */arm_smmu_init_l1_strtab()
申请 L1 Stream table 的内存,内存大小为2 ^ (log2Size - split) * 8
申请 L1 STD 的内存, L1 STD在 stream table 的索引是 streamID[maxbit: split]
配置完stream table的结构和各级大小后,再配置stream table的基地址:
配置完 stream table 的结构和各级大小后,再配置 stream table 的基地址
5.arm_smmu_device_reset
该函数主要是进行smmu的硬件配置
arm_smmu_device_reset()// 写SMMU_CR0来disable smmu,并通过SMMU_CR0ACK检查CR0是否被cleararm_smmu_device_disable()// 配置读取ste和command queue的属性writel_relaxed(ARM_SMMU_CR1);// random crapwritel_relaxed(ARM_SMMU_CR2);/* 配置ARM_SMMU_STRTAB_BASE和ARM_SMMU_STRTAB_BASE寄存器,分别对应stream table的物理基地址以及格式,大小等*/writeq_relaxed(smmu->strtab_cfg.strtab_base, ARM_SMMU_STRTAB_BASE);writel_relaxed(smmu->strtab_cfg.strtab_base_cfg, ARM_SMMU_STRTAB_BASE);/* 配置cmd queue相关寄存器* ARM_SMMU_CMDQ_BASE是配置command queue的基地址* ARM_SMMU_CMDQ_PROD, 可以表示取出命令的位置* ARM_SMMU_CMDQ_CONS, 可以表示输入命令的位置* ARM_SMMU_CMDQ_PROD和ARM_SMMU_CMDQ_CONS初始化时配置为相同的值,都为0* 通过CMDQ_PROD和CMDQ_CONS, 可以判断command queue是否还有空间*/writeq_relaxed(smmu->cmdq.q.q_base, smmu->base + ARM_SMMU_CMDQ_BASE);writel_relaxed(smmu->cmdq.q.llq.prod, smmu->base + ARM_SMMU_CMDQ_PROD);writel_relaxed(smmu->cmdq.q.llq.cons, smmu->base + ARM_SMMU_CMDQ_CONS);// 最后配置command queue的en,对command queue进行使能enables = CR0_CMDQEN;// 配置event queue相关寄存器, 流程和command queue类似config event queue// 如果支持pri, 则配置pri queue相关寄存器, 流程和上面一致config pri queue// 申请并使能smmu支持的相关中断(eventq irq, priq irq, gerror irq)arm_smmu_setup_irqs()// enable smmu, 写SMMU_CR0,并通过SMMU_CR0ACK检查CR0是否被enablearm_smmu_write_reg_sync(smmu, enables, ARM_SMMU_CR0, ARM_SMMU_CR0ACK);
再着重讲下smmu的中断注册:arm_smmu_setup_irqs()
+-> arm_smmu_setup_irqs()+-> arm_smmu_setup_unique_irqs()+-> arm_smmu_setup_msis(smmu);+-> arm_smmu_write_msi_msg()+-> devm_request_irq(smmu->dev, irq, arm_smmu_gerror_handler,0, "arm-smmu-v3-gerror", smmu);
arm_smmu_write_msi_msg()函数里会去:
配置MSI中断的目的地址
配置MSI的中断数据
配置MSI中断的写地址的属性
配置完成后,当中断产生时,最终会进入中断注册的处理函数, 以gerror的中断处理为例:
arm_smmu_gerror_handler()// 读gerror和gerrorrn寄存器,确认gerror中断发生的错误类型gerror = readl_relaxed(smmu->base + ARM_SMMU_GERROR);gerrorn = readl_relaxed(smmu->base + ARM_SMMU_GERRORN);// 完成中断处理后,写gerror和gerrorn对应的的位一致,global中断处理完成writel(gerror, smmu->base + ARM_SMMU_GERRORN);
6. iommu_device_register
注册iommu设备,主要设计一个操作,就是将smmu设备添加到iommu_device_list中
int iommu_device_register(struct iommu_device *iommu)
{spin_lock(&iommu_device_lock);list_add_tail(&iommu->list, &iommu_device_list);spin_unlock(&iommu_device_lock);return 0;
}
7.arm_smmu_set_bus_ops
给smmu支持的总线设置bus->iommu_ops, 让总线具有了iommu attach的能力
arm_smmu_set_bus_ops(&arm_smmu_ops)
bus_set_iommu(&pci_bus_type, ops);
bus_set_iommu(&amba_bustype, ops);
bus_set_iommu(&platform_bus_type, ops);
arm_smmu_ops结构体定义如下:
主要分析smmu的两个关键操作:arm_smmu_attach_dev和arm_smmu_add_device
arm_smmu_add_device: 将smmu设备添加到总线
arm_smmu_add_device()smmu = arm_smmu_get_by_fwnode(fwspec->iommu_fwnode);/* for each sid, 如果是2-level ste, 为l2 ste分配内存*在之前的init_l1_strtab, 已经初始化了L1_std, L1_STD定义了下一级查找的基地址,* 现在可以通过sid 找到具体的STE(l2ptr + sid[7:0] * 64)* 这个函数先为每一个sid分配L2_STE的内存, 分配完成后在为每一个SID进行cfg配置*/arm_smmu_init_l2_strtab()// 将device和group关联起来iommu_device_link()
总线扫描发现了设备,总线的发现流程负责调用iommu_ops(arm_smmu_ops )给这个设备加上iommu_group,然后让iommu_group指向对应的iommu控制器
arm_smmu_attach_dev, 尝试为设备寻找到驱动
arm_smmu_attach_dev()// 从iommu_domain 中得到arm_smmu_domainsmmu_domain = to_smmu_domain(iommu_domain );// 一般情况下smmu_domain->smmu = NULL// 在arm_smmu_add_device中,我们已经为STE项分配了内存arm_smmu_domain_finalise(domain, master);// 分配asidasids = arm_smmu_bitmap_alloc()// 根据smmu stage是stage1还是stage2, 如果smmu domain是stage1arm_smmu_domain_finalise_s1()// 分配CD table的空间arm_smmu_alloc_cd_tables(smmu_domain);// 配置CD descriptor的cfgcfg->cd.tcr = FIELD_PREP(CTXDESC_CD_0_XXX)...// 如果smmu domain是stage2, STE已经包含了页表的s2ttb基地址和vmid,结束arm_smmu_domain_finalise_s2()finalise_stage_fn(smmu_domain, master, &pgtbl_cfg);
结合代码分析:
在CD的建立过程中,主要涉及到以下几点:
ste.S1Contextptr中定义了CD的基地址,CD的大小为64byte
a. 需要配置ste.S1CDMax, cdmax为0表示这个ste只有一个CD, 不需要使用到substreamid, 如果cdmax不为0, 那么CD的数目是2 ^ S1CDMax;
b. 需要配置ste.S1Fmt, 如果是linear结构的CD,CD的获取方法为S1ContextPTR + 64 * ssid; 如果是2-level结构的CD, L1CD的索引为ssid[s1cdmax - 1: 6], L2CD的索引为ssid[5:0]
attach_dev完成后,如果是stage1相关,CD的结构,大小和基地址已经成功建立,成功获取STE后,可以通过substreamid找到CD(S1ContextPTR + 64 * ssid)。找到的CD中包含页表PTW需要的TTBR寄存器,所以每一个CD对应一个页表, 这样一个SMMU单元,就可以有多张页表。
总结:
smmu 驱动的初始化流程就是一个探测硬件规格,初始化硬件配置,分配 STD/STE/CD 等空间的过程。