Linux 如何为其物理分配器分配内存?
How does Linux allocate memory for its physical allocator?
我最近在研究Linux的内存管理细节,因为我想为我自己的玩具内核实现类似的东西,所以我希望熟悉细节的人能帮助我理解一样东西。显然,物理内存管理器是一种伙伴算法,它进一步专门用于 return 个特定顺序的页面块(0 到 9,其中 0 只是一个页面)。对于每个订单,块都存储为链表。比如说,如果请求了一个 5 阶块,但在 5 阶块列表中找不到,该算法将搜索 6 阶块,将其分成两部分,给出请求的一半并将另一半移动到较低的顺序(如它是一半大小)。
我不明白内核是如何存储这些结构的,或者它是如何为它们分配 space 的。因为对于 order 0 页面,您需要 1M 条目(每个条目都是 4KiB 页面),这是否意味着内核分配 1MiB * sizeof(struct page)? 1 阶及以上的块呢?内核是否通过将分配的块标记为高阶来重用它们,并且当它需要将其分成两部分时,只需 return 块并获得一个未使用的块?
What I don't get is how the kernel stores these structures, or how it allocates space for them. Since for order 0 pages you would need 1M entries (each is a 4KiB page), does it mean that the kernel allocates 1MiB * sizeof(struct page)?
区域的初始化通过调用 paging_init()
(arch/x86/mm/init_32.c; some descriptions - https://www.kernel.org/doc/gorman/html/understand/understand005.html 2.3 Zone Initialisation and http://repo.hackerzvoice.net/depot_madchat/ebooks/Mem_virtuelle/linux-mm/vminit.html Initializing the Kernel Page Tables) from setup_arch()
via (native_pagetable_init()
和间接调用 1166 x86_init.paging.pagetable_init();
):
690 /*
691 * paging_init() sets up the page tables - note that the first 8MB are
692 * already mapped by head.S.
...*/
697 void __init paging_init(void)
698 {
699 pagetable_init();
...
711 zone_sizes_init();
712 }
pagetable_init()
在 1024 pgd_t
的 swapper_pg_dir
数组中创建内核页表。
zone_sizes_init()
actually defines zones of physical memory and calls free_area_init_nodes()
to initialize them with actual work done (for each NUMA node for_each_online_node(nid) {...}
) in free_area_init_node()
调用三个函数:
calculate_node_totalpages()
打印 dmesg 中每个节点的页数
alloc_node_mem_map()
does actual job of allocating struct page
for every physical page in this node; memory for them is allocated by bootmem allocator doc1 doc2(你可以通过 bootmem_debug=1
内核启动选项查看它的调试):
4936 size = (end - start) * sizeof(struct page);
4937 map = alloc_remap(pgdat->node_id, size);
if (!map) map = memblock_virt_alloc_node_nopanic(size, pgdat->node_id);
free_area_init_core()
(with filling of bitmaps in struct zone
). Functionality of free_area_init_core
described for older kernels in http://repo.hackerzvoice.net/depot_madchat/ebooks/Mem_virtuelle/linux-mm/zonealloc.html#INITIALIZE 为:
free_area_init_core()
The memory map is built, and the freelists and buddy bitmaps initialized, in free_area_init_core().
初始化每个区域中订单的空闲列表,并将订单标记为没有任何空闲页面:free_area_init_core()
-> init_currently_empty_zone()
-> zone_init_free_lists
:
4147 static void __meminit zone_init_free_lists(struct zone *zone)
4148 {
4149 unsigned int order, t;
4150 for_each_migratetype_order(order, t) {
4151 INIT_LIST_HEAD(&zone->free_area[order].free_list[t]);
4152 zone->free_area[order].nr_free = 0;
4153 }
4154 }
PS: 内核中有是 init(),它叫做start_kernel()
,LXR(Linux交叉引用)将帮助您在功能之间导航(我发布了指向 lxr.free-electrons.com 的链接,但有几个在线 LXR):
501 asmlinkage __visible void __init start_kernel(void)
...
528 boot_cpu_init();
529 page_address_init();
530 pr_notice("%s", linux_banner);
531 setup_arch(&command_line);
我最近在研究Linux的内存管理细节,因为我想为我自己的玩具内核实现类似的东西,所以我希望熟悉细节的人能帮助我理解一样东西。显然,物理内存管理器是一种伙伴算法,它进一步专门用于 return 个特定顺序的页面块(0 到 9,其中 0 只是一个页面)。对于每个订单,块都存储为链表。比如说,如果请求了一个 5 阶块,但在 5 阶块列表中找不到,该算法将搜索 6 阶块,将其分成两部分,给出请求的一半并将另一半移动到较低的顺序(如它是一半大小)。 我不明白内核是如何存储这些结构的,或者它是如何为它们分配 space 的。因为对于 order 0 页面,您需要 1M 条目(每个条目都是 4KiB 页面),这是否意味着内核分配 1MiB * sizeof(struct page)? 1 阶及以上的块呢?内核是否通过将分配的块标记为高阶来重用它们,并且当它需要将其分成两部分时,只需 return 块并获得一个未使用的块?
What I don't get is how the kernel stores these structures, or how it allocates space for them. Since for order 0 pages you would need 1M entries (each is a 4KiB page), does it mean that the kernel allocates 1MiB * sizeof(struct page)?
区域的初始化通过调用 paging_init()
(arch/x86/mm/init_32.c; some descriptions - https://www.kernel.org/doc/gorman/html/understand/understand005.html 2.3 Zone Initialisation and http://repo.hackerzvoice.net/depot_madchat/ebooks/Mem_virtuelle/linux-mm/vminit.html Initializing the Kernel Page Tables) from setup_arch()
via (native_pagetable_init()
和间接调用 1166 x86_init.paging.pagetable_init();
):
690 /*
691 * paging_init() sets up the page tables - note that the first 8MB are
692 * already mapped by head.S.
...*/
697 void __init paging_init(void)
698 {
699 pagetable_init();
...
711 zone_sizes_init();
712 }
pagetable_init()
在 1024 pgd_t
的 swapper_pg_dir
数组中创建内核页表。
zone_sizes_init()
actually defines zones of physical memory and calls free_area_init_nodes()
to initialize them with actual work done (for each NUMA node for_each_online_node(nid) {...}
) in free_area_init_node()
调用三个函数:
calculate_node_totalpages()
打印 dmesg 中每个节点的页数
alloc_node_mem_map()
does actual job of allocatingstruct page
for every physical page in this node; memory for them is allocated by bootmem allocator doc1 doc2(你可以通过bootmem_debug=1
内核启动选项查看它的调试):
4936 size = (end - start) * sizeof(struct page);
4937 map = alloc_remap(pgdat->node_id, size);
if (!map) map = memblock_virt_alloc_node_nopanic(size, pgdat->node_id);
free_area_init_core()
(with filling of bitmaps instruct zone
). Functionality offree_area_init_core
described for older kernels in http://repo.hackerzvoice.net/depot_madchat/ebooks/Mem_virtuelle/linux-mm/zonealloc.html#INITIALIZE 为:
free_area_init_core()
The memory map is built, and the freelists and buddy bitmaps initialized, in free_area_init_core().
初始化每个区域中订单的空闲列表,并将订单标记为没有任何空闲页面:free_area_init_core()
-> init_currently_empty_zone()
-> zone_init_free_lists
:
4147 static void __meminit zone_init_free_lists(struct zone *zone)
4148 {
4149 unsigned int order, t;
4150 for_each_migratetype_order(order, t) {
4151 INIT_LIST_HEAD(&zone->free_area[order].free_list[t]);
4152 zone->free_area[order].nr_free = 0;
4153 }
4154 }
PS: 内核中有是 init(),它叫做start_kernel()
,LXR(Linux交叉引用)将帮助您在功能之间导航(我发布了指向 lxr.free-electrons.com 的链接,但有几个在线 LXR):
501 asmlinkage __visible void __init start_kernel(void)
...
528 boot_cpu_init();
529 page_address_init();
530 pr_notice("%s", linux_banner);
531 setup_arch(&command_line);