NUMA 架构下的 Linux 内核内存管理：优化、实践与内核探索

你好，我是老码农。今天，我们深入探讨 Linux 内核内存管理中的 NUMA (Non-Uniform Memory Access) 架构。对于服务器端应用开发者和内核工程师来说，理解 NUMA 不仅仅是理论知识，更是优化性能、解决问题的关键。本文将从 NUMA 架构的基本概念出发，深入分析 Linux 内核如何处理 NUMA 架构下的内存分配，并提供一些实用的优化技巧和内核探索方法。准备好迎接挑战了吗？Let's go!

1. 什么是 NUMA？ 为什么我们需要它？

在传统的 SMP (Symmetric Multi-Processing) 架构中，所有 CPU 共享一个统一的内存空间。每个 CPU 访问任何内存地址的时间都是相同的。然而，随着 CPU 核数和内存容量的增加，这种架构会遇到瓶颈。因为所有 CPU 都要通过一个共享的内存控制器访问内存，这会导致竞争和延迟。这种架构也被称为 UMA (Uniform Memory Access)。

NUMA 架构应运而生，它将系统划分为多个节点 (Node)，每个节点包含一个或多个 CPU 和本地内存。节点内的 CPU 可以快速访问本地内存，而访问其他节点的内存则需要通过互连 (Interconnect) 进行，这会引入额外的延迟。虽然 NUMA 访问速度不如本地内存，但整体性能往往优于 UMA 架构，特别是在多核服务器上。

简单来说，NUMA 架构的主要优点在于：

• 扩展性： 允许构建具有大量 CPU 和内存的大型服务器。
• 性能： 通过减少内存访问延迟，提高整体性能。虽然跨节点访问内存会带来延迟，但本地内存访问速度更快。
• 带宽： 每个节点拥有自己的内存控制器和带宽，避免了 UMA 架构中共享内存带宽的瓶颈。

2. Linux 内核中的 NUMA 支持

Linux 内核对 NUMA 架构提供了全面的支持。内核通过多种机制来管理 NUMA 节点、内存分配和进程调度。下面我们来了解一下几个核心概念：

2.1. NUMA 节点和内存域

内核将物理内存划分为多个 NUMA 节点，每个节点代表一个物理内存区域。每个节点又被划分为不同的内存域 (Memory Zone)，例如：

• ZONE_DMA： 用于 DMA 传输的内存，通常在物理地址较低的区域。
• ZONE_DMA32： 32 位 DMA 区域。
• ZONE_NORMAL： 常规内存区域。
• ZONE_HIGHMEM： 用于访问超过 4GB 物理内存的区域 (在 32 位系统上)。

通过内存域，内核可以更精细地管理内存分配，并根据不同的需求选择合适的内存区域。

2.2. 内存分配策略

内核提供了多种内存分配策略，用于在 NUMA 架构下分配内存：

• 默认策略 (Preferred Node)： 默认情况下，内核倾向于在进程运行的 CPU 所在的 NUMA 节点上分配内存。这是为了减少内存访问延迟。
• Interleave 策略： 将内存分配在所有 NUMA 节点上交替进行。这种策略可以提高内存带宽，但可能会增加内存访问延迟。
• Bind 策略： 将进程或内存分配绑定到特定的 NUMA 节点上。这种策略可以确保内存分配在指定的节点上进行，适用于对内存位置有严格要求的应用。
• Local 策略： 尽量在本地分配内存。

2.3. 进程调度和内存亲和性

内核的进程调度器也会考虑 NUMA 架构。调度器会尽量将进程调度到与内存亲和性高的 CPU 上运行，以减少内存访问延迟。例如，如果一个进程在某个 NUMA 节点上分配了大量内存，调度器会尽量将该进程调度到该节点的 CPU 上运行。

2.4. 内核数据结构和 API

内核使用一些关键的数据结构来管理 NUMA 相关的状态和信息：

• pg_data_t: 每个节点都有一个 pg_data_t 结构体，用于描述该节点上的物理内存信息，包括内存域、空闲页面列表等。
• node_online_map: 一个位图，用于表示当前在线的 NUMA 节点。
• numa_node_of_node(node): 获取节点的 NUMA 节点 ID。
• numa_node_id(): 获取当前 CPU 所在的 NUMA 节点 ID。

内核提供了一组 API，用于查询和设置 NUMA 相关的属性，例如：

• numa_node_size(node, zoneid): 获取指定 NUMA 节点上指定内存域的大小。
• numa_alloc_interleaved(size, nodemask): 以 Interleave 策略分配内存。
• numa_alloc_local(size): 在当前节点分配内存。
• migrate_pages(nodemask, migrate_pages_cb, arg): 将页面迁移到指定的 NUMA 节点。

3. NUMA 优化实践

了解了 NUMA 架构的基本概念和 Linux 内核的支持，我们就可以开始进行优化了。下面是一些在 NUMA 架构下优化应用程序性能的实践技巧：

3.1. 监控 NUMA 性能

首先，我们需要监控 NUMA 相关的性能指标，以便了解应用程序在 NUMA 架构下的运行状况。一些常用的工具包括：

• numastat： 用于显示 NUMA 节点上的内存使用情况，包括本地内存、远程内存、页面迁移等。

  numastat -m
  

  numastat 提供了按节点、按进程的内存使用情况，可以帮助我们快速定位问题。

• perf： Linux 性能分析工具，可以用于分析 NUMA 相关的事件，例如页面访问、页面迁移等。

  perf stat -e numa_hit,numa_miss ...
  

  使用 perf 可以更深入地分析 NUMA 性能问题。

• top/htop： 也可以显示 NUMA 相关的内存使用情况，例如进程使用的内存是否位于本地节点。

3.2. 调整内存分配策略

根据应用程序的特性，选择合适的内存分配策略非常重要。

• 优先使用本地内存： 对于大多数应用程序，优先使用本地内存可以减少内存访问延迟，提高性能。你可以通过 numactl 工具来设置内存分配策略。

  numactl --membind=0,1 ...  # 将进程绑定到节点 0 和 1
  numactl --preferred=0 ...  # 优先在节点 0 上分配内存

• 使用 Interleave 策略： 对于需要高内存带宽的应用程序，可以使用 Interleave 策略。例如，数据库服务器可以使用 Interleave 策略来提高并发性能。

  numactl --interleave=all ...  # 使用 Interleave 策略
  

• 手动绑定： 对于对内存位置有严格要求的应用程序，可以使用 Bind 策略，将内存分配到特定的 NUMA 节点上。

3.3. 调整进程调度

确保进程调度器能够充分利用 NUMA 架构，尽量将进程调度到与内存亲和性高的 CPU 上运行。

• CPU 亲和性： 使用 taskset 或 sched_setaffinity 系统调用来设置进程的 CPU 亲和性，将进程绑定到特定的 CPU 核上。这可以减少 CPU 间的切换，提高性能。

  taskset -c 0,1 ...  # 将进程绑定到 CPU 0 和 1
  

• NUMA 亲和性： 内核会自动处理 NUMA 亲和性，但你可以通过调整进程优先级等方式来影响调度器的行为。

3.4. 减少页面迁移

页面迁移是指将页面从一个 NUMA 节点移动到另一个 NUMA 节点。页面迁移会引入额外的开销，降低性能。为了减少页面迁移，可以采取以下措施：

• 合理分配内存： 尽量在进程运行的 CPU 所在的 NUMA 节点上分配内存，避免跨节点访问内存。
• 避免内存碎片： 内存碎片会导致页面分配失败，从而触发页面迁移。可以通过调整内核参数或使用大页 (Huge Pages) 来减少内存碎片。
• 使用 transparent hugepages (THP)： THP 可以减少 TLB miss，提高性能，但可能会增加内存碎片，需要根据实际情况进行调整。

3.5. 案例分析

让我们来看一个实际的案例，假设你有一个运行在 NUMA 架构服务器上的数据库服务器。在监控过程中，你发现数据库的性能下降，并且 numastat 显示大量的远程内存访问。这意味着数据库进程正在访问其他 NUMA 节点的内存，导致性能下降。

为了解决这个问题，你可以采取以下步骤：

1. 确定 NUMA 节点： 使用 numactl --hardware 命令查看服务器的 NUMA 节点配置。
2. 分析数据库进程： 使用 top 或 htop 命令查看数据库进程的内存使用情况，确定它使用了哪些 NUMA 节点的内存。
3. 设置内存亲和性： 使用 numactl 命令，将数据库进程绑定到包含数据库数据的主要 NUMA 节点上。

   numactl --membind=0 --cpunodebind=0  /path/to/database
   

4. 重新监控： 重新运行 numastat 和其他性能监控工具，观察远程内存访问是否减少，数据库性能是否得到提升。

通过调整内存分配和进程调度策略，你可以显著提高数据库服务器的性能。

4. Linux 内核 NUMA 源码探索

对于希望深入了解 NUMA 机制的内核工程师，阅读和理解内核源码是必不可少的。下面是一些与 NUMA 相关的关键源码文件和函数：

• mm/numa.c： 包含了 NUMA 相关的核心逻辑，例如内存分配策略、页面迁移等。
• include/linux/mmzone.h： 定义了内存域相关的结构体和宏。
• include/linux/numa.h： 定义了 NUMA 相关的结构体、函数和 API。
• kernel/sched/core.c： 进程调度相关的代码，包括 NUMA 亲和性。
• mm/page_alloc.c： 内存分配相关的代码，包括 NUMA 相关的内存分配函数。

以下是一些重要的内核函数，你可以通过阅读源码来了解它们的实现细节：

• alloc_pages_node(): 在指定的 NUMA 节点上分配页面。
• numa_alloc_interleaved_cpumask(): 使用 Interleave 策略分配内存。
• migrate_pages(): 将页面迁移到指定的 NUMA 节点。
• set_mempolicy(): 设置内存分配策略。
• migrate_page(): 单个页面迁移。

源码阅读技巧：

1. 从顶层函数开始： 从用户空间调用的 API 函数开始，例如 numa_alloc_local()，然后逐步跟踪调用链，了解内核是如何处理请求的。
2. 使用代码导航工具： 使用代码编辑器 (例如 VS Code、Emacs) 或代码浏览器 (例如 cscope, ctags) 来方便地跳转到函数定义、变量声明等。
3. 结合调试工具： 使用内核调试器 (例如 KGDB) 来单步执行代码，观察变量的值，加深对内核机制的理解。
4. 参考文档和书籍： 阅读内核文档、书籍和技术博客，可以帮助你理解内核的设计思路和实现细节。

例如，我们来简单分析一下 alloc_pages_node() 函数的实现。这个函数用于在指定的 NUMA 节点上分配页面。在 mm/page_alloc.c 文件中，你可以找到它的定义。该函数会首先检查指定的节点是否在线，然后根据节点的内存域信息，选择合适的内存域进行分配。最后，它会调用底层的页面分配函数，从空闲页面列表中分配页面。

// mm/page_alloc.c
struct page *alloc_pages_node(int nid, gfp_t gfp, unsigned int order) {
    struct zonelist *zonelist;
    struct zone *zone;
    struct page *page;
    int alloc_flags;
 
    /* ...一些参数检查 ... */
 
    zonelist = node_zonelist(pgdat, gfp);
    alloc_flags = ALLOC_WMARK_LOW | ALLOC_CPUSET | ALLOC_NOFRAGMENT | ALLOC_OOM;
    if (gfp & __GFP_THISNODE)  alloc_flags |= ALLOC_THISNODE;
    if (gfp & __GFP_HARDWALL) alloc_flags |= ALLOC_HARDWALL;
 
    page = __alloc_pages(gfp | __GFP_NOMEMALLOC, order, zonelist, alloc_flags, NULL);
 
    /* ...处理分配失败的情况 ... */
    return page;
}

通过阅读源码，你可以更深入地了解 NUMA 架构的内部工作原理，并为优化应用程序性能提供更可靠的依据。

5. 总结与展望

NUMA 架构已经成为现代多核服务器的标配。理解 NUMA 架构，并掌握在 Linux 内核中优化内存分配和进程调度的技能，对于开发高性能服务器端应用程序至关重要。通过监控 NUMA 性能、调整内存分配策略、优化进程调度和减少页面迁移，你可以充分发挥 NUMA 架构的优势，提升应用程序的性能。

随着硬件技术的不断发展，NUMA 架构也在不断演进。例如，Intel Optane DC Persistent Memory 等技术，为 NUMA 架构带来了新的挑战和机遇。未来，NUMA 架构将在云计算、大数据、人工智能等领域发挥越来越重要的作用。作为程序员，我们需要不断学习和探索新的技术，才能在不断变化的时代保持竞争力。

希望这篇文章能够帮助你更好地理解 Linux 内核中的 NUMA 架构。记住，理论学习是基础，实践才是关键。动手实践，亲自体验，你才能真正掌握 NUMA 优化技巧，成为一名优秀的服务器端应用开发者和内核工程师！

如果你有任何问题，或者想分享你的 NUMA 优化经验，欢迎在评论区留言讨论！