Envoy 中 RE2::Set 的 WAF 规则引擎实战：原理、优势与高性能实现

你好，我是你们的“赛博朋克”老码农，今天咱们来聊聊 Envoy 中一个非常强大的功能——RE2::Set，以及如何用它来构建一个高性能的 Web 应用防火墙 (WAF) 规则引擎。相信你作为一名有 Envoy 扩展开发经验的高级工程师，一定对性能和效率有着极致的追求，那么 RE2::Set 绝对能满足你的需求。

为什么选择 RE2::Set？

在构建 WAF 时，我们需要处理大量的正则表达式规则，用于匹配各种恶意请求。传统的正则表达式引擎在处理大量规则时，性能会急剧下降，甚至成为整个系统的瓶颈。而 Envoy 采用的 RE2 正则表达式引擎，正是为了解决这个问题而生的。

RE2 的核心优势在于：

• 线性时间复杂度： 无论正则表达式多么复杂，RE2 都能保证匹配时间与文本长度成线性关系，避免了灾难性回溯 (Catastrophic Backtracking) 导致的性能问题。
• 有限状态机 (DFA)： RE2 将正则表达式编译成 DFA，匹配过程更加高效。
• RE2::Set： 这是 RE2 提供的一个专门用于处理大量正则表达式集合的类，它能够将多个正则表达式合并成一个 DFA，极大地提高了匹配效率。

RE2::Set 的基本原理

RE2::Set 的核心思想是将多个正则表达式合并成一个 DFA。当有新的请求到来时，Envoy 只需要在这个 DFA 上进行一次匹配，就可以知道请求是否匹配了规则集合中的任何一个正则表达式。

想象一下，你有成百上千条 WAF 规则，每条规则都是一个正则表达式。如果用传统的正则表达式引擎，你需要逐条匹配，效率可想而知。而 RE2::Set 就像一个“超级正则表达式”，它把所有规则都融合在一起，一次匹配就能搞定。

实战：用 RE2::Set 构建 WAF 规则引擎

接下来，咱们就用代码来演示如何使用 RE2::Set 构建一个简单的 WAF 规则引擎。这里假设你已经熟悉 Envoy 的扩展开发流程，我们将重点关注 RE2::Set 的使用。

1. 定义 WAF 规则

首先，我们需要定义 WAF 规则。这些规则可以是常见的 Web 攻击类型，例如 SQL 注入、XSS 攻击等。为了方便演示，我们定义几条简单的规则：

std::vector<std::string> waf_rules = {
    R"(<script.*?>)",  // 匹配 <script> 标签
    R"(UNION.*?SELECT)", // 匹配 UNION SELECT 语句
    R"(/\*.*?\*/)"   // 匹配多行注释
};

2. 创建 RE2::Set 对象

接下来，我们需要创建一个 RE2::Set 对象，并将 WAF 规则添加到其中。

#include <re2/re2.h>
#include <re2/set.h>
 
re2::RE2::Options options;
options.set_log_errors(false); // 禁用错误日志，避免影响性能
 
re2::RE2::Set re2_set(options, re2::RE2::Anchor::UNANCHORED);
 
for (const auto& rule : waf_rules) {
    if (re2_set.Add(rule, nullptr) < 0) {
        // 处理添加规则失败的情况，例如正则表达式语法错误
        // 这里为了简洁，直接退出
        return;
    }
}
 
if (!re2_set.Compile()) {
    // 处理编译失败的情况
    // 这里为了简洁，直接退出
    return;
}

3. 进行匹配

现在，我们可以使用 re2_set 对象来匹配请求了。假设我们有一个请求的 URL 和请求体：

std::string request_url = "/example?param=<script>alert('XSS')</script>";
std::string request_body = "SELECT * FROM users UNION SELECT * FROM admins";

我们可以使用 Match 方法来判断请求是否匹配了任何一条 WAF 规则：

std::vector<int> matched_rule_indices;
 
if (re2_set.Match(request_url, &matched_rule_indices)) {
    // URL 匹配了规则
    for (int index : matched_rule_indices) {
        // 处理匹配到的规则，例如记录日志、阻止请求等
        // 可以根据 index 获取匹配到的规则
        std::cout << "URL matched rule: " << waf_rules[index] << std::endl;
    }
}
 
matched_rule_indices.clear();
 
if (re2_set.Match(request_body, &matched_rule_indices)) {
    // 请求体匹配了规则
    for (int index : matched_rule_indices) {
        // 处理匹配到的规则
        std::cout << "Body matched rule: " << waf_rules[index] << std::endl;
    }
}

4. 集成到 Envoy 扩展

将上述代码集成到 Envoy 扩展中，你就可以在 Envoy 的 HTTP 过滤器中实现 WAF 功能了。具体的集成步骤这里不再赘述，你可以参考 Envoy 的官方文档。

性能对比

为了更直观地展示 RE2::Set 的性能优势，我们可以做一个简单的性能对比。假设我们有 1000 条 WAF 规则，分别使用 RE2::Set 和逐条匹配的方式进行测试。

测试结果表明，RE2::Set 的匹配速度比逐条匹配快了几个数量级。这是因为 RE2::Set 将多个正则表达式合并成一个 DFA，避免了大量的重复计算。

进阶：动态更新 WAF 规则

在实际应用中，WAF 规则需要经常更新，以应对新的攻击方式。RE2::Set 也支持动态更新规则，而不需要重新编译整个 Envoy 扩展。

你可以通过以下步骤实现动态更新：

1. 创建新的 RE2::Set 对象： 当需要更新规则时，创建一个新的 RE2::Set 对象，并将新的规则添加到其中。
2. 编译新的 RE2::Set 对象： 编译新的 RE2::Set 对象。
3. 原子替换： 使用原子操作将旧的 RE2::Set 对象替换为新的 RE2::Set 对象。这样可以保证在更新过程中，Envoy 仍然可以正常处理请求。
4. 释放旧对象（可选）：旧的规则集合可以在确认没有线程在使用后进行释放。

总结

RE2::Set 是 Envoy 中一个非常强大的工具，它可以帮助你构建高性能的 WAF 规则引擎。通过将多个正则表达式合并成一个 DFA，RE2::Set 极大地提高了匹配效率，避免了传统正则表达式引擎的性能瓶颈。如果你正在开发 Envoy 扩展，并且需要处理大量的正则表达式规则，那么 RE2::Set 绝对值得你深入研究。

希望今天的分享对你有所帮助。如果你有任何问题或者想法，欢迎在评论区留言，咱们一起交流学习！

注意事项

• 正则表达式语法： RE2 使用的是自己的正则表达式语法，与 PCRE 等其他正则表达式引擎略有不同。在编写规则时，需要参考 RE2 的文档。
• 内存占用： RE2::Set 会将所有规则编译成一个 DFA，这可能会占用一定的内存。在规则数量非常庞大时，需要注意内存使用情况。
• 规则复杂度： 尽管 RE2 可以处理复杂的正则表达式，但是过于复杂的规则仍然可能导致性能下降。在编写规则时，应尽量保持规则简洁明了。
• 安全考虑: 正则表达式本身的安全性也需要仔细评估，防止引入ReDoS(正则表达式拒绝服务)漏洞。

扩展阅读

• RE2 官方文档：https://github.com/google/re2/wiki/Syntax
• Envoy 官方文档：https://www.envoyproxy.io/