google/re2
GitHub: google/re2
Google 开源的安全正则表达式库，通过避免回溯保证线性时间复杂度，防止 ReDoS 攻击。
Stars: 9635 | Forks: 1218
# RE2，一个正则表达式库
RE2 是一个高效、规范的 正则表达式库，
自 2006 年以来一直被 Google 和许多其他地方用于生产环境。
_**安全性是 RE2 的首要目标。**_
RE2 的设计和实现有一个明确的目标，即能够
安全地处理来自不可信用户的正则表达式。
它的主要保证之一是匹配时间与输入字符串的长度成线性关系。
它也是在考虑生产环境的基础上编写的：
解析器、编译器和执行引擎通过在可配置的预算内工作来限制其内存使用——
在耗尽时优雅地失败——并且
它们通过避免递归来防止堆栈溢出。
在所有情况下都比所有其他引擎更快并不是其目标。
虽然 RE2 保证运行时间在渐近上与
输入长度成线性关系，但更复杂的表达式可能会产生更大的常数因子；
更长的表达式会增加安全处理这些表达式所需的开销。
在某种意义上，RE2 是“悲观”的，而回溯引擎是“乐观”的：
回溯引擎按顺序测试每个分支，这使得当第一个分支很常见时速度很快。
相比之下，RE2 并行评估所有分支，避免了最后一个分支的性能惩罚，
但代价是一些开销。这种悲观主义正是 RE2 安全的原因。
实现 Perl、PCRE 和其他引擎提供的所有功能也不是其目标。
作为一项原则，RE2 不支持只存在回溯解决方案的构造。
因此，不支持反向引用和环视断言。
有关更多信息，请参阅 Russ Cox 关于正则表达式理论和实践的文章：
* [正则表达式匹配可以简单且快速](https://swtch.com/~rsc/regexp/regexp1.html)
* [正则表达式匹配：虚拟机方法](https://swtch.com/~rsc/regexp/regexp2.html)
* [野生环境下的正则表达式匹配](https://swtch.com/~rsc/regexp/regexp3.html)
### 语法
在 POSIX 模式下，RE2 接受标准 POSIX (egrep) 语法正则表达式。
在 Perl 模式下，RE2 接受大多数 Perl 运算符。唯一排除的是
那些需要回溯（及其潜在的指数级运行时）
来实现的功能。这包括反向引用（子匹配仍然可以）
和广义断言。
[语法 Wiki 页面](https://github.com/google/re2/wiki/Syntax)
详细记录了支持的 Perl 模式语法。
默认为 Perl 模式。
### C++ API
RE2 的原生语言是 C++，尽管下面列出了[移植和包装器](#ports-and-wrappers)。
#### 匹配接口
有两个基本运算符：
`RE2::FullMatch` 要求正则表达式匹配整个输入文本，并且
`RE2::PartialMatch` 查找输入文本子字符串的匹配项，
在 POSIX 模式下返回最左最长匹配，并在
Perl 模式下返回 Perl 会选择的相同匹配。
示例：
```
assert(RE2::FullMatch("hello", "h.*o"))
assert(!RE2::FullMatch("hello", "e"))
assert(RE2::PartialMatch("hello", "h.*o"))
assert(RE2::PartialMatch("hello", "e"))
```
#### 子匹配提取
两个匹配函数都接受额外的参数，子匹配将存储在其中。
参数可以是 `string*`、整数类型或 `absl::string_view*` 类型。
（`absl::string_view` 类型与 `std::string_view` 类型非常相似，
但由于历史原因，RE2 使用前者。）
`string_view` 是指向原始输入文本的指针，以及一个计数。
它的行为像字符串，但不自带存储。
就像使用指针一样，使用 `string_view` 时
必须小心，一旦原始文本被删除或超出作用域，就不要再使用它。
示例：
```
// Successful parsing.
int i;
string s;
assert(RE2::FullMatch("ruby:1234", "(\\w+):(\\d+)", &s, &i));
assert(s == "ruby");
assert(i == 1234);
// Fails: "ruby" cannot be parsed as an integer.
assert(!RE2::FullMatch("ruby", "(.+)", &i));
// Success; does not extract the number.
assert(RE2::FullMatch("ruby:1234", "(\\w+):(\\d+)", &s));
// Success; skips NULL argument.
assert(RE2::FullMatch("ruby:1234", "(\\w+):(\\d+)", (void*)NULL, &i));
// Fails: integer overflow keeps value from being stored in i.
assert(!RE2::FullMatch("ruby:123456789123", "(\\w+):(\\d+)", &s, &i));
```
#### 预编译正则表达式
上面的示例在每次调用时都重新编译正则表达式。
相反，您可以将其一次编译为 RE2 对象，并在每次调用中重用该对象。
示例：
```
RE2 re("(\\w+):(\\d+)");
assert(re.ok()); // compiled; if not, see re.error();
assert(RE2::FullMatch("ruby:1234", re, &s, &i));
assert(RE2::FullMatch("ruby:1234", re, &s));
assert(RE2::FullMatch("ruby:1234", re, (void*)NULL, &i));
assert(!RE2::FullMatch("ruby:123456789123", re, &s, &i));
```
#### 选项
构造函数接受一个可选的第二个参数，可以
用来更改 RE2 的默认选项。
例如，`RE2::Quiet` 静默通常在正则表达式解析失败时
打印的错误消息：
```
RE2 re("(ab", RE2::Quiet); // don't write to stderr for parser failure
assert(!re.ok()); // can check re.error() for details
```
其他有用的预定义选项是 `Latin1`（禁用 UTF-8）和 `POSIX`
（使用 POSIX 语法和最左最长匹配）。
您还可以声明自己的 `RE2::Options` 对象，然后根据需要对其进行配置。
有关完整的选项集，请参阅[头文件](https://github.com/google/re2/blob/main/re2/re2.h)。
#### Unicode 标准化
RE2 对 Unicode 码点进行操作：它不尝试进行标准化。
例如，正则表达式 /ü/ (U+00FC, 带分音符的 u)
不匹配输入 "ü" (U+0075 U+0308, u 后跟组合分音符)。
标准化是一个漫长而复杂的话题。
如果您需要此类匹配，最简单的解决方案是在使用 RE2 之前
在预处理步骤中对正则表达式和输入进行标准化。
有关一般主题的更多详细信息，请参阅
标签：API密钥检测, Bash脚本, C++, Google开源, RE2, ReDoS防护, 多线程安全, 安全, 拒绝服务攻击防御, 数据擦除, 数据清洗, 文本处理, 无回溯, 模式匹配, 正则表达式库, 线性时间复杂度, 网络安全, 自动化资产收集, 解析器, 超时处理, 输入验证, 逆向工具, 隐私保护