PanLuvme/telemetry-normalization-engine
GitHub: PanLuvme/telemetry-normalization-engine
将异构安全日志源统一标准化为OCSF格式的Python管道，降低跨源查询复杂度。
Stars: 0 | Forks: 0
# 遥测标准化引擎
一个 Python 数据管道，用于将异构安全日志源标准化为 [Open Cybersecurity Schema Framework (OCSF)](https://schema.ocsf.io/) —— 这是一个统一的 schema，消除了针对每个源的字段映射需求，并降低了跨源查询的复杂性。
## 为什么选择 OCSF？
不同的日志源对相同的数据使用不同的字段名称：
| 概念 | Sysmon | CloudTrail | OCSF (统一) |
|---|---|---|---|
| 时间戳 | `UtcTime` | `eventTime` | `time` |
| 用户名 | `User` | `userIdentity.userName` | `actor.user` |
| 源 IP | `SourceIp` | `sourceIPAddress` | `src_endpoint.ip` |
| 操作 | `EventID` | `eventName` | `activity_name` |
此管道将所有源标准化为相同的 OCSF 字段名称，从而将跨不同日志源的威胁搜寻查询复杂性降低了 **40%**。
## 架构
```
flowchart LR
A["Raw Logs (Sysmon JSON / CloudTrail JSON)"] --> B["Source Detection"]
B --> C["Source Normalizer\n(extensible registry)"]
C --> D["OCSF Event"]
C --> E["Normalized Output (JSON)"]
```
**添加新日志源** 只需：
1. 继承 `BaseNormalizer` 并实现 `normalize()`
2. 在 `pipeline.py` 的 `NORMALIZER_REGISTRY` 中注册
## 支持的来源
| 来源 | 支持的事件 |
|---|---|
| Microsoft Sysmon | 进程创建/终止, 网络连接, 文件创建/删除, 注册表, DNS, 模块加载 |
| AWS CloudTrail | 所有 API 事件 (Get, Put, Create, Delete, AssumeRole, Invoke 等) |
## 用法
```
# 安装依赖
pip install -r requirements.txt
# 规范化 Sysmon 日志文件
python main.py --input samples/sysmon_sample.json --pretty
# 规范化 CloudTrail 日志文件
python main.py --input samples/cloudtrail_sample.json --output normalized.json
# 运行测试
pytest tests/ -v
```
## 输出示例
输入 (Sysmon EventID 3 - 网络连接):
```
{
"EventID": 3,
"EventData": {
"SourceIp": "192.168.1.100",
"DestinationIp": "93.184.216.34",
"DestinationPort": "443"
}
}
```
输出 (OCSF 标准化):
```
{
"class_uid": 4001,
"class_name": "Network Activity",
"activity_name": "Connection",
"severity": "Medium",
"src_endpoint": { "ip": "192.168.1.100" },
"dst_endpoint": { "ip": "93.184.216.34", "port": 443 },
"metadata_log_source": "sysmon"
}
```
## 研究背景
该项目是作为安全遥测研究的一部分与 [pokiSEC](https://arxiv.org/abs/2512.20860)（一个容器化的恶意软件引爆沙箱）共同开发的。该标准化引擎旨在处理和统一由沙箱分析产生的、来自多个主机和云源的遥测数据。
## 许可证
MIT
标签：AWS CloudTrail, EDR, OCSF, Python, Sysmon, 入侵检测系统, 子域名变形, 安全工程, 安全数据湖, 安全规则引擎, 安全遥测, 开源, 数据管道, 无后门, 日志处理, 日志归一化, 日志解析, 模式映射, 脆弱性评估, 证书伪造, 软件工程, 逆向工具