GreyNOC/Detector-Engine

# GreyNOC 检测引擎 [](https://github.com/GreyNOC/Detector-Engine/actions/workflows/ci.yml) [](https://github.com/GreyNOC/Detector-Engine/releases/tag/v1.0.1) [](pyproject.toml) [](LICENSE) [](SECURITY.md) GreyNOC 检测引擎是一个防御性、基于OSINT的、*预测性*威胁情报与检测引擎平台，面向SOC运营人员、防御者、漏洞分析师和检测工程师。 它摄入公开的CVE、CISA KEV、供应商PSIRT、RSS/公告/博客、新闻、GitHub元数据、**FIRST.org EPSS漏洞利用预测分数**、**abuse.ch ThreatFox和URLhaus IOC源**以及**公开的勒索软件泄露站点元数据**；标准化源记录；关联弱信号；对AI驱动的攻击分类术语进行分类；将威胁聚类为活动；将信号归因于已知的公开威胁行为者；记录摄入运行历史；并为每个威胁生成一个前瞻性的、完全可解释的`AttackForecast`——概率、时间范围、p50/p90天数、置信度以及一份命名驱动因子列表。威胁被编目在本地SQLite支持的库中，并在证据管控的生命周期下为SOC验证生成检测草案（Sigma、Splunk SPL、Elastic KQL、Microsoft Defender KQL、YARA、Suricata）。 ## v1.0.1 版本发布 版本1.0.1是针对检测引擎首个高级、运营级发布的安全加固补丁。它在保持v1工作流不变的同时，收紧了HTTP重定向策略、固定摄入边界、依赖项最低版本以及类型检查包管理规范。 ``` python -m pip install -e '.[dev]' gn workflow demo --pretty ``` 默认情况下，黄金路径演示仍处于离线状态。它初始化本地路径，摄入捆绑的、基于固定数据的源，关联信号，运行预测层，起草检测方案，并打印一份紧凑的JSON报告。 完整的发布说明请参阅 [`docs/release_notes_v1.0.1.md`](docs/release_notes_v1.0.1.md)。历史变更日志请参阅 [`CHANGELOG.md`](CHANGELOG.md)。 ## 适用人群 - 需要可重复防御性分诊队列的SOC分析师。 - 希望审查Sigma、SPL、KQL、YARA元数据和Suricata元数据草案的检测工程师。 - 寻求OSINT丰富、弱信号关联和可解释预测驱动因子的威胁情报分析师。 - 评估本地优先检测引擎工作流的防御性安全实验室。 ## 当前限制 - 这不是SaaS或多租户SOC平台。 - SQLite是默认的本地后端；Postgres计划作为未来工作。 - API密钥认证是初级的保护层；生产级应用应部署在具有TLS、日志记录、网络策略和用户/RBAC控制的反向代理或API网关后面。 - 生成的检测方案在通过结构化人工证据验证之前保持为草案状态。 - 实时抓取默认禁用，仅应在具有适当源允许列表的受控环境中启用。 有关主要工作流，请参阅 `docs/predictive_engine.md`、`docs/osint_layer.md`、`docs/local_network_sensor.md` 和 `docs/cli_operator_guide.md`；有关高级工具边界，请参阅 `docs/advanced_tool_roadmap.md`；有关引擎自身的加固，请参阅 `docs/security_review.md`；发布说明请参阅 `CHANGELOG.md`。 ## 安全边界 这不是一个攻击性工具。它不生成漏洞利用代码、恶意软件、凭证窃取逻辑、持久化技术、未授权扫描、武器化载荷、绕过指令或滥用程序。 ### 仓库内容的信任边界 - `github_search` 源仅存储API元数据——绝不克隆、安装、导入或执行仓库代码。 - `git_repository` 源可以浅克隆**允许列表中**的防御性内容仓库（例如 SigmaHQ/sigma, YARA-Rules/rules, Neo23x0/signature-base）用于规则采集。克隆是**按源可选启用**的，仅使用HTTPS，浅层克隆，在沙箱中运行，禁用钩子，并且**仅获取内容**——读取匹配每源扩展名允许列表的纯文本文件；绝不执行任何内容，并且克隆在摄入后删除。完整策略块请参阅 `docs/osint_layer.md`。 ## 当前功能 - 用于CVE、KEV条目、源、源运行记录、指标、威胁、检测、验证证据、分数事件、分数结果、预测预报、活动、ICS观察、网络设备、入侵信号和蜜罐事件的Pydantic v2模式。 - `config/`下的YAML源注册表和评分配置。 - 以固定数据为先的CVE、KEV、RSS、GitHub、EPSS、ThreatFox、URLhaus、Ransomwatch和`git_repository`摄入。 - SQLite存储抽象（WAL模式 + 索引，带版本迁移），用于原始项目、CVE、KEV条目、威胁、检测、源运行记录、分数事件、EPSS分数、活动、攻击预报、指标信誉、资产、目标可能性、网络设备、ICS观察、入侵信号、蜜罐事件、威胁反馈、扫描基线、源健康状况和预报结果。 - 威胁库创建/更新/列出/获取/去重，带版本变更日志。 - 关联：CVE ↔ KEV ↔ 源提及 ↔ AI攻击术语 ↔ 活动。 - 可解释评分：可利用性、风险、信号、预警、AI滥用以及预测性`AttackForecast`（概率 + 时间范围 + 驱动因子）。 - EPSS丰富工作流，用于在有意启用实时抓取时，从固定数据或FIRST EPSS API更新存储的CVE。 - 分数事件历史API，用于回顾威胁分数如何随时间变化。 - 生成Sigma、Splunk SPL、Elastic KQL、Microsoft Defender KQL、仅YARA元数据和仅Suricata元数据的检测草案，通过`detection/safety.py`对受攻击者影响的输入进行净化。 - 可按状态、检测类型和关联威胁筛选检测列表。 - 受保护的检测生命周期工作流，用于在SOC审查后将检测从草案移至已验证或弃用状态，并附带结构化验证证据。 - ICS分类器（Modbus, S7, DNP3, EtherNet/IP, BACnet, OPC UA, IEC 60870-5-104, Profinet, FINS, MELSEC, CODESYS）——仅用于检测。 - 空间站被动传感器（端口扫描/慢速扫描/SYN洪泛/端口敲门/ICS探测/暗网触碰检测器，具有自适应每主机EWMA基线）以及可选的环回绑定暗网TCP监听器。 - 分析师反馈循环、预报准确性跟踪器（Brier + 校准）、反事实假设分析引擎、STIX 2.1 + ATT&CK Navigator 导出器。 - `doctor` CLI，用于安全自检和按源摄入健康状况检查。 - FastAPI API 和 Typer CLI。

标签：CVE处理, ESC4, GPT, IOC分析, OSINT, Python, Sigma规则, SOC运营, SQLite, Suricata, YARA, 云资产可视化, 勒索软件监测, 威胁建模, 威胁情报, 开发者工具, 微软Defender, 情报分析, 攻击预测, 无后门, 检测引擎, 检测规则生成, 漏洞管理, 现代安全运营, 目标导入, 网络安全, 网络诊断, 网络遥测, 隐私保护, 预测分析, 风险评分