thalesgroup-cert/Watcher

AI-Powered Automated Cybersecurity Threat Detection Platform

Watcher 是一个基于 Django & React JS 的平台，旨在利用**AI 驱动的威胁情报分析**发现和监控新兴的网络安全威胁。它可以部署在 Web 服务器上，也可以通过 Docker 快速运行。 ## Watcher 功能 Watcher 为您的安全运营提供全面的威胁检测与监控能力： - **AI 驱动的威胁情报** — 将原始威胁数据转化为可操作的智能，每周自动生成顶级 5 个热门网络安全话题的摘要，在威胁出现时提供实时突发新闻提醒，并可根据任何安全关键词（包含相关 CVE 和威胁行为者详情）按需生成摘要。 - **新兴威胁检测** — 通过 CERT-FR (www.cert.ssi.gouv.fr)、CERT-EU (www.cert.europa.eu)、US-CERT (www.us-cert.gov)、澳大利亚网络安全中心 (www.cyber.gov.au) 等 RSS 源监控网络安全趋势，跟踪新漏洞、恶意软件活动和安全通告的出现。 - **合法域名管理** — 集中管理已批准的域名，包含到期时间、重新购买状态、注册商信息和联系人。轻松将受监控的恶意域名转换为合法域名。 - **信息泄露监控** — 检测 Web 范围内（包括 Pastebin、StackOverflow、GitHub、GitLab、Bitbucket、APKMirror、npm 注册表等平台）的敏感数据暴露情况。尽早捕获泄露的凭证、API 密钥和机密信息。 - **恶意域名监控** — 监控恶意域名的 IP 地址、邮件/MX 记录及网页内容变更。使用 [TLSH](https://github.com/trendmicro/tlsh) 模糊哈希检测修改。自动进行 RDAP/WHOIS 查询并监控注册商与到期提醒。 - **可疑域名检测** — 识别可能针对您组织的可疑域名： - **使用 [dnstwist](https://github.com/elceef/dnstwist) 的域名生成算法检测** — 查找拼写劫持、同形攻击及相似域名变体 - **通过 [certstream](https://github.com/CaliDog/certstream-python) 的证书透明性监控** — 实时捕获新注册的 suspicious 域名 ## 额外功能 通过强大的集成与管理工具扩展 Watcher 的能力： - **TheHive 完全同步** — 与 [TheHive](https://thehive-project.org/) 集成，提供自动告警创建、智能案例管理、IOC 增强以及开箱即用的 Cortex Analyzers 与 Responders。详细配置说明请参考[此处](https://thalesgroup-cert.github.io/Watcher/README.html#thehive-export)。 - **MISP 集成** — 将妥协指标（IOCs）无缝导出至 [MISP](https://www.misp-project.org/)，支持智能 UUID 追踪、自动对象创建及手动属性更新，便于协作式威胁情报共享。 - **灵活的身份验证** — 支持 LDAP 与本地身份验证系统。 - **智能通知** — 对关键发现和阈值违规提供邮件、Slack 或 Citadel 提醒。 - **工单系统集成** — 自动将安全发现提交至您的工单系统。 - **全面的管理界面** — 通过 Django 强大的管理面板管理 Watcher 的所有方面。 - **高级访问控制** — 细粒度的用户权限与组管理，支持团队协作。 - **现代化 UI 体验** — 现代化界面支持自定义主题、可调整大小的仪表板面板、带保存过滤集的增强过滤功能以及持久化用户偏好设置。 ## 涉及依赖 Watcher 利用开源工具与库： - [**Hugging Face Transformers**](https://huggingface.co/docs/transformers) — 驱动威胁情报摘要与实体提取的 AI/ML 框架 - [**google/flan-t5-base**](https://huggingface.co/google/flan-t5-base) — 用于 AI 驱动威胁摘要的文本到文本生成模型 - [**dslim/bert-base-NER**](https://huggingface.co/dslim/bert-base-NER) — 用于自动 IOC 提取的命名实体识别 - [**certstream**](https://github.com/CaliDog/certstream-python) — 证书透明性监控 - [**dnstwist**](https://github.com/elceef/dnstwist) — 域名排列引擎 - [**SearxNG**](https://github.com/searxng/searxng) — 注重隐私的元搜索引擎 - [**PyMISP**](https://github.com/MISP/PyMISP) — MISP 威胁情报平台集成 - [**TLSH**](https://github.com/trendmicro/tlsh) — 用于内容相似性检测的模糊哈希 - [**shadow-useragent**](https://github.com/lobstrio/shadow-useragent) — User-Agent 轮换库 - [**NLTK**](https://www.nltk.org/) — 用于文本处理的自然语言处理工具包 ## 应用预览 ### 威胁检测

### AI 驱动的周报与突发新闻

### 可疑域名检测

### 合法域名列表

### 数据泄露检测

### 可疑域名监控

### 主题预览

Watcher 提供多种视觉主题以匹配您的偏好与工作环境。 ### 管理界面

Django 提供了一个开箱即用的管理界面用于管理操作。我们都清楚管理界面对 Web 项目的重要性：用户管理、用户组管理、Watcher 配置、使用日志…… ## 安装 ``` # 克隆仓库 git clone https://github.com/thalesgroup-cert/watcher.git cd watcher/deployment # 初始化环境、配置和目录结构 make init # 启动堆栈 make up # 首次运行：运行数据库迁移 + 创建超级用户 make migrate make superuser make populate-db # 打开 Web UI # http://localhost:9002（或您配置的域名/端口） ``` 在 10 分钟内使用 Docker 启动 Watcher。**详细说明请查阅我们的[安装指南](https://thalesgroup-cert.github.io/Watcher/README.html)** ## 贡献 我们欢迎安全社区的贡献！ 如需报告漏洞、请求功能或提交代码，请阅读完整的[贡献指南](CONTRIBUTING.md)。 ## Pastebin 合规 要使用 Watcher 的 Pastebin API 功能，您需要订阅 Pastebin 专业账户并将 Watcher 的公共 IP 加入白名单（参见 https://pastebin.com/doc_scraping_api）。

标签：AI威胁情报, AI驱动威胁检测, AMSI绕过, Django, masscan, React, Syscall, Syscalls, TCP/IP协议栈, Web开发, 威胁情报分析, 威胁情报平台, 威胁检测, 安全运营平台, 容器化部署, 开源安全工具, 每周报告, 网络威胁情报, 网络安全平台, 自动化威胁监控, 自动化摘要, 自定义脚本, 请求拦截, 趋势分析, 逆向工具, 逆向工程平台