jed-burke/cti-intelligence-platform

# CTI 情报平台 一个涵盖网络威胁情报、AI风险和算力竞争的多领域开源情报平台。通过实时订阅源收集并结构化报告，利用AI生成分析师笔记，并通过 Streamlit Web门户交付优先级简报。 ## 领域 | 领域 | 频率 | 重点 | |---|---|---| | **CTI** | 每日 (24小时) | 网络威胁、国家级活动、勒索软件、关键基础设施 | | **AI风险** | 每周 (7天) | AI事件、企业AI暴露、模型安全、治理 | | **算力** | 每周 (7天) | 算力集中度、半导体供应链、出口管制、基础设施 | 每个领域都运行独立的收集、分析和简报工作流，并拥有自己的来源、主题分类和监控列表。 ## 功能特性 **收集** - 跨所有三个领域的 RSS 订阅源获取 - 针对无订阅源源的基于页面的抓取 - 针对 AI 风险通道的 AI 事件数据库 (AIID) 快照集成 - 每个领域可配置的报告时间窗口 **分析** - 每个领域的优先级加权主题评分 - AI生成的分析师笔记：BLUF判断、叙述要点、预测、缓解措施 - 使用 NVD CVSS 上下文进行 CVE 丰富 - 威胁行为者映射与 MITRE ATT&CK 战术/技术标签 - 监控列表：中国、伊朗冲突、关键基础设施、勒索软件、AI事件、出口管制 **Streamlit 门户** - 概述、头条新闻、分析师笔记、监控列表、所有新闻 - 领域切换器 (CTI / AI风险 / 算力) - 归档聊天 —— 可按日期范围就已存储的报告提问 - 摘要标签页 —— 跨越多份报告的深度主题综合 - 简报构建器 —— 按关注领域生成结构化备忘录并支持已保存视图： - CTI：领导层、中国观察、伊朗冲突、关键基础设施、漏洞 - AI风险：高管层、AI事件、企业AI暴露、模型安全、治理 - 算力：高管层、算力集中度、基础设施限制、出口管制、半导体 - 简报和分析师笔记支持 DOCX 和 Markdown 导出 - 共享门户部署可选密码保护 ## 架构 ``` scraper.py ← Collection, analysis, and report generation engine streamlit_app.py ← Streamlit web portal domains.py ← Domain configuration (sources, topics, watchlists, cadence) backfill_json_reports.py ← Convert historical Markdown reports to JSON backfill_aiid_snapshots.py ← Import AIID snapshot archives refresh_analyst_notes.py ← Normalize or regenerate historical analyst notes ``` **技术栈：** Python · Streamlit · OpenAI API · feedparser · NVD API ## 设置 **1. 克隆仓库** ``` git clone https://github.com/jed-burke/cti-intelligence-platform.git cd cti-intelligence-platform ``` **2. 安装依赖** ``` pip install -r requirements.txt ``` **3. 配置环境** ``` cp .env.example .env ``` 使用你的配置值编辑 `.env`： ``` OPENAI_API_KEY=your_key_here # 可选 — 邮件投递 SMTP_HOST=smtp.gmail.com SMTP_PORT=587 SMTP_USERNAME=you@example.com SMTP_PASSWORD=your_app_password EMAIL_FROM=you@example.com EMAIL_TO=you@example.com # 可选 — portal access control PORTAL_ACCESS_PASSWORD=your_shared_password # 可选 — 自定义 topic 优先级权重 TOP_STORY_PRIORITY=China:100,Critical Infrastructure:90,Ransomware:80 ``` **4. 运行爬虫** ``` # 默认 (CTI domain，24h window) python scraper.py # 特定 domain python scraper.py --domain ai-risk python scraper.py --domain compute # 带 AI 分析师笔记 python scraper.py --ai # 带邮件投递 python scraper.py --ai --email ``` **5. 启动门户** ``` streamlit run streamlit_app.py ``` **6. 自动化每日运行** Windows —— 双击或计划任务： ``` run_daily_news.cmd ``` ## 自动化 包装脚本使用固定时间早上 6:00 (美国东部时间) 运行 `--ai --email`。一旦配置好 `.env`，通过 Windows 任务计划程序进行调度即可自动交付每日简报。 有关云部署，请参阅 [DEPLOYMENT.md](DEPLOYMENT.md)。 ## 相关项目 **[AI 算力情报系统](https://github.com/jed-burke/ai-compute-intelligence)** —— 一个配套项目，提供基于 RAG 的全球 AI 算力基础设施深度分析、场景建模引擎（因果影响 + 贝叶斯置信度评分），以及涵盖12家前沿 AI 组织的交互式公司仪表板。 *基于 Python · OpenAI API · Streamlit 构建*

标签：AIID数据库, AI治理, AI生成分析师笔记, AI风险, Cloudflare, CVE丰富, ESC4, Kubernetes, Linux系统监控, MITRE ATT&CK, NVD CVSS, OSINT, Petitpotam, RSS订阅, Streamlit, Web门户, 主题评分, 企业AI风险, 关键基础设施, 出口管制, 勒索软件, 半导体供应链, 国家背景活动, 多域情报平台, 威胁行为者映射, 开源, 情报分析, 情报收集, 档案聊天, 模型安全, 深度话题合成, 漏洞研究, 监视列表, 简报生成器, 算力竞争, 网络威胁情报, 网络安全, 网络抓取, 网络诊断, 访问控制, 逆向工具, 隐私保护