mayukhg/ai-soc-portal

# AI SOC Portal 一个 AI 原生的安全运营中心（Security Operations Centre）工作区：在实时的安全遥测数据之上进行智能体告警分诊、威胁狩猎和事件响应——其构建理念是确保每一个由 AI 生成的结论都可以被追踪、评估和审计。 大多数“面向 SOC 的 AI”工作仅仅停留在将 LLM 接入告警队列的层面。真正阻碍其在受监管环境中被采用的更困难的问题是：一级分析师不会对一个无法进行询问的机器生成裁定采取行动，而 CISO 也不会对一个无法提供证据的管控措施签字放行。本项目将这一信任问题视为一等的产品需求，而不是事后的强化阶段——这也是为什么该仓库大约一半的内容是关于推理、评估和审计基础设施的原因。 ## 状态 **个人研发项目。** 这是一个用于探索安全运营中 AI 产品架构的工作原型。它不是商业产品，也没有任何生产环境的部署。 - **后端迁移正在进行中。** 平台正迁移至 AWS Lambda (Python)、Pinecone、Aurora Serverless (PostgreSQL) 以及 ElastiCache 上的 Redis。`supabase/` 下早期的 Supabase 后端已弃用，将被移除。 - `EXECUTIVE_PITCH.md` 和 `business_justification.md` 中的数据是根据已发布的行业基准和既定假设**建模**得出的。它们是待与设计合作伙伴进行测试的价值假设，而非实际测量的结果。 ## 功能说明 **智能体分诊。** 传入的告警通过图谱编排的一系列推理步骤（而非单一提示词）进行丰富、关联和分类。每个步骤的输入、输出和基本原理都会被记录下来，因此裁定可以被重放，而不仅仅是被动接受。参见 `lang_graph_implementation.md` 和 `ai_reasoning_pseudocode.md`。 **安全数据上的语义检索。** 分析师可以使用自然语言查询遥测数据、过往事件和威胁情报。检索通过 Pinecone 提供向量支持，并将检索到的上下文附加到每个回答中，从而让主张的来源清晰可见。参见 `rag_implementation.md` 和 `contextualization_pseudocode.md`。 **威胁狩猎。** 基于行为和模式的跨接入数据狩猎，支持以自然语言表达假设，并将其转化为结构化查询。 **事件工作流。** 从检测到分诊、分配和解决的端到端处理流程，提供面向利益相关者和高管的报告视图。 **运营仪表盘。** 实时告警流、过滤功能，以及面向分析师和高管受众的 KPI 展示界面。 ## 信任层 这是仓库中最值得优先阅读的部分，也是本项目之所以呈现此种形态的原因。 | 关注点 | 如何解决 | 参考 | |---|---|---| | 模型判断正确吗？ | 评估测试工具使用 LangSmith 追踪和 RAGAS 检索/回答指标，针对固定问题集运行 | `langsmith_ragas_implementation.md`, `langsmith_usage.md`, `langsmith-config.md` | | 会产生幻觉吗？ | 对生成输出进行幻觉和准确性检测，并根据检索到的上下文进行基础依据核查 | `hall_acc_detect.md` | | 为什么做出这个决定？ | 可解释性界面展示推理路径以及每个结论背后的证据 | `ai_explainability.md`, `prompt_reasoning_logic.md` | | 我们能证明发生了什么吗？ | 对 LLM 操作和生成式 AI 调用进行结构化日志记录，并予以保留以供审计 | `gen_ai_logging.md`, `llm_operations_logging.md`, `auditability.md` | | 我们如何一致地评定质量？ | 在定义的维度上使用基于标准的评分体系对模型输出进行评分 | `llm_rubric_implementation.md` | 设计原则：**分析师无法审计的 AI 裁定还不如没有裁定**，因为它在消耗信任的同时并没有传递出确信感。 ## 架构 **前端** — 使用 TypeScript 的 React 18，Vite，Tailwind CSS，shadcn/ui。 **后端（目标状态）** — 使用 AWS Lambda 上的 Python 进行无服务器计算，Aurora Serverless (PostgreSQL) 处理关系状态，Pinecone 用于向量搜索，ElastiCache 上的 Redis 用于缓存和会话状态。 **AI 编排** — 使用 LangChain 和 LangGraph 进行多步推理，结合 LangSmith 进行追踪，并使用 RAGAS 评估检索增强生成。 **可观测性** — 参见 `monitoring/` 和 `llm_operations_logging.md`。 详细的图表和组件分解： - `HIGH_LEVEL_ARCHITECTURE.md` — 系统概述 - `ARCHITECTURE.md` — 详细架构 - `techstack_flow_diagram.md`, `techstack_usage.md` — 技术栈与数据流 - `data_ingestion_implementation.md`, `data_ingestion_pipeline_pseudocode.md` — 接入管道 - `AI Soc Portal - Technical Workflow.jpg` — 可视化工作流 ## 仓库结构图 ``` src/ Frontend application (React + TypeScript) backend/ Backend services supabase/ Deprecated — previous backend, pending removal monitoring/ Observability configuration scripts/ Operational and build scripts docs/ Supplementary documentation public/ Static assets ``` ### 文档索引 **产品与业务** `EXECUTIVE_PITCH.md` · `business_justification.md` · `future_roadmap.md` **架构与实现** `HIGH_LEVEL_ARCHITECTURE.md` · `ARCHITECTURE.md` · `techstack_usage.md` · `techstack_flow_diagram.md` · `COMPONENT_REFERENCE.md` · `data_ingestion_implementation.md` **AI 工程** `langchain_implementation.md` · `lang_graph_implementation.md` · `rag_implementation.md` · `ai_reasoning_pseudocode.md` · `prompt_reasoning_logic.md` · `contextualization_pseudocode.md` **评估、安全与审计** `langsmith_ragas_implementation.md` · `langsmith_usage.md` · `langsmith-config.md` · `hall_acc_detect.md` · `ai_explainability.md` · `llm_rubric_implementation.md` · `gen_ai_logging.md` · `llm_operations_logging.md` · `auditability.md` **API 与部署** `API_DOCUMENTATION.md` · `BACKEND_API_REFERENCE.md` · `DEPLOYMENT.md` **质量管理** `AI SoC Portal - TQM Process.docx` · `AI SoC Portal - TQM Implementation Guide.docx` · `COMPREHENSIVE_BEST_PRACTICES_ANALYSIS.md` ## 快速开始 **前置条件：** Node.js 18+ 和 npm（[通过 nvm 安装](https://github.com/nvm-sh/nvm#installing-and-updating)）。 ``` git clone https://github.com/mayukhg/ai-soc-portal.git cd ai-soc-portal npm install npm run dev ``` 前端使用开发服务器独立运行。AI 功能需要后端服务、模型提供商凭证和向量存储配置 — 参见 `DEPLOYMENT.md`。 ## 路线图 完整计划请参见 `future_roadmap.md`。近期优先事项： 1. 完成从 Supabase 向 Lambda / Aurora / Pinecone / Redis 技术栈的迁移 2. 扩充评估集并在仓库中发布基准 RAGAS 分数 3. 检测工程集成（SIEM 和 EDR 接入） 4. 多租户隔离 ## 相关工作 本仓库是探索 **AI 防御生态系统**的三个项目之一，旨在研究 AI 如何既保卫企业，又如何成为企业必须保卫的资产： - [**ai-policy-foundry**](https://github.com/mayukhg/ai-policy-foundry) — *预防。* 基于实时威胁情报和组织的风险登记册，通过多智能体生成并验证云安全策略。 - [**ai-spm**](https://github.com/mayukhg/ai-spm) — *保护。* 针对 AI 资产的安全态势管理：清单、对抗性攻击检测、数据质量与漂移监控，以及 NIST AI RMF / EU AI Act / GDPR 证据自动化。 - **ai-soc-portal** *（本仓库）* — *检测与响应。* ## 作者 由 [Mayukh Ghosh](https://github.com/mayukhg) 构建 — 专注于企业 AI 和网络安全领域的项目管理。 ## 许可证

标签：AI安全运营中心, Clair, DLL 劫持, LangGraph, 向量数据库, 告警分诊, 大语言模型, 安全运营, 扫描框架, 搜索引擎查询, 测试用例, 自动化攻击, 逆向工具