Ibraheemolasupogit/azure-enterprise-security-intelligence-platform

# Azure 企业安全智能平台 这是一个生产级的 Azure 安全分析与 AI 平台，用于模拟企业遥测数据的接入、身份治理、威胁检测、安全态势监控、合规证据、仪表盘报告以及本地 GenAI 风格的安全调查工作流。 ## 概述 Azure 企业安全智能平台是一个本地优先的项目组合，专注于企业安全分析和云安全架构。它使用确定性的合成数据来模拟安全遥测数据如何通过接入、验证、检测工程、身份治理、风险评分、运营证据、仪表盘导出以及未来的 AI 辅助调查工作流进行流转。 该项目在设计上保证了本地运行的安全性。它不会连接到 Azure，不会部署云资源，不会使用真实用户或凭据，也不会调用 Azure OpenAI、Azure AI Foundry、OpenAI、Microsoft Graph、Defender XDR、Sentinel 或 Power BI API。 ## 架构概述 ``` flowchart LR Telemetry["Synthetic Telemetry"] --> Ingestion["Ingestion"] Ingestion --> Validation["Validation"] Validation --> Detections["Detections"] Validation --> Identity["Identity Governance"] Detections --> Risk["Risk Scoring"] Identity --> Risk Risk --> Monitoring["Monitoring Evidence"] Monitoring --> Copilot["Local Copilot Simulation"] Copilot --> Dashboards["Dashboard Exports"] Dashboards --> AzureDesign["Azure Architecture Design"] ``` 本地架构借鉴了生产环境的安全分析模式，同时确保每一个步骤都是透明、可测试且可重现的。 ## 业务问题 企业安全团队经常需要在各种互不连通的工具中开展工作，面临遥测数据碎片化、重复告警、身份治理薄弱以及调查工作流缓慢等问题。合规证据和高管报告可能需要从多个系统手动收集数据。AI 辅助调查可以提供帮助，但它首先需要干净的遥测数据、可追溯的证据、受治理的身份信号以及清晰的运营模型。 该项目通过映射到 Microsoft 安全和 Azure 架构概念的本地实现，展示了这一基础能力。 ## 目标用户 - SOC 分析师和 SOC 分析工程师 - 安全工程师和云安全工程师 - 身份工程师和 Zero Trust 治理团队 - 安全架构师和网络安全负责人 - 安全数据科学家和 AI 工程师 - 风险、合规和高管报告团队 ## 核心能力 - 确定性的合成安全遥测生成 - 将原始 JSONL 数据接入并处理为 CSV 数据集 - 数据质量验证和证据报告 - 带有 MITRE ATT&CK 映射的确定性威胁检测规则 - 针对 MFA 漏洞、来宾暴露、特权访问和角色蔓延的身份治理检查 - 可解释的实体风险评分 - 运营健康监控和证据清单生成 - 本地模拟的 GenAI 风格调查摘要和修复计划 - 适用于 Power BI、Streamlit 和报告工作流的仪表盘就绪 CSV 导出 - Azure 架构和部署设计文档及安全的 IaC 骨架 - Pytest 和 Ruff 质量关卡 ## Azure 服务映射 | 平台领域 | Azure 对齐 | 用途 | | --- | --- | --- | | 遥测接入 | Microsoft Sentinel、Azure Monitor、Event Hub、Log Analytics | 收集并标准化安全事件。 | | 身份治理 | Microsoft Entra ID、Entra ID Governance、Conditional Access、PIM | 支持 Zero Trust 访问审查和特权访问治理。 | | 端点和云安全 | Microsoft Defender XDR、Defender for Endpoint、Defender for Cloud | 建模端点、事件和云安全态势信号。 | | 数据和分析 | Azure Data Lake Storage、Azure Data Explorer、Microsoft Fabric、Power BI | 存储、查询和报告安全智能数据集。 | | 风险评分 | Azure Data Explorer、Azure Machine Learning | 目前提供可解释的评分，并为未来的 ML 就绪提供支持。 | | 调查协助 | Azure AI Foundry、Azure OpenAI、Azure AI Search | 在本地代表未来受治理的调查和 RAG 工作流。 | | 治理和机密 | Azure Key Vault、Managed Identity、RBAC、Azure Policy、Microsoft Purview | 映射到安全的生产控制措施，无需在本地存储机密。 | | 监控和报告 | Azure Monitor、Application Insights、Sentinel workbooks、Power BI | 支持运营可视性和高管报告。 | ## 本地优先实现说明 本仓库是一个本地模拟和架构设计项目。它仅使用人工遥测数据和本地输出。`infra/` 下的基础设施文件是用于项目组合文档的参考骨架，不能将其视为可用于生产环境的部署模板。 ## 端到端工作流 1. 在 `data/raw/` 中生成合成遥测数据。 2. 将原始 JSONL 文件接入到 `data/processed/` 中的已处理 CSV 文件中。 3. 验证已处理的数据集并生成数据质量证据。 4. 运行确定性威胁检测。 5. 运行身份治理检查。 6. 按风险对用户、设备和资源进行评分。 7. 生成运营健康和证据产出物。 8. 生成本地模拟的 GenAI 风格调查简报。 9. 导出适配仪表盘的 CSV 数据集。 10. 审查 Azure 生产架构和部署设计产出物。 ## 快速开始 ``` python3 -m venv .venv source .venv/bin/activate python -m pip install -e ".[dev]" python -m pytest python -m ruff check . python -m security_intelligence.cli health-check ``` 运行完整的本地工作流： ``` bash scripts/run_all_local.sh ``` 有关分步演示，请参见 [LOCAL_DEMO.md](LOCAL_DEMO.md)。 ## CLI 命令参考 | 命令 | 用途 | | --- | --- | | `health-check` | 确认本地脚手架已就绪。 | | `show-config` | 打印解析后的平台配置。 | | `generate-telemetry` | 生成合成的 JSONL 遥测数据。 | | `ingest-telemetry` | 将原始的 JSONL 遥测数据转换为已处理的 CSV 数据集。 | | `validate-telemetry` | 验证已处理的遥测数据并生成质量证据。 | | `run-detections` | 运行确定性威胁检测规则。 | | `run-identity-checks` | 运行身份治理分析。 | | `score-risk` | 生成可解释的实体风险评分。 | | `monitor-platform` | 生成运营健康和证据输出。 | | `generate-copilot-briefs` | 生成本地模拟的 GenAI 风格调查报告。 | | `export-dashboard-data` | 导出适配仪表盘的 CSV 数据集和摘要元数据。 | 完整详情记录在 [docs/cli_reference.md](docs/cli_reference.md) 中。 ## 生成的输出 主要输出组包括： - `data/raw/*.jsonl`：合成的原始遥测数据 - `data/processed/*.csv`：处理后的遥测数据集 - `outputs/*.json`：接入、验证、发现、风险、监控、证据和 copilot 上下文 - `outputs/*.csv`：身份审查和风险评分表 - `reports/*.md`：人类可读的证据、发现、治理、风险、运营和 copilot 报告 - `dashboards/exports/*.csv`：适配仪表盘的导出文件 - `dashboards/dashboard_summary.json`：仪表盘导出摘要 有关完整的输出目录，请参见 [docs/output_catalog.md](docs/output_catalog.md)。 ## 仪表盘导出 里程碑 10 生成适配仪表盘的 CSV 文件，可用于 Power BI 导入、Streamlit 原型设计、电子表格审查、SOC 报告、治理仪表盘和高管报告： - `dashboards/exports/security_findings_dashboard.csv` - `dashboards/exports/identity_governance_dashboard.csv` - `dashboards/exports/risk_scores_dashboard.csv` - `dashboards/exports/operational_health_dashboard.csv` - `dashboards/exports/executive_summary_metrics.csv` - `dashboards/exports/evidence_manifest_dashboard.csv` 可选的 [dashboards/streamlit_app.py](dashboards/streamlit_app.py) 会在安装了 Streamlit 时读取这些导出文件，但测试时不需要 Streamlit。 ## Copilot 模拟输出 本地 copilot 层模拟 Azure AI Foundry 或 Security Copilot 风格的工作流，且不会调用任何外部服务。它生成： - `outputs/copilot_context.json` - `reports/copilot_investigation_summary.md` - `reports/copilot_soc_triage_note.md` - `reports/copilot_executive_brief.md` - `reports/copilot_remediation_plan.md` - `reports/copilot_compliance_evidence_summary.md` 生成的每份报告都会注明，它是基于合成平台输出的本地模拟 GenAI 风格响应。 ## 架构和部署设计 生产映射和部署规划产出物： - [infra/README.md](infra/README.md) - [infra/azure_architecture.md](infra/azure_architecture.md) - [infra/deployment_plan.md](infra/deployment_plan.md) - [infra/security_controls.md](infra/security_controls.md) - [infra/cost_considerations.md](infra/cost_considerations.md) - [infra/environments.md](infra/environments.md) - [docs/architecture.md](docs/architecture.md) - [docs/production_architecture.md](docs/production_architecture.md) - [docs/security_operations_model.md](docs/security_operations_model.md) - [diagrams/azure_architecture.mmd](diagrams/azure_architecture.mmd) - [diagrams/data_flow.mmd](diagrams/data_flow.mmd) - [diagrams/security_operations_flow.mmd](diagrams/security_operations_flow.mmd) ## 仓库结构 ``` configs/ Platform, detection, and compliance configuration data/ Raw, processed, and sample local data folders dashboards/ Dashboard exports, summary, and optional Streamlit placeholder diagrams/ Mermaid architecture and operations diagrams docs/ Architecture, operations, CLI, outputs, testing, and limitations docs infra/ Azure reference architecture and safe IaC skeletons notebooks/ Reserved for future local exploration outputs/ Machine-readable pipeline outputs reports/ Human-readable Markdown reports scripts/ Local verification scripts src/security_intelligence/ Python package and CLI implementation tests/ Pytest coverage by platform layer ``` ## 测试和质量检查 ``` python -m pytest python -m ruff check . ``` 测试套件使用确定性的合成数据和本地临时目录。它不需要 Azure CLI、Terraform、Bicep CLI、云凭据、付费服务或网络访问。 有关测试详情，请参见 [docs/testing_strategy.md](docs/testing_strategy.md)。 ## 作品集定位 该项目展示了安全数据工程、检测工程、身份治理分析、Zero Trust 思维、确定性风险评分、运营证据生成、适配仪表盘的报告、本地 GenAI 风格的调查工作流、Azure 架构映射、基础设施即代码设计意识以及质量自动化。 它适合涉及云安全工程、SOC 分析工程、网络安全架构、安全数据科学、AI 工程以及受监管环境下的数据/ML 工程的职位。 有关简明的项目叙述，请参见 [PROJECT_WALKTHROUGH.md](PROJECT_WALKTHROUGH.md) 和 [PORTFOLIO_SUMMARY.md](PORTFOLIO_SUMMARY.md)。 ## 里程碑状态 | 里程碑 | 名称 | 状态 | | --- | --- | --- | | 1 | 脚手架 | 已完成 | | 2 | 合成遥测数据 | 已完成 | | 3 | 接入管道 | 已完成 | | 4 | 验证和数据质量 | 已完成 | | 5 | 威胁检测规则 | 已完成 | | 6 | 身份治理检查 | 已完成 | | 7 | 风险评分和分析 | 已完成 | | 8 | 监控和运营证据 | 已完成 | | 9 | GenAI 安全调查 copilot | 已完成 | | 10 | 仪表盘和报告导出 | 已完成 | | 11 | Azure 架构和部署设计 | 已完成 | | 12 | 作品集润色 | 已完成 | ## 限制和未来工作 该平台仅使用合成数据，没有实时的 Azure 部署，不包含真实的 Sentinel、Microsoft Graph、Defender XDR 或 Power BI 集成，并使用确定性评分而不是训练过的 ML。Copilot 层是一个本地模拟，Terraform/Bicep 文件仅作为参考骨架。 未来工作记录在 [docs/limitations_and_future_work.md](docs/limitations_and_future_work.md) 中。

标签：AI调查, AMSI绕过, Azure, Kubernetes, 合成数据模拟, 威胁检测, 安全态势, 安全运营, 扫描框架, 文档结构分析, 时序数据库, 逆向工具