Mangesh-Bhattacharya/AI-Automated-Security-Engineer

# AI自动化安全工程师平台     ## 概述 **AI自动化安全工程师（AASE）** 是一个完全自托管、企业级AI驱动的网络安全平台，专为亚马逊AWS、Avahi AI、微软Azure、金融机构（银行）及其他受监管行业的大规模部署而设计。它提供持续的自动化威胁检测、漏洞评估、合规性监控和智能事件响应——所有这些都不依赖任何第三方SaaS或基于云的AI供应商。 ### 关键差异化 - **完全自托管**：所有AI模型在本地或私有云中运行（数据不会离开您的环境） - **零外部AI依赖**：使用本地托管的LLM（Ollama、vLLM）和微调的安全模型 - **企业级**：内置SOC2、ISO 27001、PCI-DSS、HIPAA、FedRAMP合规框架 - **多云**：对AWS、Azure、GCP和本地环境的原生集成 - **实时**：亚秒级威胁检测与自动化修复工作流 ## 架构 ``` +-----------------------------------------------------------------------+ | AASE Platform Architecture | +-----------------------------------------------------------------------+ | +---------------+ +----------------+ +---------------------------+ | | | Web UI | | REST API | | GraphQL API | | | | Dashboard | | (FastAPI) | | (Strawberry) | | | +-------+-------+ +-------+--------+ +-----------+---------------+ | | +------------------+---------------------------------+ | | +----------------------------------------------------------------+ | | | Core AI Engine | | | | +------------------+ +-----------------+ +-------------+ | | | | | Threat Intel | | Vuln Scanner | | Compliance | | | | | | (LLM-RAG) | | (AI-Driven) | | Checker | | | | | +------------------+ +-----------------+ +-------------+ | | | | +------------------+ +-----------------+ +-------------+ | | | | | SIEM Engine | | IDS/IPS AI | | Auto-Resp | | | | | | (Log Analysis) | | (ML Model) | | Orchestr. | | | | | +------------------+ +-----------------+ +-------------+ | | | +----------------------------------------------------------------+ | | +----------------------------------------------------------------+ | | | Data and Integration Layer | | | | AWS | Azure | GCP | On-Prem | LDAP | JIRA | PagerDuty | | | +----------------------------------------------------------------+ | | +----------------------------------------------------------------+ | | | Self-Hosted AI Model Layer | | | | Ollama (Llama3/Mistral) | vLLM | CodeBERT | | | +----------------------------------------------------------------+ | +-----------------------------------------------------------------------+ ``` ## 功能 ### 核心安全能力 - **AI威胁检测**：使用本地托管的Transformer模型，基于CVE/MITRE ATT&CK数据集进行实时ML异常检测 - **漏洞扫描器**：对基础设施、容器、API和代码仓库（SAST/DAST）进行自动化扫描 - **合规自动化**：自动检查PCI-DSS、HIPAA、SOC2、ISO 27001、NIST、FedRAMP、CIS基准 - **SIEM集成**：跨所有云和本地来源的智能日志聚合、关联和告警 - **零信任执行**：持续身份验证与AI辅助的访问异常检测 - **事件响应**：自动化剧本执行、证据收集和取证分析 - **渗透测试AI**：用于计划红队演练的自主渗透测试编排 - **供应链安全**：SBOM分析和依赖项漏洞跟踪 ### 企业集成 | 平台 | 集成类型 | 能力 | |------|----------|------| | **AWS** | 原生SDK + IAM | GuardDuty关联、S3审计、EC2/EKS扫描、CloudTrail分析 | | **Microsoft Azure** | Azure SDK + AAD | Sentinel同步、活动目录监控、Defender集成 | | **GCP** | Cloud SDK | 安全命令中心、IAM审计、GKE扫描 | | **Avahi AI / mDNS** | 协议级 | 网络服务发现异常检测 | | **银行/SWIFT** | ISO 20022、SWIFT CSP | PCI-DSS v4.0合规、欺诈模式检测 | | **On-Premise** | 无代理 + 代理 | VMware、Kubernetes、物理机、网络设备 | | **LDAP/AD** | LDAP3 | 用户行为分析、权限提升检测 | | **JIRA** | REST API | 漏洞和事件的自动工单创建 | | **PagerDuty** | Events API v2 | 关键告警升级和值班管理 | | **Slack/Teams** | Webhooks | 实时安全通知和SOC协作 | ## 项目结构 ``` AI-Automated-Security-Engineer/ ├── README.md ├── requirements.txt ├── docker-compose.yml ├── Dockerfile ├── .env.example ├── Makefile ├── core/ │ ├── app.py # Main application entry point │ ├── config.py # Configuration management │ └── database.py # Database connections ├── ai_engine/ │ ├── llm_client.py # Self-hosted LLM interface (Ollama/vLLM) │ ├── threat_classifier.py # ML threat classification model │ ├── anomaly_detector.py # LSTM/Transformer anomaly detection │ └── rag_engine.py # RAG for CVE/threat intel knowledge base ├── scanners/ │ ├── vulnerability_scanner.py # Core vulnerability scanning engine │ ├── network_scanner.py # Network topology and port scanning │ ├── container_scanner.py # Docker/OCI image vulnerability scanning │ ├── code_scanner.py # SAST for Python, JS, Go, Java, etc. │ └── cloud_scanner.py # Cloud resource misconfiguration scanning ├── threat_detection/ │ ├── threat_detector.py # Real-time threat detection engine │ ├── ids_engine.py # AI-powered intrusion detection │ ├── behavioral_analytics.py # User and entity behavior analytics │ └── mitre_mapper.py # MITRE ATT&CK framework mapping ├── compliance/ │ ├── compliance_checker.py # Main compliance orchestrator │ └── frameworks/ │ ├── pci_dss.py # PCI-DSS v4.0 controls │ ├── hipaa.py # HIPAA Security Rule │ ├── soc2.py # SOC 2 Type II │ ├── iso27001.py # ISO/IEC 27001:2022 │ └── nist_csf.py # NIST Cybersecurity Framework ├── integrations/ │ ├── aws/ │ │ ├── aws_client.py │ │ ├── guardduty.py │ │ └── cloudtrail.py │ ├── azure/ │ │ ├── azure_client.py │ │ ├── sentinel.py │ │ └── active_directory.py │ ├── banking/ │ │ ├── swift_monitor.py │ │ └── fraud_detector.py │ └── notifications/ │ ├── pagerduty.py │ ├── slack.py │ └── jira.py ├── incident_response/ │ ├── incident_manager.py │ ├── playbook_engine.py │ └── playbooks/ │ ├── ransomware_response.yaml │ └── data_breach_response.yaml ├── api/ │ ├── main.py # FastAPI application │ ├── auth.py # JWT + OAuth2 authentication │ └── routes/ │ ├── scans.py │ ├── threats.py │ ├── compliance.py │ └── incidents.py ├── dashboard/ │ └── index.html # Main dashboard UI ├── tests/ │ ├── unit/ │ └── integration/ └── k8s/ ├── deployment.yaml ├── service.yaml └── configmap.yaml ``` ## 快速开始 ### 先决条件 - Docker 24.0+ 和 Docker Compose 2.20+ - 16GB+ 内存（完整LLM推理推荐32GB） - 100GB+ SSD存储（用于模型、CVE数据库和日志） - Python 3.11+ - NVIDIA GPU（可选但推荐用于LLM加速） ### 1. 克隆并配置 ``` git clone https://github.com/Mangesh-Bhattacharya/AI-Automated-Security-Engineer.git cd AI-Automated-Security-Engineer cp .env.example .env nano .env # Edit with your configuration ``` ### 2. 下载自托管AI模型 ``` chmod +x scripts/download_models.sh ./scripts/download_models.sh # 下载：Llama 3.1 70B（安全微调版）、Mistral 7B、CodeBERT ``` ### 3. 启动平台 ``` docker-compose up -d ``` ### 4. 访问仪表板 - **Web仪表板**：https://localhost:8443 - **API文档**：https://localhost:8443/api/docs - **Grafana指标**：https://localhost:3000 ## 安全模型 所有AI推理在本地运行，使用： - **Ollama** 提供Llama 3.1 70B（基于MITRE ATT&CK、CVE、OWASP微调） - **CodeBERT** 用于静态代码分析 - **隔离森林 + LSTM** 用于异常检测 - **句子变换器** 用于语义CVE/威胁相似性搜索（RAG） 不会将任何提示、日志或安全数据发送到外部AI服务。 ## 合规覆盖 | 框架 | 覆盖率 | 自动修复 | |------|--------|----------| | PCI-DSS v4.0 | 94% | 是 | | HIPAA Security Rule | 91% | 部分 | | SOC 2 Type II | 89% | 是 | | ISO 27001:2022 | 87% | 部分 | | NIST CSF 2.0 | 92% | 是 | | FedRAMP Moderate | 85% | 部分 | | CIS Controls v8 | 96% | 是 | | SWIFT CSP | 88% | 是 | | GDPR Technical | 83% | 部分 | ## 贡献 请阅读 [CONTRIBUTING.md](docs/CONTRIBUTING.md) 获取指南。 ## 许可证 MIT许可证 - 详情见 [LICENSE](LICENSE)。 ## 安全披露 有关安全漏洞的负责任披露，请参见 [SECURITY.md](SECURITY.md)。

标签：AI安全工程师, AI风险缓解, AMSI绕过, Apex, AV绕过, AWS, Azure, BurpSuite集成, Docker, DPI, FastAPI, FedRAMP, GCP, GraphQL, HIPAA, ISO 27001, LLM评估, NLP, Ollama, PCI-DSS, SOC2, Strawberry, vLLM, 事件响应, 亚秒级响应, 企业安全, 企业级安全, 合规监控, 多云集成, 威胁检测, 安全防御评估, 实时检测, 无SaaS依赖, 智能 remediation, 本地LLM, 机器学习, 模块化设计, 结构化查询, 网络资产管理, 自动化修复, 自动化安全, 自托管, 请求拦截, 连续监控, 逆向工具, 速率限制, 零外部AI依赖