manish0192singh/Anomaly-Detection-SIEM-

# AI 驱动的异常检测系统 ## 概述 本项目使用 Machine Learning 检测系统日志中的异常或可疑行为。 它没有依赖静态规则（如传统的 SIEM 系统），而是使用诸如 Isolation Forest 等模型自动学习正常模式并识别异常。 该系统包括： - 日志摄取 - 数据预处理 - 特征工程 - 机器学习异常检测 - 告警系统 - 可视化 Dashboard - 用于预测的 API ## 项目结构 ai_anomaly_detection/ ├── data/ │ ├── raw_logs/ │ ├── processed/ │ └── features/ ├── src/ │ ├── data_ingestion.py │ ├── preprocessing.py │ ├── feature_engineering.py │ ├── model_train.py │ ├── model_predict.py │ ├── alert_system.py │ └── utils.py ├── models/ ├── config/ ├── dashboard/ ├── api.py ├── requirements.txt └── README.md ## 功能 - 使用 Machine Learning 自动检测异常 - 检测可疑的登录行为、IP 异常、请求激增等（将在后续添加） - 基于异常分数的实时告警 - 用于监控异常的 Dashboard - 用于将模型与其他应用程序集成的 API ## 工作原理 1. 摄取并清洗日志 2. 从日志中提取特征 3. 训练 Isolation Forest 模型 4. 模型生成异常分数 5. 如果分数超过阈值，则触发告警 6. Dashboard 可视化异常和趋势 ## 使用的技术 - Python - Pandas, NumPy - Scikit-learn - FastAPI - Streamlit - Matplotlib ## 安装 pip install -r requirements.txt ## 运行 API uvicorn api:app --reload ## 运行 Dashboard streamlit run dashboard/dashboard.py ## 未来改进 - 基于 Autoencoder 的深度学习模型 - 实时日志流处理 - 与 SIEM 工具集成 - 威胁评分机制 ## 作者 Manish 基于 AI 的安全项目

标签：AMSI绕过, Apex, API服务, AV绕过, FastAPI, IP 地址批量处理, Kubernetes, Python, Scikit-learn, SecOps, Streamlit, 云安全架构, 云计算, 人工智能, 威胁检测, 孤立森林, 安全信息与事件管理, 安全大屏, 安全运营, 异常检测, 异常行为分析, 扫描框架, 搜索引擎爬取, 数据预处理, 无后门, 机器学习, 深度学习, 特征工程, 用户模式Hook绕过, 网络安全, 自编码器, 规则引擎, 访问控制, 逆向工具, 隐私保护