NamanSudan/data-201-security-log-analysis

# DATA-201 安全日志分析 针对圣荷西州立大学 DATA-201（数据库系统）课程的 AIT-LDSv2.0 网络安全数据集进行关系型数据库分析。 ## 项目概述 使用奥地利技术研究所日志数据集 V2.0 (Austrian Institute of Technology Log Data Set V2.0) 对遭受攻击的模拟企业网络进行分析。该数据集包括： - **22 台联网主机**（防火墙、服务器、工作站） - **约 180 万条日志事件**，涵盖多种日志类型 - **约 6.2 万条标记的攻击事件**及事实真值 (ground truth) - **多阶段攻击链**：侦察 (Reconnaissance) → 利用 (Exploitation) → 权限提升 (Privilege Escalation) → 数据窃取 (Data Exfiltration) ## 团队成员 | 姓名 | GitHub | |------|--------| | Naman Sudan | [@NamanSudan](https://github.com/NamanSudan) | | River Roseveare-Hunt | [@DogmaHG](https://github.com/DogmaHG) | | Ishaan Shetty | [@Ishaanshetty](https://github.com/Ishaanshetty) | ## 技术栈 - **数据库**: PostgreSQL 16 - **迁移工具**: Alembic - **编程语言**: Python 3.12 - **CI/CD**: GitHub Actions - **项目管理**: Linear - **沟通工具**: Slack ## 快速开始 ### 前置条件 - Docker Desktop - Python 3.12+ - Git ### 设置步骤 1. **克隆仓库** git clone https://github.com/namansudan/data-201-security-log-analysis.git cd data-201-security-log-analysis 2. **创建环境文件** cp .env.example .env # 编辑 .env 文件，填入你的配置值 3. **启动 PostgreSQL** docker-compose up -d 4. **安装 Python 依赖** python -m venv venv source venv/bin/activate # On Windows: venv\Scripts\activate pip install -r requirements.txt 5. **运行数据库迁移** alembic -c alembic/alembic.ini upgrade head 6. **验证设置** python -c "from sqlalchemy import create_engine; engine = create_engine('postgresql://security_logs_user:password@localhost:5432/security_logs'); print('Connected!' if engine.connect() else 'Failed')" ## 项目结构 ``` data-201-security-log-analysis/ ├── .github/workflows/ # CI/CD pipelines ├── alembic/ # Database migrations ├── docs/ # Documentation & ER diagrams ├── sql/ # SQL scripts and queries ├── notebooks/ # Jupyter notebooks for exploration ├── src/ # Python source code │ └── parsers/ # Log parsing modules ├── tests/ # Test suite └── presentation/ # Slides and demo materials ``` ## 开发工作流 请参阅 [CONTRIBUTING.md](CONTRIBUTING.md) 了解： - 分支命名规范 - Pull Request 流程 - 代码审查指南 ## 关键里程碑 - **2026年2月5日**：提交团队名单 - **2026年3月19日**：中期展示 - **2026年5月7日**：最终展示与技术报告 ## 许可证 本项目是 SJSU DATA-201 课程的一部分，仅供教育目的使用。

标签：Alembic, AMSI绕过, CISA项目, Docker, GitHub Actions, NoSQL, OISF, PE 加载器, PostgreSQL, Python, SQL, SQLAlchemy, Web报告查看器, 代码示例, 企业网络安全, 协议分析, 威胁检测, 安全运营, 安全防御评估, 密码管理, 扫描框架, 插件系统, 攻击链分析, 数据分析, 数据库系统, 数据渗出, 数据集研究, 无后门, 日志管理, 权限提升, 测试用例, 系统审计, 网络安全, 自动笔记, 请求拦截, 课程项目, 逆向工具, 隐私保护