bhutch2606/threat-intelligence-data-platform

# 威胁情报数据平台 (threat-intelligence-data-platform) 端到端的威胁情报数据工程项目。 ## 目标 * 从多个 OSINT 源收集数据 * 存储原始数据 * 清洗和转换数据 * 将数据加载到关系型数据库中 * 使用 PySpark 进行处理 * 验证数据质量 * 生成报告和仪表板 * 自动运行 ## 架构 ## 技术 * Python * PostgreSQL * Apache Spark * Git * VS Code ### Python 包 * requests * pandas * psycopg2 * sqlalchemy * pyspark * python-dotenv * beautifulsoup4 * feedparser ## 当前状态 正在构建原始数据的收集器 ## 学习目标 本项目旨在通过构建端到端的威胁情报平台来培养实用的数据工程技能。 ### 主要学习目标 - 培养对使用 PostgreSQL 关系型数据库的理解。 - 提高 SQL 熟练程度，包括 joins、aggregations、window functions、CTEs 和查询优化。 - 使用 Python 构建可靠的 ETL pipeline。 * 从多个公共 OSINT 源摄取数据，包括 API 和 RSS feeds。 - 获得使用 Apache Spark 和 PySpark 进行大规模数据转换的实战经验。 - 设计和实现适用于分析工作负载的数据模型。 - 实现自动化数据质量验证和监控。 - 应用软件工程的最佳实践，包括 Git 版本控制、虚拟环境、文档、日志记录和测试。 - 学习如何将情报收集需求转化为可扩展的数据工程解决方案。 - 从处理后的威胁情报数据中生成分析数据集和报告。 本项目还可以作为作品集展示，证明在数据工程岗位常用的技术方面具有实践经验。 ## 展示技能 * 从 OSINT 源摄取数据 * ETL pipeline 开发 * SQL 数据库设计 * 数据建模 * 数据转换 * PySpark 处理 * 数据质量验证 * 工作流自动化 * 监控和日志记录 * 技术文档 * 版本控制

标签：ETL管道, OSINT数据采集, PostgreSQL, PySpark, 威胁情报, 开发者工具, 数据工程, 数据质量验证, 测试用例, 网络安全研究, 逆向工具