Prabhanshu77/threat-intelligence-platform

# 威胁情报平台 (TIP) 用于金融安全的高级威胁情报平台 ## Infotact 技术实习计划 ### 项目 1：金融与银行安全 #### 开发者：Prabhanshu (GitHub: Prabhanshu77) ## 项目简介 一个高级威胁情报平台，可自动 从多个来源收集恶意 IP 地址，并将其存储 在数据库中，通过仪表板进行可视化， 并使用 Linux 防火墙自动拦截它们 - 全天候 24/7 运行，无需 任何人工干预。 ## 系统架构 OSINT 源（3 个来源） ↓ Python 聚合器 (run_all_feeds.py) ↓ MongoDB 数据库 (db_connector.py) ↓ Elasticsearch (elastic_connector.py) ↓ Kibana 仪表板 (localhost:5601) ↓ 动态策略执行器 (policy_enforcer.py) ↓ Linux iptables 防火墙（自动拦截） ↓ 告警系统 + 回滚机制 ↓ 24/7 Systemd 服务 (threat-intelligence.service) ## 功能 - 连接了 3 个 OSINT 威胁情报源 - 威胁数据自动去重 - 风险评分系统（1-10 级） - 实时 Kibana 仪表板 - 通过 iptables 自动拦截 IP - 针对误报的回滚机制 - 包含每日摘要的告警系统 - 完整的审计日志 - 通过 systemd 服务实现 24/7 自动化 pipeline - 每 6 小时自动运行一次 - 开机自启动 - 无需任何人工干预 ## 技术栈 | 组件 | 技术 | |-----------|-----------| | 数据源脚本 | Python 3.13 | | 数据库 | MongoDB | | 搜索引擎 | Elasticsearch 8.x | | 仪表板 | Kibana | | 防火墙 | Linux iptables | | 自动化 | Python schedule + systemd | | 版本控制 | Git + GitHub | ## 项目结构 ## threat-intelligence-platform/ ├── src/ │ ├── automation.py │ ├── feeds/ │ │ ├── abuseipdb_feed.py │ │ ├── alienvault_feed.py │ │ ├── virustotal_feed.py │ │ └── run_all_feeds.py │ ├── database/ │ │ ├── db_connector.py │ │ └── elasticConnector.py │ ├── enforcer/ │ │ ├── policy_enforcer.py │ │ ├── rollback.py │ │ └── alert_system.py │ └── dashboard/ ├── logs/ │ ├── enforcer.log │ ├── rollback.log │ ├── alerts.log │ └── automation.log ├── tests/ ├── .env ├── .gitignore └── requirements.txt ## 手动运行方式 ### 步骤 1 - 启动服务 ``` sudo systemctl start mongodb sudo systemctl start elasticsearch sudo systemctl start kibana ``` ### 步骤 2 - 激活 Python 环境 ``` source venv/bin/activate ``` ### 步骤 3 - 手动运行所有数据源 ``` python3 -m src.feeds.run_all_feeds ``` ### 步骤 4 - 同步至 Elasticsearch ``` python3 -m src.database.elastic_connector ``` ### 步骤 5 - 运行执行器 ``` python3 -m src.enforcer.policy_enforcer ``` ### 步骤 6 - 检查告警 ``` python3 -m src.enforcer.alert_system ``` ### 步骤 7 - 如有需要则进行回滚 ``` python3 -m src.enforcer.rollback ``` ### 步骤 8 - 查看仪表板 打开浏览器并访问 http://localhost:5601 ## 24/7 自动模式 ### 启动自动化服务 ``` sudo systemctl start threat-intelligence ``` ### 检查服务状态 ``` sudo systemctl status threat-intelligence ``` ### 查看实时日志 ``` sudo journalctl -fu threat-intelligence ``` ### 停止服务 ``` sudo systemctl stop threat-intelligence ``` ## 最终结果 - 收集了 396 个真实恶意 IP - 自动拦截了 385 个 IP - 检测到 296 个严重威胁 - 3 个威胁情报源 - 2 个 Kibana 可视化图表 - 维护了 4 个日志文件 - 24/7 自动化防护已激活 ## 安全实践 - API 密钥存储在 .env 文件中 - .env 文件绝不推送到 GitHub - 全程使用功能分支 - 保持每日提交 - 使用有意义的提交信息 - 服务以 root 权限运行以获取 iptables 访问权限 - 所有操作均记录时间戳 ## OSINT 来源 - AbuseIPDB - 社区报告的恶意 IP - AlienVault OTX - 全球威胁情报 - VirusTotal - 多引擎 IP 分析 ## Git 分支 - main - 最终的干净代码 - feature/osint-feeds - 数据源脚本 - feature/database - 数据库连接器 - feature/enforcer - 执行器与自动化 ## 开发者 - 姓名：Prabhanshu - GitHub：Prabhanshu77 - 实习：Infotact 技术计划 - 项目：金融与银行网络安全 - 项目 1 已完成 - 收集 396 个 IP，自动拦截 385 个

标签：Elasticsearch, PB级数据处理, Python, 威胁情报, 安全运维, 实时处理, 开发者工具, 无后门, 网络信息收集, 自动化防御, 越狱测试, 防火墙