sanjaybhattoo/real-time-fraud-detection-pipeline
GitHub: sanjaybhattoo/real-time-fraud-detection-pipeline
一个展示生产级事件驱动架构的实时欺诈检测数据工程项目，旨在实现每秒十万级交易处理和亚秒级延迟。
Stars: 0 | Forks: 0
# 实时欺诈检测 pipeline
数据工程项目，演示了生产级环境中的事件驱动架构、实时流处理和微服务设计。
目标：
1. 项目处理能力达到每秒 100k+
2. 从交易到欺诈检测耗时 400ms。
使用的技术：Python, Go, Node.js, Docker, Kubernetes, Kafka, PostgreSQL, Redis。
遵循的系统架构：
我实现此端到端项目所遵循的步骤：
1. 项目设置和 Docker 设置
2. 数据库模式设计
3. Kafka 设置 - 集群和主题
4. 服务：
a. Transaction processor
b. Feature enigine
c. --- 进行中 ---
目标：预期的延迟时间线：
可以通过以下组合进行扩展：Kafka 分区 + 无状态微服务 + Kubernetes HPA + 数据库
项目示例说明：
客户进行支付
↓
Kafka (Event Hub) ← 所有交易流至此处
↓
Transaction Processor ← 验证数据
↓
Feature Engine ← "该用户通常在亚利桑那州吗？"
↓
Model Service ← ML 模型："欺诈风险 = 72%"
↓
Decision Engine ← 应用规则："70% 风险 = REVIEW"
↓
Alert Service ← 通知商家和客户
↓
Database ← 存储所有内容（用于审计追踪）
我实现此端到端项目所遵循的步骤：
1. 项目设置和 Docker 设置
2. 数据库模式设计
3. Kafka 设置 - 集群和主题
4. 服务：
a. Transaction processor
b. Feature enigine
c. --- 进行中 ---
目标：预期的延迟时间线：
可以通过以下组合进行扩展：Kafka 分区 + 无状态微服务 + Kubernetes HPA + 数据库
项目示例说明：
客户进行支付
↓
Kafka (Event Hub) ← 所有交易流至此处
↓
Transaction Processor ← 验证数据
↓
Feature Engine ← "该用户通常在亚利桑那州吗？"
↓
Model Service ← ML 模型："欺诈风险 = 72%"
↓
Decision Engine ← 应用规则："70% 风险 = REVIEW"
↓
Alert Service ← 通知商家和客户
↓
Database ← 存储所有内容（用于审计追踪）标签：Apex, Docker, GNU通用公共许可证, Go, IP 地址批量处理, Kafka, MITM代理, Node.js, PostgreSQL, Python, Redis, Ruby工具, SonarQube插件, 事件驱动架构, 事务处理, 低延迟, 分布式系统, 可扩展性, 响应大小分析, 大数据, 子域名突变, 安全防御评估, 实时欺诈检测, 搜索引擎查询, 数据工程, 无后门, 日志审计, 机器学习, 流式处理, 测试用例, 特征工程, 生产级环境, 目录扫描, 系统设计, 请求拦截, 逆向工具, 金融科技, 风控系统, 高并发