salahkhafaji/news-monitor
GitHub: salahkhafaji/news-monitor
一个将LLM作为数据流水线决策组件的AI营销智能平台,覆盖从市场信号采集、上下文注入到自动执行行动的完整闭环。
Stars: 1 | Forks: 0
# AI 驱动的营销智能平台
## 📌 概述
本项目探索了 AI 如何超越简单的聊天机器人,深入到**真正的商业决策 pipeline** 中:自动收集数据,利用 LLM 结合上下文对这些数据进行推理,并根据结果触发现实世界的行动——同时人类能够观察并验证每一个步骤。
本项目作为个人项目开发,旨在应用和展示实用的 AI 工程技能——包括 LLM 集成、prompt 设计、工作流自动化以及 AI 驱动产品的系统架构——并结合 C#/.NET 的传统软件工程背景。
## 🧠 为什么做这个项目(关注 AI)
大多数作品集项目将 AI 作为一个孤立演示中的单一 API 调用。本项目的构建方式与众不同——它将 AI 视为**大型数据 pipeline 中的一个组件**,这更接近于 AI 在实际产品中的部署方式:
- **数据工程** —— 在 AI 接触数据之前,收集并结构化真实世界的数据(“垃圾进,垃圾出”是这里要解决的第一个问题,而不是最后一个)
- **Prompt 工程** —— 设计结合实时外部数据和特定业务上下文的 prompt,以产生有依据的、非通用的建议
- **AI 作为决策层** —— 使用 LLM 不仅是为了生成文本,更是为了打分、排序并推荐行动
- **AI 输出的自动化** —— 通过让 AI 的建议触发真实的行动来形成闭环,而不仅仅是在屏幕上显示文本
- **围绕 AI 局限性的系统设计** —— 刻意将 LLM 应该决定的内容(阶段 4)与需要真实历史数据的内容(阶段 6 / 预测)区分开来,而不是将 AI 视为解决一切的方案
## 🏗️ 架构
```
flowchart TD
A[Data Collection
Trends / News / Brand mentions] --> B[Storage
Structured database] B --> C[Dashboard
Visualized signals] B --> D[Business Context
Products / customers / market] D --> E[AI Decision Layer
LLM-generated recommendations] A --> E E --> F[Execution
Automated action: message / alert / CRM] F --> G[Measurement
Feedback loop for future decisions] G --> E ``` 系统由 5 个核心构建模块组成,这些模块在整个 pipeline 中保持一致: | 模块 | 职责 | |---|---| | **收集 (Collect)** | 按计划拉取外部信号(趋势、新闻、品牌提及) | | **存储 (Store)** | 持久化保存原始和处理后的数据,以备后用 | | **展示 (Show)** | 可视化已收集的内容 | | **决策 (Decide)** | 将数据和业务上下文输入 LLM 以生成建议 | | **行动 (Act)** | 自动执行建议(通知、消息、CRM 更新) | ## ⚙️ 技术栈 | 层级 | 工具 | |---|---| | 后端 | Python, FastAPI | | AI / LLM | OpenAI API / Anthropic API — 基于 prompt 工程的建议生成 | | 自动化 | n8n(连接数据 → AI → 行动的工作流编排) | | 数据收集 | pytrends (Google Trends), NewsAPI / GNews | | 存储 | Supabase (Postgres) | | 仪表板 | Streamlit, Plotly | | 消息/行动 | Telegram Bot API, Twilio (WhatsApp/SMS), 电子邮件 | | 预测(路线图) | Google Meridian, Prophet — 用于在具备历史数据后进行媒介组合建模 | ## 🔍 应用的关键 AI/ML 概念 - **Prompt 工程**,用于生成有依据的、具备上下文感知的 LLM 输出,而非通用的响应 - **检索式上下文注入** —— 在 LLM 生成建议之前,向其输入实时收集的数据和结构化的业务知识 - **AI 工作流编排** —— 将 LLM 步骤连接到更广泛的自动化 pipeline (n8n) 中,而不是将其作为独立的聊天机器人使用 - **将适合 AI 处理的问题与依赖数据的问题区分开来** —— 认识到 LLM 在哪些地方是合适的工具(阶段 4:基于上下文的推理),而在哪些地方则需要真正的统计建模(阶段 6:媒介组合建模,这需要历史数据,而不是语言生成) ## 🗺️ 路线图 / 阶段 | 阶段 | 重点 | 状态 | |---|---|---| | 1 | 智能核心 — 数据收集 | 🔲 计划中 / 进行中 | | 2 | 衡量仪表板 | 🔲 计划中 | | 3 | 业务知识层 | 🔲 计划中 | | 4 | AI 决策引擎 | 🔲 计划中 | | 5 | 执行引擎(自动化) | 🔲 计划中 | | 6 | AI 科学层(媒介组合建模,预测) | 🔲 未来计划 — 需要真实的历史使用数据 | *(在每个阶段完成后更新状态列。)* ## 🎯 背景 本项目由一位探索 .NET 生态系统之外实用 AI 系统设计的 **.NET 开发者** 构建,旨在更好地理解 AI/LLM 集成在真实产品中是如何端到端运作的——从数据 pipeline 到自动化决策。每一项设计选择背后的架构和推理都经过了刻意记录(见 `/docs`),以展示思考过程,而不仅仅是最终代码。 ## 📂 项目结构 ``` /docs - architecture & planning documentation /src - application source code /workflows - n8n workflow exports README.md - this file ``` ## 📄 许可证 MIT License — 欢迎自由探索、学习或基于此项目进行开发。 ## 📬 联系方式 如果您想讨论该项目、架构决策或一般的 AI 系统设计,欢迎随时联系。
Trends / News / Brand mentions] --> B[Storage
Structured database] B --> C[Dashboard
Visualized signals] B --> D[Business Context
Products / customers / market] D --> E[AI Decision Layer
LLM-generated recommendations] A --> E E --> F[Execution
Automated action: message / alert / CRM] F --> G[Measurement
Feedback loop for future decisions] G --> E ``` 系统由 5 个核心构建模块组成,这些模块在整个 pipeline 中保持一致: | 模块 | 职责 | |---|---| | **收集 (Collect)** | 按计划拉取外部信号(趋势、新闻、品牌提及) | | **存储 (Store)** | 持久化保存原始和处理后的数据,以备后用 | | **展示 (Show)** | 可视化已收集的内容 | | **决策 (Decide)** | 将数据和业务上下文输入 LLM 以生成建议 | | **行动 (Act)** | 自动执行建议(通知、消息、CRM 更新) | ## ⚙️ 技术栈 | 层级 | 工具 | |---|---| | 后端 | Python, FastAPI | | AI / LLM | OpenAI API / Anthropic API — 基于 prompt 工程的建议生成 | | 自动化 | n8n(连接数据 → AI → 行动的工作流编排) | | 数据收集 | pytrends (Google Trends), NewsAPI / GNews | | 存储 | Supabase (Postgres) | | 仪表板 | Streamlit, Plotly | | 消息/行动 | Telegram Bot API, Twilio (WhatsApp/SMS), 电子邮件 | | 预测(路线图) | Google Meridian, Prophet — 用于在具备历史数据后进行媒介组合建模 | ## 🔍 应用的关键 AI/ML 概念 - **Prompt 工程**,用于生成有依据的、具备上下文感知的 LLM 输出,而非通用的响应 - **检索式上下文注入** —— 在 LLM 生成建议之前,向其输入实时收集的数据和结构化的业务知识 - **AI 工作流编排** —— 将 LLM 步骤连接到更广泛的自动化 pipeline (n8n) 中,而不是将其作为独立的聊天机器人使用 - **将适合 AI 处理的问题与依赖数据的问题区分开来** —— 认识到 LLM 在哪些地方是合适的工具(阶段 4:基于上下文的推理),而在哪些地方则需要真正的统计建模(阶段 6:媒介组合建模,这需要历史数据,而不是语言生成) ## 🗺️ 路线图 / 阶段 | 阶段 | 重点 | 状态 | |---|---|---| | 1 | 智能核心 — 数据收集 | 🔲 计划中 / 进行中 | | 2 | 衡量仪表板 | 🔲 计划中 | | 3 | 业务知识层 | 🔲 计划中 | | 4 | AI 决策引擎 | 🔲 计划中 | | 5 | 执行引擎(自动化) | 🔲 计划中 | | 6 | AI 科学层(媒介组合建模,预测) | 🔲 未来计划 — 需要真实的历史使用数据 | *(在每个阶段完成后更新状态列。)* ## 🎯 背景 本项目由一位探索 .NET 生态系统之外实用 AI 系统设计的 **.NET 开发者** 构建,旨在更好地理解 AI/LLM 集成在真实产品中是如何端到端运作的——从数据 pipeline 到自动化决策。每一项设计选择背后的架构和推理都经过了刻意记录(见 `/docs`),以展示思考过程,而不仅仅是最终代码。 ## 📂 项目结构 ``` /docs - architecture & planning documentation /src - application source code /workflows - n8n workflow exports README.md - this file ``` ## 📄 许可证 MIT License — 欢迎自由探索、学习或基于此项目进行开发。 ## 📬 联系方式 如果您想讨论该项目、架构决策或一般的 AI 系统设计,欢迎随时联系。
标签:Kubernetes, LLM集成, Petitpotam, RAG, 人工智能, 工作流自动化, 数据工程, 用户模式Hook绕过, 营销情报, 逆向工具