gitstq/InsightPulse

## 简体中文 ### 项目介绍 InsightPulse 是一个轻量级、零外部依赖的跨平台信息聚合工具，支持 **10+ 个中国和全球主流平台**，提供智能关键词提取、情感分析、趋势追踪和 Web 可视化面板。 灵感来源于 [last30days-skill](https://github.com/mvanhorn/last30days-skill)，但完全独立自研，差异化聚焦于 **中国平台深度集成** 和 **完全独立运行**（无需任何外部 AI Agent 宿主）。 ### 核心特性 - **10+ 数据源** - 知乎、微博、B站、小红书、V2EX、豆瓣、GitHub、Hacker News、Reddit、雪球 - **零外部依赖** - 纯 Python 标准库实现，无需安装任何第三方包 - **中文 NLP** - 关键词提取、情感分析、文本摘要、语言检测 - **并行搜索** - 多数据源并发抓取，速度极快 - **趋势追踪** - SQLite 持久化存储，支持历史趋势对比 - **Web 面板** - 内置可视化 Web UI，浏览器直接查看 - **多格式输出** - 终端 Rich、JSON、Markdown、HTML 四种格式 - **智能评分** - 基于相关度、互动数据、时间衰减的综合排序 - **缓存系统** - 自动缓存搜索结果，避免重复请求 - **跨平台** - Windows / macOS / Linux 全平台兼容 ### 快速开始 # 克隆仓库 git clone https://github.com/gitstq/InsightPulse.git cd InsightPulse # 安装（零依赖，直接使用） pip install -e . # 搜索关键词 insightpulse search "AI大模型" # 指定数据源和时间范围 insightpulse search "Rust" --sources github,hackernews --days 7 # 生成 HTML 报告 insightpulse report "新能源汽车" --output report.html # 追踪趋势 insightpulse trend "ChatGPT" --days 30 # 启动 Web 面板 insightpulse serve --port 8080 # 查看支持的数据源 insightpulse list-sources # 查看配置 insightpulse config --show ### 详细使用指南 #### 搜索命令 insightpulse search <关键词> [选项] --days N 搜索天数范围（默认: 30） --sources X,Y 指定数据源（默认: 全部） --limit N 每个源最大结果数（默认: 50） --format fmt 输出格式: rich/json/markdown/html --output file 输出到文件 --no-cache 禁用缓存 #### 趋势追踪 insightpulse trend <关键词> [选项] --days N 追踪天数（默认: 7） --interval N 采样间隔小时（默认: 24） #### 报告生成 insightpulse report <主题> [选项] --days N 数据范围天数 --format fmt 报告格式: html/markdown/json --output file 输出文件路径 #### Web 面板 启动 Web 面板后，浏览器访问 `http://127.0.0.1:8080`，可以： - 实时搜索全平台内容 - 查看搜索历史 - 浏览统计数据 ### 支持的数据源 | 数据源 | 类型 | 语言 | 需要配置 | |--------|------|------|----------| | 知乎 | 知识社区 | 中文 | 否 | | 微博 | 社交媒体 | 中文 | 否 | | B站 | 视频平台 | 中文 | 否 | | 小红书 | 生活分享 | 中文 | 否 | | V2EX | 技术社区 | 中文 | 否 | | 豆瓣 | 书影音 | 中文 | 否 | | 雪球 | 财经社区 | 中文 | 否 | | GitHub | 代码托管 | 英文 | 否 | | Hacker News | 技术社区 | 英文 | 否 | | Reddit | 论坛社区 | 英文 | 否 | ### 设计思路与迭代规划 **v1.0（当前）** - 核心框架 + 10+ 数据源 + 中文 NLP + Web 面板 **v1.1** - 新增抖音、微信公众号数据源 **v1.2** - 添加数据可视化图表（趋势折线图、情感分布饼图） **v2.0** - REST API 服务模式、Docker 部署、多用户支持 ### 打包与部署 # 使用 pip 安装 pip install git+https://github.com/gitstq/InsightPulse.git # 或从源码安装 git clone https://github.com/gitstq/InsightPulse.git cd InsightPulse pip install -e . # 运行测试 pytest tests/ -v ### 开源协议 本项目采用 [MIT 协议](LICENSE) 开源。 ## English ### Introduction InsightPulse is a lightweight, zero-dependency cross-platform information aggregation tool supporting **10+ Chinese and global platforms**, with intelligent keyword extraction, sentiment analysis, trend tracking, and a built-in Web visualization panel. Inspired by [last30days-skill](https://github.com/mvanhorn/last30days-skill), but fully independently developed with a focus on **deep Chinese platform integration** and **fully standalone operation** (no external AI Agent host required). ### Core Features - **10+ Data Sources** - Zhihu, Weibo, Bilibili, Xiaohongshu, V2EX, Douban, GitHub, Hacker News, Reddit, Xueqiu - **Zero External Dependencies** - Pure Python standard library, no third-party packages needed - **Chinese NLP** - Keyword extraction, sentiment analysis, text summarization, language detection - **Parallel Search** - Concurrent multi-source fetching for maximum speed - **Trend Tracking** - SQLite persistent storage with historical trend comparison - **Web Dashboard** - Built-in visualization UI accessible via browser - **Multi-format Output** - Terminal Rich, JSON, Markdown, HTML - **Smart Scoring** - Composite ranking based on relevance, engagement, and time decay - **Caching System** - Automatic result caching to avoid duplicate requests - **Cross-platform** - Windows / macOS / Linux compatible ### Quick Start git clone https://github.com/gitstq/InsightPulse.git cd InsightPulse pip install -e . # Search across all platforms insightpulse search "AI models" # Search specific sources insightpulse search "Rust" --sources github,hackernews --days 7 # Generate HTML report insightpulse report "electric vehicles" --output report.html # Track trends insightpulse trend "ChatGPT" --days 30 # Launch Web dashboard insightpulse serve --port 8080 ### Supported Data Sources | Source | Type | Language | Config Required | |--------|------|----------|----------------| | Zhihu | Knowledge Q&A | Chinese | No | | Weibo | Social Media | Chinese | No | | Bilibili | Video Platform | Chinese | No | | Xiaohongshu | Lifestyle | Chinese | No | | V2EX | Tech Community | Chinese | No | | Douban | Books/Movies | Chinese | No | | Xueqiu | Finance | Chinese | No | | GitHub | Code Hosting | English | No | | Hacker News | Tech News | English | No | | Reddit | Forum | English | No | ### Roadmap **v1.0 (Current)** - Core framework + 10+ sources + Chinese NLP + Web UI **v1.1** - Add Douyin, WeChat Official Account sources **v1.2** - Data visualization charts (trend lines, sentiment pie charts) **v2.0** - REST API mode, Docker deployment, multi-user support ### License This project is licensed under the [MIT License](LICENSE). ## 繁體中文 ### 專案介紹 InsightPulse 是一個輕量級、零外部依賴的跨平台資訊聚合工具，支援 **10+ 個中國和全球主流平台**，提供智慧關鍵字提取、情感分析、趨勢追蹤和 Web 可視化面板。 靈感來源於 [last30days-skill](https://github.com/mvanhorn/last30days-skill)，但完全獨立自研，差異化聚焦於 **中國平台深度整合** 和 **完全獨立運行**（無需任何外部 AI Agent 宿主）。 ### 核心特性 - **10+ 資料源** - 知乎、微博、B站、小紅書、V2EX、豆瓣、GitHub、Hacker News、Reddit、雪球 - **零外部依賴** - 純 Python 標準庫實現 - **中文 NLP** - 關鍵字提取、情感分析、文本摘要、語言檢測 - **並行搜索** - 多資料源並發抓取 - **趨勢追蹤** - SQLite 持久化存儲 - **Web 面板** - 內建可視化 Web UI - **多格式輸出** - 終端 Rich、JSON、Markdown、HTML - **智慧評分** - 基於相關度、互動數據、時間衰減的綜合排序 - **快取系統** - 自動快取搜索結果 - **跨平台** - Windows / macOS / Linux 全平台兼容 ### 快速開始 git clone https://github.com/gitstq/InsightPulse.git cd InsightPulse pip install -e . # 搜索關鍵字 insightpulse search "AI大模型" # 生成 HTML 報告 insightpulse report "新能源車" --output report.html # 追蹤趨勢 insightpulse trend "ChatGPT" --days 30 # 啟動 Web 面板 insightpulse serve --port 8080 ### 開源協議 本專案採用 [MIT 協議](LICENSE) 開源。

标签：Linux安全, Python, URL抓取, 中文NLP, 信息聚合, 数据抓取, 文档结构分析, 无后门, 趋势分析, 逆向工具