tripleyak/signalsweep
GitHub: tripleyak/signalsweep
一个整合 20+ 数据源的研究工具,通过聚合 Reddit、X、YouTube、Polymarket 等平台的公开讨论和互动数据,帮助用户快速获取任何主题的综合情报。
Stars: 1 | Forks: 0
# signalsweep
**扫描 20+ 数据源。提炼信号。过滤噪音。**
signalsweep 是一个 Claude Code 技能,可研究任何主题,覆盖 20+ 数据源——找出人们实际在点赞、分享、下注的内容,以及在镜头前说的话——并提供有真实引用支撑的叙述。
### 数据源
| 类别 | 来源 | 获得内容 |
|----------|---------|-------------|
| **社交** | Reddit(帖子+评论)、X/Twitter、Bluesky、Threads、Truth Social | 社区讨论、病毒式帖子、实时反应 |
| **视频** | YouTube(搜索+字幕)、TikTok、Instagram Reels | 创作者内容、教程、带字幕的热门视频 |
| **开发者** | GitHub(仓库+issues)、Stack Overflow、Hacker News | 代码仓库、技术问答、开发者社区信号 |
| **专业** | LinkedIn、Medium、Substack(RSS) | 专业讨论、博客文章、通讯内容 |
| **发现** | Product Hunt、Podcasts(通过 Taddy) | 新产品发布、音频内容和剧集 |
| **市场** | Polymarket | 预测市场赔率——真金白银赌结果 |
| **网页** | Exa、Brave Search、Parallel AI、OpenRouter/Perplexity | 博客、新闻、文档、教程——语义搜索和传统搜索 |
```
/signalsweep [topic]
```
每个主题都变化很快。signalsweep 让你保持最新。
## 安装
### Claude Code(推荐)
```
git clone https://github.com/tripleyak/signalsweep.git ~/.claude/skills/signalsweep
```
### OpenAI Codex CLI
```
git clone https://github.com/tripleyak/signalsweep.git ~/.agents/skills/signalsweep
```
### Gemini CLI
```
gemini extensions install https://github.com/tripleyak/signalsweep.git
```
### Open Claw / 常驻机器人
```
git clone https://github.com/tripleyak/signalsweep.git ~/.claude/skills/signalsweep
cp ~/.claude/skills/signalsweep/variants/open/SKILL.md ~/.claude/skills/signalsweep/SKILL.md
```
开放版本增加了监视列表、简报和历史功能。参见下面的[监视列表模式](#watchlist-mode-for-always-on-bots)。
### 其他 AI 代理
signalsweep 是一个带有标准 `SKILL.md` 接口的 Python 技能。克隆到你的代理的技能目录中:
```
git clone https://github.com/tripleyak/signalsweep.git /path/to/your/agent/skills/signalsweep
```
适用于任何支持技能文件的代理——Paperclip、Hermes、Pi,或你自己的自定义设置。技能定义在 `SKILL.md` 中,引擎在 `scripts/signalsweep.py` 中。
就是这样。Reddit、Hacker News 和 Polymarket 零配置即可直接使用。运行 `/signalsweep setup` 解锁更多数据源。
## 功能
1. **研究** — 扫描 20+ 数据源,获取过去 30 天的讨论
2. **综合** — 识别模式、最佳实践和真正有效的方法
3. **交付** — 为你撰写有真实引用支撑的专业简报,或为任何工具提供可复制粘贴的提示词
### 用途:
- **提示词研究** — "ChatGPT 中哪些提示技巧对法律问题有效?"
- **工具最佳实践** — "人们如何在 Claude Code 中使用 Remotion?"
- **趋势发现** — "现在最好的说唱歌曲有哪些?"
- **产品研究** — "人们对新的 M4 MacBook 有什么看法?"
- **预测市场** — "Anthropic IPO 的赔率是多少?"
- **时事** — "Kanye West 那边发生了什么?"
## 设置:渐进式数据源解锁
立即开始使用 signalsweep。在想要更好结果时添加数据源。所有配置放在 `~/.config/signalsweep/.env` 中。
### 层级 1:零配置(7 个数据源)—— 安装即用
这些无需 API 密钥、无需配置即可直接使用:
| 数据源 | 搜索内容 | 运作方式 |
|--------|-----------------|--------------|
| **Reddit** | 帖子(无评论) | 公共 JSON API |
| **Hacker News** | 故事、Show HN、Ask HN | Algolia 搜索 API |
| **Polymarket** | 带实时赔率的预测市场 | Gamma API |
| **GitHub** | 仓库、issues、PR | GitHub 搜索 API |
| **Stack Overflow** | 技术问答 | Stack Exchange API(每天 300 请求) |
| **Medium** | 按标签搜索博客文章 | 公共 RSS 订阅源 |
| **Substack** | 通讯文章 | Substack 搜索 API |
### 层级 2:运行设置向导(10+ 数据源)—— 30 秒
```
/signalsweep setup
```
设置向导解锁这些额外的免费数据源:
| 数据源 | 解锁内容 | 设置方式 |
|--------|----------------|-----------------|
| **X/Twitter** | 帖子、点赞、转推、句柄解析 | 从 Chrome/Firefox/Safari 自动提取登录 cookie。仅读取 x.com cookie,永不保存到磁盘。 |
| **YouTube** | 视频搜索+完整字幕 | 检查 yt-dlp。如未找到,使用 `brew install yt-dlp` 安装。免费开源,GitHub 星标 19 万+。 |
| **Podcasts** | 跨所有平台的剧集搜索 | Taddy API,免费,无需认证。设置后自动启用。 |
**替代 X/Twitter 设置**(如果你不想使用浏览器 cookie):
```
# 选项 A:手动粘贴您的 X Cookie(F12 → Application → Cookies on x.com)
AUTH_TOKEN=your_auth_token_here
CT0=your_ct0_here
# 选项 B:使用 xAI/Grok API 密钥代替
XAI_API_KEY=your_xai_key_here
```
### 层级 3:添加 ScrapeCreators(15+ 数据源)—— 最有影响力
**这一个密钥解锁 5 个数据源。** Reddit 评论是最尖锐的洞察所在——最高票回复的内容往往比帖子本身更好。ScrapeCreators 还支持 TikTok、Instagram、Threads 和 LinkedIn。
1. 在 [scrapecreators.com](https://scrapecreators.com) 注册——100 次免费 API 调用,无需信用卡
2. 添加到你的配置:
```
# 添加到 ~/.config/signalsweep/.env
SCRAPECREATORS_API_KEY=your_key_here
```
| 数据源 | 解锁内容 | 备注 |
|--------|----------------|-------|
| **Reddit 评论** | 带点赞数的最高票回复 | 最有价值的升级。评论往往比帖子有更尖锐的洞察。 |
| **TikTok** | 带观看量、点赞、字幕的病毒视频 | 热门创作者内容和短视频信号。 |
| **Instagram** | 带观看量、点赞、字幕的 Reels | 网红和创作者视角。 |
| **Threads** | 带互动指标的帖子 | Meta 的文字平台——专业和休闲讨论。 |
| **LinkedIn** | 带点赞、评论的专业帖子 | 职业、行业和专业讨论。 |
*signalsweep 不从任何 API 提供商获取任何收入——没有推荐费,没有回扣。*
### 层级 4:添加 Bluesky(免费——应用密码)
1. 前往 [bsky.app/settings/app-passwords](https://bsky.app/settings/app-passwords)
2. 创建新的应用密码
3. 添加到你的配置:
```
# 添加到 ~/.config/signalsweep/.env
BSKY_HANDLE=you.bsky.social
BSKY_APP_PASSWORD=xxxx-xxxx-xxxx
```
### 层级 5:添加 Product Hunt(免费——开发者令牌)
1. 在 [api.producthunt.com/v2/oauth/applications]( 纯文本——将提示词格式化为 JSON 对象,包含 subject、composition、lighting、camera、style 键
2. 五要素公式——主体 + 构图 + 动作 + 场景 + 风格
3. 将主体分离为独立对象——多角色场景需要每个人在自己的 JSON 块中
4. 使用相机/镜头元数据——光圈、焦距、ISO、胶片用于写实风格
5. 最多 14 张参考图——最多输入 14 张参考图以保持品牌/角色一致性
**研究统计:** 8 个 Reddit 帖子(455 点赞)+ 31 条 X 帖子(183 点赞,68 转推)
signalsweep 发现 **JSON 提示词主导** 社区(而非纯文本),然后一次性应用该格式生成提示词。研究来自真实创作者和 Reddit 帖子——官方文档中找不到的技巧。
signalsweep 发现 **你不知道存在的病毒趋势**——"狗像人"现象,拥有 600-900+ 点赞的帖子——然后根据社区验证有效的方法生成提示词。
### 开发者工作流发现
**查询:** `/signalsweep how do I use Codex with Claude Code on same app`
signalsweep 发现 **新兴的开发者工作流**——社区开发的真实模式,用于组合 AI 工具,这些在官方文档中找不到。
## 工作原理
### 两阶段搜索架构
**阶段 1:广泛发现**
- 并行搜索所有已启用的数据源(Reddit、X、YouTube、HN、Polymarket、GitHub、SO、PH、博客、LinkedIn 等)
- Reddit JSON 丰富以获取真实互动指标(点赞、评论)
- 综合评分:相关性、相关性、互动、跨平台聚合
**阶段 2:智能补充搜索**
- 从阶段 1 结果中提取实体:X 帖子的 @句柄、Reddit 的子版块名称
- 运行有针对性的后续搜索:X 上的 `from:@handle topic`、Reddit 上的子版块范围搜索
- 与阶段 1 结果合并和去重
- `--quick` 时跳过以提速;`--deep` 时扩展
### 多信号评分管道
每个结果都经过:
- **文本相似度** — 双向子字符串匹配,同义词扩展
- **互动标准化** — 500 点赞的 Reddit 帖子和 5000 点赞的 X 帖子同等比较
- **跨平台聚合** — 当同一故事出现在多个平台时,会被标记
- **Polymarket 五因素综合** — 文本相关性、24 小时交易量、流动性、价格变动速度、结果竞争性
- **X 句柄解析** — 解析句柄并直接搜索他们的帖子,捕捉病毒内容关键词搜索遗漏的内容
### 模型回退链
Reddit 搜索(通过 OpenAI)自动回退到可用模型:
`gpt-4.1 -> gpt-4o -> gpt-4o-mini`
## 监视列表模式(用于常驻机器人)
**专为 [Open Claw](https://github.com/openclaw/openclaw) 和类似的常驻 AI 环境设计。** 将你的竞争对手、特定人物或任何主题添加到监视列表。当与 cron 作业或常驻机器人配对时,signalsweep 按计划重新研究它们,并在本地 SQLite 数据库中积累发现。
```
# 启用开放变体
cp variants/open/SKILL.md ~/.claude/skills/signalsweep/SKILL.md
# 将主题添加到您的关注列表
signalsweep watch my biggest competitor every week
signalsweep watch AI video tools monthly
# 手动运行研究(或让您的机器人的 cron 处理)
signalsweep run all my watched topics
```
监视列表将计划存储为元数据,但没有任何东西自动触发运行。你需要一个外部调度器(cron、launchd 或常驻机器人)来按计时器调用 `watchlist.py run-all`。
## 要求
- **Python 3** — 用于研究引擎
- **Node.js 22+** — 用于 X 搜索(捆绑的 Twitter GraphQL 客户端)
- **yt-dlp**(推荐)— 用于 YouTube 搜索。通过 `brew install yt-dlp` 或 `pip install yt-dlp` 安装
无需 API 密钥即可开始。Reddit、Hacker News 和 Polymarket 开箱即用。
## 故障排除
### mac:SSL 证书验证失败
如果你看到 `[SSL: CERTIFICATE_VERIFY_FAILED]`,你的 Python 安装缺少 SSL 根证书。这只影响从 python.org 安装的 Python——**Homebrew 用户不受影响**。
```
# 修复:运行证书安装程序(根据需要调整版本)
sudo "/Applications/Python 3.12/Install Certificates.command"
```
## 安全与隐私
### 离开你机器的数据
| 目的地 | 发送的数据 | 需要 API 密钥 |
|------------|-----------|-----------------|
| `api.scrapecreators.com` | 搜索查询(Reddit、TikTok、Instagram、Threads、LinkedIn) | SCRAPECREATORS_API_KEY |
| `api.openai.com` | 搜索查询(传统 Reddit 回退) | OPENAI_API_KEY |
| `reddit.com` | 帖子 URL 用于丰富 | 无(公共 JSON) |
| Twitter GraphQL / `api.x.ai` | 搜索查询 | AUTH_TOKEN/CT0 或 XAI_API_KEY |
| `youtube.com`(通过 yt-dlp) | 搜索查询 + 字幕获取 | 无(公共搜索) |
| `api.github.com` | 搜索查询(仓库、issues) | 无(公共 API) |
| `api.stackexchange.com` | 搜索查询 | 无(公共 API,每天 300 请求) |
| `hn.algolia.com` | 搜索查询 | 无(公共 API) |
| `gamma-api.polymarket.com` | 搜索查询 | 无(公共 API) |
| `api.producthunt.com` | GraphQL 搜索查询 | PRODUCTHUNT_TOKEN |
| `medium.com` | RSS 订阅源请求 | 无(公共 RSS) |
| `substack.com` | 搜索查询 | 无(公共 API) |
| `taddy.org` | Podcast 搜索查询 | 无(公共 API) |
| `bsky.social` | 搜索查询 | BSKY_HANDLE + BSKY_APP_PASSWORD |
| `truthsocial.com` | 搜索查询 | 浏览器 cookie |
| `api.exa.ai` | 搜索查询(可选) | EXA_API_KEY |
| `api.search.brave.com` | 搜索查询(可选) | BRAVE_API_KEY |
| `api.parallel.ai` | 搜索查询(可选) | PARALLEL_API_KEY |
| `openrouter.ai` | 搜索查询(可选) | OPENROUTER_API_KEY |
你的研究主题包含在所有出站 API 请求中。如果你研究敏感主题,请注意查询字符串会传输到上述 API 提供商。
### 本地存储的数据
- API 密钥:`~/.config/signalsweep/.env`(建议 chmod 600)
- 监视列表数据库:`~/.local/share/signalsweep/research.db`(SQLite)
- 自动保存的简报:`~/Documents/SignalSweep/`
### API 密钥隔离
每个 API 密钥仅传输到其各自的端点。你的 OpenAI 密钥永远不会发送到 xAI、Brave 或任何其他提供商。X 的浏览器 cookie 在本地读取,仅用于 Twitter GraphQL 请求。
## 致谢
signalsweep 是 [last30days-skill](https://github.com/mvanhorn/last30days-skill) 的一个分支,由 Matt Van Horn 创建,并得到开源社区的贡献。MIT 许可。
*20+ 数据源。一个命令。真实引用。零过时的提示词。*
标签:AI助手, API集成, Claude Code技能, Hacker News, LinkedIn, MITM代理, Petitpotam, Polymarket, Reddit, Twitter/X, YouTube, 信息检索, 内容聚合, 可观测性, 多源数据聚合, 威胁情报, 市场情报, 开发者工具, 研究工具, 社交媒体分析, 竞争情报, 自动化研究, 舆情分析, 趋势追踪, 逆向工具