gs-ai/SYNINT

 # SYNINT v3 SYNINT 是一个本地优先的 OSINT 调查框架，具有阶段化执行、可插拔的采集引擎、集中的证据/实体注册表以及结构化的导出报告。 ## 发布快照 - 完整代理套件：46 个代理（来自 `agents.AGENT_ORDER` 的规范顺序） - 执行模型： - 并发运行全部（默认） - 分阶段流水线（`quick`、`standard`、`deep`） - 采集模式： - `low_noise` - `balanced` - `stealth` - `deep_browser` - 每次运行生成的报告输出： - `synint.log` - `synint_report.json` - `synint_report.html` - `collection_artifacts/` - 调查导出包（`summary.json`、`report.md` 及相关文件） - 通过 `synint_paths.py` 以项目根目录为锚点处理路径，确保输出行为一致。 ## 发行说明（v3.0.0 - 2026 年 4 月 12 日） - 针对 SYNINT v3 的主要框架刷新，采用阶段化流水线编排与并发运行全部执行。 - 扩展情报覆盖至 46 个代理，涵盖采集、实体解析、历史记录、媒体取证、基础设施转向与合成/导出。 - 新增多引擎采集器抽象，支持在 `StaticHttp`、`Scrapling`、`Scrapy` 和 `Camoufox` 之间进行优雅降级。 - 改进报告生成，提供每次运行的构件目录与结构化导出包（`summary.json`、`evidence_register.csv`、`report.md`、图/时间线/线索 JSON）。 - 使用项目根目录锚定路径（`synint_paths.py`）强化运行时路径行为，确保从不同工作目录可靠输出。 - 刷新文档与发布打包，提升入门体验与发布准备度。 完整可发布的发行文本：[RELEASE_NOTES_v3.0.0.md](RELEASE_NOTES_v3.0.0.md) ## 安装 ``` python3 -m venv .venv source .venv/bin/activate pip install -r requirements.txt ``` ## 快速开始 从项目根目录运行： ``` python3 main.py https://target.tld ``` 列出可用代理： ``` python3 main.py --list-agents ``` 运行特定代理： ``` python3 main.py https://target.tld --agents WhoisAgent,DNSEnumAgent ``` 排除特定代理： ``` python3 main.py https://target.tld --exclude-agents IDSAgent,MITMAgent ``` ## 流水线执行 标准阶段化流水线： ``` python3 main.py https://target.tld --pipeline --pipeline-mode standard ``` 快速配置： ``` python3 main.py https://target.tld --pipeline --pipeline-mode quick ``` 深度配置： ``` python3 main.py https://target.tld --pipeline --pipeline-mode deep ``` 显式设置采集模式： ``` python3 main.py https://target.tld --pipeline --pipeline-mode deep --collection-mode stealth ``` ## 运行时调节 全局优先选择采集器： ``` SYNINT_PREFER_COLLECTOR=scrapling python3 main.py https://target.tld ``` 调整 Wayback 请求范围： ``` SYNINT_WAYMORE_LIMIT_REQUESTS=40 SYNINT_WAYMORE_TIMEOUT=240 python3 main.py https://target.tld ``` 兼容模式（与默认并发运行行为相同）： ``` python3 main.py https://target.tld --legacy-run-all ``` ## 报告与构件 每次运行写入至： - `reports//` 每次运行的文件： - `synint.log` - `synint_report.json` - `synint_report.html` - `collection_artifacts/` - `raw_html/` - `rendered_html/` - `screenshots/` - `headers/` - `response_meta/` - `extracted_text/` - `downloads/` `ReportBuilderAgent` 还会将调查导出（例如 `summary.json`、`evidence_register.csv`、`report.md`）写入运行目录。 ## 采集引擎 - `StaticHttpCollector`：默认有界 HTTP 采集器。 - `ScraplingCollector`（可选）：安装后提供结构化 HTML 解析。 - `ScrapyCollector`（可选）：支持回退行为的 Scrapy 兼容爬取路径。 - `CamoufoxCollector`（可选）：在运行时可用时提供隐身/浏览器能力采集。 缺失的可选引擎会在不中断运行的情况下优雅降级。 ## 代理目录（总计 46 个） ### 核心 OSINT 代理 | 代理 | 提供能力 | |---|---| | `CybintAgent` | 目标的基础网络与安全头侦察。 | | `SocialMediaAgent` | 主流社交平台上的公开资料与句柄发现。 | | `WhoisAgent` | WHOIS 查找解析，用于注册商与域名注册上下文。 | | `IDSAgent` | 基于类似 IDS 事件模式的本地异常检测。 | | `MITMAgent` | 流量关系映射与可疑中间路径信号。 | | `SIEMAgent` | SIEM 风格事件聚类与关联活动分组。 | | `TechIntAgent` | 目标系统基础设施与技术暴露画像。 | | `ThreatAnalyzerAgent` | 跨输出结果的综合风险合成、矛盾与线索。 | | `DNSEnumAgent` | DNS 记录枚举与基础子域名姿态检查。 | | `EmailHarvestAgent` | 候选邮件工件生成与评分。 | | `MetadataExtractionAgent` | 文件元数据提取、哈希与可疑命名指示。 | | `GitHubIntelAgent` | GitHub 目标上下文增强，用于用户/仓库情报。 | | `SSLCertAnalysisAgent` | 证书元数据分析、信任提示与过期风险检查。 | | `IPReputationAgent` | IP 姿态分类与本地网络上下文信号。 | | `DarkWebMonitorAgent` | 本地优先的泄露/暗网风格指标匹配脚手架。 | | `WaybackAnalysisAgent` | 通过本地 `waymore` 集成实现历史 URL 发现。 | | `JobPostingIntelAgent` | 从招聘文本中提取能力与信号。 | | `PortfolioMappingAgent` | 基于域名与命名关系映射相关资产。 | | `BlockchainIntelAgent` | 区块链地址工件检测与链提示。 | | `PhishingDetectionAgent` | 错拼/排列与钓鱼风格词汇风险评分。 | ### 采集代理 | 代理 | 提供能力 | |---|---| | `WebCrawlerAgent` | 带链接图谱、表单、联系人与工件的受限爬取。 | | `DocumentIngestAgent` | 本地/下载文档的文本提取与实体解析。 | | `ArchiveFileDiscoveryAgent` | 敏感归档/备份文件路径探测。 | | `DirectoryBruteAgent` | 精心编排的路径探测，用于暴露管理/登录/API/配置端点。 | | `SearchEngineDiscoveryAgent` | 从本地搜索导出/语料库解析索引情报。 | ### 实体与身份代理 | 代理 | 提供能力 | |---|---| | `ContactDiscoveryAgent` | 联系工件归一化（邮件、电话、地址、页面）。 | | `UsernameCorrelationAgent` | 用户名变体生成与重用关联。 | | `PersonProfileAgent` | 基于别名与源工件的个人资料组装。 | | `EntityResolutionAgent` | 确定性的去重与置信度加权的实体合并。 | | `RelationshipGraphAgent` | 支持源可追溯性的图就绪节点/边构造。 | ### 时间线与历史代理 | 代理 | 提供能力 | |---|---| | `TimelineReconstructionAgent` | 将时间戳归一化为调查时间线。 | | `HistoricalDNSAgent` | 基于本地快照的当前与历史 DNS 姿态对比。 | | `DomainRegistrationPatternAgent` | 注册商/TLD/年龄模式分析，用于战役类相似性。 | ### 文件与媒体代理 | 代理 | 提供能力 | |---|---| | `OCRIngestAgent` | 在 OCR 工具可用时提取图像中的文本。 | | `ImageForensicsAgent` | 图像指纹、EXIF 提取与轻量级取证标志。 | | `TranscriptExtractionAgent` | 解析转录文本以获取实体、矛盾与升级线索。 | | `FileRelationshipAgent` | 通过哈希、元数据、命名与提取实体进行跨文件关联。 | ### 基础设施与转向代理 | 代理 | 提供能力 | |---|---| | `HostFingerprintAgent` | 确定性的主机指纹与证书/SAN 转向提示。 | | `ServiceBannerAgent` | 在选定网络服务上的受限标幅收集。 | | `CertificatePivotAgent` | 基于证书 CN/SAN 的相关域名假设转向。 | |ContentSimilarityAgent` | 收集资产间的内容/模板相似性聚类。 | | `InfrastructureClusterAgent` | 基于证据的基础设施聚类与明确原因代码。 | ### 合成与导出代理 | 代理 | 提供能力 | |---|---| | `EvidenceScoringAgent` | 证据分级与置信度归一化。 | | `ContradictionDetectionAgent` | 跨来源矛盾检测与引用友好输出。 | | `LeadGenerationAgent` | 优先级的下一步调查线索生成。 | | `ReportBuilderAgent` | 最终 Markdown/JSON/CSV 导出包生成。 | ## 测试 运行本地测试套件： ``` python3 -m unittest discover -s tests -p 'test_*.py' ``` ## 法律与操作说明 仅对已获授权的目标运行 SYNINT。采集行为应适配合法范围、政策与参与规则。

标签：Camoufox, DInvoke, ESC4, ETW劫持, OSINT, PyRIT, Scrapling, Scrapy, SEO, 低噪声, 发布文档, 可扩展代理, 合成导出, 基础设施跃迁, 多智能体系统, 媒体取证, 实体解析, 平衡模式, 并发执行, 快速启动, 情报收集, 情报覆盖, 插件式采集引擎, 无API依赖, 日志记录, 本地优先, 模块化框架, 流水线执行, 深度浏览器, 漏洞研究, 结构化导出, 自动化情报, 证据注册表, 路径管理, 逆向工具, 隐蔽模式, 集中式注册表, 静态HTTP, 项目根路径