m-maximuz/TEXT-OSINT-AI

# Text-OSINT-AI 该模型基于 Llama 3.2 3B 进行了 fine-tuned，旨在执行 Text OSINT 任务。它是专为 Red Team 分析师打造的，核心目标是让模型**学会拒绝回答其缺乏相关信息的问题**。 **模型：** [`Maximuz23/Text-OSINT`](https://huggingface.co/Maximuz23/Text-OSINT) ## 与其他模型的不同之处：能够拒绝回答模型本身不具备的信息 该模型的亮点在于，它被训练成能够**拒绝提供信息**，而不是像其他模型那样凭空捏造。 **测试提示词：** *"Profile threat actor APT-Lyrebird-77."* （这是一个虚构的名称，已验证不存在于训练数据中） | 模型 | 输出 | |---|---| | Base Llama 3.2 3B | 凭空捏造了将其归因于中国 MSS 61398 部队，并包含了一个自定义的 "Lyrebird" 后门。纯属虚构，没有任何声明或保留。 | | **This fine-tune** | "I don't have reliable information on this threat actor. The identifier may be a typo or unrecognized alias…" | 这对于 Red Team 来说是完全可以接受的，因为这可以防止 Red Team 的调查方向发生偏差。 这一能力是通过引入 **820 个由 Claude Opus 4.7 生成的、不使用固定模板的不确定性场景样本** 来实现的。这些场景涵盖了虚假的 CVE 编号、虚假的威胁组织名称、输入信息不足、实时数据请求、超出知识范围的问题以及模糊的提示词。每个示例的句型结构都经过了随机混合处理。 ## 局限性 这是模型的版本 1，在计划的 1,500 步中仅训练了 500 步。以下是在 smoke tests（冒烟测试）期间观察到的局限性，我将其记录下来，以便所有对该模型进行评估的人都能了解其目前尚未完善的功能。 1. **逐字提取 IOC 信息的可靠性不足**：模型有时会修改输入的 Domain/URL，而不是精确地原样复制。例如，发现：airdrop-update[.]com 变成了 airdrop/update[.]com，或者 .com 变成了 .cm。这个问题部分源于 3B 模型规模的限制，另一部分则在于训练数据集的比例（模板的特征是“外观看起来像 IOC”，而不是“直接复制”）。 2. **虚构 Hash 值**：在一个测试提示词中，模型自己生成了 SHA 值，而输入数据中并没有提供这些值。在训练集中，我已经让模型学会了拒绝虚假的 CVE 编号和攻击者组织名称，但尚未将虚假的 Hash 值包含在内。 3. **CVE 分析能力比基础模型有所下降**：模型对真实存在的 CVE 编号过于谨慎（模型会回答“未分类”或“请自行检查 CVSS 评分”，而不是提供有关该漏洞利用的分析）。这 820 个关于不确定性的训练数据过于强烈，导致拒绝回答的行为过度泛化，蔓延到了模型本就掌握的知识上。 4. **训练未按计划完成**：在总计 102K 条数据中，模型仅训练了约 0.2 个 epochs，而非原计划的 1 个 epoch。然而，即使增加训练步数也无法解决上述 1-3 的问题（因为这些问题源于训练数据的比例，而非训练步数）。 版本 1 是作为验证特性的 checkpoint 发布的，还不能作为 OSINT 助手使用。 ## 数据集 数据集共计 114,403 条记录，分为 102,962 条用于训练 / 5,674 条用于验证 / 5,679 条用于测试（差值的 88 条是由于在 train/valid/test 集之间存在重复数据）。数据收集自 22 个来源，涵盖 threat intel（威胁情报）、漏洞数据库、Red Team 操作流程、security discourse（安全领域的知识交流与对话）以及 synthetic uncertainty（合成的不确定性场景）。 | 来源 | 记录数 (清理后) | |---|---:| | Exploit-DB | 19,199 | | HF Fenrir v2.0 (downsampled) | 18,943 | | NVD/MITRE CVE (downsampled) | 18,296 | | AlienVault OTX | 8,288 | | HF CTI (mrmoor) | 7,537 | | GitHub Security Advisories | 5,480 | | arXiv cs.CR | 5,008 | | HF Hacker News (security subset) | 4,986 | | ThreatFox | 4,366 | | MISP Galaxy | 3,761 | | Telegram security channels | 3,331 | | Loghub (SSH/Linux/Apache) | 3,223 | | Wikipedia (security articles) | 2,858 | | MITRE ATT&CK | 2,212 | | HF Cybersecurity v1 | 1,889 | | Atomic Red Team | 1,500 | | CISA KEV | 1,396 | | abuse.ch URLhaus | 1,133 | | **Synthetic uncertainty** | **820** | | BleepingComputer | 110 | | VirusTotal community | 43 | | Mandiant Blog / SANS ISC | 24 (20 + 4, collectors partly broken) | 数据集比例：81.1% 来自人工数据源，18.2% 为 AI 生成数据（Hugging Face 数据集 — Fenrir v2.0 + Cyber v1），0.7% 为由 Claude Opus 4.7 生成的不确定性场景样本。 ## 许可证 MIT — 请见 [`LICENSE`](LICENSE)。 ## 使用目的 该模型仅专为**已获授权**的 Red Team 设计，包括威胁情报分析、渗透测试以及安全研究。该模型不可用于未经授权的攻击或任何恶意目的。所有的训练数据均来源于公开的威胁情报源和 openly licensed datasets（开放授权的数据集）。

标签：DLL 劫持, ESC4, IOC提取, IP 地址批量处理, Llama 3.2, NLP, OSINT, 人工智能, 大语言模型, 威胁情报, 威胁行为者画像, 开发者工具, 微调模型, 数据展示, 文本分析, 深度学习, 用户模式Hook绕过, 红队, 缓解幻觉, 网络安全, 逆向工具, 防御分析, 隐私保护