FiveDirections/OpTC-data

# 操作透明网络 (OpTC) 数据发布 ## 免责声明 DARPA 在公有领域发布这些文件以促进进一步的研究。此发布并不意味着有义务或意愿支持该领域的额外工作。数据按“原样”发布。DARPA 对发布数据的正确性、准确性或实用性不作任何保证。事实上，由于该数据是由研究原型产生的，因此几乎可以肯定它是不完美的。尽管如此，由于这些数据代表了非常庞大的语义丰富且结构化的数据存储库，DARPA 认为将其免费公开符合国防部和研究界的最佳利益。 ## OpTC 概述 操作透明网络 (OpTC) 是一项技术转化试点研究，由 Boston Fusion Corp. 的企业系统网络 APT 场景 (CASES) 项目资助。其主要目标是确定 DARPA 透明计算 (TC) 项目的技术能否在不损失检测性能的情况下进行扩展，以解决美国运输司令部 (USTRANSCOM) 在政府 2019-2023 财年联合部署分发企业 (JDDE) 招标书中确定的网络防御能力差距。Boston Fusion 与来自 TC 项目的两个执行方（提供端点遥测 (TA1) 的 Five Directions 和提供数据分析 (TA2) 的 BAE）合作，将其系统从两台机器扩展到一千台机器。OpTC 团队在 2019 年秋季进行了扩展和检测测试。最初不属于 TC 项目的第三方执行方 作为红队和测试协调员。此数据集代表了该活动的一个子集。 OpTC 系统架构基于 TC 项目评估中使用的架构。Kafka 是一个开源流处理服务器，用于在系统组件之间传递信息。每个 Windows 10 端点都配备了一个端点传感器，用于监控主机事件，将它们打包成 JSON 记录，并发送给 Kafka。当这些记录流入 Kafka 时，转换服务器将它们聚合为名为 eCAR 格式的新数据记录，然后再推送回 Kafka。当转换服务器将 eCAR 记录推送到 Kafka 时，数据分析组件会将它们集成到图数据结构中以进行分析和可视化。 OpTC 采用了在 TC 项目测试中在两台主机上运行良好的 TC 系统组件，并将它们扩展到可处理一千台主机。这个扩展后的系统在一个高度仪表化的环境中进行了为期两周的评估，该集合中的数据包含了大约一 TB 的兼容压缩 JSON 格式的评估数据。评估首先进行了一段时期的正常记录生成，随后红队注入了恶意软件。在红队活动期间，正常流量持续运行。由于评估期间收集数据空间的限制，仅收集了五百台主机的数据，而不是全部一千台主机。 ## 数据收集 数据收集由 DARPA 大规模网络追踪 (CHASE) 项目资助。Five Directions 收集并对数据进行了后处理，以丰富数据集。 ## 文件清单和描述 * Ground Truth：文件 **OpTCRedTeamGroundTruth.pdf** 包含红队构建的 ground truth，以帮助指导评估。评估是在一个隔离的网络环境中进行的，因此数据中引用的所有 IP 地址和域名都是虚构的，分别与可路由的有效地址和主机名没有任何关系。 * eCAR：文件 **ecar.md** 解释了 eCAR 的历史和语法。 * 勘误：文件 **errata.md** 描述了数据存在的问题。 * 数据：由于数据集大小限制，它托管在 Google Drive 上，地址为 ，而不是这里。该数据集包含三个文件夹：**ecar-bro**、**ecar** 和 **bro**。 * ecar-bro：包含标注了 flow 的 bro-id 的 eCAR FLOW-START 事件，使人们能够在端点和网络数据之间进行切换。它有三个子文件夹：short、evaluation 和 benign。short 文件夹包含数据缺失的事件。evaluation 文件夹包含演练评估期间的数据，而 benign 文件夹包含演练正常收集期间的数据。 * ecar：包含演练中的端点数据，分为三个文件夹，类似于上面的 ecar-bro。 * bro：按日期包含来自 bro 传感器的数据。 分发 A：批准公开发布：分发不受限制

标签：AMSI绕过, Homebrew安装, Windows 10, 威胁检测, 端点检测与响应, 网络安全, 脱壳工具, 隐私保护