Billy1900/Awesome-AI-for-cybersecurity

# 网络安全领域的杰出 AI 应用 这是一个网络安全领域的 AI 列表，包括**网络**（网络流量分析和入侵检测）、**端点**（反恶意软件）、**应用**（WAF 或数据库防火墙）、**用户**（UBA）、**进程行为**（反欺诈）。 ## 1. 引言 首先，初学者应该了解机器学习任务及其应用。我写了一篇**[机器学习博客](https://github.com/Billy1900/Awesome-Machine-Learning)**，其中包含 CV (CNN, GAN)、RL、GNN 和 NLP。 此外，开发人员仍需要了解更多关于安全/网络安全的知识，这里有一份**[很棒的安全工具和知识列表。](security.md)** 然后，让我们转向网络安全领域的 AI。 第一个维度是目标或任务。根据 Gartner 的 PPDR 模型，所有安全任务可以分为五类： - 预测 - 预防 - 检测 - 响应 - 监控 第二个维度是技术层以及该维度的层级列表： - 网络（网络流量分析和入侵检测） - 端点（反恶意软件） - 应用（WAF 或数据库防火墙） - 用户 (UBA) - 进程行为（反欺诈） ## 2. 网络保护 网络安全中的机器学习意味着被称为网络流量分析 (NTA) 的新解决方案，旨在深入分析各层的所有流量并检测攻击和异常。 机器学习能在这里提供什么帮助？以下是一些示例： - 回归，用于预测网络数据包参数并将其与正常参数进行比较； - 分类，用于识别不同类别的网络攻击，例如扫描和欺骗； - 聚类，用于取证分析。 以下是一些研究论文： - [机器学习在入侵检测中的应用技术](https://arxiv.org/abs/1312.2177v2) - [网络异常检测技术综述](https://www.gta.ufrj.br/~alvarenga/files/CPE826/Ahmed2016-Survey.pdf) - [浅层与深层网络入侵检测系统：分类与综述](https://arxiv.org/abs/1701.02145v1) - [入侵检测系统设计技术、网络威胁与数据集的分类与综述](https://arxiv.org/pdf/1806.03517v1.pdf) ## 3. 端点保护 如果你在端点层处理机器学习，你的解决方案可能会因端点的类型（例如，工作站、服务器、容器、云实例、移动设备、PLC、IoT 设备）而异。 每个端点都有其自身的特殊性，但任务是共同的： - 回归，用于预测可执行进程的下一个系统调用，并将其与真实调用进行比较； - 分类，用于将程序划分为恶意软件、间谍软件和勒索软件等类别； - 聚类，用于安全电子邮件网关上的恶意软件保护（例如，将合法的文件附件与异常值分离开来）。 以下是一些值得关注的研究工作： - [浅层中的深度学习：面向非领域专家的恶意软件分类](https://arxiv.org/abs/1807.08265v1) - [通过读取整个 EXE 文件进行恶意软件检测](https://arxiv.org/pdf/1710.09435v1.pdf) ## 4. 应用安全 这里有 Web 应用程序、数据库、ERP 系统、SaaS 应用程序、微服务等。可以应用 WAF 或静态和动态代码分析来处理此问题。 以下是机器学习在应用安全方面可以做的事情示例： - 回归，用于检测 HTTP 请求中的异常（例如，XXE 和 SSRF 攻击以及身份验证绕过） - 分类，用于检测已知类型的攻击，如注入（SQLi、XSS、RCE 等） - 聚类用户活动以检测 DDOS 攻击和大规模漏洞利用 以下是一些值得关注的研究工作： - [在 Web 攻击中自适应检测恶意查询](https://arxiv.org/pdf/1701.07774.pdf) ## 5. 用户行为 与专注于常见攻击并可能训练分类器的恶意软件检测不同，用户行为是复杂的层面之一，属于无监督学习问题。 以下是公司借助机器学习解决的任务： - 回归，用于检测用户行为中的异常（例如，在异常时间登录） - 分类，用于将不同的用户分组以进行同组分析 - 聚类，用于区分不同的用户群体并检测异常值 以下是一些值得关注的研究工作： - [使用扩展隔离森林算法检测异常用户行为：企业案例研究](https://arxiv.org/abs/1609.06676) ## 6. 进程行为（欺诈检测） 在处理进程行为时，必须了解业务流程才能发现异常。业务流程可能会有很大差异。你可以在银行和零售系统中寻找欺诈行为，或者在制造业的车间寻找异常。 通常，以下是流程领域的一些任务示例： - 回归，用于预测用户的下一个动作并检测信用卡欺诈等异常值； - 分类，用于检测已知类型的欺诈； - 聚类，用于比较业务流程并检测异常值。 监控组件提供行为日志——即在流程执行期间发生的系统事件序列以及相应的参数。为了在观察到的日志数据中检测恶意活动，我们的模型将获得的事件序列压缩为一组二进制向量，并训练深度神经网络来区分正常日志和恶意日志。 以下是一些值得关注的研究工作： - [信用卡欺诈检测技术综述：面向数据与技术的视角](https://arxiv.org/abs/1611.06439v1) - [异常检测；工业控制系统；卷积神经网络](https://arxiv.org/abs/1806.08110v1) ## 7. 入侵检测和防御系统 (IDS/IPS) 这些系统检测恶意的网络活动，防止入侵者访问系统并向用户发出警报。通常，它们通过已知的签名和常见的攻击形式来识别威胁。这对于防范数据泄露等威胁非常有用。 传统上，这项任务由机器学习算法执行。然而，这些算法会导致系统产生大量误报，给安全团队带来繁琐的工作，并造成不必要的疲劳。 可以应用深度学习、卷积神经网络和循环神经网络 (RNN) 来创建更智能的 IDS/IPS 系统，通过更准确地分析流量，减少错误警报的数量，并帮助安全团队区分恶意的和正常的网络活动。 著名的解决方案包括下一代防火墙 (NGFW)、Web 应用防火墙 (WAF) 以及用户实体和行为分析 (UEBA)。 ## 9. AI 安全智能体 - [EnigmAgent](https://github.com/Agnuxo1/EnigmAgent) — 面向研究基础设施的 AI 安全智能体（渗透测试 + 蓝队 + CTF）。拥有 14 种以上的专业化智能体角色（科学家、渗透测试人员、SOC 分析师、取证调查员），并可通过 Docker Compose 进行零配置部署。 ### 8.1 书籍 - [AI for Cybersecurity by Cylance(2017)](https://www.blackberry.com/us/en/forms/cylance/gated-content/introduction-to-ai-book?_ga=2.89683291.1595385041.1538052662-139740503.1538052662) - [Machine Learning and Security](https://www.oreilly.com/library/view/machine-learning-and/9781491979891/) - [Mastering Machine Learning for Penetration Testing](https://www.packtpub.com/product/mastering-machine-learning-for-penetration-testing/9781788997409) - [Malware Data Science](https://nostarch.com/malwaredatascience) - [AI for Cybersecurity: A Handbook of Use Cases](https://psucybersecuritylab.github.io/) ### 8.2 综述论文 - [Deep Learning Algorithms for Cybersecurity Applications: A Technological and Status Review](https://www.sciencedirect.com/science/article/pii/S1574013720304172) - [Machine Learning and Cybersecurity Hype and Reality](https://cset.georgetown.edu/publication/machine-learning-and-cybersecurity/)

标签：AI安全, Apex, AppImage, Chat Copilot, DNS枚举, IP 地址批量处理, PPDR模型, UBA, WAF, Web应用防火墙, 人工智能, 分类算法, 反恶意软件, 反欺诈, 回归分析, 图神经网络, 安全模型, 安全资源列表, 异常检测, 强化学习, 插件系统, 数据库防火墙, 机器学习, 机器学习应用, 深度学习, 用户模式Hook绕过, 用户行为分析, 端点安全, 网络安全, 网络安全工具, 网络流量分析, 网络防护, 聚类分析, 补丁管理, 计算机视觉, 请求拦截, 过程行为分析, 逆向工具, 隐私保护