man3kin3ko/awesome-adversarial-machine-learning

# 极佳的对抗性机器学习 [](https://awesome.re) 精选的绝佳机器学习安全资源列表。 另请参阅 [awesome-ml-for-cybersecurity](https://github.com/jivoi/awesome-ml-for-cybersecurity) 和 [权威的安全数据科学与机器学习指南](http://www.covert.io/the-definitive-security-datascience-and-machinelearning-guide/)。 - [极佳的对抗性机器学习](#awesome-adversarial-machine-learning-) - [术语](#terminology) - [威胁建模](#threat-modeling) - [控制指南](#controls-guidelines) - [案例研究](#case-studies) - [基于领域的攻击](#attacks-based-on-domain) - [基于策略的攻击](#attacks-based-on-strategy) - [CTF 和黑客马拉松](#ctf-and-hackathons) - [框架](#frameworks) ## 术语 * [NIST：对抗性机器学习的分类和术语](https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269-draft.pdf) ## 威胁建模 * [ENISA：人工智能网络安全挑战](https://www.enisa.europa.eu/news/publications/artificial-intelligence-cybersecurity-challenges) * [MITRE：人工智能系统的对抗性威胁图谱](https://atlas.mitre.org/) * [攻击性 AI 对组织的威胁](https://arxiv.org/pdf/2106.15764.pdf) * [计算机视觉中深度学习的对抗性攻击威胁：综述](https://arxiv.org/abs/1801.00553) ## 控制指南 * [ENISA：保护机器学习算法安全](https://www.enisa.europa.eu/publications/securing-machine-learning-algorithms) * [AISecOps](https://github.com/oasiszrz/awesome-AISecOps) ## 案例研究 * [MITRE 关于现实环境中的报告](https://github.com/mitre/advmlthreatmatrix/blob/master/pages/case-studies-page.md#case-studies-page) * [Avito 利用对抗性攻击对抗内容窃取](https://habr.com/ru/company/avito/blog/452142/) * [芝加哥大学研究人员的 Project Nightshade](https://nightshade.cs.uchicago.edu/whatis.html)，帮助数字艺术家保护其作品不被用作训练数据。关键的攻击方法是 poisoning。 * [芝加哥大学研究人员的 Project Glaze](https://glaze.cs.uchicago.edu/faq.html)，类似于 Nightshade，但通过 mimicry 攻击起作用。 ## 基于领域的攻击 * 计算机视觉 * 语音识别 * 特定模型研究 * [Kaldi](https://github.com/lealeasch/adversarialattacks) * [Lingvo](https://github.com/yaq007/cleverhans/tree/master/examples/adversarial_asr) * [Deepspeech](https://arxiv.org/pdf/1801.01944) * 方法 * [电梯内中间人攻击](https://www.usenix.org/sites/default/files/conference/protected-files/woot15_slides_vaidya.pdf) * 噪声隐藏技术 * [DolphinAttack](https://github.com/USSLab/DolphinAttack) * [MPEG 压缩](https://arxiv.org/pdf/1808.05665) ## 基于策略的攻击 * 信息收集 * [成员推断](https://arxiv.org/pdf/1610.05820) * [去匿名化](https://www.cs.utexas.edu/~shmat/shmat_oak08netflix.pdf) * [模型求逆](https://dl.acm.org/doi/10.1145/2810103.2813677) * [模型窃取](https://arxiv.org/pdf/1805.02628) * [盲点检测](https://arxiv.org/pdf/1901.04684) * [状态预测](https://ieeexplore.ieee.org/document/8716085) * 拒绝服务 * [Poisoning DoS](https://arxiv.org/pdf/1708.08689.pdf) * [Sponge 示例](https://arxiv.org/pdf/2006.03463) * 生物特征欺骗 * [主指纹](https://arxiv.org/pdf/1705.07386) * [人脸识别逃逸](https://dl.acm.org/doi/10.1145/2976749.2978392) ## CTF 和黑客马拉松 * [NIPS 2017：防御对抗性攻击](https://www.kaggle.com/c/nips-2017-defense-against-adversarial-attack/data) * [NIPS 2018：对抗性视觉挑战赛](https://www.crowdai.org/challenges) * [GeekPwn CAAD 2018](http://2018.geekpwn.org/en/index.html#4). * [IJCAI-19 阿里巴巴对抗性 AI 挑战赛](https://tianchi.aliyun.com/markets/tianchi/ijcai19_en) * [GeekPwn CAAD 2019](http://www.geekpwn.org/zh/index.html) * [Positive Hack Days 2019：AI CTF](https://2019.phdays.com/en/program/contests/aI-ctf/) * [Positive Hack Days 2021：AI CTF](https://2021.phdays.com/en/program/contests/ai-track/) * [Positive Hack Days 2022：AI CTF](https://ai.ctf.su/) * [UTCTF 2019（FaceSafe、Bot Protection IV 任务）](https://github.com/utisss/UTCTF-19) * [vishwaCTF21（Good Driver Bad Driver 任务）](https://vishwactf.com/) * [AI/LLM 利用挑战赛（AI CTF 实验室）](https://academy.8ksec.io/course/ai-exploitation-challenges) ## 框架 * [**adversarial-robustness-toolbox**](https://github.com/IBM/adversarial-robustness-toolbox) * [**foolbox**](https://github.com/bethgelab/foolbox) * [**cleverhans**](https://github.com/tensorflow/cleverhans)

标签：AI安全, Chat Copilot, 人工智能, 内核模块, 凭据扫描, 威胁建模, 安全资源, 密钥泄露防护, 机器学习安全, 用户模式Hook绕过, 逆向工具