Dan1elOleary/ai-security-notes

# AI 安全笔记 本仓库包含 AI 安全笔记、防御建议和学习文档，重点关注影响支持 AI 的应用程序和大型语言模型系统的现代风险。 本仓库的目的是记录关键的 AI 安全概念，包括 prompt injection、检索增强生成安全、安全日志记录、访问控制、敏感信息泄露以及 AI 供应链风险。 ## 仓库内容 | 文件 | 用途 | | ---------------------------- | ----------------------------------------------------------------------------------------------------- | | owasp-llm-top-10-notes.md | 涵盖 OWASP LLM Top 10 主要安全风险和防御概念的笔记。 | | prompt-injection-overview.md | prompt injection 风险、攻击模式和缓解策略的概述。 | | rag-security-controls.md | 关于保护检索增强生成系统和知识库访问的笔记。 | | secure-ai-logging.md | 针对人工智能系统的安全日志记录实践，包括脱敏和最小化。 | | ai-access-control.md | 关于 AI 系统中基于角色的访问控制、文档级授权和租户隔离的笔记。 | | ai-supply-chain-risks.md | 涉及模型、数据集、包、插件和第三方 AI 组件的风险概述。 | ## 展示的技能 * AI 安全意识 * OWASP LLM Top 10 概念 * Prompt injection 分析 * 检索安全概念 * 安全日志记录原则 * 访问控制审查 * 敏感信息泄露预防 * AI 供应链风险意识 * 防御性安全文档 * 技术写作 ## 涵盖主题 本仓库重点关注几个重要的 AI 安全领域： ### Prompt Injection 当用户可控的输入影响 AI 系统，使其忽略预期指令、泄露受限信息或执行未经授权的操作时，就会发生 prompt injection。 ### 检索增强生成安全 RAG 系统在生成响应之前会从外部知识源检索信息。这些系统需要强大的访问控制，以防止用户检索他们本不应访问的文档。 ### 敏感信息泄露 如果 AI 系统连接到内部文档、日志、工单、数据库或知识库，而没有适当的安全控制，它们可能会暴露机密信息。 ### 安全日志记录 AI 日志应避免存储敏感信息，如凭证、API 密钥、原始 prompt、检索到的机密上下文、个人数据和受限的内部信息。 ### AI 访问控制 AI 系统应根据经过身份验证的用户身份、角色、租户、权限和数据分类来实施访问控制。访问决策应由应用程序或后端系统处理，而不是由 prompt 指令处理。 ### AI 供应链风险 AI 应用程序通常依赖第三方模型、数据集、包、插件和代码库。受损的依赖项或不受信任的组件可能会影响整个 AI 应用程序的安全。 ## 防御建议 * 在检索之前强制执行文档级别的访问控制。 * 使用基于角色或基于属性的访问控制。 * 在 RAG 系统中应用租户和用户级别的过滤。 * 从日志中脱敏敏感信息。 * 避免存储原始 prompt 或检索到的机密上下文。 * 对 AI 代理、工具和集成使用最小权限原则。 * 验证第三方模型、包、数据集和插件。 * 监控 AI 系统的异常行为。 * 在应用程序中渲染模型输出之前对其进行净化。 * 将外部内容视为不受信任的输入。 * 审查 AI 集成是否存在过度权限。 ## 现实相关性 随着组织采用 AI 助手、聊天机器人、副驾驶、自动化代理和基于检索的知识系统，AI 安全正变得越来越重要。 这些概念适用于涉及以下方面的角色： * SOC 分析 * 安全运营 * IT 支持 * 云安全 * 治理、风险与合规 * 应用程序安全 * AI 安全审计 * 身份与访问管理 ## 作品集目的 本仓库是我的专业 IT 和网络安全作品集的一部分。它展示了我对新兴 AI 安全风险的兴趣，以及我为启用 AI 的环境记录实用防御控制的能力。 ## 免责声明 这些笔记仅用于教育和作品集目的。它们不包含私有 flag、付费挑战答案、受限实验室解决方案、机密数据或专有信息。其重点在于安全概念、防御建议和专业文档记录。

标签：AI安全, Chat Copilot, DLL 劫持, OWASP LLM Top 10, RAG安全, Red Canary, Streamlit, 大语言模型, 安全笔记, 访问控制, 防御加固