aws-samples/amazon-sagemaker-generativeai
GitHub: aws-samples/amazon-sagemaker-generativeai
AWS 官方的 SageMaker 生成式 AI 代码库，提供覆盖模型训练、微调、分布式训练、强化学习对齐到生产部署的端到端实现方案。
Stars: 214 | Forks: 127
# 使用 Amazon SageMaker 的生成式 AI
这是一个展示 Amazon SageMaker AI 上生成式 AI 工作流的大型综合代码库。此合集提供了涵盖完整 ML 生命周期的端到端实现，从基础概念到企业级部署，涵盖模型训练、微调、推理优化、MLOps 自动化、分布式训练、RAG 系统、智能体以及真实的行业应用。
## 🚀 快速开始
刚接触 SageMaker 上的生成式 AI？从这里开始：
- **[入门指南](1._getting_started/)** - 基础设置、核心概念和初步操作
## ⚙️ 模型定制方案
**针对 20 多个基础模型的配置驱动微调方案** — 选择一个模型，选择一种策略（QLoRA、Spectrum 或 Full Fine-tuning），然后启动 SageMaker Training Job。方案生成器会处理从数据集格式化到 adapter 合并与评估的所有工作。
- **20 多种预配置模型**：Llama、Qwen、DeepSeek、Gemma、Phi、GPT-OSS 等
- **3 种训练策略**：QLoRA（内存高效）、Spectrum（均衡）、Full Fine-tuning（性能最大化）
- **端到端自动化**：方案生成器、实例选型指南、训练时间预估和部署 pipeline
**[→ 开始使用](0_model_customization_recipes/README.md)** | **[→ 可用模型](0_model_customization_recipes/README.md#available-models-and-recipes)** | **[→ 实例指南](0_model_customization_recipes/README.md#quick-instance-reference-guide)**
## 🔬 模型训练与定制 — 深入解析
**针对特定模型、框架和训练策略的实操 Notebook** — 虽然上述方案提供了一种基于配置的方法，但 [分布式训练](3_distributed_training/) 文件夹提供了让你掌控每个细节的深度实现：分布式策略（DDP、FSDP、DeepSpeed ZeRO-3）、强化学习（DPO、GRPO）、专业框架（NVIDIA NeMo、veRL、Unsloth）等。
- **模型微调** — 使用 DDP、FSDP 和 DeepSpeed ZeRO-3 对 Qwen、LLaMA、Mistral、Gemma 和 GPT-OSS 进行 SFT
- **强化学习** — 使用 TRL、Unsloth、veRL 和 NVIDIA NeMo RL 进行 DPO 和 GRPO
- **NVIDIA NeMo** — NeMo RL（结合 Ray 和 vLLM 的 GRPO）和 NeMo AutoModel（结合 FSDP2 和 DTensor 的 SFT）
- **Spectrum 微调** — 基于 SNR 的选择性层冻结，实现高效训练
- **Diffusers** — 针对 FLUX.1-dev 图像生成的 DreamBooth LoRA 微调
- **高效微调** — 基于 Unsloth 的指令微调，速度提升 2 倍至 5 倍
**[→ 浏览所有深度解析](3_distributed_training/)**
## 🤖 模型
此代码库支持全面的基础模型系列，并配备了多种训练方法。下表展示了模型与不同微调技术、训练框架和部署选项之间的兼容性。
### 模型支持矩阵
| 模型 - 参数量 | 用例 / 策略 | Notebook | 服务 | 框架和库 |
| ---------------------------- | ---------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | ------------------------------ | ------------------------------------------------------------------------------ |
| Qwen 3 0.6B | Function Calling, Agentic AI (FSDP, SFT, QLoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/qwen3-0.6b/model-trainer-fsdp.ipynb) | SageMaker AI Training Jobs | Transformers, Accelerate, SageMaker Model Trainer, MLflow, Weights & Biases |
| Qwen 3 0.6B | Function Calling, Agentic AI (DDP, SFT, QLoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/qwen3-0.6b/model-trainer-ddp.ipynb) | SageMaker AI Training Jobs | Transformers, Accelerate, SageMaker Model Trainer, MLflow, Weights & Biases |
| Gemma 3 4B-IT | Reasoning (DeepSpeed ZeRO-3, SFT, LoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/gemma-3-4b-it/model-trainer-deepspeed-zero3.ipynb) | SageMaker AI Training Jobs | Transformers, Accelerate, DeepSpeed, SageMaker Model Trainer |
| Qwen 3 0.6B | Function Calling, Agentic AI (LoRA, DPO) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/reinforcement-learning/dpo/trl/model-trainer-notebook.ipynb) | SageMaker AI Training Jobs | Transformers, Accelerate, SageMaker Model Trainer, MLflow, Weights & Biases |
| Arcee-Lite | Reasoning (FSDP, QLoRA, GRPO) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/reinforcement-learning/grpo/trl/torchrun/fsdp/model-trainer-notebook.ipynb) | SageMaker AI Training Jobs | Transformers, Accelerate, SageMaker Model Trainer, MLflow, Weights & Biases |
| Qwen 3 0.6B | Reasoning (FSDP, SFT, LoRA) | [Notebook](https://github.com/aws-samples/sample-ray-on-amazon-sagemaker-training-jobs/blob/main/examples/ray-torchtrainer/huggingface-heterogeneous/estimator-notebook.ipynb) | SageMaker AI Training Jobs | Ray, Grafana, Prometheus, Transformers, SageMaker Model Trainer |
| Qwen 3 0.6B | Reasoning (FSDP, SFT, LoRA) | [Notebook](https://github.com/aws-samples/sample-ray-on-amazon-sagemaker-training-jobs/blob/main/examples/ray-torchtrainer/huggingface/model-trainer-notebook.ipynb) | SageMaker AI Training Jobs | 异构集群, Ray, Grafana, Prometheus, SageMaker Estimator |
| DeepSeek-R1-Distill-Llama-8B | Reasoning (SFT, QLoRA) | [Notebook](https://github.com/aws-samples/generative-ai-on-amazon-sagemaker/blob/main/workshops/fine-tuning-with-sagemakerai-and-bedrock/task_02_customize_foundation_model/02.01_finetune_deepseekr1.ipynb) | SageMaker AI Training Jobs | Transformers, Accelerate, SageMaker Model Trainer, MLflow |
| GTE-Base-En-V1.5 | Embeddings | [Notebook](https://github.com/aws-samples/generative-ai-on-amazon-sagemaker/blob/main/workshops/building-rag-workflows-with-sagemaker-and-bedrock/03-02_fine-tuning-embedding/01-ft_embedding_with_sagemaker_eval.ipynb) | SageMaker AI Training Jobs | Sentence Transformers, Accelerate, SageMaker Estimator |
| Qwen 2 0.5B Instruct | Summarization (GRPO) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/reinforcement-learning/grpo/trl/accelerate/launch-training-job.ipynb) | SageMaker AI Training Jobs | Accelerate, Datasets, SageMaker, Transformers, TRL, Weights & Biases |
| Gemma 3 4B-It | Conversations, Reasoning (LoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/unsloth/gemma3-4b-it/gemma3-4b-it.ipynb) | SageMaker AI Training Jobs | Torch, TorchVision, TorchAudio, Unsloth, Psutil |
| Qwen 2 7B | Reasoning (GRPO) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/reinforcement-learning/grpo/veRL/single-node/verl-on-sagemaker.ipynb) | SageMaker AI Training Jobs | Verl, Torch, vLLM, FlashAttention |
| Qwen 3 8B | Conversations (Spectrum) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/spectrum_finetuning/spectrum_training.ipynb) | SageMaker AI Training Jobs | Transformers, Accelerate, SageMaker Model Trainer, Spectrum |
| Meta LLaMA 3.2 3B | Function Calling, Agentic AI (SFT, LoRA, DPO) | [Notebook](https://github.com/aws-samples/sagemaker-distributed-training-workshop/blob/main/22_dpo_alignment_trl_sagemaker/run_training_job.ipynb) | SageMaker AI Training Jobs | Accelerate, Datasets, SageMaker, Transformers, TRL, Weights & Biases |
| Qwen 2.5 0.5B Instruct | Reasoning (GRPO) | [Notebook](https://github.com/aws-samples/sagemaker-distributed-training-workshop/blob/main/20_grpo_trl_sagemaker/grpo-test.ipynb) | SageMaker AI Training Jobs | Accelerate, Datasets, SageMaker, Transformers, TRL |
| LLaMA 3 8B Instruct | Reasoning, Conversation (SFT, LoRA, QLoRA, KD) | [Notebook](https://github.com/aws-samples/sagemaker-distributed-training-workshop/blob/main/19_knowledge_distillation/test_gkd_deepseek.ipynb) | SageMaker AI Training Jobs | Accelerate, Datasets, SageMaker, Transformers, TRL, TorchRun, Weights & Biases |
| LLaMA 3 / LLaMA 2 / Mistral | Text Generation (FSDP) | [Notebook](https://github.com/aws-samples/awsome-distributed-training/tree/main/3.test_cases/pytorch/FSDP) | SageMaker HyperPod (Slurm/EKS) | PyTorch, SMHP Training Operator |
| GPT on NeMo | Text Generation (Spectrum) | [Notebook](https://github.com/aws-samples/awsome-distributed-training/tree/main/3.test_cases/megatron/nemo) | SageMaker HyperPod (Slurm/EKS) | NVIDIA NeMo |
| SMoLM 1.7B on Picotron | Text Generation (FSDP) | [Notebook](https://github.com/aws-samples/awsome-distributed-training/tree/main/3.test_cases/pytorch/picotron) | SageMaker HyperPod (Slurm/EKS) | Hugging Face Picotron |
| LLaMA 3.1 on TorchTitan | Text Generation (FSDP, Spectrum) | [Notebook](https://github.com/aws-samples/awsome-distributed-training/tree/main/3.test_cases/pytorch/torchtitan) | SageMaker HyperPod (Slurm/EKS) | PyTorch, TorchTitan |
| Qwen 2.5 72B w/ HF TRL | Preference Alignment, Reasoning (GRPO) | [Notebook](https://github.com/aws-samples/awsome-distributed-training/tree/main/3.test_cases/pytorch/trl/grpo) | SageMaker HyperPod (Slurm/EKS) | PyTorch, Hugging Face TRL |
| Qwen 2.5 VL | Multimodality (SFT, QLoRA) | [Notebook](https://github.com/aws-samples/multi-modal-examples-for-amazon-sagemaker/blob/main/01-video_content_reel_generator-qwen2_vl/04-02_optional_fine_tune_video_inference.ipynb) | SageMaker Training Jobs | SWIFT |
| Meta LLaMA 3 8B RLHF | Preference Alignment (FSDP, DPO, QLoRA) | [Notebook](https://github.com/aws-samples/sagemaker-studio-foundation-models/blob/main/use-cases/dpo/RLHF-with-Llama3-on-Studio-DPO.ipynb) | SageMaker Training Jobs | Hugging Face TRL |
| GPT-OSS 20B | Reasoning (Accelerate, DeepSpeed ZeRO-3, SFT, MXFP4, vLLM) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/openai--gpt-oss/finetune_gpt_oss_deepspeed_zero3.ipynb) | SageMaker Training Jobs | Hugging Face Trainer, MXFP4 |
| GPT-OSS 20B | Reasoning (FSDP, SFT, MXFP4, vLLM) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/openai--gpt-oss/finetune_gpt_oss_fsdp.ipynb) | SageMaker Training Jobs | Hugging Face Trainer, MXFP4 |
| GPT-OSS 20B | Reasoning (SMDDP, SFT, MXFP4) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/openai--gpt-oss/finetune_gpt_oss_hyperpod_recipes_eks.ipynb) | SageMaker HyperPods (EKS) | HyperPod Recipes |
| GPT-OSS 20B | Reasoning (SMDDP, SFT, MXFP4) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/openai--gpt-oss/finetune_gpt_oss_hyperpod_recipes_tj.ipynb) | SageMaker TrainingJobs | HyperPod Recipes |
| LLaMA 3.1 8B Instruct | Reasoning (FSDP, SFT, QLoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/meta-llama-3.1-8b/sft_llama_31_8b.ipynb) | SageMaker TrainingJobs | Transformers, TRL, BitsAndBytes, Accelerate, MLflow, PEFT |
| Mistral 7B v0.3 Instruct | Reasoning (DDP, SFT, QLoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/mistral-7b-v03/model-trainer-ddp.ipynb) | SageMaker TrainingJobs | Transformers, TRL, BitsAndBytes, Accelerate, MLflow, PEFT |
| Mistral 7B v0.3 Instruct | Reasoning (FSDP, SFT, QLoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/mistral-7b-v03/model-trainer-fsdp.ipynb) | SageMaker TrainingJobs | Transformers, TRL, BitsAndBytes, Accelerate, MLflow, PEFT |
| Mistral 7B v0.3 Instruct | Reasoning (Accelerate, DeepSpeed ZeRO-3, SFT, LoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/mistral-7b-v03/model-trainer-deepspeed-zero3.ipynb) | SageMaker TrainingJobs | Transformers, TRL, BitsAndBytes, Accelerate, MLflow, PEFT |
| DeepSeek R1 Distill Qwen 7B | Programming (GRPO, Ray) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/models/deepseek-r1-distill-qwen-7b/model-trainer-verl-grpo.ipynb) | SageMaker TrainingJobs | Verl, Ray, TRL, Weights & Biases |
| Qwen 2.5 1.5B Instruct | Reasoning (GRPO, NeMo RL) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/nvidia-nemo/nemo-rl/1-grpo-training.ipynb) | SageMaker TrainingJobs | NVIDIA NeMo RL, Ray, vLLM, DTensor, EFA |
| Mistral 7B v0.1 | Text Generation (SFT, LoRA, FSDP2) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/nvidia-nemo/nemo-automodel/1-llm-fine-tuning.ipynb) | SageMaker TrainingJobs | NVIDIA NeMo AutoModel, DTensor, FSDP2 |
| FLUX.1-dev | Image Generation (DreamBooth LoRA) | [Notebook](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/3_distributed_training/diffusers/flux.1-dev/flux-fine-tune-sagemaker.ipynb) | SageMaker TrainingJobs | Hugging Face Diffusers, Accelerate, Prodigy, Weights & Biases |
### 训练基础设施
- **SageMaker HyperPod** - 用于大规模训练的高性能计算集群
- **SageMaker Training Jobs** - 标准的托管式训练
## 📚 代码库结构
### 🎯 [端到端 GenAI 生命周期](2_end_to_end_genai_on_sagemaker/)
**涵盖整个 ML 生命周期并具备企业级实践的完整生产工作流**
- **[模型定制](2_end_to_end_genai_on_sagemaker/2_model_customization/)** - 高级微调技术，包括指令微调、参数高效方法（LoRA、QLoRA）和领域适配策略
- **[推理](2_end_to_end_genai_on_sagemaker/3_inference/)** - 生产部署模式、实时和批量推理、自动扩缩容配置以及多模型 endpoint
- **[MLOps](2_end_to_end_genai_on_sagemaker/4_mlops/)** - 使用 SageMaker Pipelines 的自动化 CI/CD pipeline，集成预处理、训练、评估、模型注册和批量转换操作
### ⚡ [分布式训练 — 深入解析](3_distributed_training/)
**针对特定模型、框架和训练策略的实操 Notebook** — 有关完整详情，请参阅上方的 [分布式训练 — 深入解析](#-distributed-training--deep-dives) 部分。
### 🔍 [检索增强生成 (RAG)](4_rag/)
**具备高级 embedding 和检索技术的知识增强型 AI 系统**
- **VoyageAI Embedding RAG** - 生产级 RAG 实现，采用 VoyageAI 最先进的 embedding、集成 Claude 3、向量数据库优化以及面向企业知识库的语义搜索功能
### 🤖 [AI 智能体](5_agents/)
**智能多智能体框架与编排系统**
- **[DeepSeek CrewAI Agent](5_agents/deepseek_crewai_based_agent/)** - 使用 DeepSeek R1 Distilled LLaMA 70B 和 CrewAI 编排的多智能体研究与写作系统，用于协作任务执行
- **[LangGraph Model Context Protocol](5_agents/langgraph_model_context_protocol/)** - 面向贷款审批的高级智能体工作流，集成 MCP，具备多步编排和基于角色的智能体专业化分工
- **[作为智能体工具的 ML 模型](5_agents/ml-models-as-agent-tools/)** - 通过 MCP 将 SageMaker 部署的 ML 模型作为智能体工具使用的集成模式，包含直接实现和 Amazon Bedrock AgentCore 方法
- **[SageMaker Strands 集成](5_agents/sagemaker-strands-agentcore/)** - 具备托管托管和身份验证的企业级智能体解决方案
### 🎯 [用例](6_use_cases/)
**真实世界应用与行业特定解决方案**
- **[RAG 与聊天机器人](6_use_cases/usecases/rag_including_chatbot/)** - 使用 FLAN-T5-XL 和 Falcon-7B 模型进行知识检索的对话式 AI，具备文档处理和上下文感知响应功能
- **[文本摘要](6_use_cases/usecases/text_summarization/)** - 使用 AI21、Falcon-7B 和 FLAN-T5-XL 模型并集成 LangChain 进行文档和内容摘要
- **[文本摘要生成图像](6_use_cases/usecases/text_summarization_to_image/)** - 结合文本摘要与图像生成功能的多模态内容生成 pipeline
- **[Text-to-SQL](6_use_cases/usecases/text_to_sql/)** - 使用 Code Llama 和 LangChain SQL 查询生成的自然语言数据库查询，配有演示数据库和 Web 界面
### 🚀 [推理优化](7_inference/)
**面向生产部署的性能与效率提升**
- **[训练后量化](7_inference/post_training_quantization/)** - 使用 GPTQ 和 AWQ 量化方法的模型压缩技术，在保持精度的同时将内存占用降低 50-75%，由 SageMaker Training Job 自动实现
### 📊 [LLM 性能评估](llm-performance-evaluation/)
**全面的基准测试和性能分析框架**
- **[DeepSeek R1 Distilled](llm-performance-evaluation/deepseek-r1-distilled/)** - DeepSeek R1 Distilled 模型系列的性能评估和基准测试工具，包括准确度指标、延迟分析和成本优化研究
### 📦 [归档](x_archive/)
**旧示例和已弃用的实现，供参考和迁移指导**
## 🛠️ 核心功能
- **完整的 ML 生命周期**：从数据预处理和模型训练到生产部署与监控
- **多种训练策略**：具备自动扩展的单节点、多节点分布式和强化学习方法
- **生产级 MLOps**：使用 SageMaker Pipelines、模型注册表和部署自动化的自动化 CI/CD pipeline
- **高级 AI 模式**：RAG 系统、多智能体编排和多模态应用
- **性能优化**：模型量化、分布式训练、推理加速和成本优化
- **行业用例**：金融服务、医疗保健、零售和制造业应用
- **企业安全性**：IAM 集成、VPC 支持、静态和传输中加密
## 🏗️ 技术与框架
### 核心平台
- **Amazon SageMaker** - 具备训练、推理和 MLOps 功能的托管式 ML 平台
- **Amazon Bedrock** - 具备企业安全性的托管式基础模型服务
- **AWS Lambda & API Gateway** - 无服务器推理和 API 管理
### ML 框架
- **Hugging Face Transformers** - 最先进的模型实现和微调工具
- **PyTorch & TensorFlow** - 支持分布式训练的深度学习框架
- **FSDP & DeepSpeed** - 内存高效的分布式训练框架
- **Ray** - 用于 ML 工作负载的分布式计算框架
### 智能体与编排
- **LangGraph & LangChain** - 智能体框架和工作流编排
- **CrewAI** - 多智能体系统协调和任务委派
- **Model Context Protocol (MCP)** - 面向 AI 智能体的标准化工具集成
### 优化与效率
- **Unsloth** - 速度提升 2 倍至 5 倍且内存占用更低的微调
- **TRL (Transformer Reinforcement Learning)** - RLHF 和偏好优化
- **NVIDIA NeMo** - 使用 Ray、vLLM 和 DTensor 进行分布式训练的 NeMo RL 和 NeMo AutoModel
- **llm-compressor** - 使用 GPTQ 和 AWQ 进行训练后量化
- **vLLM** - 高吞吐量推理服务
## 📋 前置条件
### AWS 要求
- 拥有 SageMaker 访问权限和相应服务配额的 AWS 账户
- 具备 SageMaker、S3 和相关服务权限的 IAM 角色
- 用于安全部署的 VPC 配置（可选但推荐）
### 开发环境
- Python 3.8+ 及虚拟环境管理
- 用于交互式开发的 Jupyter Lab/Notebook
- 配置了相应凭证的 AWS CLI
- 用于版本控制和协作的 Git
### 知识前提
- 对机器学习概念有中等程度的了解
- 熟悉 Python 编程和数据科学库
- 对 AWS 服务和云计算有基本了解
- 了解 transformer 架构和 LLM（推荐）
## 🚀 入门指南
### 1. 环境设置
```
# Clone 仓库
git clone
cd generative-ai-sagemaker
# 创建并激活虚拟环境
python -m venv venv
source venv/bin/activate # On Windows: venv\Scripts\activate
# 安装核心依赖
pip install -r requirements.txt
```
### 2. AWS 配置
```
# 配置 AWS 凭证
aws configure
# 验证 SageMaker 访问
aws sagemaker list-training-jobs --max-items 1
```
### 3. 选择你的学习路径
#### **初级**（刚接触 GenAI/SageMaker）
1. 从 [入门指南](1._getting_started/) 开始
2. 探索基础的 [推理示例](2_end_to_end_genai_on_sagemaker/3_inference/)
3. 尝试简单的 [用例](6_use_cases/)，如文本摘要
#### **中级**（有一定的 ML/云经验）
1. 深入了解 [模型定制](2_end_to_end_genai_on_sagemaker/2_model_customization/)
2. 探索 [分布式训练](3_distributed_training/) 技术
3. 为知识增强型应用实现 [RAG 系统](4_rag/)
#### **高级**（面向生产环境的实现）
1. 掌握 [MLOps pipeline](2_end_to_end_genai_on_sagemaker/4_mlops/)
2. 构建 [多智能体系统](5_agents/)
3. 通过 [量化技术](7_inference/post_training_quantization/) 进行优化
### 4. 快速验证
运行一个简单的推理示例来验证你的设置：
```
# 示例：为文本生成 Deploy 预训练模型
from sagemaker.huggingface import HuggingFaceModel
model = HuggingFaceModel(
transformers_version="4.28",
pytorch_version="2.0",
py_version="py310",
role=role,
model_data="s3://path-to-model"
)
predictor = model.deploy(
initial_instance_count=1,
instance_type="ml.g5.xlarge"
)
```
## 🎯 示例工作流
### 文本生成 Pipeline
```
Data Preparation → Model Fine-tuning → Evaluation → Deployment → Monitoring
↓ ↓ ↓ ↓ ↓
S3 Storage SageMaker Training Model Registry Endpoint CloudWatch
```
### RAG 实现
```
Document Ingestion → Embedding Generation → Vector Storage → Query Processing → Response Generation
↓ ↓ ↓ ↓ ↓
Text Processing SageMaker Endpoint Vector DB Retrieval Logic LLM Inference
```
### 多智能体系统
```
Task Definition → Agent Orchestration → Tool Execution → Result Aggregation → Final Output
↓ ↓ ↓ ↓ ↓
LangGraph CrewAI Framework MCP Servers Agent Coordination Structured Response
```
## 🔒 安全
安全是我们的首要任务。有关安全问题通知和负责任的披露，请参阅 [贡献指南](CONTRIBUTING.md#security-issue-notifications)。
### 安全最佳实践
- 使用遵循最小权限原则的 IAM 角色
- 启用静态加密和传输中加密
- 实施 VPC endpoint 以实现安全通信
- 定期进行安全审计和合规性检查
## 📄 许可证
本库采用 MIT-0 许可证授权。有关详细信息，请参阅 [LICENSE](LICENSE) 文件。
## 🆘 支持与资源
### 社区支持
- **GitHub Issues**：Bug 报告和功能请求
- **GitHub Discussions**：社区问答和知识分享
- **文档**：综合指南和 API 参考
### AWS 资源
- **SageMaker 文档**：[官方 AWS 文档](https://docs.aws.amazon.com/sagemaker/)
- **AWS Support**：可用的专业支持计划
- **AWS 培训**：认证和学习路径
### 其他资源
- **Model Hub**：预训练模型和配置
- **最佳实践**：性能优化和成本管理
- **案例研究**：真实世界的实现示例
## 🌟 最新动态
- **最新更新**：DeepSeek R1 集成、增强的 MCP 支持、改进的量化技术
- **即将推出**：多模态智能体、高级 RAG 模式、成本优化工具
- **社区亮点**：精选实现和成功案例
**准备好构建 AI 的未来了吗？** 开始探索这些示例，并在 Amazon SageMaker 上构建你的下一个生成式 AI 应用吧！ 🚀
_本代码库由专人积极维护，并会定期更新以包含最新的 AWS 服务、模型架构和最佳实践。请给本仓库加星 ⭐ 以及时获取最新版本和功能更新。_
标签：Amazon SageMaker, Apex, DLL 劫持, MLOps, 凭据扫描, 分布式训练, 大语言模型, 机器学习, 模型训练, 生成式AI, 系统调用监控, 索引, 逆向工具