andresscyber/aws-serverless-malware-scanning-pipeline

# AWS 无服务器恶意软件扫描流水线 一个云安全项目，演示了如何使用 AWS S3、Lambda、ECR、SNS、CloudWatch、Docker、Python 和 ClamAV 构建无服务器恶意软件扫描工作流。 本项目旨在探索事件驱动的安全自动化，通过自动处理上传到 S3 存储桶的文件，在容器化的 Lambda 函数内执行恶意软件扫描操作，生成安全警报，并捕获操作日志以进行监控和故障排除。 ## 项目目标 - 在 AWS 中构建无服务器安全扫描工作流 - 使用 Docker 和 Amazon ECR 部署容器化的 Lambda 函数 - 配置 S3 事件驱动自动化 - 实施 CloudWatch 监控和日志记录 - 配置 SNS 电子邮件通知以应对安全事件 - 应用 IAM 最小权限访问控制 - 调查并解决 ClamAV 在 Lambda 中的部署挑战 - 记录云安全架构和操作发现 ## 使用的技术 | 类别 | 技术 | |-----------|------------| | 云平台 | AWS | | 存储 | Amazon S3 | | 计算 | AWS Lambda | | 容器镜像仓库 | Amazon ECR | | 监控 | Amazon CloudWatch | | 通知 | Amazon SNS | | 身份与访问 | AWS IAM | | 容器化 | Docker | | 编程语言 | Python | | 恶意软件扫描器 | ClamAV | ## 架构图  ### 工作流 1. 用户将文件上传到 S3 上传存储桶。 2. S3 ObjectCreated 事件触发 Lambda 函数。 3. Lambda 容器检索上传的文件。 4. Lambda 对上传的文件调用 ClamAV 扫描操作。 5. Lambda 将执行详细信息写入 CloudWatch Logs。 6. SNS 可以针对与恶意软件相关的事件生成电子邮件通知。 7. 可选择将受感染的文件复制到隔离存储桶。 # 环境设置 ## S3 存储桶 ### 上传存储桶 用于存储提交以进行扫描的文件。 ### 隔离存储桶 用于隔离潜在的恶意文件，以便进一步调查。 ## Elastic Container Registry (ECR) Amazon ECR 用于存储和管理 Lambda 容器镜像。 ### 创建的仓库  ### ECR 登录成功  ### Docker 构建成功  ### Docker 推送成功  ### ECR 镜像已上传  ### 兼容 Lambda 的镜像构建  # S3 配置 ## 上传和隔离存储桶  ## 上传存储桶属性  ## 隔离存储桶属性  # Lambda 部署 恶意软件扫描工作流作为容器化的 Lambda 函数进行部署。 ## 项目文件  ## 创建的 Lambda 函数  ## 环境变量  ## IAM 角色权限  ## 恶意软件扫描器代码  ## 最终的 Dockerfile  ## App.py 数据库故障排除  ## Dockerfile ClamAV 故障排除  ## AWS CLI 身份验证  ## IAM 用户验证  # 事件驱动自动化 ## S3 事件触发器配置 ### 创建的存储桶  ### 添加到 Lambda 的 S3 触发器  # 监控与日志记录 CloudWatch 用于监控 Lambda 执行活动并协助进行故障排除。 ## Lambda 执行日志  ## ClamAV 数据库错误调查  # SNS 通知 Amazon SNS 配置为支持基于电子邮件的安全通知。 ## 电子邮件订阅确认  ## SNS 订阅已确认  # 测试 测试侧重于验证 S3 触发的 Lambda 执行、CloudWatch 日志记录和 SNS 通知工作流。 由于在部署期间遇到了 ClamAV 数据库更新限制，无法在 Lambda 环境中完成完整的恶意软件特征验证。 # 隔离工作流 该解决方案包含可选逻辑，用于将潜在的恶意文件转移到专用的隔离存储桶中进行隔离和进一步分析。 该工作流在 Lambda 函数内实现，并为未来的验证做好了准备。 # 故障排除与发现 本项目很大一部分涉及解决容器化 Lambda 环境中 ClamAV 数据库更新的限制问题。 ## Freshclam CDN 限制  ### 关键发现 在测试期间，Freshclam 数据库更新被 ClamAV 的内容分发网络 (CDN) 阻止，导致无法在 Lambda 环境中下载恶意软件特征更新。 这为解决涉及容器化工作负载和第三方安全工具的真实云安全部署挑战提供了宝贵的经验。 # 经验总结 - 容器化的 Lambda 部署为安全工具提供了灵活性。 - 事件驱动架构支持可扩展的云安全自动化。 - CloudWatch 对于无服务器应用程序的监控和故障排除至关重要。 - 必须仔细配置 IAM 权限以支持安全的自动化。 - 为传统系统设计的安全工具在无服务器环境中部署时，可能需要进行调整。 - 故障排除和文档记录是安全工程项目的重要组成部分。 # 简历要点 - 使用 AWS S3、Lambda、ECR、CloudWatch、SNS、Docker、Python 和 ClamAV 构建了无服务器恶意软件扫描流水线。 - 实施了由 S3 对象上传触发的事件驱动安全自动化。 - 使用 Docker 和 Amazon ECR 将容器化工作负载部署到 AWS Lambda。 - 配置了 CloudWatch 日志记录和 SNS 通知，以支持云安全监控。 - 跨 AWS 资源应用了 IAM 最小权限访问控制。 - 调查并记录了无服务器云环境中 ClamAV 的部署限制。

标签：AWS, ClamAV, DPI, Web 安全测试, 事件驱动, 恶意软件扫描, 请求拦截, 逆向工具