HyeonUkkk/Hybrid-SIEM-SOAR

# Hybrid SIEM 适用于 AWS 和 Azure 环境的混合 SIEM/SOAR 项目。 ## 组件 - `endpoint-agent`：从端点收集 Web 服务器和应用程序日志。 - `siem-server`：接收端点事件，将其存储在 SQLite 中，并公开查询 API。 - `cloud-collector`：消费 AWS/Azure 云日志队列事件并发送标准化记录。 - `infra/terraform/aws-single-ec2`：引导专用的 AWS SIEM VPC、EC2 daemon 主机、SQS/DLQ 以及可选的 S3/EventBridge 连接。 - `infra/terraform/aws-test-lab`：创建一个可处置的 Apache EC2 实验室，用于生成端点、ALB、CloudFront 和可选的 CloudTrail 日志。 - `infra/terraform/azure-test-lab`：创建可处置的 Windows/Linux Azure 虚拟机，用于生成供 SIEM 测试的登录/安全事件。 ## 本地流程 1. 使用 `siem-server/config.example.toml` 启动 SIEM 服务器。 2. 将 endpoint agent 的 `ingest.url` 指向 `http://127.0.0.1:8080/api/v1/ingest/logs`。 3. 在两个配置中使用相同的 ingest token。 4. 通过 `GET /api/v1/events` 查询事件。 ## 云端流程 AWS 使用 `CloudTrail / VPC Flow Logs -> S3 -> S3 Event -> SQS -> cloud-collector`。 Azure 使用 `Storage Blob -> Event Grid -> Storage Queue -> cloud-collector`。 ## AWS Terraform 部署 适用于对客户端友好的 AWS 入门部署： ``` cd infra/terraform/aws-single-ec2 cp terraform.tfvars.example terraform.tfvars terraform init terraform apply ``` 这会在 EC2 上创建一个单节点 SIEM，包含用于 SIEM 服务器的 systemd 服务 和 AWS cloud collector。请参阅 `infra/terraform/aws-single-ec2/README.md`。 用于生成可处置的测试日志： ``` cd infra/terraform/aws-test-lab cp terraform.tfvars.example terraform.tfvars terraform init terraform apply ``` 测试实验室运行 Apache 以及 endpoint-agent，并通过本地、ALB 和 CloudFront 路径 持续发送正常和可疑的 HTTP 路径。请参阅 `infra/terraform/aws-test-lab/README.md`。 用于 Azure 虚拟机登录/安全测试日志： ``` cd infra/terraform/azure-test-lab cp terraform.tfvars.example terraform.tfvars terraform init terraform apply ``` 这将创建可处置的 Windows/Linux 虚拟机，用于发送登录/安全事件和 agent heartbeat 到 SIEM ingest API。请参阅 `infra/terraform/azure-test-lab/README.md`。 ## 韩国语版本 AWS와 Azure 하이브리드 환경을 대상으로 하는 SIEM/SOAR 프로젝트입니다. ### 构成要素 - `endpoint-agent`: 웹 서버와 애플리케이션 로그를 엔드포인트에서 수집합니다. - `siem-server`: 엔드포인트 이벤트를 수신하고 SQLite에 저장하며 조회 API를 제공합니다. - `cloud-collector`: AWS/Azure 클라우드 로그 큐 이벤트를 소비하고 정규화된 레코드를 SIEM으로 전송합니다. - `infra/terraform/aws-single-ec2`: 전용 AWS SIEM VPC, EC2 데몬 호스트, SQS/DLQ, 선택적 S3/EventBridge 연동을 자동 구성합니다. - `infra/terraform/aws-test-lab`: 엔드포인트, ALB, CloudFront, 선택적 CloudTrail 로그를 발생시키는 일회용 Apache EC2 테스트 랩을 만듭니다. - `infra/terraform/azure-test-lab`: SIEM 테스트용 Windows/Linux Azure VM 로그인 및 보안 이벤트를 생성하는 일회용 랩을 만듭니다. ### 本地执行流程 1. `siem-server/config.example.toml`로 SIEM 서버를 실행합니다. 2. 엔드포인트 에이전트의 `ingest.url`을 `http://127.0.0.1:8080/api/v1/ingest/logs`로 지정합니다. 3. 서버와 에이전트 설정에서 같은 ingest token을 사용합니다. 4. `GET /api/v1/events`로 이벤트를 조회합니다. ### 云端收集流程 AWS는 `CloudTrail / VPC Flow Logs -> S3 -> S3 Event -> SQS -> cloud-collector` 흐름을 사용합니다. Azure는 `Storage Blob -> Event Grid -> Storage Queue -> cloud-collector` 흐름을 사용합니다. ### AWS Terraform 部署 클라이언트가 쉽게 시작할 수 있는 AWS 단일 노드 배포: ``` cd infra/terraform/aws-single-ec2 cp terraform.tfvars.example terraform.tfvars terraform init terraform apply ``` 이 구성은 EC2 위에 SIEM 서버와 AWS cloud collector systemd 서비스를 포함한 단일 노드 SIEM을 만듭니다. 자세한 내용은 `infra/terraform/aws-single-ec2/README.md`를 참고하세요. 테스트 로그 발생용 랩: ``` cd infra/terraform/aws-test-lab cp terraform.tfvars.example terraform.tfvars terraform init terraform apply ``` 테스트 랩은 Apache와 endpoint-agent를 실행하고 local, ALB, CloudFront 경로로 정상/의심 HTTP 요청을 지속적으로 호출해 테스트 로그를 생성합니다. 자세한 내용은 `infra/terraform/aws-test-lab/README.md`를 참고하세요. Azure VM 로그인/보안 테스트 로그: ``` cd infra/terraform/azure-test-lab cp terraform.tfvars.example terraform.tfvars terraform init terraform apply ``` 이 구성은 일회용 Windows/Linux VM을 만들고 로그인/보안 이벤트와 agent heartbeat를 SIEM ingest API로 전송합니다. 자세한 내용은 `infra/terraform/azure-test-lab/README.md`를 참고하세요.

标签：AWS, Azure, DPI, ECS, OCSF, SOAR, Terraform, 日志审计, 日志收集