VelariumAI/go-ddgs-stealth
GitHub: VelariumAI/go-ddgs-stealth
这是一个基于 Go 语言的高级隐身网页抓取与搜索框架，集成了浏览器级反检测技术与自适应解析器，旨在绕过现代网站的反爬虫防御机制。
Stars: 0 | Forks: 0
# go-ddgs-stealth
[](https://github.com/velariumai/go-ddgs-stealth/actions/workflows/ci.yml)
[](https://github.com/velariumai/go-ddgs-stealth/actions/workflows/release.yml)
[](https://pkg.go.dev/github.com/velariumai/go-ddgs-stealth)
`go-ddgs-stealth` 是一个原生的 Go 搜索 + 隐身获取工具包。
## 包含内容
- 以 DDG 为首选的搜索引擎，支持提供商故障转移（`ddg`、`brave`、`tavily`、`serpapi`）。
- 统一的 fetcher 接口：
- `HTTPFetcher`（反机器人传输原语）
- `StealthyFetcher`（由 Rod 浏览器后端支持）
- `DynamicFetcher`（交互式流程包装器）
- 自适应解析器，具有选择器自愈和持久化功能。
- 蜘蛛/爬虫，支持并发、每个域限速、JSONL 流式传输和检查点恢复。
- 用于多 fetcher 编排的会话池辅助工具。
- Prometheus 指标和 OpenTelemetry 钩子。
- CLI + HTTP 服务运行时。
## 安装
```
go get github.com/velariumai/go-ddgs-stealth
```
## 快速开始
```
cfg := goddgs.LoadConfigFromEnv()
engine, err := goddgs.NewDefaultEngineFromConfig(cfg)
if err != nil {
panic(err)
}
resp, err := engine.Search(context.Background(), goddgs.SearchRequest{Query: "golang", MaxResults: 5})
if err != nil {
panic(err)
}
fmt.Println(resp.Provider, len(resp.Results))
```
## CLI
```
go run ./cmd/goddgs search --q "golang" --json
go run ./cmd/goddgs stealth-fetch --url https://example.com --mode http
go run ./cmd/goddgs stealth-crawl --url https://example.com --max 20 --out /tmp/crawl.jsonl
go run ./cmd/goddgs doctor
```
## HTTP 服务
```
go run ./cmd/goddgsd
```
端点：
- `GET /healthz`
- `GET /readyz`
- `GET /metrics`
- `POST /v1/search`
- `POST /v1/stealth/fetch`
- `POST /v1/stealth/crawl`
## 文档
- [docs/README.md](docs/README.md)
- [docs/ARCHITECTURE.md](docs/ARCHITECTURE.md)
- [docs/API_REFERENCE.md](docs/API_REFERENCE.md)
- [docs/HTTP_API.md](docs/HTTP_API.md)
- [docs/CLI.md](docs/CLI.md)
- [ROADMAP.md](ROADMAP.md)
## 开发
```
make fmt
make vet
go test ./...
./scripts/check_coverage.sh 85.0
```
标签：API, BeEF, GET参数, Golang, Go语言, Headless, HTTP服务, OpenTelemetry, URL抓取, Web Scraping, 代理池, 会话管理, 分布式爬虫, 反检测, 反爬虫, 命令控制, 安全编程, 并发, 抓取框架, 搜索, 搜索引擎, 数据抓取, 数据采集, 日志审计, 时序数据库, 浏览器自动化, 爬虫, 用户代理, 监控指标, 程序破解, 网页解析, 自定义请求头, 隐形模式