other_web_claw

ERP 商业数据入库 + 反爬虫研究实验室
Etsy · Michaels · DHL · Ruishu (瑞数) 纯算法 · Akamai 技能

快速开始 · 范围 · 架构 · 研究 · 中文

## 为什么从 many_web_claw 中分离出来？ | 关注点 | 本仓库 | 姊妹仓库 | |---------|-----------|-------------| | 目标 | ERP 数据行 + WAF 研究 | 电动 **9 站**分析数据库 | | 表 | `ss_crawler_*` | `crawler_*` | | 站点 | Etsy, Michaels, DHL, SCU | Spirit…TSC | | 技能 | Akamai / Ruishu / 环境桥接 | Fetch + OSS + QA 报告 | 姊妹仓库：**[many_web_claw](https://github.com/lyt26/many_web_claw)** —— 保持它们独立，这样生产环境的入库就保持枯燥，而逆向工程保持敏锐。 ## 这里的内容 | 模块 | 作用 | |--------|------| | `sites/etsy` | Oxylabs `etsy` / `etsy_product` → ERP | | `sites/michaels` | Oxylabs universal → ERP | | `sites/dhl` | 物流追踪器（Akamai 路径） | | `sites/scu` | Ruishu (瑞数) 案例研究 + FLOW | | `skills/akamai` | 框架 jsdom + v3 纯引擎 | | `skills/ruishu` | Cookie 纯算法工具包 | | `skills/env_bridge` | 轻量级 BOM/DOM 沙盒 | | `run_all.py` | 批量处理 + `--ingest-mapped` | ## 架构 ``` flowchart LR subgraph ERP["ERP track"] E[Etsy / Michaels scrapers] R[run_all --ingest-mapped] I[core.ingest] T[(ss_crawler_product
image / history)] end subgraph Lab["Research track"] A[skills/akamai] U[skills/ruishu] S[sites/scu FLOW] end E --> R --> I --> T A -.-> DHL[sites/dhl] U --> S ``` ``` sequenceDiagram participant Dev participant Runner as run_all.py participant Oxy as Oxylabs participant DB as PostgreSQL ERP Dev->>Runner: prod --ingest-mapped etsy Runner->>Oxy: list + detail Runner->>DB: upsert by customer+sku+year Runner-->>Dev: inserted / updated / historyOnly ``` ## 快速开始 ### 1. 克隆并安装 ``` git clone https://github.com/lyt26/other_web_claw.git cd other_web_claw python -m venv .venv # Windows: .\.venv\Scripts\activate source .venv/bin/activate pip install -r requirements.txt pip install -r requirements-oss.txt cp .env.example .env # 与 many_web_claw 相同的 PG / OXYLABS / OSS vars 即可 ``` Node 技能（当你接触 Akamai / Ruishu 时）： ``` cd skills/akamai/v3 && npm install && cd - cd skills/akamai/framework && npm install && cd - cd skills/env_bridge && npm install && cd - ``` ### 2. 列出站点 ``` python run_all.py --list ``` ### 3. 安全预览（爬取，不写入数据库） ``` python run_all.py test --dry-run michaels python run_all.py test --dry-run etsy ``` ### 4. 生产 ERP 入库 ``` python run_all.py prod --ingest-mapped michaels python run_all.py prod --ingest-mapped etsy ``` ### 5. DHL / Ruishu ``` python sites/dhl/tracker.py # Ruishu walkthrough: # sites/scu/FLOW.md + skills/ruishu/SKILL.md ``` ## 研究方向 ### Akamai `skills/akamai/` 下的 Sensor / `_abck` 管道 —— 详见 [`docs/AKAMAI.md`](docs/AKAMAI.md)。 ### Ruishu (瑞数) 检测 202/412 → 解码密钥 → Coder → basearr → Huffman→XOR→AES cookie —— 在常量已知的情况下，无需浏览器即可完成。从 [`sites/scu/FLOW.md`](sites/scu/FLOW.md) 开始。 ## 文档 | 文档 | 主题 | |-----|--------| | [`AGENTS.md`](AGENTS.md) | Agent / 人工映射 | | [`docs/ETSY_PITFALLS.md`](docs/ETSY_PITFALLS.md) | 货币与字段陷阱 | | [`docs/ERP_SS_CRAWLER_SCHEMA.md`](docs/ERP_SS_CRAWLER_SCHEMA.md) | ERP 表格 | | [`docs/AKAMAI.md`](docs/AKAMAI.md) | Akamai 框架 | | [`docs/ARCHITECTURE.md`](docs/ARCHITECTURE.md) | 数据流 | ## 硬性规则 1. **切勿**将 Etsy/Michaels 写入 `crawler_*`（电力分析数据库）。 2. 电动九个站点 → [`many_web_claw`](https://github.com/lyt26/many_web_claw)。 3. 切勿提交 `.env` 或 cookie 配置文件。 ## 中文 **other_web_claw** = ERP 站（Etsy / Michaels）入库 + DHL + **瑞数 / Akamai** 研究代码。 电动 9 站分析库请用 [many_web_claw](https://github.com/lyt26/many_web_claw)。 ``` python run_all.py test --dry-run michaels python run_all.py prod --ingest-mapped etsy ``` ## 如果你从事该技术栈，请点 Star 如果你交付 **WAF 研究**、**ERP 产品同步**或基于 **Oxylabs 的市场**项目 —— 给两个仓库加星有助于他人发现这种清晰的分离：*运维爬虫* 对比 *实验室 + ERP*。

保持生产环境的枯燥。保持逆向工程的敏锐。

标签：BeEF, ERP, GNU通用公共许可证, MITM代理, Node.js, Python, 云资产清单, 反爬虫对抗, 命令控制, 数据采集, 无后门, 测试用例, 爬虫, 逆向工具, 逆向工程