ColdVI/AnomalyDetection
GitHub: ColdVI/AnomalyDetection
基于 Bronze/Silver/Gold 分层架构的无人机飞行数据工程管道,集成 Kafka 流处理与多源遥测数据采集,为异常检测工作流提供数据基础。
Stars: 0 | Forks: 0
# UAV 异常检测数据平台
本仓库是 UAV 异常检测工作的数据平台。目前我们仅处于 **Bronze
阶段**;在团队的 review 完成之前,不会开始 Silver 和 Gold 的实现。
```
adsb.lol historical --\
adsb.lol realtime ---+--> Bronze (raw + provenance) --> Silver --> Gold
ALFA ---+ [review bekliyor]
UAV Attack --/
```
Bronze 不会更改源字段及其值。它仅添加标准的 provenance
列;对 adsb.lol 的记录应用土耳其 bbox 过滤器。单位转换
和统一 schema 是 Silver 的工作。
## 安装
需要 Python 3.10+ 和 Docker。
```
python -m venv .venv
.venv\Scripts\Activate.ps1
python -m pip install -r requirements.txt
python -m pytest
docker compose up -d
```
Kafka 在 `localhost:9092` 上运行。请使用 `docker compose down` 关闭。
在包含 GNU Make 的环境中,也可以使用 `make test`、`make up` 和 `make down`。
## 本地数据目录
数据不会进入仓库。请将下载的文件放入以下目录:
```
data/bronze/adsblol_historical/_input/ # gunluk .tar arsivleri
data/bronze/adsblol_realtime/_landing/ # ham JSONL (uygulama olusturur)
data/bronze/alfa/_input/ # ALFA processed CSV agaci
data/bronze/uav_attack/_input/ # UAV Attack CSV/ULog agaci
```
在看到实际的文件/文件夹名称之前,ALFA 和 UAV Attack loader 不会进行 label 提取
假设。源决策位于 [docs/decisions.md](docs/decisions.md),Bronze metadata
契约位于 [docs/bronze_schema.md](docs/bronze_schema.md) 中。
标签:Gradle集成, Kafka, MinIO, Python, SonarQube插件, 安全规则引擎, 异常检测, 数据工程, 数据湖, 无人机, 无后门, 版权保护, 请求拦截, 逆向工具