cyberiskvision/dls-monitor
GitHub: cyberiskvision/dls-monitor
一款自动化追踪勒索软件数据泄露站点的开源威胁情报监控工具,提供近乎实时的受害声明和团伙信息采集。
Stars: 18 | Forks: 2
DLS-MONITOR
⚠️
_`posts.json`、`groups.json` 以及 `docs/` 和 `source/` 目录中的内容是基于现实世界威胁行为者的托管选择近乎实时地动态生成的。_ _尽管已采取清理措施,但在查看或访问 dls-monitor 时,您确认您需自担风险。_。 ### 关键产出 - _`groups.json` 包含被追踪团伙或行为者的主机、节点、中继和镜像_ - _`posts.json` 包含提取的帖子,按其发现时间和归属团伙记录_ ## 技术细节 这是一个实时更新的仓库,利用 GitHub actions 和 [服务容器](https://docs.github.com/en/actions/using-containerized-services/about-service-containers) 的组合。它以自包含的方式近乎实时地访问、解析并报告受监控的主机。 内容获取通过 [psf/requests](https://github.com/psf/requests) 完成 - 如果需要渲染,则利用 [mozilla/geckodriver](https://github.com/mozilla/geckodriver) 和 [seleniumhq/selenium](https://github.com/SeleniumHQ/selenium)。 前端最终由 markdown 生成,使用 `markdown.py` 并借助 [docsifyjs/docsify](https://github.com/docsifyjs/docsify) 通过 [pages.github.com](https://pages.github.com) 提供服务。 图表或可视化通过 `plotting.py` 在 [matplotlib/matplotlib](https://github.com/matplotlib/matplotlib) 的帮助下生成。 帖子索引通过 `parsers.py` 中的 `grep`、`awk` 和 `sed` 混合完成。 ## 工具 每个页面的渲染 HTML 可在 source 目录中查看 - `screenshotter.py` _一个 playwright 脚本,用于生成在线主机的高分辨率截图_ - `srcanalyser.py` _一个基础提取器,用于提取页面源代码中发现的电子邮件、内部和外部链接_ - `browse-hosts.sh` _一个简单的基于 cURL 的迭代器,用于批量检查 URL_ - `sources.zsh` _一个聚合器,汇总显示 ransomwatch 新团伙的各种来源_ - `uptimekuma-importer.py` _一个脚本,用于将团伙数据转换为 [uptime-kuma](https://github.com/louislam/uptime-kuma) 配置文件_ - `parsers.sh` _一个健康检查脚本,提供有关未返回任何字段的解析器的详细信息_ _`groups.json` 的扁平化版本(每个主机作为其自己的对象)可以在 `assets/groups-kv.json` 找到。该结构是一个对象数组,每个对象代表一个独立的实体/团伙,包含所有属性(如 `name`、`captcha`、`parser` 等)在同一层级,包括 `profile` 和 `meta` 等元素上的潜在重复。某些数据分析工具可以更轻松地处理此结构,从而减少转置工作。_ ## 数据地图 ``` groups_json ||--|{ group : contains group { string name "group name" boolean captcha "captcha status" boolean parser "parser status" boolean javascript_render "javascript status" string meta "freeform text" string url "notable articles and references" } group ||--|{ locations : has locations { string fqdn "fully qualified domain name" string title "page title" int version "hidden service version" string slug "full URI" boolean available "availability status" datetime updated "timestamp of last update" datetime lastscrape "timestamp of last scrape" boolean enabled "status" } group ||--|{ post : references post { string post_title "post title" string group_name "associated group name" datetime discovered "timestamp of discovery" } ``` _dls-monitor 根据 [unlicense.org](https://unlicense.org) 获得许可_标签:AMSI绕过, Cutter, Docsify, ESC4, extortion sites, GitHub Actions, ITDR, Markdown, Matplotlib, OSINT, Python, Selenium, 勒索组织, 勒索软件, 后端开发, 威胁情报, 威胁检测, 密码管理, 开发者工具, 情报收集, 数据泄露站点, 数据聚合, 无后门, 暗网监控, 漏洞研究, 特征检测, 网络威胁追踪, 网络安全, 自动化爬虫, 自动笔记, 逆向工具, 隐私保护