victormends/victormends

GitHub: victormends/victormends

这是一个针对Windows环境下PostgreSQL事件响应和自动化的支持工程作品集,解决数据库故障快速恢复和数据处理效率问题。

Stars: 0 | Forks: 0

João Victor Mendes

"我将生产环境的行为视为真实的规范:隔离变量,找出根本原因,从结构上修复,确保此类故障不会重现。"

Typing SVG

LinkedIn   Résumé

Location English

## 影响亮点

**PostgreSQL & 数据库工程** - **消除了整个集群的 WAL 保留风险类别**:构建了一个 Task Scheduler PowerShell 监控器 (PG12),用于检测不活跃的孤立复制槽,并应用基于阈值(保留2GB / 30分钟不活跃)的自动删除,并发出 Windows 事件日志警报;在 PG13+ 实例上,辅以 `max_slot_wal_keep_size` 作为硬性限制。 - **将超过15GB数据库的恢复时间缩短了60%**(从17分钟降至6分58秒),通过 `pg_restore -j 4` 实现并行处理。通过 `pg_class` 和 `pg_toast` 追踪到每月1GB的磁盘膨胀源于加密路径被序列化为审计日志条目中数千个字符。 - **自动化了30个数据库集群的恢复**:使用一个 PowerShell 脚本,并行化状态检查,清除过时的 `postmaster.pid` 文件,并在启动时处理 WAL 恢复。恢复时间从数小时缩短到5分钟以内,日常支持呼叫接近零。 - **在 `pg_hba.conf` SCRAM-SHA-256 与 MD5 不匹配后**,在全集群范围内**恢复了数据库访问**:通过按 IP 范围应用范围限定的 MD5,同时在其他所有地方保留 SCRAM。

**自动化 & 数据工程** - **构建了一个处理7000万条记录的ETL管道**,将一个超过15GB的政府数据集的处理时间缩短了60%;扩展了客户端分类(MEI、Simples Nacional、Normal、无效 CNPJ)、跨 NF-e/NFC-e/NFS-e/CT-e 的 XML 政策审计,以及 PostgreSQL 暂存区,筛选出前 0.001% 的销售线索进行商业优先级排序。 - **利用 LLM 辅助解析原始 SEFAZ 拒绝消息的 XML**,将财务发票诊断从30多分钟压缩到5分钟以内,涵盖了 NCM、CFOP、ICMS 和 CBNEF 格式,消除了一整类开发人员上报的问题。 - **零数据丢失的遗留系统迁移**:在一个下午内对一个没有文档的 Firebird 数据库进行逆向工程,从第一性原理重现了20年的交易历史(10,000+ 条目,50万巴西雷亚尔)以重建当前库存状态。
**早期信号:** OBMEP 银奖 (2016)、铜奖 (2014)、2次荣誉提名;在全国超过1800万参与者中排名前0.01%。
``` name: João Victor Mendes role: L2/L3 Technical Support Engineer current_focus: B2B fiscal compliance ERP SaaS location: União da Vitória, PR, Brazil specialty: [PostgreSQL, Incident Response, ETL, Windows Server Automation] scale: 500+ corporate environments # 1500+ end-users proof_point: OBMEP Silver Medal # top 0.01% among 18M+ participants featured_now: - "receita-cnpj-etl-pipeline # Receita CNPJ ETL + PostgreSQL client classifier" - "incident-response-runbook # PostgreSQL incident response + NVC + post-mortems" - "pg-incident-recovery # Windows-first PostgreSQL multi-cluster recovery tool" open_to: [Support Engineering, Database Engineering, SRE] contact: linkedin.com/in/mendes-victor ``` ## 作品集图谱 | 领域 | 公开成果 | 展示能力 | |---|---|---| | 数据工程 | [`receita-cnpj-etl-pipeline`](https://github.com/victormends/receita-cnpj-etl-pipeline) | 针对 Receita Federal CNPJ 开放数据的 Windows 优先 ETL,包含 PostgreSQL 暂存、大文件分类、清理后的发布包 | | 事件响应 | [`incident-response-runbook`](https://github.com/victormends/incident-response-runbook) | PostgreSQL 严重性分类、诊断、沟通、上报及事后复盘结构 | | 恢复自动化 | [`pg-incident-recovery`](https://github.com/victormends/pg-incident-recovery) | 针对 PostgreSQL 崩溃恢复场景的 Windows 服务安全恢复边界 | | 恢复工具 | [`pg-restore-tool`](https://github.com/victormends/pg-restore-tool) | 操作员控制的本地恢复流程,具有明确的安全/快速/不安全配置文件 | | 部署自动化 | [`windows-postgres-deployment-installer`](https://github.com/victormends/windows-postgres-deployment-installer) | 面向 Windows 工作站和小型服务器的人工审核 PostgreSQL 部署自动化 | | 财务支持工具 | [`nfe-xml-organizer`](https://github.com/victormends/nfe-xml-organizer)、[`tls-fix-erp-updater`](https://github.com/victormends/tls-fix-erp-updater) | 围绕 NF-e 文件处理和 Windows TLS 注册表故障模式的实用 PowerShell 工具 | | 数据可视化 | [`one-piece-ratings-timeline`](https://github.com/victormends/one-piece-ratings-timeline) | 静态站点数据产品,具有源代码策略、定时刷新和 GitHub Pages 发布功能 | ## 精选仓库

incident-response-runbook

### `事件响应运行手册` 一个生产级的 PostgreSQL 事件响应框架,结合了: - WAL 磁盘耗尽恢复(`pg_wal` 零字节可用) - SCRAM/MD5 和 `pg_hba.conf` 认证故障 - 连接池耗尽和锁竞争诊断 - 针对基础设施和应用层事件的事后复盘 - 基于 NVC 的客户沟通和战时指挥协议 这是我处理生产系统方式最清晰的公开体现:从第一性原理进行诊断,精确记录故障模式,并编码修复方案以确保此类事件不再发生。

pg-incident-recovery

### `pg 事件恢复` 一个面向多集群主机的、Windows 优先的 PostgreSQL 恢复编排器。它自动化了重启后事件处理中安全部分的操作: - 发现已停止的 PostgreSQL 服务 - 从服务定义中解析数据目录 - 清理过时的 `postmaster.pid` 文件 - 基于 `pg_controldata` 诊断缺失的 WAL - 带有边界重试的并行启动 - 崩溃恢复监控并平稳交还给 Windows SCM - 持久化队列文件,确保中断的运行可以干净地恢复 这是对 Runbook 仓库的可执行补充:Runbook 解释了我如何推理事件;这个工具则展示了我如何自动化一个最棘手的恢复路径,同时确保自动化过程的安全性。 ### 部署与恢复工具 [`windows-postgres-deployment-installer`](https://github.com/victormends/windows-postgres-deployment-installer) 和 [`pg-restore-tool`](https://github.com/victormends/pg-restore-tool) 覆盖了 PostgreSQL 周围那些不那么耀眼的支持路径:工作站/小型服务器部署、本地重建、恢复配置文件以及经过操作员审核的自动化。它们是经过深思熟虑的范围限定工具,而非平台主张:目标是移除那些重复且易出错的步骤,同时确保破坏性的选择是明确的。 ## 技术栈

PostgreSQL   PowerShell   Python   AWS   Git   Windows Server   Bash

WAL Management PL/pgSQL EXPLAIN ANALYZE Replication Slots Bloat Analysis autovacuum

ITIL RCA P1/P2 Incident Response ETL Pipeline Design NF-e / CT-e / SEFAZ pg_hba / SCRAM / RBAC

## 教育背景

**FGV** — 数据科学与经济学 (2020-2022) 全额 OBMEP 奖学金

**IFPR** — 系统分析与开发 (2023-2024) 计算数学成绩为 A
公开成果均经过脱敏处理:不含客户数据、私有主机名、凭据或内部支持工单。 footer
标签:AI合规, ETL 数据处理, L2/L3 支持, PostgreSQL 数据库, PowerShell 脚本, WAL 监控, Zenmap, 任务调度, 企业客户端管理, 企业级支持, 多引擎聚合, 应用安全, 技术支持, 故障排查, 故障诊断, 数据完整性, 数据库运维, 根因分析, 测试用例, 漏洞利用检测, 生产环境维护, 监控系统, 网络安全研究, 网络调试, 自动化, 自动化监控, 逆向工具