victormends/victormends
GitHub: victormends/victormends
这是一个针对Windows环境下PostgreSQL事件响应和自动化的支持工程作品集,解决数据库故障快速恢复和数据处理效率问题。
Stars: 0 | Forks: 0
"我将生产环境的行为视为真实的规范:隔离变量,找出根本原因,从结构上修复,确保此类故障不会重现。"
|
**PostgreSQL & 数据库工程** - **消除了整个集群的 WAL 保留风险类别**:构建了一个 Task Scheduler PowerShell 监控器 (PG12),用于检测不活跃的孤立复制槽,并应用基于阈值(保留2GB / 30分钟不活跃)的自动删除,并发出 Windows 事件日志警报;在 PG13+ 实例上,辅以 `max_slot_wal_keep_size` 作为硬性限制。 - **将超过15GB数据库的恢复时间缩短了60%**(从17分钟降至6分58秒),通过 `pg_restore -j 4` 实现并行处理。通过 `pg_class` 和 `pg_toast` 追踪到每月1GB的磁盘膨胀源于加密路径被序列化为审计日志条目中数千个字符。 - **自动化了30个数据库集群的恢复**:使用一个 PowerShell 脚本,并行化状态检查,清除过时的 `postmaster.pid` 文件,并在启动时处理 WAL 恢复。恢复时间从数小时缩短到5分钟以内,日常支持呼叫接近零。 - **在 `pg_hba.conf` SCRAM-SHA-256 与 MD5 不匹配后**,在全集群范围内**恢复了数据库访问**:通过按 IP 范围应用范围限定的 MD5,同时在其他所有地方保留 SCRAM。 |
**自动化 & 数据工程** - **构建了一个处理7000万条记录的ETL管道**,将一个超过15GB的政府数据集的处理时间缩短了60%;扩展了客户端分类(MEI、Simples Nacional、Normal、无效 CNPJ)、跨 NF-e/NFC-e/NFS-e/CT-e 的 XML 政策审计,以及 PostgreSQL 暂存区,筛选出前 0.001% 的销售线索进行商业优先级排序。 - **利用 LLM 辅助解析原始 SEFAZ 拒绝消息的 XML**,将财务发票诊断从30多分钟压缩到5分钟以内,涵盖了 NCM、CFOP、ICMS 和 CBNEF 格式,消除了一整类开发人员上报的问题。 - **零数据丢失的遗留系统迁移**:在一个下午内对一个没有文档的 Firebird 数据库进行逆向工程,从第一性原理重现了20年的交易历史(10,000+ 条目,50万巴西雷亚尔)以重建当前库存状态。 **早期信号:** OBMEP 银奖 (2016)、铜奖 (2014)、2次荣誉提名;在全国超过1800万参与者中排名前0.01%。 |
|
**FGV** — 数据科学与经济学 (2020-2022) 全额 OBMEP 奖学金 |
**IFPR** — 系统分析与开发 (2023-2024) 计算数学成绩为 A |
标签:AI合规, ETL 数据处理, L2/L3 支持, PostgreSQL 数据库, PowerShell 脚本, WAL 监控, Zenmap, 任务调度, 企业客户端管理, 企业级支持, 多引擎聚合, 应用安全, 技术支持, 故障排查, 故障诊断, 数据完整性, 数据库运维, 根因分析, 测试用例, 漏洞利用检测, 生产环境维护, 监控系统, 网络安全研究, 网络调试, 自动化, 自动化监控, 逆向工具