MySQL运维三合一：建站→高可用全栈实战

　　后台数据不对那一刻，我正啃第三块桃酥，碎渣掉在键盘上，黏着删不掉。销售在隔壁工位喊“甲方问DB能不能扛住明天流量”，我嗯了一声，手还在刷新监控页——那个从凌晨三点开始飘红的从库延迟曲线，像根被扯直的橡皮筋，绷着，但谁都知道快断了。

　　两个月之前，我们建站用的是最糙那套：MySQL单实例搭在一台4C8G的机器上，前端连Nginx都懒得做反代，直接绑域名扔出去。甲方说“先跑起来”，我们真就跑起来了。跑得还挺欢，日活两三千，订单零散得像撒芝麻，数据库没吭过一声。那时候没人提高可用——不是不想，是根本没觉得它能出事。直到那次半夜三点，同事老张发来一张截图：主库CPU 99%，从库IO Wait飙到87%，而监控告警邮箱里躺了17封未读。他备注写：“查了三小时，发现是某个临时脚本把千万级用户表全扫了一遍……还加了for update。”

　　我原以为重启下主库、跳过几个GTID、再拉个新从库就能完事。结果跳完发现binlog格式配错了，半途又崩一次。那天凌晨五点，我蹲在机房柜子前看硬盘灯狂闪，空调太冷，后颈全是鸡皮疙瘩。手机快没电，充着线刷钉钉，看到甲方凌晨四点发的语音，听筒里声音压得很低：“不是说三副本嘛？咋一挂全哑？”我张了张嘴，没回。三副本？我们只部署了主从两个实例，第三个“副本”是昨天刚手动mysqldump出来的tar包，存在开发机桌面上，文件名叫“backup_20240520_v2_FINAL-1（真的）.sql”。

文章配图，仅供参考

　　后来推倒重来，搞了个“三合一”：建站时候就把MHA搭进去；上线前一天，强制所有人跑一遍failover演练，连前台销售都被拉过来填故障确认单；连备份策略都改成：每天凌晨两点物理备份+每十分钟binlog归档，存双区域，其中一份必须手动scp到隔壁楼另一台宿主机——不是信不过云盘，是信不过自己会不会哪天手抖删错目录。折腾了大半个月，系统终于跑稳了。但真正让我信这“三合一”站得住的，不是它多漂亮，是两周前，隔壁组一个同架构的站点崩了三次，他们修了两天都没法切回主库，最后靠恢复三天前的备份上线。我们那晚也在出问题，但从库切主耗时38秒，业务层只感知到两次502。我盯着Prometheus面板看了五分钟，突然觉得：原来“高可用”真不是玄学，是刀架脖子上逼出来的肌肉记忆。

　　优胜劣汰，就是这么个意思——不是比谁文档写得全，是比谁先在真实火堆里烤熟了膝盖。平台机制？我到现在也搞不懂为啥某些情况下MGR的选主逻辑会卡在prepare阶段，抓包看了四次，还是没结论。但这不耽误我改配置、调超时、换仲裁节点，因为我知道，等我想明白那天，业务早塌三次了。反正运维不是解奥数题，是拿脚试水温。

　　前两天午休，跟销售蹲茶水间泡面。他说客户昨天又问：“你家数据库挂过没？”他照实说了：“挂过，但没让你们看见。”然后客户居然笑了，说：“哦，那就对了。”——这话说得我愣了一下。其实挂过的，只是没让转化率掉下去而已。那会儿窗外天黑了，楼底下的路灯一盏接一盏亮起来，像一串没连上的SQL连接池，明明灭灭，但总算还亮着。

　　我有个习惯，每次重大变更后，会在监控告警页面旁边钉一个小便签，写当天日期和“这次没翻车”。现在上面贴了十一张。但上个月有一张被我撕了——不是因为翻车，是因为那天下雨，打印机卡纸，监控页一直转圈，我手滑点了十次刷新，误触发了一次无意义的主从切换。事后查日志，一切正常。可我还是撕了那张便签。不是较真，是怕自己记混了“人没犯错”和“系统没暴雷”的区别。

　　上周五，同事小李下班前甩给我一段Python脚本，说是自动检测慢查询堆积的。我扫了一眼，发现他把max_execution_time硬编码成了1000ms，而我们实际业务容忍阈值是300ms。我改完让他重测，他挠头说：“啊？我以为只要比默认值高就行……”我没骂他。我自己也干过类似的事：去年优化索引时，在生产库直接ALTER TABLE加了唯一约束，没走pt-online-schema-change——理由是“就一个字段，很快”。结果锁表三分钟，下单接口全堵住。钱烧了不少，转化率那几天一直上不去，但我没声张，自己写了份简短复盘，标题就俩字：“闭嘴”。

　　所以现在我信“MySQL运维三合一”，不是因为它多先进，是它把“建站、容灾、回滚”这三件事拧成一股绳，逼你没法分开想。就像你没法一边画UI稿一边想分布式事务怎么隔离一样——它们本来就是一个脏活的整体。甲方不会为你的MHA脑图买单，只会为他凌晨两点还能下单买单。这点我认了。

　　下一步？准备试ProxySQL路由层做读写分离，但得先找个测试环境跑七天，不带任何业务流量，纯看它会不会在凌晨三点莫名吃掉全部连接数。至于能不能成……说实话，我也不知道。今天先把老张拉过来，让他把那台存着“FINAL-1（真的）”备份的开发机硬盘拆下来，换个SSD——总不能让最后一道防线，还赖在一块七年前的希捷上吧。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!