本页目录展开
本篇收九起有记录的事故,从 2023 年。每起按「发生了什么 → 原因 → 怎么修 → 之后改了什么」压缩,不补原文没有的因果。共同点:九起里没有一起是监控先发现的,发现者都是用户、同学或值班者。
逐起复盘
一、2023.9.18:上线当天崩服,原因没查出
站点打不开,访问者反馈。值班的人重启并重新部署,服务恢复,原因没查出来:没有完整日志,重启把进程状态、错误栈、请求现场清掉了。之后补上日志系统。规矩:重启前先留日志、堆栈、连接数、慢查询。
二、2023.9.22 13:45:12:全部帖子被删除
上线第四天,用户反馈帖子没了;库还在。general log 里 13:45:12 有一条全删语句,后端日志同一时刻连续出现删除请求,没有攻击痕迹——正常请求打到了有缺陷的代码。删除函数不校验目标是否存在,传入不存在的 ID 时条件失效,退化成无条件删除;用不存在的 ID 测试必现全表清空。
用 binlog 恢复:binlog.000003 Pos 217032,mysqlbinlog 按时间位置截出事故前一段,binlog2sql 转回滚 SQL 灌回,核对帖子数与时间戳。之后补备份,函数改成先判存在再删;规矩是 ID 大于 0、WHERE 命中主键、RowsAffected 只能是 1,binlog 需 ROW 格式和保留期。
三、2023.9.26:评论数全变成 1
用户截图:列表评论数都是 1。数据还在,查询取到的是某一条评论记录,没有统计条数。改成按帖子聚合,或单独维护计数字段。规矩:评论数、点赞数、浏览数必须有唯一事实源,查询聚合或写时维护加回填,不能 join 一行当计数。
四、2024.1.26:验证码发不出,注册归零
注册连续几天为零,被当成没人注册;一位同学说收不到验证码,才知道入口断了,一直没人报障,拖到 1 月 26 日才修。根因是端口 465 写成 456,QQ 邮箱已关非 TLS 端口。修复:改 TLS,发件箱换企业邮箱。教训:发信失败和注册为零都没告警,零值最该报警。
五、2025.11—2026.1:双 Token 改造,先撑爆 Redis,再撑爆 MySQL
2025.11.16 登录改双 token:短期 access token 加 30 天 refresh token,用一次作废。refresh token 写进 Redis,键名 refresh_token:<JWT>,值为用户 ID,TTL 30 天,用掉才 DEL;登录、刷新、换设备、重授权都产生新键,没用的永不删,Redis 涨满后登录不可用。
11.19 改存 MySQL:新建 refresh_tokens(user_id、唯一 token、expires_at、is_used、created_at),刷新按 token、用户、未使用查一条,标记已用再发新对;每 48 小时的清理任务删三天前已用记录。但条件写成 is_used = 1 AND updated_at < cutoff,表里只有 created_at;SQL 报错被 if result.Error != nil 接住,只打日志就返回,任务「跑了」但没删,两个月后磁盘满。2026.1.20 改成 created_at < cutoff。教训:会话数据要有生命周期;清理要看日志的「N 条」。
六、2026.8.30:磁盘满,整机挂死约一小时
20:26 起依赖磁盘的服务集体超时,日志落盘延迟 3–7 分钟;20:35 整机硬挂死。四类「只进不出」:每日 mysqldump 备份不轮转,三年 1178 个文件、14G;Docker 构建缓存不清,561 次构建留下 28.9G,每日清理脚本因文件丢失静默失败数月;容器日志无上限,一个错误循环容器占 5.5G;journald 无上限,frps 与 k3s 每天多出 500M 以上。磁盘 97%、剩 7.9G,多路大 I/O 把系统 I/O 拖停。
重启后宿主机空的默认 nginx 抢占 80/443,入口容器起不来;后来永久停用它。之后:cron 每日维护(构建缓存 72 小时、备份压缩保留 30 天、60 天后删)、journald 1G、容器日志 50m×3、磁盘 85% 告警。教训:清理任务要验证真的在跑,静默失败比没有清理更危险。
七、2026.9.19:蜜罐封了入口 Nginx,API 失效约 35 分钟
用户反馈 API 全线不可用。后端活着,日志有「服务就绪」,无 panic/OOM;直连容器 200、1.7ms;DB、Redis 正常。蜜罐按 IP 聚合 frps 连接识别扫描器,入口 Nginx 七天访问四个代理 1011 次,命中「四代理 + 一千次」的 multi-scan 阈值;反代和扫描器几乎分不开,调阈值治不了本。tarpit 没加 --dport,封全部端口,请求全改道 endlessh,叠加封禁 7 天;免名单逐 IP 手写,容器 IP 重建即过时。
修复:加内网网段豁免(127/8、10/8、172.16/12、192.168/16),靠「豁免 IP 已封则自动解封」自愈,30 秒恢复。排查法:连一个没人监听的端口,正常应 Connection refused;若也吐随机 token,五秒可判定请求在网络层被按源 IP 劫持。
八、2026.9.22:图床误删线上组,丢约 900 张图
图床部署失败,平台删了线上组,组目录清空,丢约 900 张图;九起里唯一丢数据,部署时发现。三层根因:部署机经 hairpin NAT 访问自己域名,源 IP 是公网 IP,SSH 蜜罐没配 ignoreip,七天全端口 tarpit 掐断到跳板机的路,包传不上去;平台兜底「新建 pod 失败就释放」,把瞬时查询错误误判成「组不存在」,标记为新建,失败后真删线上组,审计里发生过四次;图床只有写 MinIO / 写本地盘两种互斥模式,容器用 su -l(login shell)拉起 supervisord,-l 重置环境变量,MinIO 密钥为空,写本地盘,无备份。
修复:切对象存储并端到端验证(移走本地文件仍能出图);修掉误删判定。教训:数据变更灰度、新旧并行;删除依赖一次网络查询时,不能凭一次判断执行。
九、2026.9.29:traefik 抢占 80/443,25 个域名 HTTPS 挂约 2.5 小时
16:30 起 25 个域名陆续报证书错误,用户反馈才发现,19:01 恢复。docker 里的 nginx 有真证书、接真流量;k3s 的 traefik 零配置空跑。k3s 每次启动按出厂值重装组件,traefik 默认以 LoadBalancer 占 80/443;此前的修复写在托管文件 manifests/traefik.yaml,重启被覆盖。k3s 的 iptables 规则插在最前,KUBE-SERVICES 先命中 443,nginx 规则轮不到——nginx 没坏,证书没过期,只是一个连接都没接到,所以直连容器 IP 正常、走域名报证书错。
触发是 AI 运维代理为启用 gVisor 执行 systemctl restart k3s:重启必要,但变更前没留端口基线、没复核「k3s 无业务」,变更后没自检主站,靠人工报障拖了两个多小时。修复是九行 HelmChartConfig(traefik-config.yaml),重启不覆盖,把 traefik 固化成 ClusterIP,占位容器和 iptables 规则一起消失。
九起放在一起看
| 事故 | 真正的缺口 | 后来补的 |
|---|---|---|
| 崩服 | 没有日志 | 日志系统 |
| 删库 | 破坏性操作无护栏、无备份 | 校验、备份、binlog 恢复流程 |
| 计数 | 展示层与事实源脱节 | 聚合口径 |
| 邮件 | 静默失败,零值无告警 | TLS、换发件箱 |
| 双 Token | 会话数据无生命周期 | 改存 MySQL、清理任务、按 created_at 删 |
| 磁盘满 | 清理静默失败数月无人验证 | 轮转、日志上限、85% 告警 |
| 蜜罐封禁 | 安全动作未评估爆炸半径 | 内网网段豁免、告警 |
| 图床误删 | 删除无二次确认、无备份 | 切对象存储、修误删逻辑 |
| 证书失效 | 端口无唯一 owner,托管文件被直接改 | HelmChartConfig 固化、端口巡检 |
- 先保现场再动手。 重启、回滚、改配置之前,把日志、堆栈、连接、慢查询留下来。
- 破坏性操作当敌人对待。 校验、主键、影响行数、备份,四样缺一不可;删除条件依赖网络查询时,加二次确认或时间窗。
- 给「零」和「失败」配告警。 注册为零、发信失败、清理任务连续失败,都该有人被叫醒;等人来问坏没坏,代价太大。
← 回到集市技术专题





