15. GitLab 挂了怎么办?高可用架构 + 备份恢复业务不中断
「GitLab」系列已发布: 00. GitLab 不只是代码托管:一套 DevOps 平台的 6 大核心能力 | 01. GitLab 怎么装最省心?Omnibus/Docker/K8s 三种姿势 | 02. 装完 GitLab 先配啥?管理员视角的初始化设置清单 | 03. GitLab 角色搞不清?Member/Maintainer/Owner 权限全解 | 04. 从零建好第一个 GitLab 项目:权限、变量、CI 配置入门 | 05. GitLab MR 代码审查:Code Review 最佳实践 | 06. CI/CD 到底是什么?GitLab 流水线架构从概念到实战 | 07. Runner 装不好?GitLab Runner 单机/分布式/高可用全攻略 | 08. .gitlab-ci.yml 怎么写?从 Hello World 到生产配置 | 09. 从 0 到 1:Go + React 项目的 GitLab CI/CD 实战部署 | 10. 构建太慢?GitLab 缓存与工件管理:加速构建省时间 | 11. 测试/预发/生产怎么管?GitLab 多环境部署与金丝雀发布 | 12. 安全左移:GitLab SAST/DAST 自动化扫描,漏洞提前拦截 | 13. 镜像仓库不用 Harbor?GitLab Container Registry 一站式管理 | 14. 私有包怎么存?GitLab Package Registry:Maven/PyPI/NPM 全覆盖 | 15. GitLab 挂了怎么办?高可用架构 + 备份恢复业务不中断(本文)
GitLab 是研发命脉,挂一天全公司停工。
高可用和备份恢复是两个层面的事:高可用让故障发生时业务不中断,备份恢复让数据丢失后能找回。先保数据,再保可用。
一、备份策略
1.1 自动备份配置
配置文件:/etc/gitlab/gitlab.rb
gitlab_rails['backup_path'] = "/var/opt/gitlab/backups"
gitlab_rails['backup_archive_permissions'] = 0644
gitlab_rails['backup_keep_time'] = 604800 # 7 天
添加定时任务,每天凌晨 2 点执行:
crontab -e
0 2 * * * /opt/gitlab/bin/gitlab-rake gitlab:backup:create
1.2 备份内容
| 内容 | 位置 |
|---|---|
| 数据库 | backups/ |
| Git 仓库 | backups/git-data/ |
| LFS 对象 | backups/lfs-objects/ |
| 上传文件 | backups/uploads/ |
| 构建工件 | backups/artifacts/ |
| 容器镜像 | backups/packages/ |
| Pages | backups/pages/ |
1.3 备份文件命名
1690000000_2023_08_22_16.0.0_gitlab_backup.tar
格式:时间戳_年_月_日_版本_gitlab_backup.tar
二、恢复流程
2.1 停止服务
sudo gitlab-ctl stop puma
sudo gitlab-ctl stop sidekiq
sudo gitlab-ctl status
确认 puma 和 sidekiq 已停止,其他服务可以继续运行。
2.2 执行恢复
# 查看可用备份
ls -lt /var/opt/gitlab/backups/
# 恢复指定备份
sudo gitlab-rake gitlab:backup:restore BACKUP=1690000000_2023_08_22_16.0.0
# 启动服务
sudo gitlab-ctl start
2.3 验证恢复
sudo gitlab-rake gitlab:check
检查数据库连接、Git 仓库访问、Sidekiq 队列是否正常。
三、远程备份
本地备份不够,要同步到远程存储。
3.1 配置 S3 存储
# /etc/gitlab/gitlab.rb
gitlab_rails['backup_upload_connection'] = {
'provider' => 'AWS',
'region' => 'us-east-1',
'aws_access_key_id' => 'AKIA...',
'aws_secret_access_key' => 'xxx'
}
gitlab_rails['backup_upload_remote_directory'] = 's3://gitlab-backups'
重新配置后生效:
sudo gitlab-ctl reconfigure
3.2 多站点容灾
主站点自动备份到 S3,灾难时从 S3 恢复到备用节点。
四、高可用架构
单机 GitLab 是单点故障。高可用需要拆散组件,各自独立部署。
graph TB subgraph 用户层 direction LR DEV[开发者] PM[产品经理] OPS[运维] SEC[安全团队] end subgraph GitLab集群 direction TB LB[Load Balancer] RAILS[Rails Pods] SIDEKIQ[Sidekiq Workers] GITALY[Gitaly Nodes] PG[(PostgreSQL HA)] REDIS[(Redis Cluster)] LB --> RAILS --> SIDEKIQ --> GITALY --> PG --> REDIS end subgraph 下游系统 direction LR subgraph 集成层 direction TB LDAP[LDAP / SSO] IM[Slack / 钉钉] JIRA[Jira] REG[Container Registry] end subgraph 安全层 direction TB SAST[SAST] SECD[Secret Detection] DAST[DAST] DEPS[Dependency Scanning] end end DEV --> LB PM --> LB OPS --> LB SEC --> LB REDIS --> LDAP REDIS --> SAST
4.1 关键配置
# /etc/gitlab/gitlab.rb
# 多应用服务器
puma['worker_processes'] = 4
sidekiq['concurrency'] = 25
# 外部 PostgreSQL
external_url 'https://gitlab.example.com'
postgresql['enable'] = false
gitlab_rails['db_host'] = 'postgres-primary.internal'
gitlab_rails['db_port'] = 5432
gitlab_rails['db_database'] = 'gitlabhq_production'
# 外部 Redis
redis['enable'] = false
gitlab_rails['redis_host'] = 'redis.internal'
gitlab_rails['redis_port'] = 6379
# 外部 Gitaly
gitaly['enable'] = false
gitlab_rails['gitaly_address'] = 'tcp://gitaly.internal:8075'
# 对象存储
gitlab_rails['object_store']['enabled'] = true
gitlab_rails['object_store']['connection'] = {
'provider' => 'AWS',
'endpoint' => 'https://s3.internal'
}
4.2 各组件说明
| 组件 | 作用 | 高可用方案 |
|---|---|---|
| Nginx/HAProxy | 负载均衡 | 多实例 + 健康检查 |
| Puma | Web 应用服务器 | 多进程 + 无状态 |
| Sidekiq | 后台任务队列 | 多实例共享队列 |
| PostgreSQL | 关系数据库 | 主从复制 + VIP |
| Redis | 缓存与会话 | Sentinel 或 Cluster |
| Gitaly | Git 仓库存储 | 多节点 + 副本 |
| S3/MinIO | 对象存储 | 分布式存储 |
五、监控与告警
5.1 健康检查
# 存活检查
curl -s -o /dev/null -w "%{http_code}" https://gitlab.example.com/-/health
# 就绪检查
curl -s https://gitlab.example.com/-/readiness | jq
返回 200 表示健康,503 表示异常。
5.2 关键指标
| 指标 | 告警阈值 |
|---|---|
| CPU 使用率 | > 80% 持续 5 分钟 |
| 内存使用率 | > 85% |
| 磁盘使用率 | > 80% |
| PostgreSQL 连接数 | > 80% 最大连接 |
| Sidekiq 队列深度 | > 1000 |
| Gitaly 请求延迟 | > 200ms |
六、常见问题
Q:备份失败怎么办?
检查备份路径权限、磁盘空间、数据库连接。日志在 /var/log/gitlab/gitlab-rails/backup*.log。
Q:恢复后数据不一致?
可能是备份期间有写入。建议先在测试环境验证恢复流程,生产恢复时通知团队暂停提交。
Q:高可用架构成本高?
社区版需要自行维护各组件 HA。企业版提供付费的高可用套件,简化部署。
📌 本文首发于微信公众号 【运维知识点滴】——专注运维实战干货,微信搜索“运维知识点滴”或扫下方二维码关注,更新不迷路。
| 微信公众号【运维知识点滴】 | 微信小程序【A5单据合并&大试卷拆分转A4打印】 |
|---|---|
![]() |
![]() |
| 运维实战干货 · 关注追更 | Word 转 PDF · 试卷/发票打印神器 · 免费 |
💡 小程序【A5单据合并&大试卷拆分转A4打印】是干嘛的? 一个 Word 转 PDF 的打印神器,专治“文档版式和打印机对不上”:
- A3 试卷打不出来? 学校发的电子版试卷多是 A3,家用打印机只吃 A4——上传 Word 一键转换:可缩到一页 A4(页数不变),也可对半拆成两张 A4(1:1 原大、字更清晰),两种模式自选;
- 版式不乱:真实渲染引擎原样转换、绝不重排内容,转出的 PDF 和原 Word 排版一致,公式/表格/图片不跑版;
- 两张 A5 单据拼一张 A4:出租车票、火车票等报销凭证拼版后,一次打印、整齐粘贴;
- 隐私省心:无需注册,转换结果留存 5 天、最多下载 5 次即自动删除,不留任何历史记录;
- 微信扫码即用,免费、免安装,支持 doc / docx(≤50MB)。

