Сидоров Данил
RU EN DE
Telegram

Резервное копирование PostgreSQL из браузера

Веб-сервис для полных, инкрементальных и дифференциальных копий баз PostgreSQL без консоли и скриптов

DevOps / Базы данных

Живой интерактивный демо-стенд

Точная копия интерфейса и бизнес-логики проекта с демонстрационными данными. Все действия работают в реальном времени.

Инкрементальные копии без SSH и без updated_at

СтекPython, Django, PostgreSQL, S3, Docker

Безопасный контур (NDA): боевая логика на тестовых данных

Что протестировать в стенде:
  1. Создайте инкрементальную копию базы с вычислением diff строк
  2. Переключите хранилище на S3 и проверьте лог шифрования учетных данных
  3. Запустите симуляцию восстановления базы данных через psql
https://datastudio.internal/backups
Live Stand
DataStudio PostgreSQL 17 Backup Manager
admin · worker: active
Всего копий 6 3 базы данных в контуре
Объём хранилища 1.34 ГБ S3 + локальный диск
Последняя копия 8 мин назад billing_demo (Incremental)

Журнал резервных копий

База данных Тип Хранилище Размер Создан Статус Действия

Реализация под ключ

Нужна похожая система под ваши бизнес-процессы?

Разработаю архитектуру, отказоустойчивый бэкенд и быстрый интерфейс. Защита соглашением о неразглашении (NDA), чистый передаваемый код и прозрачные этапы.

  1. Бесплатная оценка сроков и бюджета в течение дня
  2. Договор и безнал
  3. Гарантия и поддержка после запуска

В будни обычно отвечаю за пару часов

Отвечу лично, без навязчивых продаж

Задача

Нужно было снимать копии нескольких баз PostgreSQL без доступа к серверу по SSH и без ручного pg_dump. Полная копия большой базы дорогая, поэтому между полными нужны маленькие копии только с изменениями.

Решение

Сделал веб-приложение на Django. Каждая копия сохраняет отпечаток всех строк базы, а следующая сравнивает с ним текущее состояние и пишет только разницу: новые, изменённые и удалённые строки. Разница ложится в один SQL-файл, который применяется обычным psql поверх восстановленной полной копии. Перед запуском приложение проверяет подключение и объясняет ошибку понятными словами.

Решённые задачи

  • Сделал полные копии через pg_dump и инкрементальные и дифференциальные поверх них
  • Ловлю все изменения, включая удалённые строки, без колонок updated_at
  • Проверил восстановление целиком тестами на настоящем PostgreSQL
  • Вынес копирование в фоновый воркер, сайт не ждёт дампа
  • Дал выбор хранилища: диск сервера или S3
  • Не храню пароли баз: в очереди они зашифрованы и стираются после копии
  • Разделил доступ: каждый пользователь видит только свои копии

Результат

Копия базы снимается из браузера в пару кликов, а между полными копиями хранятся только изменения. Код открыт на GitHub, сервис разворачивается одной командой docker compose up.

Технологии

PythonDjangoPostgreSQLS3Docker

Источники

Ссылки подтверждают цифры в кейсе

Расскажите о задаче

Telegram