Видеозапись доклада Владимира Бородина о бэкапах в PostgreSQL.

• Проблема частичной записи страницы (partial page write): в результате какой-либо ошибки или падения системы на диск может быть сброшена только часть страницы с данными. В результате страница будет содержать смесь старых и новых данных. Для защиты от этого постгрес сохраняет в WAL каждую измененную страницу с данными полностью (хотя это и увеличивает размер лога). Настраивается через переменную full_page_writes (по умолчанию on).
• Бэкапы могут быть поврежденными. Нужно постоянно проверять, что из бэкапа можно восстановиться. Для этого можно использовать pg_dump, он пройдет по всем строкам и свалится с ошибкой, если обнаружит повреждение.
• Восстановление нужно заранее автоматизировать. Скрипт восстановления может пригодиться всего один раз, но это будет такая ситуация (ночь, нервы, спешка), что наличие скрипта окупит себя.
• Для бэкапов и восстановления в Яндексе используют barman.

Еще одно выступление Кристофа Петтуса о бэкапах PostgreSQL и восстановлении после аварий.

Причиной аварии могут быть отказ оборудования (жесткий диск, RAID-массив, сервер целиком или весь дата-центр), ошибки уровня приложения (баги в коде или в миграциях), человеческие ошибки (Oh, was I logged into production?) или действия хакеров.

Варианты бэкапа:

1. pg_dump. Самый простой и компактный способ. Подходит для небольших БД и для длительно хранящихся бэкапов. Не содержит индексов, поэтому восстановление занимает много времени.
2. Бэкап файловой системы и архивация WAL. WAL (Write-ahead log) — это журнал, в который база записывает все запросы для восстановления цельности после внезапных остановок. Копируя файлы с данными и WAL, можно таким же образом восстановить на другой БД текущее состояние. Или даже одно из предыдущих состояний, это называется point-in-time recovery. WAL-E — инструмент для непрерывного архивирования журнала в облако.
3. Потоковая репликация. Полное копирование данных в еще один экземпляр базы данных, который может обрабатывать запросы на чтение. При необходимости можно переключиться и использовать его в качестве основной базы. Легко настраивается, но нет возможности point-in-time recovery.
4. Логическая репликация. Копирование только части данных в другой экземпляр. Реализуется сторонними приложениями (Slony, Bucardo, Londiste...) и требует сложной настройки.

Слайды доклада Кристофа Петтуса о настройке и работе с PostgreSQL для обычных программистов (а не специалистов по постгресу).

Конспекты: Рено ван Реес, Дэниел Рой-Гринфилд.