Выкачиваем почтовый архив. Бэкап Gmail и других ящиков на локальный диск

Почтовый ящик с письмами — это личная собственность человека. Никто не имеет права доступа к архиву, кроме владельца.

Забота о своём почтовом архиве тем более актуальна в нынешних условиях, когда любой внешний сервис может закрыться, обанкротиться или просто откажется вас обслуживать. Гораздо спокойнее хранить архив у себя — сделать резервную копию в надёжном домашнем хранилище.

Выкачиваем архив

Если у вас есть доступ к почтовому сервису, то проще всего выкачать письма по протоколу IMAP (Internet Message Access Protocol). Это один из стандартных протоколов, которые используются для доступа к почтовым ящикам, наряду с POP3, SMTP и HTTP (доступ через браузер). Большинство почтовых сервисов поддерживают все три протокола.

IMAP удобен тем, что позволяет без усилий синхронизировать папки на нескольких почтовых серверах и на локальном компьютере, периодически делать резервные копии и легко переносить почтовый архив с одного сервера на другой.

imap-backup (резервные копии)

Для резервного копирования хорошо подходит программа imap-backup, которая создана именно для этой цели.

Примечание: в случае подключения к Gmail нужно добавить программу в список разрешённых приложений и создать для неё отдельный пароль для доступа к почте.

Это делается в меню «Пароли приложений» раздела «Вход в аккаунт Googlе» (аккаунт Google → вкладка «Безопасность»).

Этот пароль пригодится позже.

Затем настроить программу для работы:

$ imap-backup setup

Эта команда создаёт файл конфигурации ~/.imap-backup/config.json. По умолчанию указаны параметры почтового провайдера Gmail, но можно указать конкретный сервер для подключения и отредактировать другие данные:

{
"accounts": [
{
"username": "my.user@gmail.com",
"password": "secret",
"server": "my.imap.example.com",
"local_path": "/path/to/backup/root",
"folders":
[
{"name": "[Gmail]/All Mail"},
{"name": "my_folder"}
]
}
]
}

В настройках можно указать настройки соединения, которые будут использоваться вместо стандартных. Например, отключить аутентификацию TLS:

{
"accounts": [
{
"username": "my.user@gmail.com",
"password": "secret",
"server": "my.imap.example.com",
"local_path": "/path/to/backup/root",
"folders": [
{"name": "[Gmail]/All Mail"},
{"name": "my_folder"}
],
"connection_options": {
"ssl": {"verify_mode": 0},
"port": 993
}
}
]
}

Обратите внимание, пароль к почтовому ящику здесь хранится открытым текстом в файле конфигурации. То есть проблему безопасности придётся решать самостоятельно: или хранить его в зашифрованном хранилище, или удалить после использования.

На самом почтовом сервере разрешаем доступ по IMAP. Например, в настройках Gmail соответствующая опция находится на вкладке «Пересылка POP/IMAP».

После настройки сама процедура резервного копирования почтового ящика запускается командой из консоли:

$ imap-backup

Ну или можно прописать в скрипт, который стартует по расписанию и выполняет все действия, связанные с резервным копированием.

Каждая папка из почтового ящика сохраняется в отдельный файл .mbox. Возле каждого .mbox лежит файл .imap, в котором перечислены исходные IMAP UID для полного восстановления ящика.

Другие команды.

Показать список папок:

$ imap-backup folders

Показать статистику загружаемых писем для каждой папки:

$ imap-backup status

Предусмотрена также процедура восстановления архива писем из резервной копии на другом почтовом сервере (restore).

Имейте в виду, что в Gmail установлены лимиты на скачивание.

Ну и, конечно, не забываем про стандартный сервис Google Takeout, который позволяет скачать вообще все данные, которые собраны в вашем аккаунте Google. Для почты создаётся файл .mbox, который можно спокойно импортировать в почтовый клиент. Но это больше подходят для однократной миграции, а не периодических бэкапов по расписанию.

imapsync (миграция)

Похожую задачу выполняет консольная утилита imapsync (работает под Windows, Linux, Mac OS). Только она не копирует и не восстанавливает почтовый архив, а напрямую переносит все письма с одного почтового сервиса на другой, выполняя инкрементальный рекурсивный перенос архива.

«Инкрементальный» означает возможность остановки копирования в любой момент — и возобновления процедуры в будущем без создания дублей. «Рекурсивный» означает копирование всей иерархии папок, подпапок и т.д.

Хотя у программы отсутствует графический интерфейс, можно попробовать онлайновую версию Mailbox Imapsync Online. Там указываете параметры исходного и целевого сервисов — и весь архив копируется с одного сервера на другой, но не более 3 ГБ.

Несложно заметить отличие от вышеупомянутой программы imap-backup. Во-первых, здесь не выполняется копирование на локальный диск ПК. Во-вторых, перенос архива с одного почтового сервера на другой происходит в одностороннем порядке, без полноценной синхронизации. Для двунаправленной синхронизации лучше использовать OfflineIMAP или mbsync (mbsync).

Обратите внимание, что ни одна из вышеперечисленных утилит не может скачать/синхронизировать контакты или календари по протоколу IMAP. Это можно сделать с помощью других инструментов типа Outlook CalDav Synchronizer или через экспорт / импорт файлов CSV или ICS.

Другие утилиты

На сегодняшний день существует около 50 инструментов для синхронизации по IMAP, резервного копирования почтового архива и / или переноса почтового ящика с одного домена на другой. Среди них нативные программы и внешние онлайн-сервисы, в том числе бесплатные, которые работают на базе imapsync.

Но основные инструменты перечислены ниже:

Не резервная, а рабочая копия

Выкачать почтовый архив — это замечательно. Теперь у нас есть резервная копия, которая никуда не пропадёт.

Но в идеале хотелось бы иметь возможность постоянно работать с этой информацией. То есть локально, в офлайне читать письма, сортировать их, находить важную информацию в архиве и так далее.

Для этого предназначены нативные почтовые клиенты. Они отлично работали ещё до изобретения WWW и появления первого веб-сайта. Но история развивается по спирали — и сейчас нативные клиенты снова актуальны.

Специализированные программы заточены на одну-единственную задачу. И выполняют её идеально. Нативный клиент позволяет ответить на письмо за несколько секунд, не притрагиваясь к мышке.

Хотя и у веб-клиентов есть очевидные преимущества. Неспроста многие люди перешли на них.

Преимущества веб-почты

Доступ с любого устройства. В далёкие времена люди выходили в интернет из интернет-кафе или от знакомых, у которых был интернет. С любого компьютера можно было проверить свой ящик и написать письмо. Хотя такая функциональность закладывалась в IMAP изначально, на практике это привело к централизации и «портализации» интернета.
Портал. Веб-почта получила популярность как удобный сервис «всё в одном». Люди заходили на единый портал, где было всё нужное и ненужное — почтовый ящик, каталог сайтов, поиск в интернете, новости, игры и так далее. Некоторые из этих «почтовых порталов» дожили до наших дней, хотя выглядят как архаизм. Когда вы нагромождаете кучу новых сервисов вокруг одного действительно полезного — почты, это напоминает навязывание ненужных услуг ради выжимания максимальной прибыли.
Поиск. Ещё одно важное преимущество — быстрый полнотекстовый поиск. По крайней мере, это касается Gmail. Собственно, её материнская компания и специализируется на поиске, так что ничего удивительного.
Антиспам. Ещё одно преимущество — более эффективная фильтрация спама через «облачную систему AI», но это скорее маркетинговое заявление, которое сложно проверить на практике. Да, «облачный AI» действительно эффективно фильтрует спам. Но и другие современные спам-фильтры без всяких «наворотов» тоже действуют очень эффективно. Например, бесплатная опенсорсная программа Rspamd.
Облачный хостинг. Сохранность писем вам гарантирует большая корпорация, которая специализируется на хостинге. Теоретически, у неё должно быть безопаснее, чем хранить архив у себя на компьютере. Но сейчас уже не так. В последнее время ситуация изменилась и стоит учитывать, что зарубежная компания может легко покинуть российский рынок, оставив ваши данные в пустоте. Теперь настоятельно рекомендуется сделать резервную копию всей информации, которая хранилась на внешних зарубежных сервисах.

Преимущества нативных клиентов

Преимущества нативных клиентов можно перечислять долго. Главное — это бесконечные возможности настройки под индивидуальный вкус и привычки, включая интерфейс, шрифты, меню, информационные тикеры, шаблоны, автоответы, сортировку писем по папочкам и многое другое.

В качестве примера можно привести один из самых известных в 90-е годы почтовых клиентов под Windows — The Bat! от молдавской компании Ritlabs.

The Bat!

Этот почтовый клиент поддерживается до сих пор. Даже выходят новые версии. Буквально в феврале 2022 года началось бета-тестирование новой версии The Bat! v10.

Вот некоторые продвинутые возможности The Bat!, чтобы понимать смысл использования нативных клиентов:

Шифрование PGP, GnuPG и S/MIME.
Сортировка. Поддерживаются произвольные правила сортировки и любое количество папок. Автоматическая обработка сообщений: автоответ, запуск внешнего приложения, добавить адресатов в адресную книгу, экспортировать/архивировать, извлечь аттачи и др.
Шаблоны.
Безопасная работа с аттачами. В офлайне на изолированном компьютере можно спокойно разбирать полученные файлы.
Выборочное скачивание. Многие письма фильтруются на сервере и удаляются перед скачиванием, чтобы не генерировать лишний трафик. Это было особенно актуально во времена диалапа.
Встроенная поддержка RSS.

Естественно, имеется автономная адресная книга, встроенный просмотр HTML (на движке Chromium) и другие атрибуты современного почтового клиента.

Другие почтовые клиенты

За историю интернета мы видели рождение и закат очень многих почтовых клиентов. Некоторые из них поддерживаются до сих пор. Вот самые известные:

… и многие другие.

В большинстве случаев можно настроить клиент на получение / отправку писем через разные почтовые сервисы. Кроме того, обычно поддерживается импорт / экспорт почтового архива из одного клиента в другой.

Почтовый архив — личная собственность человека

Новые стартапы в интернете рождаются каждый день. Интернет похож на бурлящий котёл инноваций. Глобальный конструктор, где каждый может собрать что-то новенькое и интересное из существующих модулей.

В то же время есть фундаментальные технологии, которые лежат в основе и обеспечивают работу всего этого огромного конструктора. Эдакие бессмертные титаны, удерживающие на своих плечах технологический стек. В интернете это протоколы TCP/IP и электронная почта.

Хотя сегодня люди часами сидят в телеграме и дискорде, но самые важные коммуникации всё равно идут по почте. Мессенджеры приходят и уходят, а электронная почта будет всегда.

Важно понимать, что почтовый ящик и все письма — собственность человека, а не постороннего сервиса. Это самая ценная информация, которую следует бережно хранить наравне с кошельками, паролями, секретными файлами и личными фотографиями.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.

Теги:

Хабы:

Редакторский дайджест

Присылаем лучшие статьи раз в месяц

FirstVDS

Виртуальные и выделенные серверы в ДЦ в Москве

Сайт Сайт Сайт ВКонтакте Telegram

@1shaman

Системный администратор

Комментарии 19

Интересно, а в Gmail можно как то разом скачать именно все вложения в электронных письмах?

Вот тут можно забрать все сразу:

https://takeout.google.com/

Это один из трёх стандартных протоколов доступа к почтовым ящикам, наряду с POP3 и HTTP (через браузер).

Позвольте придраться. Строго говоря, HTTP не является протоколом доступа к почтовым ящикам. И вообще не имеет прямого отношения к электронной почте. Это всем известно.

Да, конечно, вы правы, я имел в виду не именно стандарт протокола доступа, а способы доступа, поправил формулировку. Спасибо, что обратили внимание.

Давно использую связку offlineimap+msmtp+mutt. Веб-интерфейсы с каждым годом все страшнее и страшнее.

Почему offlineimap, а не getmail/fetchmail? Сейчас для себя выбираю обвязку для примерно похожего. Хотелось бы услышать мнение от более опытного в этом направлении.

А как работать с архивом mbox, который выдает gmail? Что-то не получилось никак его красиво импортировать в TheBat, например.

Странно, всё должно нормально импортироваться.

Если у вас данный финт ушами получился, не могли бы вы поделить работающей инструкцией?

В Thunderbird можно отметить папки imap для “Offline use”, и TB их полностью скачает. Вы работаете со своей почтой как обычно, но при этом она вся целиком присутствует на локальном диске, без дополнительных телодвижений.

О, большое Вам спасибо!

Да.

Вообще написанно как то сложно.

Надо же только подключить по imap ящик к outlook/bat/TB и сохранить скачанную клиентом переписку.

А ещё можно к этому же клиенту подключить, например, ящик на православных yandeх/mailru и простым копированием перенести все письма в них

Если речь идет об одном ящике, ну или о двух-трех, то, конечно же нет смысла заморачиваться с какими то утилитами. Прям в клиенте мышкой перетянул, да и все..
Но когда нужно смигрить 200-300 ящиков, это уже проблематично.

Когда у меня возникла такая задача - перенос ящиков нескольких сотен пользователей с mail.ru на свой локальный сервер, я использовал imapsync. Иначе никак.

Оригинальный OfflineIMAP форкнулся для поддержки python3 и не обновляется с августа 21-го года. Я лично переехал на mbsync. Клиент mu4e. Скорость консольных почтовых клиентов — просто отрыв башки.

Вот если бы сделать бэкап и по пути удалить всякие рассылки и уведомления. Есть такое с фильтрами?

TheBat был когда-то шагом в космос — можно было получить только заголовки и отметить те письма, которые надо скачать (остальное было мусором).

Потом пришёл Gmail в браузере, а тхебат с гмайлом в те времена не мог. Ну и всё.

Сегодня Thunderbird рулит, хотя и не так сильно, как когда-то, бо после переезда Mozilla на новый движок большинство расширений почтовика умерло. Но в принципе старикан норм, прям удовольствие.

Но тхебат был лучше!

Но в принципе старикан норм

В следующей версии в него даже интегрируют поддержку Matrix.

Ну, это-то вообще стандартная функция не клиента а протокола IMAP. Вполне возможно что гугель, кстати, сознательно втихую ломает совместимость с открытыми протоколами, чтобы привязать к себе, сейчас вот там с oauth для сторонних приложений чего-то мутят.

А вот что у бата действительно прекрасно - это система работы с фильтрами. Всю красоту, прозрачность и удобство которой оценил только поработав с /censored/ аутлуком .

https://www.mailstore.com/en/products/mailstore-home/