Сегодня ночью на одной из наших площадок в Европе произошел пожар. Возгорание произошло в ДЦ части SBG2. Наше оборудование находится в части SBG3. Но из-за крупного возгорания упала вся сеть, в результате которой многие клиентские сайты, в том числе и наш стал недоступен. В связи с тем, что нам не известны сроки восстановления сети, наша команда мобилизуется на предмет аварийного восстановления серверов. В частности установка нового оборудования на другой площадке и восстановления сайтов из бекапов.
UPD 10:36 – По информации из ДЦ, пожар локализован. Но пожарные продолжают остужать уцелевшие здания водой. Сегодня уцелевшие корпуса ДЦ SBG1, SBG3, SBG4 включаться не будут. Таким образом мы приняли правильное решение не дожидаться решения проблемы и заниматься восстановлением клиентских сайтов в другом ДЦ.
UPD 11:36 — Восстановлен наш рабочий сайт и система биллинга. (из-за восстановления, часть данных по биллингу за несколько часов будет не актуальной. Эту информацию обновим в ближайшее время). Ожидаем активацию новых серверов чтобы начать восстановление из системы удаленных бекапов.
UPD 11:52 — В актуальное состояние приведена информация в биллинге (счета, оплаты). Ожидаем установку нового серверного оборудования.
UPD 13:23 – По последним данным из ДЦ, пожарные уехали. В данный момент специалисты изучают сервера на площадке SBG3. Разрабатывается план по запуску сети на площадках SBG3 и SBG4 и возможно SBG1 который частично пострадал. Напомним, что наше оборудование находится в корпусе SBG3. Также имеются задержки по развертыванию новых серверов – на них возник ажиотаж со стороны многих IT-компаний мира, которые пострадали так-же как и мы. Мы подали заявку одни из первых, но пока нет точной информации когда нам выдадут новые сервера.
UPD 14:19 – Корпус SBG3 осмотрен, по словам сотрудников ДЦ, все сервера ОКey. Напоминаем, именно в этом корпусе находится наше оборудование. Сейчас прорабатывается план восстановления сети для этого корпуса и запуска серверов. Мы по-прежнему ожидаем наши новые сервера, которые были заказаны утром после того как мы узнали о пожаре. Вариантов развития событий два – или будет восстановлена работа в ДЦ корпуса SBG3, или мы начнем восстановление сайтов из наших бэкапов (они хранятся на удаленной машине в другой стране). Но восстановление мы сможем запустить после того как нам выдадут новые сервера. Как мы писали ранее, многие IT-компании как и мы для быстрого восстановления своих сервисов бросилась приобретать новые сервера. Мы не можем сказать точное время когда нам смонтируют новые сервера в стойку. Пострадали многие крупные IT-компании.
UPD 15:11 – Исследована сетевая комната SBG1 на которую были завязаны и других корпусы дата-центра. По словам специалистов они тоже в порядке. Есть шанс что получится оперативно запустить работу серверов на текущей локации а не восстанавливать бекапы на новых машинах. Новые сервера нам пока еще не выдали.
UPD 16:36 – К сожалению, по последней информации сотрудников ДЦ SBG1, SBG3 и SBG4 сегодня запускать не будут. Ждем новое оборудование для оперативного развертывания сайтов из бэкапов.
UPD 19:28 – По текущей информации от сотрудников ДЦ, перезапуск сети в SBG1 и SBG4 запланирован на 15 марта. Площадку в SBG3 (там находятся наши сервера) планируют на 18 марта. Уже сейчас понятно, что данные сроки нас никак не устраивают и мы будем добиваться скорейшей выдачи новых серверов чтобы запустить восстановление сайтов из наших удаленных резервных копий. Но из-за аварии возникли проблемы с новыми серверами, поставку 10.000 новых серверов обещают в течение 1-3 недель. Напомним, авария привела к проблемам на Google, Youtube а также многих российских крупных сайтов.
UPD 20:51 – Нам установили несколько серверов в других дата-центрах с которыми мы сотрудничаем. Сейчас идет настройка ПО. Это резервный вариант для переезда, если нам в адекватное время так и не предоставят новые сервера в ДЦ компании где произошел пожар (у них 15 ДЦ по всеми миру). Дело в том, что в другом ДЦ у нас не будет возможности забрать наши IP-адреса, что для большинства клиентов критично. Мы продолжаем работать над проблемой.
UPD 23:59 – В связи с тем, что со стороны ДЦ мы так и не получили вразумительного ответа по срокам “разворачивания” новых серверов на другой локации, запущено восстановление первого сервера S8 в рамках стороннего ДЦ. В течении ночи и утра постараемся восстановить работу всех сайтов которые в данный момент не доступны. И будем прорабатывать план восстановления работы старых IP-адресов.
UPD 3:20 — Клиенты сервера S8 кто использовал не наши ДНС-сервера а сторонние (вроде CloudFlare) нужно прописать новый IP — 157.90.2.157. К сожалению мы вынуждены разворачиваться на другой площадке, где нет возможности перенести старые IP. Но и ждать выдачи сервера на нужной нам площадке мы не можем из-за и без того длительного «дауна».
UPD 9:24 (11 марта) – Мы продолжаем работать над устранением проблемы. Один из серверов удалось этой ночью восстановить из бэкапов и запустить в работу сайты. Многие клиенты наши сообщения читают между строк – 18 марта, это дата заявленная ДЦ по восстановлению сгоревшего корпуса. В тексте мы написали что эта дата нас не устраивает и мы приступили к разворачиванию бэкапов на новых машинах. Новые сервера были заказаны еще вчера утром, для размещения в другом ДЦ этой компании. Но идут задержки по поставке оборудования, поэтому мы пошли на дополнительные затраты и заказали оборудование у других наших партнеров. Часть смонтирована, идет настройка ПО и подготовка к восстановлению. Просим отнестись к проблеме с пониманием! Мы работаем 24/7, всегда оказывали качественные услуги хостинга и размещали свое оборудование в одном из самых надежных ДЦ Европы.
UPD 13:24 (11 марта) – В ближайшие 1-2 часа после финальной настройки оборудования начнется восстановление из бэкапов сайтов с серверов S5 S27 и S26.
UPD 17:55 (11 марта) — Идет «распаковка» аккаунтов сервера S27, затем на очереди S26. Следующим этапом произойдет распределение IP-адресов. Часть старых айпи сохраняется, часть из-за технических особенностей временно восстановить не получится. Сейчас работаем максимально на то, чтобы восстановить работу всех сайтов. К сожалению, пока со стороны компании-владельца ДЦ где произошел пожар, нам не оказана даже минимальная помощь, чтобы мы смогли более максимально заниматься восстановлением.
UPD 21:24 (11 марта) – Мы практически закончили распаковку файлов сайтов пострадавших клиентов. Работаем с очень большим объемом информации. После этого начнем переключать старые IP-адреса. Об окончании процесса будет сообщено дополнительно.
UPD 0:39 — Распаковка S27 заканчивается, следом будет запускаться S26. Специально для клиентов, которые звонят, чтобы убедиться что мы работаем – восстановление идет, сотрудники не спят уже 2 сутки. Распаковывается огромный балласт данных. Просим проявить терпение. Максимальная информация публикуется здесь по мере ее появления. Индивидуально каждому по телефону или в тикетной сообщить о статусе восстановления — физически тяжело. Кроме того, это отвлекает сотрудников от основной работы. Именно поэтому мы стараемся оперативно вести эту страницу. При необходимости, каждый клиент получит от нас индивидуальное письмо с рекомендациями – если это от него потребуется. Спасибо за ваше терпение и теплые слова поддержки.
UPD 2:27 — Распаковка S27 завершена. Проверяем данные после переноса. Запущена распаковка S26. Клиентам на текущий момент ничего делать не нужно. По мере необходимости мы обновим данную страницу и сообщим дополнительную информацию.
UPD 10:00 (12 марта) — Большая часть восстановленных ночью сайтов по S26 и S27 уже вернулись в работу. Предстоит еще большая работа по распределению IP-адресов, но пока вся работа выстраивается на восстановление сайтов.
UPD 13:48 (12 марта) — Аккаунты которые до пожара находились в статусе “заблокирован за неоплату” в наш пул бэкапов не попали, так как когда аккаунт заблокирован делать для него резервную копию совершенно бесполезно. Соответственно клиенты которые сейчас производят оплаты за заблокированные аккаунты, получить доступ к сайтам не могут. Такие аккаунты наша поддержка будет пытаться восстанавливать в индивидуальном порядке. Просим отнестись к этому с пониманием.
UPD 15:54 (12 марта) — Хорошие новости! Со стороны ДЦ где произошел пожар начала поступать помощь. Сегодня нам выдали сразу несколько серверов в новом ДЦ. Это позволит нам в ближайшее время разместить все сайты как положено и решить возникшую чехарду с IP-адресами. Начнем готовить оборудование к восстановлению нескольких ВПС-машин. Кроме того, в сгоревшем ДЦ идут восстановительные работы полным ходом. Наша площадка хоть и не пострадала — но восстановить сеть и питание там смогут только к началу следующей недели (15-17 марта). Мы знаем, что для некоторых клиентов откат на 1 день из бэкапов является критичным, а потому, уже ближе к указанным датам будет возможность забрать потерянные за сутки данные. Восстановительные работы продолжаются.