Пятница тринадцатого и резервный сервер «Окнардии»

Коротко и по делу: почти половину пятницы 13 октября наш сервис был недоступен. Приносим извинения всем партнёрам и пользователям «Окнардии». Проблема решена, и чтобы впредь такого не повторялось развёрнут резервный сервер с зеркалом сайта: save.oknardia.ru.

Краткое изложение проишедшего

Прошедшая пятница тринадцатого принесла катаклизмы проекту. Хостинговая компания DeamHost, на серверах которой размещена «Окнардия», назначила обновление программного обеспечения именно на этот день. Детальное описание обновлений в рассылке хостера и успокаивающие предупреждения о «возможных кратковременных неполадках» возымели действие. Ровно в полночь по Гринвичу (3:00:00 MSK) на почтовую систему уведомлений о критичных сбоях на сайте посыпались письма с извещениями об ошибках. К стыду сказать, надо разбор этих сообщений не был проделан сразу. Обещаны сбои? Вот они и не о чем волноваться!

Через полтора часа почтовый ящик «распух» от этих извещений и было решено связаться со службой поддержки. Но очередь оказалась длинной, двигалась медленно и было решено оставить вопрос до утра. К слову сказать, хостинговая компания расположена в Сан-Франциско. Когда по московскому времени пятый час утра, там как раз рабочий день в разгаре. Так что лавина обращений с службу поддержки объяснима.

Днём, американских специалистов службы сопровождения сменили индусы. И на наше обращение ответили просто: сайт превысил лимит памяти и процессорного времени, эти лимиты — коммерческая тайна и всё что можно сделать — ограничить трафик, закрыв фильтрами поисковые боты. Да, сайт через некоторое время выпадет из поисковой выдачи. Но это решит проблему. Такое предложение мало кого устроит, и мы начали экстренные работы по переносу сайта.

К счастью оперативно выбрать нового партнёра — не просто. Помогла, уверенность, что нагрузочное тестирование проводилось, «Окнардия» размещена на «безлимитном тарифе», отлично работало до обновлений сервера и без претензий со стороны хостера. Дневная смена служб сопровождения подтвердила предположения, проведя специальные тесты. Просто из-за обновления некоторые скрипты сайта перестали работоспособность. Началось поочерёдная обновление и переустановка используемых библиотек. Выяснилось, что библиотека работы с графикой (а картинки схем открывания окон рисуются динамически и только после этого кэшируются) стала несовместима с новой операционной системой сервера. Проблема решена.

Чтобы впредь подобной проблемы не возникло развёрнут резервный сервер с зеркалом сайта: save.oknardia.ru. В настоящее время сервер работает в фоновом режиме (и может иногда отлучаться), но в случае аварий будет включён в качестве основного, и будет работать по обычном адресу oknardia.ru.