Как правильно «закрывать» свой сайт
В январе 2012 года прошли массовые протесты против SOPA и PIPA: многие авторитетные западные сайты прекратили работу на сутки.
У многих вебмастеров возник вопрос: как сделать «blackout», но при этом не навредить сайту? На форуме вебмастеров Google появился пост сотрудника JohnMu с детальными рекомендациями по отключению сайта. Данные рекомендации полезны не только для протестующих американским законам, но и для всех вебмастеров, которым бывает необходимо закрыть временно сайт на обновление, исправление критических ошибок и т.д. В любом случае лучше не выключать сайт, но если без этого не обойтись, то делать это нужно правильно. Вот, что рекомендует сотрудник Google:
Используйте 503 HTTP-статус, но внимательно читая справку.
Самый частый сценарий — вебмастера решают заменить контент на сайте попросту убрав тексты и оставив какое-то «послание». Важно в данном случае сделать так, чтобы возвращался 503 HTTP-статус для всех URL, участвующих в «акции» (конкретных страниц или всего сайта).
Зачем это нужно?
а) это будет значить, что это не «настоящий» контент и он не будет проиндексирован; б) учитывая первый пункт, даже если мы видим тот же контент (сообщение о политическом протесте, к примеру) на всех страницах, проблем и санкций, связанных дублированием контента не будет; в) скорость индексации сайта снизится, если сайт отдает 503 код. Это неизбежно, однако это не повлечет длительных проблем, так как скорость индексации сайта быстро восстановится после того, как сайт начнет отдавать 200-й код. То, насколько быстро восстановится нормальная индексация, зависит от вашего сайта.
Два важных замечания насчет robots.txt
a) Бот Google сейчас настроен так, что он останавливает индексацию сайта, если robots.txt отдает 503 код ответа. Индексация восстанавливается только после того, как робот получит 200 или 404 код ответа сервера при запросе robots.txt. Поэтому, если вы решили заблокировать только часть сайта, убедитесь, что robots.txt не отдает 503 код. В противном случае вы заблокируете сразу весь сайт от робота Google.
б) Некоторые вебмастера решают изменить robots.txt, чтобы остановить индексацию сайта и добавляют директиву «Disallow: /». Никогда не блокируйте бота Google таким образом — это может вызвать проблемы, решение которых займет значительно больше времени, чем несколько дней.
Веб-мастера увидят ошибки в Google Webmaster tools. Пристально следите несколько недель после протеста (или после любого другого планового отключения сайта) за ошибками сканирования в вебмастерке, чтобы убедиться в том, что нет никаких проблем с индексацией сайта.
Общий совет: Не меняйте всё подряд. Не меняйте настройки DNS. Как уже сказано выше, не меняйте содержание robots.txt. Также не стоит менять скорость индексации сайта в GWT. Чем меньше вы делаете изменений, тем больше шансов, что отключение сайта пройдет без нежелательных последствий.
Комментарии:
Расширяем возможности визуализации данных из Google ***ytics c помощью пакета RGA и Power BI...
02 11 2026 6:54:13
Пора сделать так, чтобы мобильная версия сайта приносила прибыль....
01 11 2026 19:26:37
Зная стоимость клика в вашей тематике или регионе, коэффициент конверсии на сайте, вы можете оценить объем необходимых в рекламу инвестиций и прогнозировать стоимость конверсии. Узнать больше!...
31 10 2026 5:30:47
Сортировка мусора, использование велосипедов вместо автомобилей, озеленение города... В Украине, как правило, так представляют экофрендли бизнес. Зарубежные компании идут дальше....
30 10 2026 20:15:40
Изначально необходимо планировать продолжительное сотрудничество с агентством для достижения поставленных целей. В своей стратегии мы использовали сезонность, чтобы достичь максимальных результатов для клиента...
29 10 2026 1:48:59
Слорварь сленга, без которого к 25-летним не подходи...
28 10 2026 16:41:27
Стандартный образец для новичков. Форматы объявлений в РСЯ, чтобы начинающие специалисты по контекстной рекламе смогли быстро и эффективно запустить рекламные кампании. Интересно? Читайте дальше!...
27 10 2026 3:43:30
Сотрудник не справляется? Значит с ним пора прощаться. Эмоции в сторону, действуем по алгоритму....
26 10 2026 23:55:51
Direct сделал подарок всем, кто уже давно хотел увеличить привлекательность своих объявлений — добавил возможность включения видеодополнений к текстово-графическим кампаниям. Как включить новую фишку от Директа и достаточно ли она эффективна?...
25 10 2026 10:42:23
Открытие проверенных действий по увеличению продаж...
24 10 2026 22:14:39
Статистика изменений долей рынка после майского и декабрьского апдейта Google в 2020 году....
23 10 2026 22:49:33
О главном секрете поискового продвижения на основе исследования, которое проводилось в течение двух лет. Здесь отсеяны все проекты со слишком малой начальной посещаемостью и проекты с пробелами в аналитике. Узнайте больше, на чем строится рост трафика!...
22 10 2026 17:43:35
Полтора года работы и 32 тысячи привлеченных подписчиков. Рассказываем о плюсах и минусах продвижения телеграм-канала....
21 10 2026 15:21:53
Подробный алгоритм успешного питча на Product Hunt на примере Serpstat...
20 10 2026 4:50:28
Что нужно сделать, чтобы ваши объявления показывались только заинтересованным клиентам? В первую очередь, подобрать ключевые слова, релевантные запросу потенциального клиента и ориентированные на пользователей с мотивацией совершить действие....
19 10 2026 16:19:53
Многие специалисты недооценивают эффективность отчетов Яндекс.Метрики. Очень зря. Вот чем они могут быть полезны....
18 10 2026 14:18:32
Формула изменения поведения Фогга и два красочных примера инсайде....
17 10 2026 20:10:51
Про мобильный дизайн. С красивой и понятной презентацией внутри....
16 10 2026 0:51:53
Как работать с Facebook ***ytics — бесплатным инструментом с богатым инструментарием и лучшей из всех существующих решений интеграцией с платформой Facebook...
15 10 2026 7:28:21
Как METRO Cash & Carry Украина нашла индивидуальный подход к 1 000 000 клиентов....
14 10 2026 8:49:14
Обзор ресурса по подбору ключевых запросов www.SEMRUSH.com на Netpeak.ua...
13 10 2026 20:15:27
Alexa Rank учитывает как число страниц, так и количество просмотров страниц. Alexa Rank 1, что означает, что все сайты и сервисы Google посещают больше всего посетителей в интернете....
12 10 2026 6:25:31
Интернет-маркетинг это не просто способ заработать. Про работу sео оптимизатора в Netpeak из первых уст...
11 10 2026 9:59:31
История о предсказательной аналитике системы автоматизации маркетинга, онлайн-магазине и ненужных письмах....
10 10 2026 9:55:36
Как начать бизнес в институте и масштабировать его до международной группы компаний. Собрали все самое интересное из интервью фаундера «Техно Ёж» Алексея Гулыя на конференции 8P....
09 10 2026 19:49:55
Метод настройки с помощью Google Tag Manager. Мануал с подробным описанием каждого шага — показываем на примере, как отслеживать веб-конверсии в рекламных кампаниях LinkedIn. Узнать больше!...
08 10 2026 3:46:50
Чем полезна вкладка Network в DevTools для SEO-специалиста...
07 10 2026 19:40:47
У каждого сайта в топе есть страница, о существовании которой знают только роботы и... SEO-специалисты. Это robots.txt или индексный файл....
06 10 2026 22:31:23
Опции скриншутера, которые упростят вам жизнь....
05 10 2026 5:40:55
Инструкция для новичков: как быстро отправить почтовую рассылку клиентам...
04 10 2026 7:50:17
Стартовый урок о том, как настроить визуализацию данных из Google ***ytics с помощью Google Spreadsheets...
03 10 2026 8:59:53
Проверьте свою логику, находчивость и креативность...
02 10 2026 10:59:20
Почему нельзя просто взять и перевести. В худшем случае специализированный текст на иностранном языке должен стать для переводчика дорожной картой, в лучшем — источником вдохновения. Почему? Читайте об этом!...
01 10 2026 17:10:43
Делимся советами по оптимизации рассылок. Важны новые форматы писем, предварительное тестирование, смена тем письма, ярче CTA. Все это в сочетании с понятностью и искренностью не заставит ждать хороший CTR...
30 09 2026 0:30:28
Гайд по рекламе для SMM-, PPC-специалистов, блогеров и владельцев бизнеса...
29 09 2026 4:23:38
На вопрос «как все успеть?» хочется ответить что-то вроде «никак». Особенно, если дело касается задач, связанных с творчеством. Но можно и не срывать дедлайны. Читать дальше....
28 09 2026 7:48:44
Партнерская сеть, к которой нужно присоединиться уже сейчас....
27 09 2026 6:14:59
Сбор анкет до 16 декабря, публикация результатов в конце декабря...
26 09 2026 17:21:38
Когорта в google ***ytics позволяет снять любые претензии в духе «прошел уже целый месяц, где результаты»....
25 09 2026 20:48:45
Темная сторона лайков или правда о продвижении постов в Facebook...
24 09 2026 11:39:33
Какой контент публиковать в Instagram, зачем ставить хештеги, какие активности интересны пользователям инсты, как ведут свой Инстаграм топовые бренды. Узнать больше!...
23 09 2026 6:28:53
Анализ содержимого сайта показывает: Url разные, а контент страниц одинаковый. Думаете, ничего страшного? Но одинаковый контент может попасть под фильтры поисковых систем. Чтобы этого не произошло, надо знать, как избавляться от внутренних дублей...
22 09 2026 0:20:42
Как расширение от Netpeak может облегчить работу над важными SEO-задачами....
21 09 2026 2:34:20
Можно ли получить больше заявок, используя динамическую подмену заголовка? Кейсы в разных тематиках...
20 09 2026 18:31:20
Как пользоваться одной из самых важных функций Google Таблиц — подробное руководство по Query...
19 09 2026 8:11:31
Как с помощью Google Tag Manager отслеживать исходящие ссылки на сайте и загрузки файлов с него...
18 09 2026 23:31:49
Анализ цены за клик в 25 тематиках и 852 городах Украины, России, Казахстана, Болгарии...
17 09 2026 17:31:41
Памятка для всех, кому важно сохранить детали переговоров....
16 09 2026 8:48:37
Более строгие требования к таким ресурсам обуславливают свои подходы....
15 09 2026 18:34:45
Применяя фишки, можно выделить релевантную аудиторию и продать ей что угодно — от кроссовок до президента....
14 09 2026 17:59:53
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
