Как восстановить трафик на важные страницы интернет-магазина с помощью Web Archive
Владельцы сайтов и менеджеры, которые наполняют каталог интернет-магазина, не сильно заботятся об адресах страниц сайта. И это выливается в проблемы для SEO-специалистов. Дело в том, что когда меняются URL основных страниц, они вылетают из индекса поисковых систем и теряют длительной работой накопленное «доверие» и ссылочный вес.
В этой статье мы расскажем, как восстановить трафик на сайт с помощью крупнейшего хранилища копий сайтов.
Но вначале давайте разберемся, что такое Web Archive.
Web Archive и чем он полезен
Архив интернета — некоммерческая организация, основанная Брюстером Кейлом в 1996 году в Сан-Франциско. Сервис собирает копии веб-страниц, графические материалы, видео-, аудиозаписи и программное обеспечение, обеспечивая собранным материалам долгосрочное архивирование и бесплатный доступ к данным.
По-настоящему доступными для широкой публики сохраненные материалы стали в 2001 году, когда был запущен сайт Wayback Machine. Контент сайтов периодически фиксируется c помощью бота веб-архива. Также пользователи могут вручную указать адрес страницы для создания ее копии.
Сервис позволяет проследить историю изменений любого ресурса. Например, можно обнаружить причины каких-либо отклонений в аналитике, трафике или поведенческих показателях сайта. То есть проверить метатеги, тексты, расположение кнопок заказа и так далее. Можно посмотреть старый вариант дизайна своего сайта или скопировать дизайн любого «мертвого» сайта.
Также с мертвых ресурсов заимствуют контент, который может хорошо ранжироваться. Многие интернет-архив только так и используют. Причем настолько часто, что выгруженные тексты обязательно следует проверять на уникальность.
А еще Web Archive будет пpaктически единственной возможностью восстановить сайт, если вы не делали бэкап.
Впрочем, в поисковой оптимизации интернет-магазинов мы используем интернет-архив с другой целью — для восстановления URL-адресов категорий и других важных страниц. Дело в том, что владельцы сайтов или менеджеры, которые наполняют каталог интернет-магазина, не следят за сменой адресов основных страниц сайта. В результате они вылетают из индекса поисковых систем, теряют накопленное доверие и ссылочный вес.
Как восстановить адреса страниц с помощью Web Archive
Следует очистить все ссылки от привязки к web.archive.org и сделать их прямыми именно для вашего ресурса. После этого — настроить 301 редиректы со старых адресов на актуальные. Во-первых, поисковые системы при 301 редиректе передают пpaктически полностью ссылочный вес со старых URL. Во-вторых, пользователи при переходе по старым ссылкам будут в итоге попадать на релевантную страницу сайта.
Конечно, можно попробовать вытащить страницы из кеша Яндекса или Гугла, но если ресурс недоступен уже очень давно, то такие мертвые ссылки открываются только в archive.org. Правда, и там их может не оказаться: у ботов веб-архива ограниченные ресурсы. Вероятность и частота сканирования сайта с маленьким трафиком крайне низкая. Но все-таки попробовать стоит.
Алгоритм действий:
1. Открываем веб-архив и вводим адрес сайта в строку поиска
Если сайт есть в веб-архиве, рекомендуем выбрать несколько копий сайта за разные даты в течение двух лет.
2. Для каждой выбранной даты делаем выгрузку URL-адресов
3. Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную
Как выгружать URL-адреса c помощью Netpeak Spider
Указываем в Netpeak Spider директорию, которую нужно сканировать, дополнительно задаем правила, например, возможность исключить карточки товаров.
Затем сканируем и выгружаем таблицу. Проделываем это для каждой даты.
Важно: изменение адресов карточек товаров целесообразно проверять в том случае, если они приносили существенный трафик.
Если указывать в Netpeak Spider URL-адрес в формате https://web.archive.org/web/12345678901234/https://domain.com/, в правилах сканирования необходимо задать домен сайта, URL которого нужно получить, чтобы не сканировать весь веб-архив и его служебные страницы:
Получаем таблицу:
Как выгружать URL-адреса c помощью Web Scraper
Открываем веб-архив на нужной дате и консоль разработчика на той странице, где в коде есть все нужные URL-адреса. Например, каталог или карта сайта.
Задаем название и начальный URL для сканирования:
Добавляем новый селектор:
Для селектора задаем любое название (Id), выбираем тип селектора (Type) — Link, нажимаем «Select» и отмечаем на сайте все необходимые категории. При выборе более двух ссылок автоматически формируется общий селектор.
Важно: для URL разных уровней (например, категорий и их подкатегорий) необходимо создавать отдельные селекторы.
Нажимаем «Done selecting» и «Save selector». Когда все необходимые селекторы созданы, запускаем Web Scraper:
Выгружаем или копируем полученную таблицу:
Web Scraper позволяет выгрузить URL только категорий, даже если в URL нет общей части.
Как выгружать URL-адреса вручную
Открываем исходный код страницы веб-архива, находим код с ссылками на страницы самого сайта в формате https://web.archive.org/web/*/https://domain.com/url, копируем и очищаем от лишнего кода с помощью регулярных выражений в Notepad++:
- убираем все пробелы в скопированном коде с помощью выражения «\s»;
- все URL размещаем в начале новой строки с помощью замены https://web.archive.org/web/*/ на регулярное выражение « »;
- все символы после кавычки удаляем (заменяем «“.*» на пустую строку).
После получения списка URL в формате https://web.archive.org/web/*/https://domain.com/url простой заменой или с помощью регулярных выражений приводим его к виду https://domain.com/url.
Подготавливаем URL-адреса для простановки редиректов
Загружаем в Netpeak Spider полученную базу и сканируем код ответа сервера. Если страница отдает код 200 или редиректит на страницу с кодом 200, все хорошо и с этими URL-адресами ничего делать не нужно.
Страницы с кодом 404 выделяем отдельно, проверяем при этом, чтобы все URL-адреса в этом списке были уникальными. Особенно это актуально, если выгружались URL-адреса для нескольких дат.
Если на текущей версии сайта не меняли заголовки Н1, можно выгрузить список необходимых адресов страниц с Н1 и сопоставить два списка с помощью простой функции VLOOKUP в таблицах Google.
Готовый список для настройки редиректов со старых URL-адресов на новые отправляем программисту.
Запомнить
Как вернуть органический трафик после неправильного переноса сайта Часто
Алгоритм простой:
- Находим сайт в Web Archive.
- Выбираем несколько копий сайта за разные даты в течение двух лет.
- Выгружаем адреса с помощью Netpeak Spider, Web Scraper или вручную.
- Подготавливаем базу URL-адресов для простановки редиректов.
- Отдаем программисту список для простановки редиректов со старых адресов на новые.
Комментарии:
Раскрутка музыки онлайн: способы, методы, нюансы и примеры...
08 06 2026 11:32:42
Делаем первые шаги к созданию системы email-коммуникаций бренда....
07 06 2026 13:21:17
Всё о крупной рыбе украинского интернет-маркетинга: компании, люди, кейсы в интервью с основателем Артёмом Бородатюком....
06 06 2026 17:27:53
12 идей для видеоконтента и расскажем, где их лучше размещать, чтобы зрители стали клиентами. Как использовать видео для повышения продаж? Длинный, но все равно неполный список форматов. Читайте дальше и предлагайте свои варианты!...
05 06 2026 20:56:59
Динамический ремаркетинг — один из самых эффективных способов продаж для любой группы товаров. В этой статье мы поделимся тонкостями технической подготовки к запуску динамического ремаркетинга в Facebook....
04 06 2026 18:50:26
Почему сайт упал в выдаче и какой апдейт алгоритма поисковика на это повлиял...
03 06 2026 7:52:31
Знаете, как доменная зона Германии связана с криптовалютой, или почему в доменной зоне маленького острова площадью 10 квадратных километров зарегистрировано 20 млн доменов? Сейчас расскажем!...
02 06 2026 20:15:29
О методах поднять и расширить трафик рассказал руководитель internet-проекта Prom.ua Иван Портной....
01 06 2026 17:49:36
Цели у личных сайтов могут быть разные, но в первую очередь они помогают рассказать историю о специалисте...
31 05 2026 13:57:17
Создаем фид с помощью выгрузки товаров в формате yml и специального скрипта, который сделает всю (почти) грязную работу за вас....
30 05 2026 11:22:34
Каждому бизнесу в интернете важно продумать систему оплаты для своих товаров или услуг. При этом следует учитывать объемы и нишу бизнеса. Узнать больше!...
29 05 2026 1:29:11
Реклама Facebook для вовлечения пользователей помогает привлечь внимание к приложению и удержать пользователей в условиях перенасыщенного рынка....
28 05 2026 23:50:11
Почему Google ***ytics не видит ссылки на HTTP-сайт с сайта на HTTPS?...
27 05 2026 17:13:43
Рассказываем о том, что такое Песочница, как сюда писать и получать больше аудитории для своего бизнеса...
26 05 2026 11:11:43
Как сэкономить время, ресурсы, и сделать онлайн-маркетинг эффективнее с помощью языка R...
25 05 2026 12:45:11
Будьте полезны, будьте удобны и будьте везде. Далее подробно — 18 способов собрать базу для email-рассылок. О пользе бесплатного, привлечении внимания, возможных активностях для аудитории, социальных доказательствах, предсказуемости, работе с Facebook и многом другом...
24 05 2026 20:32:25
Начинаем работать с облачным сервисом хранения Google BigQuery...
23 05 2026 10:37:11
О построении персональных рекомендаций для интернет-магазина, используя технику со-визитов....
22 05 2026 9:50:16
Нескучный инструктаж на примере @netpeak_ua о том, зачем компании корпоративный Twitter для продвижения контента, компании или персоны. А еще про хештеги, поиск читателей, аналитику, стиль ведения вашего микроблога, создание сообщества и акции...
21 05 2026 11:47:20
Доля органического трафика увеличилась с 14% до 44%, а небрендового — на 184%....
20 05 2026 6:10:41
Если вы не можете улучшить свой уровень конверсий и поднять ставки, оптимизация показателя качества может быть вашим единственным выходом, чтобы сохранить высокий рейтинг без больших затрат. Статья, которая расставляет точки над «i»....
19 05 2026 1:55:57
Рассылка ежемecячно занимает второе место среди источников реферального трафика BuzzFeed. Уроки увеличения базы подписчиков от BuzzFeed от базы до метрик оценки. Принцип BuzzFeed — как можно быстрее внедрять в рассылку то, что нравится читателям....
18 05 2026 6:55:15
Десять вопросов, которые чаще всего задают люди, столкнувшиеся с необходимостью создания landing page....
17 05 2026 21:59:17
Андрей Чумаченко про будни топ-менеджера, постановку, декомпозицию, помощь и контроль выполнения задач сотрудниками комaнд, которые входят в состав департамента маркетинга, а также о регулярных встречах и тонкостях работы. Узнать больше!...
16 05 2026 20:36:18
Настраиваем автоматическое получение отчетов по потерянным конверсиям для оптимизации рекламных кампаний....
15 05 2026 11:30:45
Google Penguin официально стал частью основного алгоритма поисковика. Как обезопасить свой бизнес и встретить апдейт алгоритма Google во всеоружии? О трафике, анкорах, бэклинках, ссылках и ссылочной массе, трастовости и постоянном мониторинге, с комментариями специалистов...
14 05 2026 18:23:46
Короткая история Serpstat — от сервиса «для своих» до международной SEO-платформы....
13 05 2026 7:31:18
Со старта сотрудничества, рост видимости сайтов клиента вырос в 15 раз....
12 05 2026 6:58:14
Пользователи могут смотреть вирусные ролики без единого слова...
11 05 2026 6:22:23
О главном секрете поискового продвижения на основе исследования, которое проводилось в течение двух лет. Здесь отсеяны все проекты со слишком малой начальной посещаемостью и проекты с пробелами в аналитике. Узнайте больше, на чем строится рост трафика!...
10 05 2026 13:54:17
Выборка из 15 759 учетных записей клиентов WordStream в США по всем вертикалям, которые до размещали рекламу в поиске Google в 2020 году...
09 05 2026 21:17:46
Статья будет полезна небольшим агентствам, которые мечтают работать с заграничными клиентами. Зачем нужно выходить за рубеж, если и в своей стране все идет неплохо, да и вообще — нет времени на продвижение на незнакомом рынке? Давайте разбираться вместе!...
08 05 2026 0:58:35
Стандартный образец для новичков. Форматы объявлений в РСЯ, чтобы начинающие специалисты по контекстной рекламе смогли быстро и эффективно запустить рекламные кампании. Интересно? Читайте дальше!...
07 05 2026 0:10:37
Примеры инновационных проектов. Нескучная рецензия на интересную книгу....
06 05 2026 13:51:31
Думаете, что почитать об онлайн-продвижении и диджитал-маркетинге? Вам сюда. Мы собрали топ интересных сайтов, блогов, каналов и пабликов...
05 05 2026 4:10:53
Влияет ли значение показателя отказов на ранжирование сайта в поисковых системах и стоит ли переживать из-за высоких показателей отказов? Узнать больше....
04 05 2026 18:42:57
Стоит ли торопиться с переходом на новый формат объявлений? Эксперимент PPC-специалистов агентства Netpeak....
03 05 2026 0:27:57
Базовые знания, которые нужны, чтобы ресурс понравился поисковикам и пользователям....
02 05 2026 2:40:33
Идеи, кейсы и советы от экспертов. Читайте и находите что-то для продвижения своего бизнеса. Нетривиальные идеи от признанных экспертов-пpaктиков! Рекомендуем каждому, что развивает или планирует свой бизнес в интернете!...
01 05 2026 5:41:32
Пройдем вместе путь вебмастера от первых шагов и до вершины ТОПа :)...
30 04 2026 12:39:53
Увеличение трафика из поисковых систем Азербайджана на 30% за три месяца. И он продолжает расти...
29 04 2026 15:39:23
Самые популярные блоги Рунета по интернет-маркетингу — все RSS-фиды в одном месте...
28 04 2026 7:23:57
Спикер ОА Петр Аброськин рассказал всем читателям блога о фишках настройки ремаркетинга в контекстной рекламе и социальных сетях...
27 04 2026 12:38:10
Как добавить данные о компании на карты Google и Яндекс....
26 04 2026 8:38:48
Создать BI-систему собственного кошелька. Для ввода и хранения данных выбор стоял между Google Forms и Google Sheets или Airtable.Читайте дальше, что выбрал автор, чтобы оптимизировать расход, планировать траты на месяц и контролировать результаты в PowerBI....
25 04 2026 20:17:56
Когорта в google ***ytics позволяет снять любые претензии в духе «прошел уже целый месяц, где результаты»....
24 04 2026 7:43:12
Подборка онлайн-платформ и программ для работы с текстом и изображениями....
23 04 2026 23:48:13
Основатель сервиса мобилографии EyeEm Рамзи Ризк рассказал об особенностях своего сервиса и будущем мобильных приложений....
22 04 2026 12:10:42
Предположим, что оптимизация в аккаунте похожа на реальный мир и рассмотрим несколько примеров :)...
21 04 2026 12:45:13
Помимо полезного и качественного продукта, услуги, компании нужен мощный маркетинг. И возможно это только благодаря хорошему директору по маркетингу. Только так это работает. Кто лучшие в этой нише в Казахстане? Узнать!...
20 04 2026 19:35:21
Еще:
понять и запомнить -1 :: понять и запомнить -2 :: понять и запомнить -3 :: понять и запомнить -4 :: понять и запомнить -5 :: понять и запомнить -6 :: понять и запомнить -7 ::
