краулинговый бюджет

Краулинговый бюджет. Что это и как его увеличить

Сканирование страниц сайта поисковыми системами с целью собрать информацию для дальнейшей индексации принято называть краулингом. Здесь тесно соседствуют два понятия — краулинговый бюджет и краулинговый спрос. Ниже разберем что это такое.

Если краулинг (crawling) – это сканирование и индексация, то краулинговый бюджет – это максимальное количество страниц, которое поисковик может считать за определенное время.

А краулинговый спрос – запланированное число страниц поисковиками для дальнейшей индексации.

Как и любой другой бюджет, краулинговый имеет свой лимит. Об этом нужно помнить и учитывать, если ваш ресурс регулярно обновляется и пополняется страницами, и их количество забегает за 1000. В этом случае все должно быть соизмеримо – и услуги по СЕО и затраты на эти услуги. Ведь в случае невозможности индексации важных страниц в силу истраченного краулингового бюджета, весь труд по оптимизации и затраченные средства будут напрасны. Любой бюджет должен использоваться эффективно.

Кому необходимо учитывать краулинговый бюджет

Для владельцев малых ресурсов, данный бюджет отслеживать и оптимизировать нет необходимости. Но если у вас крупный веб-сайт, то оставлять без внимания краулинговый бюджет опасно для благополучной жизни вашего сайта. Как мы сказали выше – поисковые роботы не смогут отсканировать необходимые страницы, и они просто не попадут в выдачу. Проверить информацию о бюджете своего сайта можно с помощью Google Search Console.

Например, у вас большой интернет-магазин. Предположим, что в сутки поисковики Google могут проиндексировать для вас до 150 страниц. Вы сделали карточки товара из нового поступления и их оказалось 200. Получается, что роботы не смогут считать все страницы за один раз, и часть страниц будет утеряна для поиска.

Или в топ выходят страницы с низкочастотным запросом – с конкретной моделью и цветоописанием товара. А страница с общей категорией не видна. Дело может быть в том, что ваш ресурс исчерпал допустимый лимит бюджета. Чтобы этого не допускать, необходима оптимизация.

Как увеличить краулинговый бюджет

Почти в каждой статье пишется про качественный, полезный, уникальный контент, как он необходим для продвижения сайта и увеличения трафика. Сегодня мы добавим к списку полезных свойств качественного контента еще и то, что он способствует увеличению бюджета. Как? Все просто.

Если вы делаете интересный, красивый и захватывающий контент, которым пользователи охотно делятся или сохраняют себе, то поисковики расценивают ваш ресурс, как полезный. Благодаря чему, повышают в топе выдачи и увеличивают бюджет. Все это делается для блага пользователей – хотите видеть этот сайт больше и чаще, пожалуйста! Основные факторы, влияющие на увеличение бюджета и оптимизации сайта в целом:

Быстрая загрузка страниц. Здесь обратите внимание на кэширование, размер изображений и на хостинг-провайдер;

Отсутствие битых ссылок. Проверьте нет ли у вас таких и избавьтесь от несуществующих страниц с ошибкой 404;

Правильная структура сайта. Не стоит «прятать» важные и главные страницы сайта где-то там. Это усложняет работу роботам, а пользователям не особо интересно будет выискивать то, что их волнует. Ставьте важные страницы во главе;

Настройка файлов robots.txt и sitemap. С помощью этих файлов поисковики смогут правильно индексировать ваш сайт. А вы удалить дубли и «мусор» в sitemap.xml. И чтобы избежать повторного сканирования, указать в robots.txt last-modified для тех страниц, которые не менялись с последней индексации.

Грамотная перелинковка сайта. Когда ваш ресурс достигает сотни и тысячи страниц могут возникнуть проблемы, чтобы связать страницы между собой по смыслу. Применяйте уникальные, различные анкоры с ключевиками и включайте ссылки на схожие по тематике страницы.

Отказ от длинных цепочек редиректа. Очень длинные цепочки могут привести к тому, что поисковой робот не дойдёт до конечного URL.

Зная, как воздействовать на рост краулингового бюджета и оптимально его расходовать, можно улучшить индексацию и продвижение всего сайта.

Оставьте комментарий

Ваш адрес email не будет опубликован.