Сканирование страниц сайта поисковыми системами с целью собрать информацию для дальнейшей индексации принято называть краулингом. Здесь тесно соседствуют два понятия — краулинговый бюджет и краулинговый спрос. Ниже разберем что это такое.
Если краулинг (crawling) – это сканирование и индексация, то краулинговый бюджет – это максимальное количество страниц, которое поисковик может считать за определенное время.
А краулинговый спрос – запланированное число страниц поисковиками для дальнейшей индексации.
Как и любой другой бюджет, краулинговый имеет свой лимит. Об этом нужно помнить и учитывать, если ваш ресурс регулярно обновляется и пополняется страницами, и их количество забегает за 1000. В этом случае все должно быть соизмеримо – и услуги по СЕО и затраты на эти услуги. Ведь в случае невозможности индексации важных страниц в силу истраченного краулингового бюджета, весь труд по оптимизации и затраченные средства будут напрасны. Любой бюджет должен использоваться эффективно.
Кому необходимо учитывать краулинговый бюджет
Для владельцев малых ресурсов, данный бюджет отслеживать и оптимизировать нет необходимости. Но если у вас крупный веб-сайт, то оставлять без внимания краулинговый бюджет опасно для благополучной жизни вашего сайта. Как мы сказали выше – поисковые роботы не смогут отсканировать необходимые страницы, и они просто не попадут в выдачу. Проверить информацию о бюджете своего сайта можно с помощью Google Search Console.
Например, у вас большой интернет-магазин. Предположим, что в сутки поисковики Google могут проиндексировать для вас до 150 страниц. Вы сделали карточки товара из нового поступления и их оказалось 200. Получается, что роботы не смогут считать все страницы за один раз, и часть страниц будет утеряна для поиска.
Или в топ выходят страницы с низкочастотным запросом – с конкретной моделью и цветоописанием товара. А страница с общей категорией не видна. Дело может быть в том, что ваш ресурс исчерпал допустимый лимит бюджета. Чтобы этого не допускать, необходима оптимизация.
Как увеличить краулинговый бюджет
Почти в каждой статье пишется про качественный, полезный, уникальный контент, как он необходим для продвижения сайта и увеличения трафика. Сегодня мы добавим к списку полезных свойств качественного контента еще и то, что он способствует увеличению бюджета. Как? Все просто.
Если вы делаете интересный, красивый и захватывающий контент, которым пользователи охотно делятся или сохраняют себе, то поисковики расценивают ваш ресурс, как полезный. Благодаря чему, повышают в топе выдачи и увеличивают бюджет. Все это делается для блага пользователей – хотите видеть этот сайт больше и чаще, пожалуйста! 
Основные факторы, влияющие на увеличение бюджета и оптимизации сайта в целом:
Быстрая загрузка страниц. Здесь обратите внимание на кэширование, размер изображений и на хостинг-провайдер;
Отсутствие битых ссылок. Проверьте нет ли у вас таких и избавьтесь от несуществующих страниц с ошибкой 404;
Правильная структура сайта. Не стоит «прятать» важные и главные страницы сайта где-то там. Это усложняет работу роботам, а пользователям не особо интересно будет выискивать то, что их волнует. Ставьте важные страницы во главе;
Настройка файлов robots.txt и sitemap. С помощью этих файлов поисковики смогут правильно индексировать ваш сайт. А вы удалить дубли и «мусор» в sitemap.xml. И чтобы избежать повторного сканирования, указать в robots.txt last-modified для тех страниц, которые не менялись с последней индексации.
Грамотная перелинковка сайта. Когда ваш ресурс достигает сотни и тысячи страниц могут возникнуть проблемы, чтобы связать страницы между собой по смыслу. Применяйте уникальные, различные анкоры с ключевиками и включайте ссылки на схожие по тематике страницы.
Отказ от длинных цепочек редиректа. Очень длинные цепочки могут привести к тому, что поисковой робот не дойдёт до конечного URL.
Зная, как воздействовать на рост краулингового бюджета и оптимально его расходовать, можно улучшить индексацию и продвижение всего сайта.