Краулинговый бюджет (Crawl Budget) — это количество страниц сайта, которое поисковик готов просканировать за определённый период времени. Чем эффективнее расходуется этот ресурс, тем быстрее новые и обновлённые страницы попадают в процесс индексации сайта.
Краулинговый бюджет особенно важен для крупных проектов с тысячами или миллионами страниц. Если поисковый робот тратит время на дубли, технические страницы или битые ссылки, ему может не хватить ресурсов для обхода действительно важного контента.
На расход краулингового бюджета влияют различные факторы:
Хотя для большинства небольших сайтов краулинговый бюджет не становится серьёзной проблемой, его оптимизация остаётся частью технической поисковой оптимизации. Она помогает поисковым роботам быстрее находить важные страницы и эффективнее распределять ресурсы при обходе сайта.