Краулинг — процедура, при которой краулер находит в internet новые web-страницы и обновленные (изменённые), которые уже находятся в поисковом индексе. Робот проверяет страницы и индексирует их либо нет. Формирование индекса основано на алгоритмах, которые различаются у каждого поисковика.