Краулер — специальная программа, является составляющим элементом search-системы. Краулер занимается отсмотром веб-страниц и сбором информации о них для базы данных.
