Краулер (crawler)

✅ Также известен как: Bot, Spider, Web Crawler, Googlebot, crawler

📖 Что такое Crawler?

Crawler – алгоритм, используемый для сканирования и анализа веб-сайтов с целью их ранжирования и индексации.

Веб-сканер, паук или бот поисковой системы загружает и индексирует контент со всего Интернета. Цель такого бота – узнать, о чем каждая веб-страница в Интернете, чтобы можно было получить информацию, когда её лучше всего показать пользователю в поисковой выдаче. Их называют «поисковыми роботами», потому что сканирование – это технический термин, обозначающий автоматический доступ к веб-сайту и получение данных с помощью программного обеспечения.

Эти боты почти всегда используются поисковыми системами. Применяя алгоритм поиска к данным, собираемым веб-сканерами, поисковые системы могут предоставлять релевантные ссылки в ответ на поисковые запросы пользователей, создавая список веб-страниц, которые появляются после того, как пользователь вводит поиск в Google или Яндекс (или другую поисковую систему). .

Краулер похож на человека, который просматривает все книги в неорганизованной библиотеке и составляет карточный каталог, чтобы любой, кто посещает библиотеку, мог быстро и легко найти нужную информацию. Чтобы помочь классифицировать и отсортировать книги библиотеки по темам, организатор прочитает название, резюме и некоторый текст каждой книги, чтобы понять, о чем она.