✅ Также известен как: Bot, Spider, Web Crawler, Googlebot, crawler
📖 Что такое Crawler?
Crawler – алгоритм, используемый для сканирования и анализа веб-сайтов с целью их ранжирования и индексации.
Веб-сканер, паук или бот поисковой системы загружает и индексирует контент со всего Интернета. Цель такого бота – узнать, о чем каждая веб-страница в Интернете, чтобы можно было получить информацию, когда её лучше всего показать пользователю в поисковой выдаче. Их называют «поисковыми роботами», потому что сканирование – это технический термин, обозначающий автоматический доступ к веб-сайту и получение данных с помощью программного обеспечения.
Эти боты почти всегда используются поисковыми системами. Применяя алгоритм поиска к данным, собираемым веб-сканерами, поисковые системы могут предоставлять релевантные ссылки в ответ на поисковые запросы пользователей, создавая список веб-страниц, которые появляются после того, как пользователь вводит поиск в Google или Яндекс (или другую поисковую систему). .
Краулер похож на человека, который просматривает все книги в неорганизованной библиотеке и составляет карточный каталог, чтобы любой, кто посещает библиотеку, мог быстро и легко найти нужную информацию. Чтобы помочь классифицировать и отсортировать книги библиотеки по темам, организатор прочитает название, резюме и некоторый текст каждой книги, чтобы понять, о чем она.
