Агент поисковый

Агент поисковый — специальная программа (поисковый робот, автомат, агент, паук, червяк, crawler) постоянно обходит сеть и собирает информацию с веб-страниц (индексирует их). Процесс индексации — это секрет поисковой машины. Но чаще всего робот обращает внимание на описание документа, заголовки, иногда просматривает текст документа и пытается понять, какие слова и словосочетания являются ключевыми. Основной объект индексации — тексты. Однако существуют роботы, позволяющие индексировать картинки, mp3, архивы программ, новости и т.д.