Поисковые системы состоят из пяти отдельных программных компонент:

1. spider (паук): браузероподобная программа, которая скачивает веб-страницы.

2. crawler : «путешествующий» паук, который автоматически идет по всем ссылкам, найденным на странице.

3. indexer (индексатор): «слепая» программа, которая анализирует веб-страницы, скаченные пауками.

4. the database (база данных): хранилище скаченных и обработанных страниц.

5. search engine results engine (система выдачи результатов): извлекает результаты поиска из базы данных.
Читать полностью »