Формат файла robots.txt

Robots.txt — простой текстовый файл1, который должен находиться в корневой директории сервера. Имя файла должно быть в нижнем регистре (ROBOTS.TXT, Robots.txt — неправильно).

В файле содержатся записи, отделяемые одной или несколькими пустыми строками (разделяемыми CR, CRNL, NL или r, rn, n). Каждая запись, в свою очередь, состоит из строк следующего вида:

имя_поля[необязательные пробелы]:[необязательные пробелы]значение[необязательные пробелы]
Читать полностью »

Поисковые системы состоят из пяти отдельных программных компонент:

1. spider (паук): браузероподобная программа, которая скачивает веб-страницы.

2. crawler : «путешествующий» паук, который автоматически идет по всем ссылкам, найденным на странице.

3. indexer (индексатор): «слепая» программа, которая анализирует веб-страницы, скаченные пауками.

4. the database (база данных): хранилище скаченных и обработанных страниц.

5. search engine results engine (система выдачи результатов): извлекает результаты поиска из базы данных.
Читать полностью »

Конференция прошла 15 февраля в ресторане “Пятый океан”. Подробный отчет о конференции вряд ли удастся составить, ибо никаких запланированных официальных мероприятий она не включала, а представляла собой лишь общение ее участников в непринужденной обстановке. В ходе обмена мнениями на самые разные темы было выпито порядка 60 литров пива.
Ниже приведен небольшой фоторепортаж с конференции. Читать полностью »

За прошедший год событий было более чем достаточно. Наш скромный сайт, встретив 2002 год новым дизайном, весной обрел новый скрипт форума, в ноябре переехал на выделенный сервер, а в декабре была запущена полнотекстовая система поиска по сайту на базе Яндекс-Сайт.
Событий в мире поисковых систем было, конечно, гораздо больше. Впрочем, в течение года я неоднократно их упоминал, и не хотелось бы повторяться. Читать полностью »

- Первый вопрос – как точно называется твоя должность и какие вопросы относятся к твоей компетенции?
- Официально – “ведущий программист”. Сфера деятельности – вся лингвистика и вот собственно те самые алгоритмы ранжирования, которые обсуждаются на форуме.
- “ведущий программист” чего?
- На визитке так написано :- ) Вообще же в Рамблере нет столь жесткой иерархической структуры в сфере разработки. Руководитель же всего подразделения разработки – Дима Хрусталев.
- Как становятся разработчиками поисковиков? Читать полностью »

Занять первое место в результатах поиска по популярному запросу – предел мечтаний любого владельца сайта, знающего о влиянии поисковых систем на посещаемость сайта. Однако первое место – далеко ещё не гарантия притока посетителей на сайт, а тем более посетителей целевых.

Кладём Рамблер на обе лопатки одной левой.
Читать полностью »

1. Yahoo! возобновил контракт с Google

http://searchenginewatch.com/sereport/02/10-yahoo.html

Yahoo! возобновил свой поисковый контракт с Google, несмотря на спекуляции о том, будет ли он продлеваться.
В качестве альтернативы назывались Inktomi и Altavista, которые в свое время уже поработали в этом качестве, а также норвежский Fast, обслуживающий в настоящее время порталы Lycos по всему миру. Читать полностью »

Идея
посетить Яндекс у меня появилась еще в процессе подготовки конференции “Стратегия
продвижения сайта в поисковых машинах”. Поскольку я впервые за все время
существования Searchengines.ru попадал в Москву, сама собой напрашивалась мысль
о необходимости этот визит использовать максимально полезно для сайта.
Читать полностью »