Динамические страницы – как заставить поисковые системы их проиндексировать?

Основной причиной невозможности индексации динамически генерирующихся страниц
является наличие знаков “?”, “&”, “=” в адресах
этих страниц. Спайдеры поисковых систем просто не понимают этих символов, а
именно с их помощью передаются параметры вызова скриптов на сервере, которыми
и генерируется страница.

Следует еще раз подчеркнуть – проблемы возникают именно из-за наличия таких
символов. Сама страница генерируется на сервере и в броузер пользователя передается
чистый html. Расширение страницы, будь-то .cgi, .asp, .phtml,
.php и другие, никакого значения не имеет. Это относится и к страницам,
часть содержимого которых генерируется директивами SSI.

Приятным исключением, правда, выступает Яндекс,
который индексирует все такие страницы, не спотыкаясь на служебных символах.

К счастью, есть несколько способов обойти данную проблему. Рассмотрим два из
них.

Первый способ состоит в коренной переделке серверных скриптов, на которых работает
ваш сайт. Просто переделайте их так, чтобы избежать использования знаков “?”,
“&”, “=” в адресах. К примеру, старый адрес типа http://www.yourdomain.com/index.php?article=45
будет выглядеть как http://www.yourdomain.com/articles/45. Это довольно сложно,
если в составе разработчиков сайта нет программистов, но вполне оправданно,
если проект разрабатывается на собственной программной платформе.

Второй способ решения такой проблемы заключается в динамическом преобразовании
URL средствами вебсервера Apache. В основном, используется библиотека mod_rewrite,
которая, на основе прописанной вами в файле .htaccess маски, переопределяет
вызов определенной страницы как вызов основного скрипта с нужными параметрами.
Способы реализации этого, конечно же, различны для разных скриптов, хотя для
большинства популярных скриптов их можно найти на форумах поддержки.

Третий способ – используйте скрипты, генерирующие чистый html. Среди бесплатных
скриптов CMS (Content Management System) есть такие, как GreyMatter
и SSRTech, результатом работы которых является
чистая html-страница.

Если же ни один их указанных способов вам не подходит, или его реализация невозможна,
то не спешите отчаиваться. Помимо Яндекса, результаты работы скриптов индексируются
еще несколькими крупными поисковиками. Правда, воспользоваться этим несколько
сложно, но вполне возможно. Взгляните на сводную таблицу, где указано, как и
какие поисковики индексируют динамические страницы.

Поисковая система	Описание	Стоимость индексации
Google	индексирует один уровень ссылок	бесплатно
Altavista	при прямом сабмите	бесплатно или платно
F.A.S.T., Alltheweb, Lycos	при прямом сабмите	платно
Inktomi	только при платной индексации	платно
Lycos (старый движок)	индексирует	бесплатно

В любом случае, кроме Google, страница должна быть прислана непосредственно
поисковику – они не индексируют ссылки на динамические страницы. Google пройдет
по ссылке на динамическую страницу, но, встретив там новые ссылки, по ним не
пойдет. Поэтому целесообразно присылать ему статическую страницу с ссылками
на динамические.

Источник: www.searchengines.ru

Удачи!