Июл
Как правильно составить robots.txt
Некоторые из Вас спрашивают: ” Как мне запретить ‘поисковику №1’ индексировать страницы, разработанные для ‘поисковика №2’.’ Ответ состоит в использовании robots.txt. Имеются также другие причины для предохранения поисковых систем от индексации некоторых или всех страниц на сайте. Поэтому я написал эту детальную статью, чтобы показать Вам, как сделать это, и избежать общих ошибок.
Если Вы создаете различные версии по существу одного и того же дорвея или страницы и каждый механизм поиска индексирует каждую копию страницы, то Вы, в теории, занимаетесь спамом. AltaVista в особенности, как известно, ненавидит дубликат или похожее содержание на страницах. Поэтому, если Вы создаете страницы, которые являются слишком похожими, Вы подвергаетесь риску получить красную карточку от поисковых машин. Читать полностью »