Влияние настройки сервера и содержания страниц на индексацию веб-сайта

Настройка сервера, на котором расположен сайт.
Обычно тонкая настройка сервера не доступна Web мастерам, но нам этого и не нужно. Для нас главное, чтобы сервер выдавал правильные HTTP заголовки перед отправкой страницы. HTTP заголовки не видны не вооруженным взглядом, передаются они до начала отправки страницы и несут следующую информацию:

Код ответа сервера;
Размер страницы;
Дата изменения страницы;
Срок актуальности информации на странице;
Тип документа;
Кодировка документа.

Код ответа сервера. Это информация о состоянии страницы. К примеру, если страница успешно отправлена, тогда посылается ответ сервера с кодом: 200 OK, если страница не найдена, тогда код ответа сервера: 404 NOT FOUND, и т. д.

Размер страницы. (Content-Length) Содержит информацию о размере отправляемого файла. Может не отображаться для динамических страниц.

Дата изменения страницы. (Last-Modified) Данная информация очень полезна. В ней посылается информация о дате изменения страницы и если она не изменилась, сервер master-server.pro/server-de пропустит ее индексацию и приступит к индексации следующих страниц сайта. Эта информация очень важна, если у Вас большой сайт и поисковая машина не может проиндексировать все страницы сайта. В том случае, если этот код посылается корректно, то Ваш сайт будет участвовать в поиске по дате.

Срок актуальности страницы. (If Modified) Данный код ответа показывает, до какого времени страница не будет изменена. Данная информация желательна, но не обязательна и не приказывает, когда следует в следующий раз проиндексировать страницу, а просто дает рекомендацию.Тип документа. (Content-Type) Перед отправкой страницы сервер посылает в коде ответа информацию о том, какой документ отправлен. Например, в HTTP заголовке перед отправкой html страницы будет содержаться информация типа: text/html. Эта информация важна, так как сейчас поисковые системы производят поиск как по страницам сайтов, так и в pdf, doc и т. п. документах. Эта информация также важна, когда Ваш скрипт (image.php) генерирует картинку, к примеру, в формате png. При открытии файла image.php сложно догадаться, что он содержит, особенно если у него расширение совсем не соответствует графическим изображениям. В данном случае будет отправлен HTTP заголовок с информацией: Content-Type: image/png, сообщающий, что это изображение формата png.

Кодировка документа. (charset) Информация о кодировке отправляемой страницы. К примеру: charset=windows-1251.