Быстрая индексация крупных сайтов

Посещение сайта поисковыми ботами

Здесь нужно отметить два важных аспекта. Первый – этоструктура сайта.
Вы должны так организовать сайт, чтобы максимально облегчить ботам работу поего индексированию. Для этого вы должны создать так называемые “узловые”страницы. Узловые страницы — это страницы со ссылками навнутренние страницы. Например, для сайта каталогов узловой страницей можносчитать страницу, внизу которой стоит блок ссылок: “Pages 1, 2, 3, 4, …“.Единственная цель и ценность узловой страницы в том, что она помогаетпроиндексировать другие страницы сайта. Если вам нужно проиндексировать большойсайт, сначала проиндексируйте узловые страницы, и остальные страницы последуютза ними.

Второй важный фактор — количество посещений сайта поисковыми ботами.
Чем больше объем ботового трафика, тем быстрее проиндексируются страницы сайта.Хотя сам объем не имеет большого значения: какой толк от того, что боты будутбомбардировать главную страницу сайта и не будут заходить на внутренние? Выдолжны направить ботов, куда вам нужно, и здесь очень важна структура, окоторой я рассказал выше.

Это скриншот со статистикой одного из моих сайтов-хамелеонов, которому всего10 дней от роду. Обратных ссылок на него совсем немного, однако это не помешалоботам за 6 дней проиндексировать 10 тысяч страниц.

Как я уже говорил, сделать это совсем не сложно. Для начала мы займемсябазовыми вещами, затем перейдем к более продвинутым приемам и закончим тем, чтоя называю “сайтами-индексаторами”. Что из всего этого использовать, решать вам.Если вы не готовы применять тот или иной прием или у вас пока нет для этогодостаточных знаний, остановитесь на более простых вариантах.

Внутренние ссылки на целевых страницах

Это самое простое, что можно придумать. Давайте вернемся к нашему сайту-хамелеонус партнерскими ссылками на сайта знакомств. Там каждая целевая страницапредставляет какой-то город. И на каждой странице есть (или можно поставить)ссылки на близлежащие города. (Для этого можно использовать выборку поZIP-кодам или же вытягивать из базы записи, расположенные до и после ряда,которому соответствует указанный город.) Это позволит поисковым ботампереходить с одной целевой страницы на другую до тех пор, пока непроиндексируют все страницы сайта.

Обратная и/или вращающаяся карта сайта

Наверняка вы уже прикрутили простенькую карту сайта к своему сайту, и теперьона ссылается на все страницы ресурса. Говорят, поисковые боты относятся ккартам сайта иначе, чем к другим страницам в плане количества ссылок, покоторым они готовы перейти, но когда у вас есть 20 тысяч страниц и все их нужнопроиндексировать, стандартная карта может оказаться малоэффективной.

Если мы отталкиваемся от того факта, что бот переходит только поопределенному количеству ссылок с карты сайта, значит, нам нужно сделать так,чтобы он каким-то образом охватил все ссылки. Если у вас небольшой ресурс на 5тысяч страниц, вам вряд ли придется об этом беспокоиться, но если у вассайт-хамелеон на более чем 30 тысяч адресов, стандартная карта сайта можетоказаться бесполезной тратой времени. Дело в том, что ссылки с главной страницыведут на внутренние страницы с низким порядковым номером в базе данных. Точнотак же устроена и карта сайта — сначала она выдает первые ряды в базе, затемпоследние. В такой ситуации боты будут ходить по одним и тем же страницам.

Чтобы решить проблему, разверните карту сайта на 180 градусов.Для этого в базе данных замените ORDER BY ‘id’ на ORDER BY ‘id’ DESC (атрибутDESC подразумевает то, что последние страницы будут отображаться первыми, апервые — последними). Так страницы, которые, как правило, плетутся в хвостекарты, сразу привлекут на себя внимание ботов, и те их быстренькопроиндексируют. Если с внутренней перелинковкой проблем нет, боты будутиндексировать страницы с обеих сторон базы данных и со временем сойдутся вцентре. В таком случае полная индексация сайта произойдет намного быстрее, чемесли бы боты постепенно шли с первых страниц и до последних.

Еще лучше сделать вращающуюся карту сайта. Допустим, у васесть 30 тысяч страниц. В течение первой недели расположение страниц на картедолжно выглядеть так: 30,000-1. Затем вы берете первые 5 тысяч страниц ипереносите их в конец карты. Теперь карта выглядит так: 25,000-1:30,000-25,001.В начале третьей недели вы снова прокручиваете карту и теперь она имеет вид:20,000-1:30,30,000-20,001. И так до конца. Этот метод весьма эффективен.

Ссылки на внутренние страницы с других сайтов

Этот метод тоже позволяет существенно увеличить объем ботового трафика навнутренних страницах сайта. Благодаря ему вы сможете ткнуть ботов носом в теучастки, которые они упорно не хотят индексировать. Чтобы операция прошлауспешно, ставьте ссылки на узловые страницы. Ссылки могут идтикак с ваших собственных, так и со сторонних ресурсов.

Сайты-индексаторы

Это самая эффективная тактика индексирования из всех, что я описал в этомпосте. Сайт-индексатор — это специальный сайт, которыйвытягивает контент с других ваших сайтов, индексирует свои внутренние страницыи затем самообновляется — закрывает проиндексированные страницы и подхватываетдругие, непроиндексированные. Создание такого сайта не займет много времени,однако для этого нужно разбираться в коде.

Сначала вам нужно создать главную страницу, которая будет ссылаться на50-100 внутренних страниц. Каждая внутренняя страница будет наполнятьсяконтентом тех страниц из базы крупного сайта (например, сайта-хамелеона),которые вам нужно проиндексировать. Чтобы главную страницу сайта-индексатора непокидали поисковые боты, направьте на нее поток ссылочного веса с сайтов-отбеливателейссылок.

После этого задайте команду cron, чтобы он ежедневно вытягивал из Google,Yahoo и MSN данные по запросу SITE:вашдомен.com. Создайтескрипт, который будет парсить результаты и сравнивать их со списком страниц насайте-индексаторе. Как только страница будет проиндексирована во всех трехпоисковиках, скрипт должен ставить на нее 301-й редирект, который будет вестина ее близнеца (целевую страницу с крупного сайта), и отмечать ее в базе данныхкак проиндексированную.
Теперь сайт-индексатор не будет обращать на нее внимание, и для создания новыхвнутренних станиц будет подхватывать только те страницы, которые еще не былипроиндексированы каким-то (или всеми) из поисковиков. Такой сайт работает наавтомате и в этом его настоящая ценность.

Сайт-индексатор будет трудиться до тех пор, пока все страницы крупного сайтане будут проиндексированы в основных поисковых системах. Этот метод работаетнастолько эффективно, что даже при полном отсутствии внешних ссылок на крупныйсайт вы все равно сможете проиндексировать его внутренние страницы. Для этоговам понадобится всего несколько сайтов-индексаторов.

Источник: seonews.ru