Клоакинг

Совершенно очевидно, что если вы занимаетесь открытым и наглым клоакингом, Google (и другие поисковые системы) удалят ваш сайт из индекса. Но во многих случаях клоакинг допустим, как с позиции пользователя, так и с позиции поисковых систем.

Начнем со списка ресурсов, которые в настоящее время практикуют клоакинг совершенно безнаказанно.

• Google (ага, он самый). Поищите в Google гугловские же сервисы типа » google toolbar», » google translate» или » adwords» и пр. и посмотрите, какие урлы выдает поисковик. А теперь перейдите по ссылке и посмотрите, во что превращается адрес страницы по мере ее загрузки. Мало того, содержание целевой страницы иногда отличается от того, что хранится с кэше, независимо от того, залогинены вы в Google или нет.
• NYTimes.com. Встроенные рекламные страницы, приглашение залогиниться/зарегистрироваться на сайте после 5 кликов, архивные данные — все это человек видит иначе, чем поисковые боты.
• Forbes.com. На этом сайте невозможно даже взглянуть на главную страницу, не насладившись прежде рекламным роликом на пол-экрана. Кэшированные страницы тоже часто отличаются от того, что видит на сайте человек.
• Wine.com. Даже если не брать во внимание редиректы, каждый пользователь, прежде чем посмотреть цены (как, впрочем, и страницы), должен выбрать штат. Вряд ли это требуется от поисковых ботов.
• WebmasterWorld.com. Этот сайт одним из первых ввел (теперь общепринятую) практику нескольких бесплатных кликов по сайту, после которых идет предложение записаться в члены сайта. Но на боты Google это не распространяется.
• Yelp.com. Активное применение геотаргетинга на базе куков. Очень и очень популярная форма регионального таргетинга, которую используют сотни сайтов.
• Amazon.com. Благодаря кукам и данным с прошлых посещений Амазон может варьивать, например, выдачу по рекомендуемым товарам.
• iPerceptions.com. По сути сайт не использует клоакинг, но всплывающие окна на сайте видны только с тех компьютеров, где браузеры поддерживают куки (причем видны он не только на этом сайте, а и на доброй сотне других). Не говоря уже о том, что сайт принадлежит одному из сотрудников Google.
• ComputerWorld.com. Если бы вы были ботом, вы бы никогда не увидели рекламы на весь экран, всплывающих окон и даже некоторых javascript’ов, которые срабатывают только тогда, когда на сайт заходит реальный человек.• Scribd.com. Машина видит на сайте исключительно html-текст. Человек видит то, что видит.
• Nike.com. Google показывает, что сайт состоит из более чем полутора миллионов страниц. Только почему-то все эти страницы начинаются с одного и того же flash-ролика и вы их не видите, если у вас не работает Flash.
• Wall Street Journal. Бот Google совершенно не видит ссылки pay to access, которая стоит после первого абзаца на некоторых статьях на сайте.

Этот список можно продолжать и продолжать, но суть и без этого ясна: клоакинг не всегда зло, особенно если вы:

• крупный и всемирно известный бренд или
• маскируете страницы так, что от этого получают пользу не только поисковые боты, но и живые посетители сайта.

Классификация типов клоакинга

1. Кристально белый	• Разрешенные приемы: распознавание куков, javascript’ы. • Цель: оптимизация целевых страниц, предоставление контента зарегистрированным пользователям.
2. Почти белый	• Разрешенные приемы: все, что выше, + User Agent. • Цель: геотаргеттинг, определение типа браузера, минимизация расхода трафика на ботов.»
3. Светло-серый	• Разрешенные приемы: все, что выше, + User Agent / просмотр информации об IP-адресе. • Цель: редирект ссылочного веса на аналогичные страницы, показ скрытого контента.»
4. Темно-серый	• Разрешенные приемы: все. • Цель: показ менее оптимизированного контента, редирект ссылочного веса на левые страницы.»
5. Черный	• Разрешенные приемы: все. • Цель: показ контента, совершенно не соответствующего поисковому запросу.»

1. Кристально белый

На том же SEOmoz есть платная подписка, содержимое которой могут видеть только ее участники. Технически поисковые боты и некоторые посетители видят разные вещи, но у них все основано на куках . Вообще, мы (SEOmoz) могли бы принять участие в программе Google News Первый клик бесплатный, но до сегодняшнего дня мы этого не сделали.

2. Почти белый

Геотаргетингом балуется Craigslist.org, для того, чтобы определить, откуда приходит пользователь и на страницу какого города он хочет попасть. Представители Google открыто заявили, что до тех пор, пока Craigslist показывает ботам те же страницы, что и посетителям, такое поведение сайта не нарушает правил. Только вот, боты видят совсем не те страницы, что посетители (боты редиректятся на страницу, которую я могу увидеть только в кэше Google), — по логике вещей они и не должны их видеть, ведь боту нужно скормить весь контент сайта, а не только объявления под Нью-Йорк или Сан-Франциско. Однако такое нарушение правил не приводит к серьезным последствиям, потому что, по большому счету, и пользователи, и поисковые системы получают то, что им нужно.

3. Светло-серый

На сайтах, где размещаются большие статьи, как правило, стоят ссылки вроде “прочитать статью” или “распечатать статью” и т.д. в том же духе. Когда на вот эти варианты одной и той же статьи появляется несколько ссылок с разных источников (блоги, соц. сайты), поисковики начинают их индексировать и пенализировать за дублированый контент. Чтобы этого избежать, на второстепенные ссылки ставится 301-й редирект, и тогда весь ссылочный вес направляется на оригинальную статью. Но опять же, несмотря на нарушение правил, этот метод приносит пользу как посетителям (они переходят на оригинал статьи), так и поисковым системам (у Ask.com и MSN все еще есть проблемы с определением дублированного контента, да и по большому счету, у Yahoo! и Google не все с этим гладко). Т.е. авторитетным сайтам за это точно ничего не грозит.

4. Темно-серый

Некоторые партнерки вместо того, чтобы редиректить ссылочный вес с партнерских ссылок на страницы, куда они должны вести, редиректят его на страницы, которые нужно подпитать ссылками и продвинуть в выдаче. Это не особенно отражается на пользователях, которые ищут, на что ведет партнерская ссылка, но это искусственно повышает позиции страниц, на которые трафик не должен был переходить. Такие действия очень близки к черным методам, поэтому поисковики за такое наказывают.

5. Черный

Приведу такой пример. Недавно я ввел в поиск Google запрос inurl:sitemap.xml (в надежде узнать, сколько ресурсов используют карту сайта) и на 9-м месте в выдаче обнаружил странный урл www.acta-endo.ro/new/viagra/sitemap.xml.html, которая привела меня… (да вы сами знаете, куда приводят такие ссылки – прим. переводчика). Если вы попадаете на контент, которого поисковая система не видит, и который нерелевантен вашему запросу, я считаю это черным методом.

Вывод

Мы рекомендуем своим клиентам и кристально, и почти белые, и «светло-серые» методы, и будем это делать и дальше, где и когда это имеет смысл.

Пусть представители поисковиков и осуждают публично подобные тактики, на самом деле все они разрешают пользоваться теми или иными формами клоакинга (по крайней мере вплоть до «светло-серых»).

Основная моя мысль в том, что не стоит пугаться какой-либо тактики только потому, что где-то слышали, что это черный метод. Опирайтесь на собственный анализ, тестрируйте неклиентские сайты, и делайте то, что больше всего поможет бизнесу вашего клиента.
И не подумайте, что этой статьей я призываю вас к использованию клоакинга на ваших сайтах, я только лишь предлагаю переоценить распределение между черным и белым в отношении клоакинга.

Источник: seonews.ru