Сергей Протасов (Рамблер): «Поведенческие метрики для оценки качества поиска»

На конференции «Поисковая оптимизация и продвижение сайтов в интернете 2009» Сергей Протасов (Рамблер) рассказал о том, как поведение пользователя может использоваться в настройках поиска.

Факты о поведении пользователя

Сергей начал выступление с некоторых фактов о поведении пользователя во время поиска. Пользователю требуется 20 секунд для анализа результатов поиска до первого клика и 60 секунд для анализа сайта, на который перешёл из результатов поиска.

Если смотреть по сессиям, то 30% заканчивается ничем, 35% сессий заканчиваются 1 кликом, 15% – 2 кликами, 20% – 3 и более.

Если смотреть по глубине вхождения, то оказывается, что 13% сессий заканчиваются тем, что посетитель уходит дальше 1 страницы. Остальной трафик остаётся на первой странице.

Если смотреть, что доступно в базе Рамблера, то оказывается, что пользователи просматривают только 2% документов. Остальные 98% не просматриваются.

Мы знаем, что большинство сессий заканчиваются 1 кликом. Но, если посмотреть, какой результат достаётся первому клику, то получаем распределение по позициям в выдаче:

• 1 позиция – 40%
• 2 позиция – 10%
• 3 позиция – 8%

То есть трафик падает очень быстро.

Если у какого-то результата очень плохая аннотация, то трафик падает в несколько раз.

Поведение пользователя можно кратко описать, что пользователи нетерпеливы. Это нельзя исправить, нужно подстраиваться.

Качество поиска

Маркерный метод

Чтобы обсуждать качество поиска, нужно сделать несколько определений. В широком смысле под качеством поиска понимается скорость выдачи, полнота индекса, скорость обновления индекса, надёжность, опечатки, подсказки и т.д., а также релевантность (получает ли пользователь правильный ответ на первом месте).

Маркерный метод оценивает узкую релевантность результатов. У нас есть база запросов. Эта база составляется экспертами. В поиск вводится множество запросов, и подсчитывается сумма правильных ответов.

Учитывая, что пользователей более интересует первое место, соответственно, нам лучше всего проверять первый результат, а не первые 10 результатов.

К сожалению, у этого метода есть несколько проблем:

• Не обеспечивает полноты
• Не видит персонализации
• Не видит географической оптимизации
• Разногласия между экспертами
• Плохая точность
• Сайты иногда умирают: требуется регулярная проверка на актуальность.

Поведенческие технологии

Все эти проблемы побуждают нас искать новые способы оценки качества поиска.

Интересные возможности предоставляют поведенческие технологии. Прежде чем изучать новые метрики качества, нам требуется решить, как сравнивать сами метрики между собой. В основном нас интересует точность и как много нужно данных, чтобы оценить качество.

Возвращаясь к фактам о пользователях, 60 секунд требуется на оценку сайта, найденного по запросу. Если пользователь проводит на сайте меньшее количество времени (менее 15 секунд), то скорее всего это плохой сайт.

Таким образом могут рассматриваться и клики, и время, и глубина поиска, и лояльность (возвращаемость). Всё это рассчитывается на основе логов поискового сервера.

Между метриками есть разные корреляции. Нас интересует несколько самых качественных метрик. Как найти метрики, которые зависят от качества? Мы провели эксперимент. На небольшой аудитории ухудшаем качество и смотрим, какие коэффициенты увеличиваются, а какие уменьшаются. Далее ухудшаем/улучшаем качество поиска. Смотрим, какие коэффициенты изменились в обратную сторону. Повторив процедуру несколько раз, получаем метрики, которые зависят от качества, остальные отфильтровываем.

Одна из этих метрик называется c1t1. Это доля первого результата при одном клике. Среднее значение c1t1 составляет 0,4 х 0,35 = 14% (с1 – первый клик, t1 – первый результат). То есть мы знаем, что 35% сессий заканчивается 1 кликом. И на первый результат приходится 40% таких кликов.

Получается, в 14 из 100 сессий пользователь сделал ровно 1 клик, и он достался первому результату. Эти 14% и есть качество. 100% – идеальное и недостижимое качество.

Для двухсловных и трёхсловных запросов удовлетворённость поиском увеличивается в течение всего 2009 года. Удовлетворённость по 3х-словным запросам хуже, чем по 2х-словным.

Метрики показывают удовлетворённость поиском, а не качество поиска. Качество поиска – свойство алгоритмов, серверов. Сложность запросов – свойство посетителей. Чем больше сложность запроса, тем меньше удовлетворённость посетителей. Сложность запросов растёт.

По итогам на ноябрь 2009 года в Рамблере:

• запущены опечатки и подсказки в поисковой строке
• новое оборудование, скорость поиска
• новый дата-центр для повышения надёжности
• на части аудитории тестируются новые фишки и алгоритмы
• удовлетворённость увеличилась на 60%.

Оптимизаторам Сергей посоветовал оптимизировать только редкие и многословные запросы, где пользователи неудовлетворенны первыми результатами, а также бояться нецелевой аудитории.

Источник: www.searchengines.ru