РИФ+КИБ 2011: В поиске счастья

21 апреля, на конференции РИФ+КИБ 2011, в рамках 37-й секции состоялись доклады представителей ведущих поисковиков и круглый стол про наиболее насущные вопросы вокруг поиска.

Вел секцию Александр Садовский, который предложил экспертам рунета в области поиска ответить на вопрос «Где спрятано счастье пользователей современных поисковых систем?».

Первым выступил Михаил Волович (Ашманов и партнеры) с докладом «Проекции поискового счастья: качество поиска глазами умных машин»

Михаил рассказал об анализаторах поиска, о том, что компания «Ашманов и партнеры» их делает, настраивает, следит, чтобы они не портились, а дальше они считают сами. Таких машин-анализаторов качества поисковых систем есть уже больше 20 и живут они на сайте analyzethis.ru. Проект существует уже несколько лет, но активно начал развиваться с 2010 года, за это время было сделано примерно 10 новых анализаторов.

Михаил Волович: Мы мерим разные вещи, далеко не все возможные аспекты, что-то, о чем будут рассказывать представители поисковиков, мы еще мерить не научились, но думаю, что все еще впереди.
Начнем с разных видов запросов. По навигационным запросам, таким, когда лучшим ответом на запрос является тот или иной сайт, здесь счастье уже наступило. И Яндекс и Гугл идут в районе 100%, и если мы видим вдруг здесь показатель меньше ста, мы первым делом смотрим, не испортился ли какой-либо из наших маркеров, потому что ожидать, что кто-то из лидеров здесь серьезно опустится, не приходится.
Другие типы запросов, пока их не так много, но здесь дело обстоит гораздо хуже…».

Цитатный поиск, по словам Михаила, уже довольно сильно хуже, у лидеров порядка 60-70%. А там, где крылатые слова рассчитывают на то, что будет выдан именно первоисточник, а не просто какие-то места цитирования, – вообще уже меньше половины.

Как работает любой ашмановский анализатор? Ежедневно задается 100 запросов и поверяется, насколько каждый ответ релевантен. Запросы самые разные, подразумевающие более-менее релевантный ответ, наличие которого можно проверить.

По показаниям этих анализаторов, очень плохое положение в поиске по оригиналам, и по актуальности поиска.

Есть несколько анализаторов, анализирующих актуальность. Среди них недавно появившийся анализатор, проверяющий скорость индексации, который проверяет, насколько быстро попадают в результаты поиска новые страницы сайтов. Если в поиске по оригиналам явным лидером является Яндекс, то в актуальности явный лидер уже Гугл, а все остальные очень сильно отстают.

Михаил сообщил, что Гугл уже за 2 дня 60% новых страниц добавляет в индекс, потом это количество растет, и к концу месяца уже все 100% таких страниц показываются в результатах поиска. У Яндекса в первые дни попадает 30%, это работает быстробот, потом довольно сильный провал, ну и потом постепенно доползает примерно половина за месяц.

Полнота индекса. Здесь сейчас Яндекс и Гугл идут буквально нога в ногу, причем Гугл догнал Яндекс относительно недавно. У остальных похуже.
Разнообразие выдачи. Если есть запрос, который имеет много более менее равноправных ответов [наполеон], тут проверяется какой процент из этих вариантов находит каждый из поисковиков. Здесь тоже все, по словам докладчика, довольно неплохо.

Примерно то же самое положение, по запросам, которые имеют очень сильное коммерческое давление. За последние годы все поисковики научились выдавать очень разнообразную выдачу, об этом свидетельствует тот факт, что некоммерческих ответов уже значительно больше, чем коммерческих.

Михаил Волович: Понимание запросов – это то, как поисковик работает с запросом, и что предлагает пользователю. Тут на самом деле счастье тоже очень близко, единственное правильное действие в ответ на то, если пользователь спросил что-то не совсем понятное, это предложить ему наиболее вероятный вариант подсказки. Здесь почти сто процентов уже. Очень часто на неверные запросы даются правильные подсказки у всех.

Еще один очень важный аспект поискового счастья, это то, насколько пользователи из регионов получают то, что к ним близко, т.е. – региональная выдача. Тут у компании «Ашманов и партнеры» есть несколько анализаторов, главный проверяет из 9 городов России, что выдается по региональным запросам, например про классическому региональному запросу [пицца]. И здесь, чего там скрывать – максимум 50%, ну вот буквально в последние дни у Яндекса стало доходить до 65%. Много все таки еще выдается каких-нибудь там казанских пиццерий в Краснодаре. Но, по сравнению с тем, что было еще несколько лет назад, это большой прогресс.

Гугл, в отличие от Яндекса, выдает региональную выдачу достаточно дозировано, есть только конкретные позиции, по которым идет региональная выдача, а остальное все – стандартное. У остальных поисковиков вообще ничего, все на уровне случайности. Даже Мэйл, который раньше выдавал по регионам выдачу Гугла, сейчас выдает стандартную московскую выдачу.

Ну и в конце своего выступления Михаил не смог не упомянуть о наличии всякого несчастья в поиске. Так, например поискового спама, даже у лидера Яндекса – 4%, у остальных еще больше. Жить можно, конечно раньше бывало и хуже, но все-таки хотелось бы, чтобы было почище.

Наличие порнографии. Наличие порносайтов меряется по таким двусмысленным запросам типа [колготки], [школьницы], [трусики]. Это запросы, по которым люди действительно ищут эротику, но могут искать и совершенно не это. И среди этих ищущих могут быть и дети. Здесь поисковикам приходится (отчасти под давлением наличия этого анализатора) как-то ограничивать наличие эротики по этим запросам.

Здесь очень большой скачок вверх сделала Мэйл.ру, которая буквально на днях очень существенно снизила процент порнографической выдачи.

Следующим выступил Андрей Калинин (Mail.ru) с докладом «Люди против роботов».

Андрей рассказал о самом последнем нововведении в поиске Mail.ru, сделанном совсем недавно, – добавлении в выдачу рекомендаций социальных сетей. Пока рекомендации добавляются из Моего мира, но в дальнейшем планируется добавить и из Одноклассников тоже.

Прежде чем приступить к содержательной части доклада, Андрей немного рассказал о поиске Мэйл.ру, ему это показалось необходимым в связи с тем, что за последние полтора года компания поменяла нескольких поставщиков поиска, он решил внести некоторую ясность в этот вопрос.

Андрей Калинин: Во-первых, у нас все хорошо. У нас 12 млн. пользователей поиска за март этого года в России по оценке TNS, и это число постоянно растет, так что в общем, все в порядке. У нас есть два поисковых движка, точнее мы можем использовать выдачу от двух поисковых движков – во-первых, наш собственный движок, а во-вторых, Гугл, чью выдачу мы можем использовать по партнерскому договору. Выдача отделяется как поиск по рунету и поиск по миру. У некоторых пользователей по умолчанию выставлен поиск по рунету, у некоторых по всему миру. Сейчас примерно треть запросов обрабатывается нашим движком и 2 трети Гуглом.

Андрей сообщил, что в дальнейшем поиск Мэйл.ру планирует увеличить долю запросов, обрабатываемых собственным движком где-то до 90%. Оставшиеся 10% это запросы, требующие большого индекса по интернету, его Мэйл строить пока что не собирается, довольствуясь индексом по России и по странам СНГ.

Далее Андрей перешел к показу рекомендаций. Они выглядят так, что в нижней строке сниппета, там, где написан адрес, там теперь показывается еще и количество людей, которые рекомендовали эту страницу в социальной сети Моего мира.

Андрей обратил внимание слушателей, что при наведении мышки на значок рекомендаций, там открывается специальное окошко, в котором видны аватары рекомендовавших пользователей. С его точки зрения, эта информация, которая дается в рекомендациях, она хороша даже не в том смысле, что это некоторый фактор ранжирования, она хороша тем, что это дает людям возможность выбора. Кроме ранжирования самой поисковой системы они видят еще то, сколько людей побывали на этой странице, убедились, что это не спам, не вредоносный сайт, что она им понравилась и они даже сочли нужным высказать свое мнение. Т.е. это нововведение добавляет в поиск некий момент человечности и позволяет оценивать результаты поисковой выдачи не только по тому, в каком порядке расположены результаты, но и по тому, сколько людей и что говорят о том или ином результате.

Это важно с той точки зрения, что все поисковые системы приучили пользователей к тому, что в поиске есть только одно важное – это позиции, и люди привыкли, что первый результат всегда лучше чем второй, и всегда кликают на первую строчку, даже не подозревая, что этот результат может там оказаться вовсе даже не в результате своей наибольшей релевантности.

Кроме того Андрей считает, что это единственное место в поисковой системе Мэйла, которое напрямую управляется людьми. Человек может прийти, порекомендовать такую-то страницу и в выдаче появится вот такой вот элемент, это очень важно, что сами люди могут что-то изменить в поисковой выдаче. На ранжирование это пока что никак не влияет, но это влияет на показ. На наш взгляд это кардинальное изменение, которое меняет способ общения поиска с людьми. Если до сих пор поиск следил за людьми, так или иначе оценивая из действия в интернете, то теперь мы им даем понять, что их мнение для нас важно, и мы его как-то используем.

Показ рекомендаций был сначала запущен на части аудитории, затем уже на весь поиск. Андрей продемонстрировал график изменения доли документов, в которых есть хотя бы одна рекомендация, по времени – с момента запуска. График показал, что эта доля растет буквально с каждым днем. На сегодняшний день процент подобных запросов составляет 35%.

Андрей Калинин: Этот поисковой элемент – необычный. Люди, когда привыкают просматривать поисковую выдачу быстро, точно также его не замечают, потому что он находится внизу сниппета и не все его видят. Поэтому нам приходится показывать людям как это работает и зачем это нужно при помощи обучающих роликов.

Реакция людей на этот элемент поисковой выдачи однозначная – это здорово, им это нравится и они заряжаются энтузиазмом от того, что теперь они могут влиять на поиск. Мы, в свою очередь, надеемся, что нам удастся раскрутить и продвинуть этот элемент, являющийся таким своеобразным рычагом управления поисковой системой.

Затем выступил Роман Поборчий (Яндекс) с докладом «Пользователи, данные нам в ощущениях»

В своем докладе Роман обещал поговорить о том, как можно, будучи поисковой системой, или каким-либо другим человеком или организацией, у которой есть много пользователей, по их поведению или по их статистике, что-то узнать о том, что им нужно. Есть много довольно тривиальных и вместе с тем не совсем очевидных способов, о которых он решил рассказать.

Способов всего три:

1. Анализ сессий
2. Классификация тематик поисковых запросов
3. Эксперименты с выдачей

Начал Роман со статистики. Что можно сделать? Можно взять ту или иную сессию, можно взять по определенному какому-то запросу, можно взять по определенной группе запросов тех или иных уидов, и вручную классифицировать эти сессии по каким-либо признакам.

Роман на примере анализируемых сессий разных пользователей по одному и тому же запросу [аватар], продемонстрировал, как можно их классифицировать.

Изучение тематик запросов. Для того, чтобы их изучать, нужны две вещи: какой-то тематический классификатор запросов, а также либо интересующая группа запросов, либо группа пользователей. Если, к примеру, взять студентов, то окажется, что у них 2 интереса – развлечения и учеба. Именно в таком порядке. Причем развлечения – это игры и эротика, а учеба – это скачать реферат. Колебания этих тематик таковы, что под сессию резко возрастает преобладание учебной тематики, а все остальное время развлекательной.

Роман Поборчий: Если посмотреть на что-то нетривиальное, давайте возьмем владельцев Андроидов и Айфонов, чем эти люди друг от друга отличаются и отличаются ли. Мы взяли запросы к мобильному поиску, которые были заданы с Андроидов и запросы, которые были заданы с Айфонов, классифицировали их, и выделили те тематики, которые очень сильно различаются в процентном соотношении.

Чем в основном интересуется пользователь Андроида? Информатика и информационные системы, эротические игры, электронная музыка, форумы чаты, компьютерные игры, похоже, что этот человек – гик.

У обладателя Айфона – главные интересы: прически, салоны красоты, свадьба, тосты, сценарии, зарубежная проза, доставка цветов, лошади и бизнес-образование. Потрет – гламурная блдондинка».

Эксперименты на пользователях. Очень многие наверняка были в той ситуации, что у него выдача Яндекса не похожа на выдачу Яндекса у соседа или у внучки, потому что время от времени Яндекс делает экспериментальное ранжирование, и по какому-то пользовательскому поведению пытается понять – нравится это пользователю или не нравится .
Если нравится – такое ранжирование распространяется шире, если не нравится, то убивается проект и начинается все заново.

Яндекс смотрит на много разных метрик, Роман остановился на самых важных. Это доля некликнутых запросов и средняя позиция первого клика. Общая точка зрения состоит в том, что если поиск улучшился, то доля некликнутых должна уменьшиться, и, соответственно, если поиск улучшился, то доля первого клика должна пойти вверх (это к 0). Это логично – если поиск стал лучше, то пользователь реже уходит неудовлетворенным. Но бывают исключения и надо их понимать.

Однажды Яндекс сделал так, что адреса и телефоны стали отображаться прямо в сниппете. Вот что случилось. Есть такие люди, они называются вебмастера, так вот в тот день, когда это было сделано, пошел очень большой поток обращений в службу поддержки от этих людей с просьбой это убрать. Происходило это от того, что на то, что компания от этого нововведения выигрывает, получая большее количество звонков и обращений, вебмастеру откровенно плевать, потому что его премия ушла в ноль неожиданно. Можно сделать вывод о том, что в этом случае пользователь никуда не кликал, а сразу звонил, и доля некликнутых результатов увеличилась. При этом качество поисковых результатов для пользователей несомненно стало лучше.

Что еще можно узнать таким способом? Ну, например то, что пользователи очень активно не любят страницы на английском, причем разной направленности. Т.е. по запросу Майкл Джексон ил Моби, они не хотят идти на англоязычные ресурсы, они хотят идти на какую-то другую русскоязычную страницу. Причем это же касается даже порнографии, если они видят из сниппета, что страница на английском языке, то на нее значительно хуже ходят, что является в общем-то открытием, потому что порнография, она вроде бы на всех языках одинаковая.

В обратную сторону выяснилось, что для братьев-славян из Украины русский ответ даже на украино-язычный запрос в принципе это неплохой результат, кроме западной Украины . Т.е. там люди не особенно возражают, если им на украино-язычный запрос дают релевантный русскоязычный ответ. Это во многом было неожиданно, потому что ожидалось как раз обратное.

Вот такие вот вещи можно узнавать о пользователях, анализируя их запросы.

Владимир Офицеров (Google) с докладом «Счастье – это когда тебя понимают»

Владимир посвятил свое выступление нововведениям в поиске Google, произведенным за последний год. Во-первых, это живой поиск – это просто, очень большое количество пользователей сразу же отметили появление живого поиска, как одну из наиболее крупных инноваций за последнее время.

Он также отметил, что иногда сниппета совсем недостаточно для того, чтобы понять, нашли пользователи действительно то, что искали. Google сделал предварительный просмотр, который показывает страничку до того, как пользователь туда нажмет. Страница при этом выглядит весьма похоже на то, что увидит реальный пользователь. Пользуясь случаем, Владимир попросил вебмастеров придерживаться чистой, лаконичной структуры сайта, не использовать поп-ап с поп-андером, потому что от этого очень сильно страдают эти предварительные картинки.

Очень часто в результатах поиска люди ищут адреса, и чтобы облегчить людям этот поиск, адреса были включены прямо в сниппеты результатов поиска и одновременно показываются на карте. В дополнение еще есть фильтр, который позволяет разграничивать результаты, где есть адреса, от тех результатов, где их нет.

Владимир поблагодарил тех вебмастеров, которые заботятся о тех пользователях, которых они хотят привлечь на свой сайт, и делают это, добавляя микроформаты, микроданные на свой сайт.

В расширенных сниппетах есть несколько категорий, которые позволяют показать людей, рецепты, продукты, ответы, отзывы, и практика показывает, что пользователи переходят на эти результаты чаще, чем на результаты с обычными сниппетами.

Google прекрасно понимает, что поиск – это процесс, и запрос является только его началом. Многие инструменты, которые были сделаны за этот год, были сделаны существенно более доступными в левой панели, и позволяют посмотреть на результаты с другой стороны.

Владимир Офицеров: Наш индекс – это наша гордость. Большой индекс позволяет нам не только легко находить ответ на любой вопрос, но и компоновать ответы на разных языках, включая автоматический перевод.
Кроме того, за прошлый год наши инженеры переделали всю систему индексации, переписали ее заново, используя непрерывный индекс, благодаря чему время доступности результатов в поиске было сокращено буквально до нескольких минут. Естественно это приносит проблемы с другими результатами, но мы пытаемся с этим бороться.

Еще Владимир рассказал об одном нововведении, которое уже доступно на Google.com и скоро будет доступно на Google.ru – это персональная блокировка сайтов. Всем известно, что есть спам, есть хорошие сайты, а есть сайты, которые просто людям не нравятся. Поэтому сделан такой инструмент, который позволяет пользователю сориентировать результаты поисковой машины именно для себя.

Поскольку этот инструмент достаточно опасный, поэтому необходимо произнести специальное заклинание, которое состоит из трех шагов – нужно ввести запрос, после чего нажать на ссылку, после этого нужно вернуться на страницу поиска и тогда на том результате, который вы нажали, вы увидите ссылку, которая позволяет заблокировать результаты с этого сайта для всех ваших будущих запросов навсегда.

Также Владимир рассказал о введении в поиске функционала рекомендации результатов при помощи кнопки +1. Если пользователь видит результат поиска, который ему действительно нравится, при помощи кнопки +1 он может поделиться этой информацией со всеми своими друзьями, которые ищут на Google. Кроме того, если какие-либо результаты выдачи содержат рекомендации его друзей, то такие результаты будут обязательно показаны на первой странице, независимо ни от чего.

Кроме того Google научился оповещать пользователя о том, что тот или иной сайт был взломан.

Cчастье – это все. И последний продукт Google, от которого душа радуется, это Арт-проект – виртуальное посещение музеев мира. Кроме того, что можно посмотреть эти картины в виртуальной галерее, можно еще создать свою собственную галерею и наслаждаться шедеврами каждый день.

Круглый стол

Далее на сцену для участия в круглом столе поднялись еще несколько представителей поисковиков рунета: Владислав Шабанов (Mail.ru), Илья Сегалович (Яндекс), Сергей Петренко (Яндекс), Игорь Ашманов (Ашманов и партнеры), которые вместе с докладчиками продолжили обсуждать тему про поиск и про пользователей, про измерение поисковых систем, про поисковые машины.

Возникает вопрос: поисковые системы борются за какую-то аудиторию, они чего-то хотят. При этом, что именно нужно пользователям, ни одна поисковая система четко сказать не может. Что отличает Яндекс, Гугл и Мэйл? С этим вопросом Александр Садовский обратился к аудитории.
Аудитория называла какие-то абстрактные понятия, абсолютно нематериальные, в отличие от тех вещей, о которых обычно говорят сами представители поиска – о качестве выдачи, релевантности и т.д. Было даже сказано, что они отличаются названиями, цветом поисковой строки и тем, что «Яндекс – веселый и находчивый, Гугл – такой серьезный, а Мэйл такой – ха-ха, фа-фа».

Садовский остановил этот уход в эмоциональное восприятие поисковых систем, и предложил участникам круглого стола задуматься над тем, нужно ли дальнейшее развитие качества поиска, или может быть оно давно уже стоит на месте и нас просто ожидает война бюджетов?

О причинах, по которым пользователи переходят от одной поисковой машины к другой рассказал Владимир Офицеров. Порнография, спам, релевантность. Но есть пользователи, которые используют результаты нескольких поисковых систем сразу, для повышения качества поиска.

О Рамблере вспомнил Игорь Ашманов. У Рамблера были постоянные провалы производительности, когда поисковая машина просто говорила – ничего не найдено. Она просто не имеет права такого говорить, точно также, как женщина не должна ни при каких обстоятельствах признаваться в измене. Пользователи уходили, а возвращались уже не в полном объеме. А когда это происходит 3 года подряд с завидной периодичностью, не удивительно, что Рамблер порастерял всех своих клиентов.

Игорь Ашманов: Кроме того Рамблером был сделан совершенно ужасный дизайн. А в третьих, морду Рамблера, а это все-таки портал, превратили в новостной ресурс. И пользователи, честно говоря вообще уже забыли, что там есть поиск. Там сейчас, для того, чтобы найти строчку поиска обязательно нужно знать, что он там есть, а иначе никак. Новости утопили все и посещаемость начала падать. Если ничего не изменится, посещаемость упадет до 0.

По словам Игоря, пользователь не может отличить по качеству результаты поиска тех или иных поисковиков, они все сейчас достаточно хороши. Поэтому кроме качества поиска есть еще очень много важных вещей, на которые стоит поисковым порталам обращать свое внимание.

Илья Сегалович также сказал о немаловажной роли юзер-экспириенс. Плохой юзер-экспириенс, невозможность пользоваться, просто неответы, о которых говорил Игорь, невозможный дизайн, тоже влияет отрицательно.

Профи от интернета пользуются всем, и им все равно, как это выглядит, для них важно что-то совсем другое. И они уже хорошо знают, какая система на какого рода запросы отвечает лучше, а какая лучше отвечает на другие. А есть такие люди, которые не разбираются особо, они используют много точек поиска, потому что им кажется, что чем больше, тем лучше. Они все еще переживают за качество поиска.

Потом был задан вопрос залу: А есть ли среди сидящих в зале людей те, кто за последние несколько лет поменяли один поисковик на другой? Поднялось около 10 рук и был сделан вывод о том, что все это бывшие пользователи Рамблера.

Садовский сказал, что у Гугла социальность только для друзей, у Мэйла для всех и насильно. А у Яндекса вот вообще нет, почему? Сегалович ответил, что то, что есть у Гугла и у Мэйла не кажется ему удовлетворительным, но Яндекс все-таки собирается это тоже сделать. И привел примеры, как неудовлетворительно все работает.

Так же в ходе обсуждения поднимались вопросы о приватной информации, о пользовательских факторах, о таргетированной рекламе, о лайках, о персональных данных, отданных социальным сетям. Вот далеко не полный перечень вопросов, затронутых в ходе обсуждения.

Источник: www.searchengines.ru