«Не нужно делать не хуже, нужно делать лучше!»

Беседовал Виктор Лавренко. Руководитель проекта Nigma.ru

Как и кому пришла идея создать интеллектуальную поисковую систему?

Идея пришла в голову студентам МГУ им.М.В.Ломоносова, которые в то время занимались исследованиями в области искусственного интеллекта, а я осуществлял их финансовую поддержку. На тот момент проект оставался абсолютно теоретическим, научным трудом. Однако, по прошествии примерно года исследований, вместе с научными руководителями мы решили, что поскольку наш факультет вычислительной математики и кибернетики (ВМиК) является прикладным, эти исследования получаются немного «не в формате», слишком теоретическими. Поэтому переориентировали наш проект из исследовательского в практический.
Современные коммерческие поисковые системы – хороши, но все, что они делают – выделяют слова из закачиваемых документов и выстраивают их в цепочки, которые называют обратным индексом. Они неплохо их сортируют, но искусственного интеллекта здесь нет. Поэтому мы решили работать в этом направлении. Начали изучать разработки западных специалистов, опыт западных интеллектуальных поисковых систем. Очень скоро пришли к выводу: во-первых, мы сможем сделать это лучше, а во-вторых, сможем сделать это для России. Мы это и сделали!

Из кого состоит коллектив Nigma.ru ?

Наш проект можно назвать студенческим. Коллектив состоит, главным образом, из студентов и аспирантов МГУ. На сегодняшний день постоянных сотрудников 5. Нам помогают многие студенты. Они пишут о найденных багах, присылают HTML коды с ошибками. Если человек разбирается в HTML или Javascript, часто просим его самостоятельно поправить ошибки, и многие это делают.

Наверно много студентов не только из МГУ хотели бы присоединиться?

Желающих достаточно. Ежегодно мы проводим семинары, посвященные работе Nigma.ru. Студентов собирается много. Начинаем рассказывать, чем мы занимаемся – люди пугаются, разбегаются по углам (смеется). Но проблемы с нехваткой кадров у нас нет – программистов много. Кому-то может не хватать квалификации, но главное здесь – желание работать и учиться. Наш университет славен тем, что здесь учат учить. Так что проблем научить не будет!

В России аналогов Nigma.ru нет, а как обстоят дела за рубежом?

Есть американский аналог, поисковая система Vivisimo.com. Но я считаю, мы сделали Nigma.ru даже лучше, наши кластеры устроены по-другому.

Этой осенью вами обещан запуск нового поискового проекта. Как долго осталось ждать?

Есть несколько совершенно глупых проблем. Вот коробки, в них серверы, о покупке которых мы заявили. Проблема состоит в том, что нам их просто некуда ставить, пока занимаемся проблемой их хостинга. Не хочется раньше времени говорить о подробностях. Думаю, что в октябре проект будет запущен.

Расскажите, что это за проект?

Проект рассчитан на Штаты и запускать его мы будем там. Почему не Россия? Просто российский Интернет, по своей информационной наполняемости и по своей структуре еще не совсем к этому готов. А в Штатах все уже готово. Это будет новый поисковик, который будет работать совсем по-другому. В ближайшее время мы об этом подробно расскажем. Как и все новое, эта идея – хорошо забытое старое, просто применительно к Интернету ее еще не использовали.

Почему не хотите патентовать новую поисковую технологию?

Мне кажется, патентовать алгоритм бессмысленно. Во-первых, его нужно патентовать не как алгоритм, а как метод. А во-вторых, небольшие изменения в этом методе – и это уже другой метод.

Поделитесь с любым, кто попросит?

Поделимся, в том смысле, что пригласим всех желающих принять в нем участие. Ну а если это «черный» оптимизатор, который хочет повлиять на результаты, скажу лишь, что это будет не так-то просто. Впрочем, есть и другая точка зрения. Например, авторы поисковика Nutch говорят так: плохо, что оптимизаторы видят наш исходный код: во-первых, мы его постоянно меняем, улучшаем, а во-вторых, они все равно догадаются. Борьба с черной оптимизацией больше организационная, а не алгоритмическая. Оптимизаторы – в первую очередь люди, а победить человека с помощью только алгоритмов невозможно.
В этом смысле может и нестрашно поделиться. По крайней мере, алгоритмы и старого, и нового поисковика (не исходный код) мы выложили в Интернете.

Nigma.ru начала тестировать свой AJAX-интерфейс для отображения результатов кластеризации. С какой целью?

Мы запускали AJAX сразу, после того как его запустила Quintura. Просто было интересно проверить выдвинутую ими гипотезу: пользователям важнее интерфейс, а не функциональность. Например, у Windows красивый интерфейс – им пользуются все, а у MS DOS наоборот, поэтому им практически не пользуются. Запустили и поняли, что гипотеза была неверной. Функциональность важнее. Графический в данном случае – не «красивый», а «наглядный», а это уже функциональность. AJAX- версия – это не будущее поиска, будущее за функциональностью.

Как проходит тестирование?

Тестирование показывает, что пользователи как-то неохотно пользуется AJAX`ом. Это такая красивая игрушка, кому-то нравится, кому-то нет. В нашем поисковике сейчас им пользуется только 2% пользователей.

Кто, кроме Mail.ru, оказывает поддержку Вашему проекту?

Из коммерческих компаний нам помогает Яндекс, размещает «директовскую» рекламу в результатах. За что перечисляет нам некоторые деньги, на которые мы и покупает новые сервера.
Помогает университет: несмотря на то, что у нас есть небольшой офис, нам разрешили работать в стенах родного МГУ. Здесь очень удобно – буфет рядом, столовая.

Как долго Nigma.ru будет оставаться некоммерческим, только научным проектом?

Можно быть одновременно и научным, и коммерческим. Я думаю, мы всегда будем в первую очередь научным проектом, будем концентрироваться на разработке новых алгоритмов, новых подходов. И никогда не будем заниматься тем, что называется «делать не хуже других». Такой вот девиз!
Что касается коммерциализации проекта, то это вопрос определений. Мы получаем деньги от Яндекс.Директ, значит коммерческая основа уже есть. На эти деньги мы, конечно, много себе позволить не можем, но на оплату работы участников проекта нам хватает. Вот на американском проекте мы планируем зарабатывать больше, т.к. рынок там значительно больше. Поэтому он для нас более перспективен.

Сколько поисковых запросов в сутки обрабатывает Nigma.ru сейчас?

Навскидку сложно сказать, я за статистикой не слежу. Но не меньше ста тысяч, это точно.

Как Вы думаете, что заставляет пользователей обращаться к вашему поиску?

Это лучше спросить у пользователей. Я думаю, что этому может быть несколько причин. Одной является кластеризация. Например, на 100% запросов, больше 30% происходят с использованием кластеров. Нажатие на кластеры происходит чаще, чем перелистывание страниц результатов поиска. Это подтверждает то, что люди реально пользуются кластерами.
И что бы ни говорили «эксперты» рынка о ненужности кластеризации, люди реально кликают на эти кластеры, а не просто ими любуются. А так как мы себя нигде не рекламируем, и тестирование уже прошло, то это не просто праздное любопытство, это необходимость.
Другой причиной, я думаю, является возможность поиска сразу в нескольких поисковых системах.

Как обстоят дела с индексацией собственной базы?

Мы занимаемся этим, у нас есть свой индекс. Все дело в том, что «не нужно делать не хуже, нужно делать лучше». Мы доказали, что можем делать не хуже, продемонстрировав свой индекс в ноябре 2005 года. А вот чтобы сделать лучше – нужна совершенно другая модель. Ее разработкой мы и занимаемся в нашем американском проекте.

Новые поисковые системы появляются не каждый день. Вот Вебальта ставит жесткие цели – 30 процентов рынка, а Вы?

В первую очередь, Nigma – это научный проект. Главное, что нас интересует – это разработка нового, полезного продукта. Поэтому цель и политика у нас немного другие. Но что касается доли рынка, американский рынок настолько большой, что на нем любая доля – уже хорошо. Поэтому наша «жесткая цель» – это создание принципиально новых алгоритмов, что, как мне кажется, у нас вполне неплохо получается.

Если у Вас такой необычный поисковик, подразумевает ли это отсутствие необходимости оптимизации сайтов под него?

Если говорить об оптимизации вообще, следует сказать что оптимизаторы, как правило, борются не с поисковой системой, а друг с другом. Поисковой системе все равно кто на первом месте, кто на втором в результатах выдачи, главное, чтобы сайты были релевантными запросу пользователя. В этом смысле поисковая оптимизация будет нужна всегда, она не зависит от поисковика, она зависит от рынка. Если на одно и то же слово претендует множество конкурентов, они будут друг с другом воевать. А поисковая система с трудом может быть арбитром между оптимизаторами, она может быть арбитром между релевантными и нерелевантными результатами выдачи.
Поэтому, какой бы хорошей и необычной поисковая система не была, оптимизация будет нужна всегда.

Источник: seonews.ru