Яндекс.Поиск

На buki.yandex.ru выложена обновленная версия поисковой программы "Арзамас", в которой улучшена общая формула ранжирования. Она определяет порядок результатов поиска по гео-независимым запросам и запросам из городов, где нет локализованного ранжирования.

Как определяется, какая формула сработает по запросу?

Мы нарисовали схему, надеемся, она разъясняет этот вопрос и понравится вам.

Что такое гео-зависимость запроса?

С помощью Яндекса пользователи не только находят информацию по учебе или работе, но и решают множество практических задач: их интересуют услуги ([ремонт холодильников], [химчистка]), местные организации ([администрация], [гибдд]), развлечения ([рестораны], [ночные клубы], [афиша]), заказ и покупка многих товаров повседневного спроса ([пицца], [купить мобильный], [доставка суши]). Задавая такие запросы, люди хотят найти соответствующие объекты поближе к дому, в своем регионе – так, чтобы ими удобно было воспользоваться. Эти запросы мы называем гео-зависимыми.

Иногда пользователи явно указывают регион в запросе, например, [ружье на крупного зверя Тамбов], иногда используют галочку "в Тамбове" или аналогичную, но чаще пишут просто [аптеки]. На основе статистики мы сделали классификатор, который определяет, является ли запрос гео-зависимым. Помимо употребления слов запроса с названиями различных регионов мы смотрим, упоминается ли в запросе какой-либо товар (зачастую, но не всегда, товар хотят купить в местных магазинах) или, наоборот, пользователь хочет что-нибудь скачать, посмотреть или поиграть в он-лайн игру, для чего регион не имеет значения.
Наш классификатор автоматический и, как любой другой, может ошибаться, но мы постоянно повышаем его качество и следим за точностью классификации.

На buki справа от результатов поиска размещена форма для обратной связи и мы ждем ваших отзывов, которые помогут сделать поиск для пользователей лучше.

Иван Наймушин и команда поиска

На buki.yandex.ru мы выложили обновлённую поисковую платформу, которая позволила реализовать региональное ранжирование ещё в 16 регионах России. Это развитие релиза "Арзамас", отличительной чертой которого стали локальные результаты поиска.

По гео-зависимым запросам своё ранжирование на buki работает в Новосибирске, Красноярске, Омске, Ростове-на-Дону, Краснодаре, Нижнем Новгороде, Уфе, Перми, Казани, Самаре, Челябинске, Владивостоке, Кемерово, Иркутске, Барнауле и Воронеже.

Описанные изменения пока носят технический характер и не должны сколько-нибудь заметно изменить ранжирование в перечисленных выше регионах. Тем не менее, мы даём возможность потестировать эту платформу перед выкладыванием на www.yandex.ru. Локальные результаты получат приоритет в ранжировании после обновления платформы "Арзамас+16" на www.yandex.ru, о чём мы напишем дополнительно.

Будем рады отзывам, которые можно оставить с помощью формы обратной связи в результатах поиска на buki. Изменить регион для поиска Яндекса можно с помощью настроек.


Дополнение:
Спасибо всем, кто принял участие в тестировании.
Поисковая платформа обновлена на www.yandex.ru.


Иван Наймушин и команда поиска

В поисковой программе, работающей на www.yandex.ru, обновлен классификатор гео-зависимости запросов. Спасибо всем, кто принял участие в тестировании, мы постарались учесть ваши замечания и будем продолжать совершенствовать качество классификатора.

Иван Наймушин и команда поиска

В новой версии поисковой программы мы улучшили классификатор гео-зависимости запросов.

Очевидно, что не для каждого запроса важно учитывать регион пользователя и сайта, во многих случаях более значимы другие признаки: авторитетность, качество контента и т.п.

Для удобства на странице результатов поиска buki.yandex.ru под поисковой строкой мы подписали, каким считается запрос (гео-зависимым или гео-независимым).

Стоит отметить, что в "Арзамасе" 1.2 ранжирование по гео-независимым запросам внутри России для всех пользователей одинаково, а по гео-зависимым - различается только для Москвы, Санкт-Петербурга и Екатеринбурга.

Иван Наймушин и команда поиска

На www.yandex.ru обновлена поисковая программа -- теперь там работает "Арзамас" 1.1. Пользователи из России, исключая Москву, Санкт-Петербург и Екатеринбург, видят новые результаты.

Спасибо всем, кто принял участие в тестировании, по его итогам мы исправили несколько ошибок и улучшили формулу по многословным запросам.

Иван Наймушин и команда поиска

Мы подготовили обновлённую версию поисковой программы "Арзамас", и в течение недели она будет доступна для тестирования на buki.yandex.ru. В ней изменилась формула ранжирования, которая будет определять результаты поиска для пользователей из России, исключая Москву, Санкт-Петербург и Екатеринбург.

Справа от результатов поиска на buki есть форма отзывов со ссылкой для сравнения с текущей версией поиска. Мы ждем конструктивных отзывов, которые помогут сделать поиск для пользователей лучше. Например, если вы считаете, что по запросу [арзамас яндекс] пользователи ищут описание алгоритма Яндекса, полезный отзыв может выглядеть так:

Успешного тестирования!

Иван Наймушин и команда поиска

Продолжаем рассказ о новой версии поисковой программы.

Ежедневно Яндекс отвечает пользователям на более чем 50 миллионов запросов. Эти запросы очень разнообразны и нередко лучшим ответом на них являются не веб-документы, а изображения. По таким запросам (мы называем их картиночными) Яндекс начал показывать картинки над результатами веб-поиска.  Например, по запросу портрет Юрия Гагарина пользователи сразу видят портреты космонавта:

Картинки в результатах поиска показывались и раньше: с 2001 года после запуска сервиса Яндекс.Картинки справа от результатов веб-поиска пользователи стали получать картиночный ответ на свой запрос. Но далеко не по всем запросам можно найти соответствующие изображения. Поэтому нам было важно показать те из них, которые дают самый полезный ответ, и сделать эти изображения более заметными среди результатов поиска.

Некоторые виды информации, такие как схемы (например, схемы вышивания) и карты (например, физическая карта Европы), интересны, прежде всего, в виде изображений. Также нашим пользователям нравятся фотографии известных людей: Оксана Акиньшина, Анджелина Джоли и исторических персонажей: Александр Невский, Иван Грозный. Многим любопытно узнать, как выглядят известные памятники архитектуры: Тадж Махал, Мачу-Пикчу и интересные места на Земле: рисунки пустыни Наска или за ее пределами: кольца Сатурна. И, наконец, красивые виды и чудеса природы просто приятно созерцать, и теперь они тоже украшают результаты поиска.  Например, это весна, тюльпаны или закат. Мы постарались удовлетворить эту потребность и помочь тем, кто еще не пришел искать в Яндекс.Картинки.

Как определить, что по запросу пользователь хотел увидеть именно картинки?

• Если в запросе есть слова-маркеры, например, "фото" или "картинки", то в большинстве случаев ищется изображение: [фото машин], [картинка слона] (но не всегда: например, по запросу [курсы фото] ищутся адреса и сайты компаний, обучающих искусству фотографии). С помощью маркеров выделяется небольшой класс картиночных запросов -- менее 10% от их общего количества.
• Популярные запросы, которые относительно часто ищут в Картинках, но редко в веб-поиске.
  
• Запросы, по которым пользователи переходили с веб-поиска на поиск картинок. Выяснилось, что по таким запросам есть два устойчивых паттерна поведения. Пользователи либо быстро уходят по ссылкам на сайты с понравившимися им картинками, либо долго задерживаются на картиночном поиске, рассматривая и выбирая интересующие их изображения. Это третий способ определения картиночных запросов.
  

Сами изображения проходят строгий автоматический отбор для того, чтобы попасть в колдунщик над результатами поиска. Одним из критериев является релевантность текстового описания картинки заданному запросу. Имеет значение и размер изображения: маленькие картинки не представляют интереса для большинства пользователей.

Иногда случается так, что по картиночным запросам Яндекс.Картинки уступают право ответа другим сервисам Яндекса. Например, по запросу [карта Москвы] в Картинках есть много хороших изображений карт, а по запросу [открытка к 8 марта] -- много красивых открыток, но вместо изображений над результатами поиска показываются ответы сервисов Яндекс.Карты и Яндекс.Открытки. Они не только дополняют ответ изображением, но и предоставляют много полезной информации и возможностей.

В итоге мы выделили хорошие картиночные запросы, по которым показываем изображения над результатами поиска. Сейчас они показываются по 2% запросов, и мы продолжаем работать над тем, чтобы сделать ответ Яндекса пользователям более полным и качественным.

Надя Пономарева и команда Яндекс.Картинок

Так как с запуском "Арзамаса" Яндекс начал учитывать в поиске регион пользователя, мы сделали инструмент для веб-мастеров, упрощающий сравнение результатов поиска в разных регионах:

• введите запрос, выберите один или два региона, нажмите "Найти". Готово! Регион доступен для выбора в выпадающем списке, если для него используется отдельная формула ранжирования;
• ссылка "Отправить отзыв" позволяет прямо из этого инструмента указать на недоработки или достоинства ранжирования по текущему запросу и региону.
  

Конечно, поиск по-прежнему понимает указание региона в настройках, после чего на www.yandex.ru результаты поиска показываются локальные для выбранной географической точки.

Михаил Сенин и команда сервиса Яндекс.Вебмастер

Продолжаем рассказ о новой версии поисковой программы.


Теперь поиск Яндекса учитывает регион пользователя. Начиная с "Арзамаса", результаты поиска по одному и тому же запросу могут быть разными в разных регионах.

Пользователи часто спрашивают Яндекс о людях и компаниях из их региона, локальных событиях и местах, сайтах и услугах. Например, среди самых часто задаваемых запросов в Челябинске и Ростове-на-Дону 14% "локальных", в Уфе -- 24%, а во Владивостоке -- 29%. Ранжирование с учетом региона поможет поиску дать более точный ответ на вопрос пользователя.


Движение в эту сторону поиск начал давно -- с 2006 года в Яндексе работает автоматическая геоклассификация сайтов, еще раньше появилась возможность ограничить поиск сайтами из своего региона (в расширенном поиске или взведя галочку под поисковой строкой). Но теперь Яндекс пытается сам определить, важен ли регион в каждом конкретном случае. И, конечно, у нас были и будут колдунщики, дающие локальные для пользователя ответы из Карт, Адресов, Афиши, Погоды и Новостей.


Как "Арзамас" понимает, что какие-то результаты должны быть локальными? Регион пользователя определяется по IP-адресу. При желании пользователь может указать свой регион вручную. В ранжировании стали учитываться факторы, позволяющие понять, что данная страница важна пользователям именно "своего" региона. Причем мы попытались сделать это решение максимально общим, не зависящим ни от какого региона конкретно.

Для ряда регионов -- и список их будет расти -- мы используем специально настроенную формулу ранжирования. Сейчас индивидуальная формула есть для Москвы, Санкт-Петербурга и российского регионального поиска, а также для некоторых стран СНГ.


С выходом "Арзамаса" мы начали учитывать в подсказке об опечатках настройку языка браузера при определении языка запроса в сложных случаях.

Денис Расковалов и команда поиска

На www.yandex.ru обновлена поисковая программа -- теперь там работает "Арзамас" (ранее известный как "Анадырь"). В серии постингов мы расскажем, что сделано за это время.

Снятие омонимии

Яндекс научился еще лучше понимать русский язык, разрешая неоднозначности слов в запросах.

Как известно, знание русской морфологии позволяет поиску Яндекса находить больше полезных ответов. Если вы спросили [реконструкция Маяковской], мы покажем также страницу со словами [станция Маяковская открылась после реконструкции]. Но русский язык -- тонкий, сложный и неоднозначный. Тем, кто ищет [фото львов], могут быть нужны как фотографии животных, так и фотографии города Львова. Человек может уточнить свое высказывание, добавив к нему одно или несколько слов: [фото африканских львов]  или [фото город львов]. Теперь эти уточнения наш поиск научился понимать.

Мы реализовали алгоритм снятия омонимии, позволяющий во многих случаях определить, какое слово имеется в виду, и предлагаем в ответ только документы с формами нужного слова. По запросу [фото африканских львов] пользователь получит в ответ документы со словами  "лев", "льва", "льву", но не получит документы, где встречаются лишь слова "Львова" или "Львову".

Как мы научили машину отличать, когда речь идет о животных, а когда -- о городах? Алгоритм снятия омонимии основан на анализе данных запросов наших пользователей, учитывает частоту слов в Интернете и их сочетаемость, а также опирается на лексическую статистику слов из Национального корпуса русского языка -- академического проекта, разрабатываемого при поддержке Яндекса. При анализе неоднозначного запроса мы выбираем наиболее частотную модель. Выбор в  пользу наиболее вероятной  конструкции помогает понять, что "день рыбака" -- это не призыв, а праздник, а "платья придворных дам" -- не обещание поделиться одеждой.

А любимый наш вопрос -- тот, на который мы знаем целых два правильных ответа. Звучит он так: "Сколько голов у Павлюченко?"

Александр Садовский и команда поиска