Запущен новый поисковый алгоритм Яндекса
Сегодня Яндекс запустил новый поисковый алгоритм — Королёв, который умеет искать ответы не только по ключевым словам, но и по смыслу. Презентация прошла в Московском планетарии.
Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм «Королёв». Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц — это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.
Как работает алгоритм «Королёв»
Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком — а не только их заголовков. Это позволяет выйти на новый уровень понимания смысла. Представьте, что вы впервые услышали о романе Льва Толстого «Война и мир». Безусловно, вы сможете извлечь смысл из названия — например предположить, что в книге много батальных сцен. Но чтобы узнать все хитросплетения сюжета и давать исчерпывающие ответы на вопросы о романе, вам потребуется прочитать его полностью.
Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать её всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.
Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ — один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 тысяч документов — то есть в тысячу с лишним раз больше. Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу. Так можно установить дополнительные смысловые связи.
Как связан новый поиск Яндекса и Челябинск?
Технология разрабатывалась на основе миллиона человек, которые приняли участие в развитие этого проекта. Наибольший вклад в обучение нового поискового алгоритма внес человек, который оказался родом из Челябинска — Илья. За свои достижения Илья получил награду от Яндекса и звание "толокер №1".
Кстати, для тех кто тоже хочет стать толокером и немного на этом подзароботать, нужно перейти по ссылке https://toloka.yandex.ru
Трансляцию можно посмотреть тут:
