Технические науки

«Яндекс» использовал нейронные сети для создания поискового алгоритма

График частотного распределения поисковых запросов

yandex.ru

Российская компания «Яндекс» запустила новый алгоритм поиска, который основан на искусственных нейронных сетях. Об этом сообщается в блоге компании.

В ходе создания поискового алгоритма, который разработчики назвали «Палех», учитывался график частотного распределения запросов. Особое внимание программисты уделили низкочастотным запросам, которые можно встретить крайне редко, однако в совокупности они представляют значительную часть поискового потока. По словам специалистов, новый алгоритм позволит лучше отвечать на сложные запросы пользователей благодаря нейронным сетям. В ходе разработки специалисты обучали нейронную сеть преобразовывать запросы и документы в так называемые семантические векторы — особый способ обработки запросов.

«Компьютеру проще работать с числами, чем с буквами, поэтому поиск соответствий между запросами и веб-страницами сводится к сравнению чисел. Мы научили нейронную сеть переводить миллиарды известных Яндексу заголовков веб-страниц в числа, а точнее — в группы из трехсот чисел каждая. В результате все документы из базы данных «Яндекса» получили координаты в трехсотмерном пространстве», — объясняют авторы алгоритма.

Специалисты утверждают, что «Палех» улучшит качество поиска веб-страниц, которые соответствуют запросам и по ключевым словам, и по смыслу. Таким образом, разработка позволит точнее отвечать на редкие запросы.

Название алгоритма было дано исходя из изображения графика частотного распределения запросов. По словам разработчиков, этот график можно представить в виде птицы, у которой есть клюв, туловище и длинный хвост. В честь Жар-птицы, часто изображаемой на изделиях палехской миниатюры, и был назван алгоритм.