«Яндекс» использовал нейронные сети для создания поискового алгоритма

Российская компания «Яндекс» запустила новый алгоритм поиска, который основан на искусственных нейронных сетях. Об этом сообщается в блоге компании.

В ходе создания поискового алгоритма, который разработчики назвали «Палех», учитывался график частотного распределения запросов. Особое внимание программисты уделили низкочастотным запросам, которые можно встретить крайне редко, однако в совокупности они представляют значительную часть поискового потока. По словам специалистов, новый алгоритм позволит лучше отвечать на сложные запросы пользователей благодаря нейронным сетям. В ходе разработки специалисты обучали нейронную сеть преобразовывать запросы и документы в так называемые семантические векторы — особый способ обработки запросов.

«Компьютеру проще работать с числами, чем с буквами, поэтому поиск соответствий между запросами и веб-страницами сводится к сравнению чисел. Мы научили нейронную сеть переводить миллиарды известных Яндексу заголовков веб-страниц в числа, а точнее — в группы из трехсот чисел каждая. В результате все документы из базы данных «Яндекса» получили координаты в трехсотмерном пространстве», — объясняют авторы алгоритма.

Специалисты утверждают, что «Палех» улучшит качество поиска веб-страниц, которые соответствуют запросам и по ключевым словам, и по смыслу. Таким образом, разработка позволит точнее отвечать на редкие запросы.

Название алгоритма было дано исходя из изображения графика частотного распределения запросов. По словам разработчиков, этот график можно представить в виде птицы, у которой есть клюв, туловище и длинный хвост. В честь Жар-птицы, часто изображаемой на изделиях палехской миниатюры, и был назван алгоритм.