Компания Alibaba представила «ZeroSearch» — новую систему обучения, позволяющую большим языковым моделям (LLM) приобретать поисковые возможности без использования внешних поисковых систем. Эта инновация не только сокращает расходы на обучение на 88%, но и демонстрирует производительность, которая соответствует или превосходит традиционные модели, основанные на поисковых системах.

Согласно статье, опубликованной на arXiv, ZeroSearch обучает модели ИИ генерировать поисковые запросы и интерпретировать результаты поиска с помощью процесса самообучения, устраняя необходимость прямой интеграции с поисковыми системами, такими как Google, во время обучения. Такой самодостаточный подход устраняет зависимость от сторонних поисковых API, значительно сокращая расходы и повышая масштабируемость.

ZeroSearch работает в несколько этапов. Сначала он использует существующую модель поиска для генерации примеров запросов и результатов поиска. Затем эти примеры используются для обучения новой модели, способной выполнять аналогичные функции без использования внешних поисковых инструментов. Наконец, система настраивает модель для генерации подходящих поисковых запросов, когда это необходимо.

Команда Alibaba оценила свою систему в сравнении с традиционными методами, используя такие бенчмарки, как KILT и PopQA. Результаты показали, что модели, обученные с помощью ZeroSearch, достигли сопоставимой производительности с моделями, использующими реальные поисковые системы, а модель Llama 3 с 7 миллиардами параметров достигла 96,7% от производительности своего аналога, интегрированного в поиск.

Экономия средств существенна. По данным WinBuzzer, внедрение ZeroSearch может сократить расходы на обучение с 5000 до 600 долларов за обработку 500 000 примеров — сокращение на 88%.

Помимо экономической эффективности, ZeroSearch предлагает и другие преимущества. Подход дает разработчикам больший контроль над процессом поиска и устраняет зависимость от сторонних сервисов. Он также решает проблемы конфиденциальности, сохраняя конфиденциальные запросы в модели, а не отправляя их во внешние поисковые системы.

Несмотря на то, что ZeroSearch представляет собой значительное достижение, исследователи признают его недостатки, в том числе неспособность модели получать доступ к информации в реальном времени, поскольку она опирается на шаблоны, изученные в процессе обучения, а не на живой доступ к веб-страницам.

Alibaba сделала код, наборы данных и предварительно обученные модели ZeroSearch общедоступными на таких платформах, как GitHub и Hugging Face, что способствует широкому распространению и совместному совершенствованию в сообществе ИИ.