В новой работе "Большие языковые модели как создатели инструментов" исследовательская группа из Google DeepMind, Принстонского университета и Стэнфордского университета, представляет LATM — замкнутую систему, которая позволяет LLM создавать собственные инструменты многократного использования для повышения эффективности и расширения возможностей решения проблем.
Инновация LATM заключается в том, что она вводит в языковую модель концепцию создания и использования инструментов, позволяя модели автономно создавать инструменты, подходящие для различных задач. Эта основа может не только улучшить гибкость и адаптивность модели, но и обеспечить более эффективное и экономичное решение для генеративного ИИ. Подход LATM состоит из двух этапов: 1) создание инструментов, когда LLM создает их для заданных задач с помощью утилитарной функции Python, и 2) использование инструментов, когда тот же или другой LLM применяет их для решения новых задач.
Такая схема позволяет LATM назначать задачи наиболее подходящим LLM, при этом процесс изготовления инструмента, требующий высокой интенсивности вычислений, может быть назначен мощной, ресурсоемкой модели, такой как GPT-4; использование процессов изготовления инструмента назначается легким, экономичным моделям, таким как GPT-3.5 Turbo. Таким образом, LATM может не только улучшить возможности LLM по решению задач, но и существенно сократить общие вычислительные затраты.
Команда также представляет "диспетчер", дополнительный легкий LLM, предназначенный для определения того, может ли данная проблема быть решена с помощью имеющихся в настоящее время инструментов или необходимо создать новый.
В своем эмпирическом исследовании исследователи из Google DeepMind использовали LATM для решения сложных задач рассуждения, таких как Big-Bench. В ходе эксперимента LATM достигла производительности, сравнимой с ресурсоемкими моделями, такими как GPT-4, при значительном сокращении вычислительных затрат.
Исследователи считают, что LATM принесет большой прорыв в области обработки естественного языка и сыграет важную роль в практическом применении. Эта инновация может повысить эффективность генеративного ИИ, чтобы ускорить развитие обработки естественного языка и искусственного интеллекта.
Код доступен на GitHub, а глубже ознакомиться с темой можно на сайте arXiv.
