Команда PyTorch выпустила Monarch — фреймворк, который превращает работу с тысячами GPU в такую же простую задачу, как запуск кода на своём ноутбуке.

PyTorch — это популярный и мощный фреймворк (библиотека) для машинного обучения на языке программирования Python. Он используется для создания и обучения нейронных сетей, которые лежат в основе многих современных приложений Искусственного интеллекта, таких как распознавание изображений, обработка текста и многое другое.

До появления Monarch разработчики использовали подход SPMD (Single Program, Multiple Data — «одна программа, много данных»). При таком подходе один и тот же код запускался на каждой видеокарте отдельно. Синхронизировать процесс приходилось вручную.

Компания Meta рассказала, что во время обучения модели Llama 3 на 16 000 видеокартах произошло 419 сбоев за 54 дня. Это примерно одна поломка каждые три часа. Если масштабировать до десятков тысяч GPU, сбои будут случаться каждый час или чаще. И каждый раз приходилось перезапускать всё с нуля.

Monarch работает по принципу «один мозг, тысячи рук». Вы пишете обычный Python-код, как будто работаете на одном компьютере, а фреймворк сам распределяет задачи по всем доступным видеокартам.

Ключевая технология — многомерные вычислительные сетки (meshes). Это структура, где видеокарты напрямую обмениваются данными друг с другом через технологию RDMA (Remote Direct Memory Access — «прямой удалённый доступ к памяти»), минуя центральный процессор.

Monarch делает работу с большими моделями Искусственного интеллекта доступной для небольших команд. Раньше нужны были специалисты по распределённым системам, которые понимали, как заставить тысячи видеокарт работать согласованно. Теперь достаточно знать обычный Python.

Это особенно важно для обучения с подкреплением — метода, который используется в современных продвинутых моделях вроде GPT-5 от OpenAI. Там нужно координировать множество разных процессов: генерацию ответов, проверку их правильности, обучение модели, обновление весов. В традиционном подходе это превращалось в головную боль. Monarch решает проблему быстро и элегантно.

Фреймворк уже доступен на GitHub с открытым исходным кодом. Можно скачать, попробовать и даже внести свой вклад в разработку.