Американские ученые из университета Мэриленда совместно с Microsoft провели масштабное тестирование современных нейросетей на 26 языках. Результат довольно интересный: польский язык показал рекордную точность понимания командами ИИ — 88%, обойдя даже английский, который занял лишь шестое место с 83,9%.
Исследователи протестировали ведущие языковые модели — OpenAI, Google Gemini, Qwen, Llama и DeepSeek — на 5200 задачах разной сложности. Тексты варьировались от 8 до 128 тысяч токенов (это примерно от нескольких абзацев до целой книги). И вот что получилось: польский язык, который считается одним из самых сложных для изучения, роботам оказался понятнее всего.
За польским расположились французский (87%), итальянский (86%), испанский (85%) и русский (84%). Английский язык застрял на шестой строчке, а китайский и вовсе провалился на четвертое место с конца — около 80% точности. Это при том, что для английского и китайского существуют огромные массивы обучающих данных, в десятки раз превышающие польские ресурсы.
Ученые считают, что Искусственному интеллекту язык наших западных соседей ближе всего потому, что в нем сложная грамматика с семью падежами, тремя родами и богатой системой словоизменений. Это все вместе работает как четкая инструкция для нейросети. Если для человека эти падежи — головная боль, то для ИИ они как дорожные знаки: чем больше указателей, тем проще не заблудиться в инструкции. К тому же польский использует латиницу, которая прекрасно подходит для современных систем обработки текста. А еще у этого языка довольно приличная цифровая база: более 1,6 миллиона статей в Википедии (девятое место в мире) плюс активный IT-сектор Польши, который генерирует много качественного онлайн-контента.
Исследователи выяснили, что чем длиннее текст, тем заметнее разница между точностью выполнения промтов на разных языках. При коротких запросах – всего 11%, а при обработке длинных документов разрыв вырастает до 34%.
Похоже, что разработчикам нужно пересмотреть подходы к обучению моделей, чтобы все языки работали одинаково хорошо. Но забавный факт остается фактом: если хотите максимальной точности от современных нейросетей при работе с длинными текстами — пишите по-польски. Dzień dobry, artificial intelligence!
