Японское правительство и крупнейшие технологические компании, такие как NEC, Fujitsu и SoftBank, инвестируют сотни миллионов в разработку модели японского языка.
Предполагается, что эта модель японского языка будет лучше отражать культурные и языковые тонкости, чем ChatGPT. Она будет обучаться на японских текстах с помощью национального суперкомпьютера Fugaku.
Кейсуке Сакагучи, исследователь в области обработки естественного языка из японского университета Тохоку, считает недостатком для японских пользователей различия в системе алфавита и ограниченность обучающих данных западных систем.
Например, ChatGPT иногда генерирует "крайне редкие символы, которые большинство людей никогда не видели", а также редкие неизвестные слова, говорит Сакагучи. Кроме того, при генерации ответов на японском языке ChatGPT часто не учитывает культурные особенности и нормы вежливого общения.
Английский алфавит состоит из 26 знаков, в то время как в японском языке есть как минимум две группы по 48 знаков, а также 2136 общеупотребительных китайских иероглифов (кандзи). Кроме того, существуют различные варианты произношения каждого иероглифа и около 50 000 редко используемых знаков кандзи.
Для оценки восприимчивости LLM к японской культуре исследователи разработали рейтинг Rakuda Ranking, в котором используются вопросы GPT-4 для оценки того, насколько хорошо LLM могут ответить на вопросы, связанные с Японией. В настоящее время лучший открытый японский LLM занимает четвертое место в этом рейтинге.
Японский LLM, разрабатываемый Токийским технологическим институтом, Университетом Тохоку, Fujitsu и финансируемым правительством RIKEN, как ожидается, будет выпущен в виде открытого кода в следующем году и будет содержать не менее 30 миллиардов параметров.
Гораздо более крупная модель создается Министерством образования, культуры, спорта, науки и технологий Японии. Эта модель, содержащая не менее 100 миллиардов параметров, также будет основана на японском языке и оптимизирована для научных приложений: на основе опубликованных исследований она будет генерировать новые гипотезы для ускорения научных исследований. Стоимость модели составит около 200 миллионов долларов и, как ожидается, она будет доступна широкой публике в 2031 году.
Недавно Министерство образования Японии также выпустило рекомендации, разрешающие ограниченное использование генеративного ИИ типа ChatGPT в начальной, средней и старшей школе.
