Институт искусственного интеллекта Аллена (AI2) представил Dolma — набор данных с открытым исходным кодом, содержащий три триллиона токенов из разнообразной коллекции веб-контента, научных публикаций, кода и книг. На сегодняшний день это самая большая общедоступная база данных такого рода.
Dolma лежит в основе Открытой языковой модели (OLMo), которая в настоящее время разрабатывается в AI2 и планируется к выпуску в начале 2024 года. С целью создания "лучшей открытой языковой модели" был создан массивный набор данных Dolma (Data to feed OLMo).
В настоящее время Dolma является крупнейшим набором данных с открытым исходным кодом и доступна для разработчиков и исследователей через сайт Hugging Face. Там же можно найти инструменты, которые использовались исследователями для ее создания, чтобы обеспечить воспроизводимость результатов.
Значительная часть данных получена из некоммерческого проекта Common Crawl, специализирующегося на веб-данных. Кроме того, имеются другие веб-страницы из коллекции C4, академические тексты из peS20, фрагменты кода из The Stack, книги из Project Gutenberg и английская Википедия.
