Компания Apple представила новое семейство больших языковых моделей с открытым исходным кодом, известных как OpenELM (Open-source Efficient Language Models). Эти модели предназначены для локальной работы на устройствах, что знаменует собой значительный отход от традиционной зависимости от облачных серверных вычислений. Эта разработка является частью более широкой стратегии Apple по интеграции более продвинутых возможностей искусственного интеллекта (ИИ) непосредственно в свои устройства, повышая как конфиденциальность, так и скорость обработки данных.
В моделях OpenELM используется стратегия послойного масштабирования, которая эффективно распределяет параметры внутри каждого слоя модели трансформера для повышения точности. Такой подход не только повышает производительность, но и снижает вычислительную нагрузку на устройства, что очень важно для запуска приложений ИИ непосредственно на потребительском оборудовании.
Проект OpenELM включает в себя несколько ключевых особенностей, которые отличают его от предыдущих моделей ИИ:
Доступность с открытым исходным кодом: Apple сделала OpenELM доступным на Hugging Face Hub, что позволяет разработчикам и исследователям получить доступ к нему и внести свой вклад в его развитие.
Комплексная система обучения: В отличие от традиционных моделей, которые предоставляют только весовые коэффициенты модели и код вывода, релиз OpenELM включает в себя полную структуру для обучения и оценки на общедоступных наборах данных. Сюда входят журналы обучения, несколько контрольных точек и конфигурации предварительного обучения.
Повышенная конфиденциальность и скорость: работая на устройстве, OpenELM избавляет от необходимости передавать данные на облачные серверы, тем самым повышая конфиденциальность пользователей. Кроме того, локальная обработка уменьшает задержку, обеспечивая более быстрое время отклика для функций ИИ на устройствах.
Apple планирует включить OpenELM в свою предстоящую версию iOS 18, которая, как ожидается, обеспечит поддержку различных ИИ-функций на устройстве, включая более продвинутые версии Siri и других приложений, управляемых ИИ.
