Microsoft анонсировала несколько новых возможностей в Azure AI Studio, которые, по словам компании, должны помочь разработчикам создавать более безопасные и надежные генеративные приложения искусственного интеллекта (ИИ).
Azure AI Studio — это платформа, которую организации могут использовать для создания собственных ИИ-помощников, вторых пилотов, ботов, инструментов поиска и других приложений на основе собственных данных. На платформе, анонсированной в ноябре 2023 года, размещаются модели машинного обучения Microsoft, а также модели из нескольких других источников, включая OpenAI. Мета, Hugging Face и Nvidia. Это позволяет разработчикам быстро интегрировать мультимодальные возможности и ответственные функции искусственного интеллекта в свои модели.
Новые инструменты в Azure AI Studio:
Prompt Shields — это средство защиты Microsoft от прямых (джейлбрейк) и непрямых атак с использованием подсказок. Эта функция основана на существующих в Azure AI Studio средствах защиты от риска джейлбрейка. При атаках с использованием промпт инженеринга противники используют подсказки, которые кажутся безобидными и не несут явного вреда, чтобы попытаться направить модель ИИ на генерацию вредных и нежелательных реакций. Инженерия подсказок — одна из самых опасных в растущем классе атак, которые пытаются взломать модели ИИ или заставить их вести себя так, как это не соответствует фильтрам и ограничениям, заложенным в них разработчиками.
Исследователи недавно показали, как злоумышленники могут проводить атаки с использованием технологии подсказок, чтобы заставить генеративные модели ИИ выдать свои обучающие данные, выплеснуть личную информацию, сгенерировать дезинформацию и потенциально опасный контент, например инструкции по прослушиванию автомобиля.
С помощью Prompt Shields разработчики могут интегрировать в свои модели возможности, помогающие различать достоверные и потенциально недостоверные входные данные системы; устанавливать разделители для обозначения начала и конца входного текста и использовать маркировку данных для обозначения входных текстов.
Groundedness detection ("Обнаружение необоснованности") выявляет текстовые галлюцинации, которые возникают, когда модель уверенно генерирует результаты, не соответствующие здравому смыслу или не имеющие обоснования. Эта функция обнаруживает "необоснованный материал" в тексте, чтобы поддержать качество результатов LLM.
Новая структура системных сообщений позволяет разработчикам четко определить возможности своей модели, ее профиль и ограничения в конкретной среде. Разработчики могут использовать эту возможность для определения формата выходных данных и предоставления примеров предполагаемого поведения, чтобы пользователям было проще обнаружить отклонения от предполагаемого поведения.
Недавно анонсированная функция оценки безопасности Azure AI Studio и функция мониторинга рисков и безопасности в настоящее время доступны в статусе предварительной версии. Организации могут использовать первую функцию для оценки уязвимости своей модели LLM к атакам на джейлбрейк и генерации неожиданного контента.
Функция мониторинга рисков и безопасности позволяет разработчикам обнаружить проблемные входные данные модели, которые могут вызвать галлюцинации или неожиданный контент, и реализовать меры по их снижению.
С помощью этих новых инструментов Azure AI надеется предоставить клиентам инновационные технологии для защиты приложений на протяжении всего жизненного цикла генеративного ИИ. Поскольку генеративный ИИ становится все более распространенным, организациям крайне важно уделять приоритетное внимание безопасности и ответственности при разработке ИИ.
