Magika от Google — это усовершенствованный инструмент распознавания типов файлов с открытым исходным кодом, разработанный компанией Google. Используя передовую технологию искусственного интеллекта (ИИ), Magika быстро и точно идентифицирует бинарные и текстовые типы файлов.

Точное определение типов файлов — сложная задача из-за разнообразия их структур. Традиционные инструменты распознавания, такие как libmagic, полагаются на эвристику и правила, задаваемые пользователем, что может отнимать много времени и приводить к ошибкам.

Magika решает эти проблемы благодаря тому, что использует собственную модель глубокого обучения, которая отличается удивительной компактностью — ее размер составляет всего 1 МБ. Модель была обучена на огромном наборе данных, что позволяет ей быстро анализировать и классифицировать файлы с невероятной скоростью. Фактически, она может идентифицировать файлы за несколько миллисекунд, что делает ее бесценным инструментом для защитников, стремящихся повысить точность обнаружения угроз и анализа вредоносного ПО. Magika использует возможности Open Neural Network Exchange (ONNX) для реализации своих функций вывода, что еще больше повышает ее эффективность.

В тестовом испытании, включавшем миллион файлов, модель превзошла существующие инструменты на 20 %, причем для текстовых файлов она показала еще более высокую производительность.

Компания Google использует свой ИИ-инструмент внутри компании для направления файлов из Gmail, Drive и Safe Browsing к нужным сканерам безопасности и политики контента.

Magika имеет открытый исходный код, что позволяет разработчикам получать доступ и расширять ее возможности, постоянно повышая точность обнаружения файлов. Ожидается, что предстоящая интеграция с VirusTotal повысит эффективность и точность обнаружения вредоносного кода.

Пользователи могут попробовать веб-демонстрацию Magika или установить ее в качестве библиотеки Python и отдельного инструмента командной строки.

Мдель доступна на Github под лицензией Apache2 и может быть установлена как самостоятельный инструмент и как библиотека Python с помощью менеджера пакетов pypi командой "pip install magika".

В дополнение к Magika Google также представила RETVec — многоязычную модель обработки текста, предназначенную для обнаружения вредоносного контента, такого как спам и вредоносные письма. Благодаря этим достижениям Google считает, что широкомасштабное внедрение ИИ может изменить баланс кибербезопасности в пользу защитников.