Лаборатория Flapping Airplanes, которой чуть больше года, получила от инвесторов миллиард долларов в раунде серии A (первом крупном после посевного). И оценка компании составила около 6 млрд долларов. И это при том, что готового продукта у лаборатории пока нет, а значит, нет и выручки.
Раунд возглавили фонды Index Ventures и Lux Capital. Вложились также Sequoia (один из старейших венчурных фондов Кремниевой долины, ранний инвестор Apple и Google), GV (венчурное подразделение Alphabet, материнской компании Google) и Kleiner Perkins, среди вкладчиков есть и Nvidia. Основателей компании трое. Эйдан Смит получил грант Питера Тиля (сооснователя PayPal и первого внешнего инвестора Facebook) для молодых предпринимателей, а студентом успел поработать в Neuralink. Братья Спекторы пришли из Стэнфорда: Эшер защитил там докторскую по статистике, Бен учился в аспирантуре по информатике и прежде основал стартап Prod.
Лаборатория хочет учить модели на куда меньшем объеме данных. Нынешним нейросетям скармливают чуть ли не весь Интернет, а люди, по оценке самой компании, усваивают материал эффективнее в 100000 – 1000000 раз. Мозг человека основатели лаборатории считают нижней планкой, которую Искусственный интеллект должен превзойти. По их мнению, мелкими доработками этого не добиться. Требуется менять сам способ обучения. Сейчас алгоритм получает оценку за каждый ответ, то есть узнает, насколько промахнулась (так работает функция потерь). Затем она слегка подкручивает свои миллиарды настроек в сторону лучшего результата (это градиентный спуск). Выходит спуск с холма в тумане: идешь мелкими шажками и доходишь до низа только после огромного числа примеров. Основатели компании ищут другую оценку и, возможно, другой способ подстройки. Выгоду Эшер Спектор формулирует просто: чем меньше данных нужно системе, тем легче ей найти место в экономике.
Пока лаборатория занимается исследованиями. Применять результаты она рассчитывает позже, в робототехнике, розничной торговле и науке.
Вторая половина затеи спрятана в «железе». Лаборатория пишет собственную версию программ, управляющих видеокартами Nvidia. Обычно на графическом процессоре (GPU) каждая операция выполняется отдельной мини-программой, которую называют ядром (kernel). Основатели собрали «мегаядро», где десятки задач слиты в одну программу. По их словам, оно способно вести обучение модели, обслуживать уже готовую и запускать тяжелые игры. Выгода в том, что видеокарты перестают простаивать. Когда нейросеть отвечает, карта ждет данных из памяти, а при обучении упирается в сами вычисления, поэтому в каждом режиме часть ее возможностей обычно пропадает зря. Авторы утверждают, что эти нагрузки удастся совместить.
Спектор объяснил, что спрос на ИИ давно обгонал поставки чипов и данных. Прибавка хотя бы в десятую долю на каждом кристалле была бы, по его словам, «колоссально ценным в экономическом смысле».
Flapping Airplanes входит в растущую группу «неолабораторий» (neolabs), которые сначала занимаются исследованиями и откладывают продукты на потом. AMI Labs Яна Лекуна (один из основоположников глубокого обучения) в марте собрала около 1 млрд долларов, а Mirendil в июне привлекла 200 млн.
Скепсис здесь напрашивается. Главные утверждения пока остаются словами авторов: цифр ускорения или экономии для мегаядра никто не публиковал, независимых замеров нет. Куда пойдут деньги, кроме найма и исследований, не уточняется. То есть инвесторы платят огромные деньги не за более-менее рабочий проект, а просто за идею.
Любопытнее всего состав вкладчиков. Среди них Nvidia, которая продает те самые видеокарты. Лаборатория пишет программы, которые заставят это «железо» работать плотнее. Для Nvidia это ставка с двумя сторонами: отдача от каждой карты вырастет, а для прежнего объема работы их может понадобиться меньше.
