Hailo Technologies Ltd, израильский производитель микросхем, привлек 120 млн долларов нового финансирования и представил Hailo-10, мощный ускоритель искусственного интеллекта (ИИ), предназначенный для внедрения генеративных возможностей ИИ в edge devices. 

Основанная в 2017 году, компания Hailo предлагает чипы ИИ, которые обеспечивают производительность класса центра обработки данных на периферийных устройствах (edge device) в различных секторах, таких как персональные компьютеры, автомобилестроение, безопасность, индустрия 4.0 и розничная торговля.

Ускоритель Hailo-10 позволяет пользователям запускать такие приложения, как чат-боты, копилоты и инструменты для создания контента, локально на своих устройствах, не полагаясь на облачные сервисы. Эта прорывная технология решает такие ключевые проблемы, как сетевое подключение, задержка, конфиденциальность и устойчивость, делая генеративный ИИ неотъемлемой частью повседневной жизни пользователей.

Ускоритель Hailo-10 обладает впечатляющими показателями производительности и способен обрабатывать такие крупные языковые модели, как Llama2-7B, со скоростью до 10 токенов в секунду, потребляя при этом менее 5 ватт энергии. Он также может обрабатывать популярные модели генерации изображений, такие как Stable Diffusion 2.1, менее чем за 5 секунд при том же ультранизком энергопотреблении. С максимальной производительностью 40 TOPS (тера операций в секунду) Hailo-10 превосходит интегрированные решения на базе нейронных процессоров и обеспечивает как минимум вдвое большую производительность при вдвое меньшей мощности, чем NPU Core Ultra от Intel.

Несмотря на технологические достижения и мощную финансовую поддержку, Hailo предстоит нелегкая борьба с такими гигантами индустрии, как Qualcomm, Arm, Intel и AMD. 

Первоначально ориентированный на персональные компьютеры и автомобильные информационно-развлекательные системы, ускоритель Hailo-10 призван расширить возможности нынешних и будущих процессоров, которые с трудом справляются со все более стандартными функциями ИИ. 

Hailo планирует начать поставки образцов Hailo-10 во втором квартале 2024 года.