Исследователи разработали новую облачную игровую систему, использующую низкоуровневый белый шум для точной синхронизации разделенных аудио- и видеопотоков. Уникальный подход позволяет геймерам видеть и слышать происходящее в нужное время даже при плохом качестве микрофона или в присутствии фонового шума.

По данным Statista, в 2019 году число глобальных пользователей облачных игр составило 45,9 млн. человек; к настоящему времени, в 2023 году, число пользователей составляет около 295 млн. человек.

В типичной облачной игровой системе сервер получает игровые сигналы и потоки аудиочата от игровых аксессуаров, таких как контроллеры и гарнитуры. В ответ он одновременно формирует два отдельных медиапотока для игрока. Первый — игровой экранный поток, включающий в себя игровое аудио и видео, предназначен для устройства с экраном, например телевизора или планшета. Второй — поток с игровых аксессуаров предназначен для контроллеров и игровых аудиогарнитур и включает в себя звуковое сопровождение игры в сочетании с общением с другими игроками и тактильной обратной связью, например, вибрацией контроллера.

Эти два потока обычно передаются по разным сетям, что может привести к отсутствию синхронизации — межпотоковой задержке — между ними, что приводит к задержке видео, вялому тактильному отклику и ухудшению игрового процесса. Исследователи из Массачусетского технологического института совместно с Microsoft Research разработали систему Ekho, которая использует уникальную методику устранения межпотоковой задержки. Доклад с описанием своей системы они представят на конференции 2023 ACM Special Interest Group on Data Communication (SIGCOMM), которая пройдет в Колумбийском университете в Нью-Йорке с 10 по 14 сентября.

Чтобы улучшить синхронизацию, разработчики Ekho добавили "псевдошум" — малообъемный белый шум, неслышимый для человека, — в игровой звук перед его передачей на экран игрока. Модуль Ekho-Estimator добавляет идентичные последовательности псевдошума к игровому звуку, а затем, получая от контроллера записанный игровой звук, прослушивает эти последовательности и пытается выстроить потоки. Модуль Ekho-Estimator передает эту информацию модулю Ekho-Compensator, который либо пропускает несколько миллисекунд звука, либо добавляет несколько миллисекунд тишины к игровому звуку, передаваемому сервером, для синхронизации потоков.

Когда исследователи протестировали систему Ekho на реальных сессиях потокового облачного вещания, они обнаружили, что она способна рассчитывать межпотоковую задержку с точностью до миллисекунды. Даже при плохом качестве микрофона или наличии фонового шума в 86,6% случаев Ekho ограничивала межпотоковую задержку менее чем 10 мс.

На данный момент, поскольку Ekho разрабатывалась для использования в облачных играх, ее радиус действия ограничен. Дальнейшая работа может быть направлена на увеличение дальности действия системы, чтобы ее можно было использовать на больших расстояниях.