BBC выпустило документальный фильм «Inside the Rage Machine» («Внутри машины ярости»), в котором рассказывается как ByteDance и Meta сознательно способствовали распространению вредоносной и оскорбительной информации, чтобы увеличить вовлеченность пользователей на платформах. Более десяти бывших сотрудников компаний дали показания о том, как намеренно ослабляли фильтры безопасности.

Алгоритм рекомендаций — это программная система, которая решает, какой контент показать пользователю следующим. Она анализирует поведение пользователей: лайки, время просмотра, остановки при скроллинге, репосты. Всё это — сигналы вовлечённости. Проблема в том, что публикации, вызывающие злость, тревогу или возмущение, удерживают внимание лучше, чем нейтральные. Внутренние исследования Meta прямо зафиксировали: алгоритм «склонен вознаграждать негативность». Люди дольше смотрят на то, что их раздражает. А алгоритм интерпретирует долгий просмотр как одобрение и продвигает пост для других.

Когда TikTok стал невероятными темпами набирать популярность во время пандемии 2020 года и переманивать аудиторию, Meta запустила Instagram Reels — прямой аналог формата коротких вертикальных видео. По данным внутренних исследований, которые передал BBC старший исследователь Meta Мэтт Мотил, в комментариях Reels уровень травли и харассмента был на 75% выше, уровень языка ненависти — на 19% выше, а насилия и подстрекательства — на 7% выше, чем в основной ленте Instagram.

В Meta выделили 700 сотрудников на разработку Instagram Reels, чтобы лучше конкурировать с TikTok. А командам по безопасности дали всего 2 человека на защиту детей и 10 — на обеспечение честности выборов.

Бывший инженер Meta рассказал, что когда компания начала проигрывать TikTok, руководство прямо изменило настройки алгоритма. Были снижены пороги фильтрации для «пограничного» контента. Это посты, которые формально не нарушают правила, но содержат мизогинию (принижение женщин), теории заговора, сексуализированные образы. «Вы проигрываете TikTok, акции падают. Люди запаниковали: давайте сделаем всё возможное, чтобы догнать. Где мы можем получить 2–3% выручки в следующем квартале?», — передал слова руководства специалист.

Со стороны TikTok не менее показателен кейс с модерацией. Сотрудник команды доверия и безопасности показал BBC внутренний дашборд (панель управления жалобами). Политик, над которым насмехались, сравнивая с курицей, был поставлен в приоритет выше 17-летнего подростка из Франции, сообщавшего о кибербуллинге, и 16-летней девочки из Ирака, чьи сексуализированные изображения распространялись на платформе. Просто потому, что компания опасалась регуляторных санкций и хотела сохранить отношения с политиками.

Парадокс прост: платформы одновременно банят за нарушения и продвигают нарушителей. Это возможно, потому что модерация и рекомендации — два разных механизма. Один удаляет плохое. Другой решает, что показывать. И второй можно настраивать независимо от первого.

Инженер по машинному обучению TikTok Руофань Дин, строивший рекомендательную систему платформы с 2020 по 2024 год, объяснил: «Для нас весь контент — это просто ID, разные числа». Они не контролируют сам алгоритм глубокого обучения (системы, которая самостоятельно обучается на данных пользователей). Инженеры жали на газ, не особо интересуясь, работают ли тормоза.

Meta заявила: «Любое предположение о том, что мы намеренно усиливаем вредный контент ради финансовой выгоды, неверно». TikTok назвал обвинения «сфабрикованными» и подчеркнул, что случаи угрозы детям рассматриваются отдельными специализированными командами.

Это стандартная корпоративная риторика «мы инвестируем в безопасность». Проблема в том, что внутренние документы, переданные BBC, написаны самими же компаниями и они говорят обратное. Опровергать собственные исследования затруднительно.

Оба гиганта столкнулись с документальным фильмом в неудачный момент: Meta параллельно отвечает на многомиллиардный иск о намеренном создании зависимости у подростков, а TikTok балансирует между угрозой запрета в ряде стран и необходимостью демонстрировать лояльность властям.

Злость оказалась выгодным продуктом. И пока бизнес-модель социальных сетей строится на времени, проведённом на платформе, у алгоритмов нет стимула успокаивать — только раздражать.