Отрасль видеостримингов одна из крупнейших на ИТ-рынке и продолжает расти. Сайты Netflix и HBO Max входят в топ-50 по посещаемости в мире, а общее количество подписчиков на видеостриминговом рынке в 2022 году выросло более чем на 40 миллионов, где больших успехов добились Disney+ и Amazon Prime. В России в топ-30 ИТ-компаний по стоимости входит уже больше 5 видеостриминговых платформ, а также отечественный рынок постоянно прирастает новыми игроками, которые активно расширяют услуги видеосервисов на свои огромные подписочные аудитории. Однако, все еще мало информации о том, за счет чего видеостриминги добиваются таких результатов, и как сегодня выглядит развитие продукта видеостриминговых платформ. Об этом мы попросили рассказать нам признанного эксперта в создании новых продуктов и развитии платформ видеостримингов, участника совета директоров, а также директора по стратегии и развитию в крупнейших ИТ-холдингах - Александра Юдина.
Происходящий сегодня рост видеостриминговых платформ связан, прежде всего, с созданием нового рынка вовлеченности потребителей видеоконтента (ранее видеоконтент не был таким доступным и персонализированным, как сегодня). Рынок видеостримингов будет продолжать расти, пока потребности аудитории видеоконтента в доступности и персонализированности не будут полностью закрыты, а это точно не произойдёт в ближайшие годы.
Рынок видеостримингов разгоняет сам себя: быстрое развитие всех игроков, с одной стороны, заставляет быстрее адаптировать платформы видеостриминга под меняющуюся реальность (внедрять новые технологии и расширяться на новые ниши и рынки), а с другой стороны, само это развитие и происходит за счет инноваций в продукте видеостриминга (так как, чтобы не отставать, приходится изобретать что-то новое, что потом, уже в свою очередь, будут дублировать все конкуренты). Видеостриминговая сфера очень высокотехнологична, и лидерство здесь, скорее всего, в результате будет за теми, кто быстрее всех внедряет передовые технологии и быстрее совершенствует свой продукт.
Развитие рынка видеостримингов зависит от следующих направлений в развитии продукта: первое и главное - это внедрение новых технологий, второе - это правильно выстроенный подход по проведению экспериментов и запуску новых фич (добавление на платформу новых сервисов и функций), третье - повсеместные интеграции видеосервиса с партнерскими платформами, четвертое и самое базовое - это постоянное совершенствование архитектуры платформы и всех микросервисов, которые в нее будут входить.
Чтобы разобраться детальнее в том, за счет чего растут видеосервисы, развитие продукта видеостриминга стоит рассмотреть через призму того, как создается сама платформа.
Самое главное, что необходимо для быстрого развития продукта видеостриминга - это надежная архитектура платформы, способная быстро масштабироваться в соответствии с потребностями. Платформа состоит из ряда микросервисов. Каждый микросервис запущен внутри выделенного блока (который называется docker-контейнер). Для обеспечения стабильной и непрерывной работы платформы все микросервисы продублированы на нескольких физических серверах. Между серверами настроена балансировка нагрузки. Для обеспечения быстрого развертывания микросервисов создаются специальные сценарии распределения функциональности внутри архитектуры (ansible-сценарии). Часть docker-контейнеров, как правило, управляется кластером с использованием Kubernetes (это открытое ПО для управления контейнеризированных платформ), с помощью которого происходит логическая группировка контейнеров, позволяющая определить пулы контейнеров, балансировать нагрузку, и также задавать их размещение. Гибкая архитектура обеспечивает стабильность в развитии и такие скорости в совершенствовании продукта, которые позволяют видеостримингам быстро адаптироваться и оперативно внедрять новые технологии и запускать новые фичи.
После того, как мы немного разобрались, как организована архитектура, давайте посмотрим, из чего она состоит. Пройдемся по основным базовым модулям и сервисам, используемым на видеостриминговых платформах.
Первое - это потоковое приложение (api) - основной сервис для пользователя с возможностью входа, поиска, просмотра, оценки и комментирования, откуда исходят все запросы в смежные сервисы. Во многом, именно благодаря нативности интерфейса данного сервиса обеспечивается наиболее комфортный пользовательский путь и максимальное вовлечение пользователя (что влияет на увеличение такого важного показателя как удержание - Retention).
Потоковое приложение должно быть доступно на разных видах устройств, таких как смартфоны, телевизоры, настольные компьютеры и ноутбуки. Это также единая точка входа в платформу для всех сторонних приложений, партнерских сервисов. Широта разнообразия платформ гарантирует более быстрый рост пользователей и позволяет привлечь для маркетинга ресурсы партнеров, на которых представлен видеосервис. Партнерства и интеграции с другими платформами являются важным элементом в развитие видеостримингов. Большую часть в деятельности продуктового стрима занимают разработки клиентских приложений для дистрибуции контента на всех возможных площадках (все SmartTV, iOS, Apple TV, Android, Android TV, Roku, игровые приставки, STB приставки, адаптированный web под все современные браузеры, в том числе под мобильные и прочее). Потребители отказываются от кабельных подписок (IPTV) в пользу OTT услуг (over-the-top, потоковое видео через интернет - это и есть стриминг), потому что это расширяет контент и обеспечивает возможность просмотра на разных устройствах. Лидирующие ранее телеком и мобильные операторы сотрудничают с провайдерами OTT сервисов, чтобы расширить свою цепочку создания стоимости: Airtel стала партнером Amazon Prime, a Vodafone подписал контракт с Netflix. Поэтому можно сказать, что практика партнерств и интеграций с платформами интернет-провайдеров и операторами мобильной связи уже стала повсеместной.
Также api создаёт уровни доступа для различных типов подписок и категорий пользователей в зависимости от предназначенного для них функционала. Расширение видов подписок сегодня - это один из главных факторов роста отрасли. Потребительские предпочтения диверсифицируются, потоковые платформы адаптируются, предлагая сочетания различных моделей монетизации контента. Будущее конечно за HVOD (гибридное видео по запросу) - это универсальная модель объединяет в себе все возможные потоки доходов, такие как подписки (SVOD), реклама (AVOD), транзакции (TVOD), а также включает такие модели монетизации, как бесплатное телевидение с поддержкой рекламы (FAST), премиум-видео по запросу (PVOD), трансляция видео от тв-вещателей по запросу (BVOD) и виртуальный дистрибьютор многоканальных видеопрограмм (vMVPD). Такой подход к совмещению моделей монетизации позволяет видеостримингам быть более гибкими при проведении экспериментов с тарифами и сокращает отток (сhurn).
Второй важный модуль в платформе видеостриминга - это сервис домашней страницы - главный экран пользователя с предложением персонализированного контента для пользователя (использует рекомендательную систему). Отдельно стоит остановиться на рекомендательной системе, которая в архитектуре является главным инструментом, отвечающим за персонализацию видео. Этот сервис опирается на данные от сервиса статистики (о нем далее), аккумулируя их для подбора наиболее релевантного контента для конкретного пользователя в конкретный момент времени. Технологические достижения в области искусственного интеллекта и машинного обучения меняют создание и распространение контента, но, прежде всего, они влияют на потребление контента. За последние годы в отрасли произошел рывок от рекомендательных систем, в основе которых был подход DSSM (DeepMind semantic similarity models), где осуществлялся поиск наиболее релевантных (с точки зрения совпадений метаданных) фильмов по совпадениям с уже просмотренным пользователем. Сегодня рекомендательные системы постоянно саморегулируются, выставляя каждому критерию (виду метаданных или статистике смотрения пользователем) вес, актуальный для каждого момента времени (т.е. выдача рекомендаций стала самообучаемой). Объем данных учитываемых рекомендательными системами растет: некоторые видеостриминги уже учитывают такие параметры, как скорость и частота скролов мыши, манера движения курсора, погода, время суток, тренды в СМИ и социальных сетях, поисковые запросы и др. Также растет объем и эффективность алгоритмов, выставляющих веса критериям отбора в зависимости от пользовательского опыта. Это уже факт, что в ближайшие 10 лет мы увидим рекомендательные системы, которые будут подбирать нам контент лучше (быстрее и точнее), чем это делаем мы сами.
Третий модуль - это сервис запроса загрузки метаданных (метаданные - это информация о фильме, которая используется для ручного поиска контента, а также вместе со статистикой по приложению является основным ресурсом данных для рекомендательных систем) и видео для потоковой передачи - как правило, это реализуется через пользовательский интерфейс (UI). UI в видеостримингах разрабатывается по принципу бритвы Оккама (не создавай новых сущностей без необходимости). Только пользователь решает, какой именно функционал ему нужен (все должно быть нативно / понятно). Видеостриминги часто придумывают уникальные решения и проводят эксперименты с этим сервисом, отслеживают пользовательские сценарии и сопоставляют их с картой функциональности. Накопленный в отрасли опыт показывает: чем проще выстроен этот модуль, тем больше удовлетворенность от использования видеосервиса.
Четвертый модуль (важная часть бэкенда) - балансировщик нагрузки / API-шлюз - после запроса здесь выполняются все необходимые проверки, ведение журнала запросов и маршрутизация запроса в целевую службу (запрос направляется в соответствующий микросервис на основе правил маршрутизации, определённых в балансировщике нагрузки или шлюзе). Необходимость раздавать потоковое видео сделала стриминги одним из главных экспертных центров в технологиях распределения нагрузок. Одно дело - просто одновременная обработка миллионов запросов, другое дело - балансировка всех активных пользователей и запрашиваемого контента, особенно в случае трансляций спортивных мероприятий - кэша на все не хватает, сервера и дата-центры находятся на грани отключения. Часто именно для данного модуля устраивают хакатоны по разработке решений для оптимальной работы видеосервиса, и последние годы тут появилось большое прикладное поле для решений на базе ИИ (которые сейчас внедряются всеми крупными видеостримингами).
Пятый - сервис загрузки видео - этот микросервис асинхронно загружает видео и метаданные в масштабируемое (как правило, автоматически по заранее запрограммированным сценариям) и распределенное хранилище (загрузка обязательно регистрируется - для формирования очередности загрузок и для архивации записи пути к месту хранения видео). Кроме многочисленных технологических инноваций данный сервис известен своими передовыми способами работы с правами на интеллектуальную собственность и методами защиты их объектов.
Шестой - хранилище данных - где метаданные и видео временно хранятся для использования для текущих целей пользователя. Здесь видеостриминги являются драйверами исследований в транскодировании и создании новых форматов хранения видео. Принцип очень простой - веса данных должны быть меньше, стоимость хранения должна быть ниже, скорости обработки и передачи должны быть выше, мощности должны тратиться меньше, а отказоустойчивость и надежность при этом не должны страдать. Лучшие примеры реализации данного модуля, как не удивительно, можно найти у Amazon и Яндекс/Кинопоиск.
Седьмой модуль (напрямую связан с предыдущим) - сервис обработки видео (транскодер) - это отдельный микросервис, который предоставляет гибкие возможности для кодирования контента. Он разделяет видео на куски для более быстрой обработки, преобразует видеоформат для лучшей совместимости с целевым устройством, преобразует расширение для более эффективной потоковой передачи и передает окончательные видеофайлы на серверы сети доставки контента (CDN) для обеспечения более бесперебойного просмотра видео. Как правило, в этом направлении работают самые продвинутые разработчики не только в отрасли видеостримингов, но и в целом во всем ИТ.
Восьмой - CDN - это сервис вещания, представленный сетью вещания контента (по сути сеть серверов, размещенных в максимально возможной близости от зрителя, куда передается видео для целевого просмотра в случае запроса пользователем), который позволяет избежать потерь в качестве передачи контента для конечного использования. Все видеостриминги (и другие ИТ, связанные с доставкой тяжелого контента, такие как, социальные сети обмена фото и видео, музыкальные стриминги, игры и прочие), сделавшие упор на глобальную экспансию, активно расширяют CDN (а иногда и заключают крупные партнерства с их владельцами - сегодня это один из самых быстрорастущих сегментов медиарынка).
Девятый модуль - сервис обработки видеоактивов - отвечает за поиск запрошенных к воспроизведению кусков видеофайлов, после чего направляется запрос в CDN, чтобы получить видеофайлы для воспроизведения видео на устройстве пользователя. Десятый - сервис управления цифровыми правами (DRM) - защищает доступ к контенту, защищенному авторскими правами (по сути, сервис получения ключей шифрования и расшифровки контента). Эти два модуля - главный оплот внутри самой платформы по защите от пиратства. Все остальные сервисы по кибербезопасности работают независимо от самой платформы видеостриминга и, как правило, преследуют интересы не видеостримингов, а владельцев прав на контент - как известно, это не всегда одно лицо. Как не удивительно, цифровое пиратство по-прежнему является существенной проблемой. В США его объемы оцениваются в диапазоне от 30 до 80 млрд долларов в год, в России проблема входит в топ-3 барьеров для развития рынка видеостримингов. Во многом это вызвано сформированной привычкой потребителей предварительно скачивать контент на компьютер и просматривать его в последующем в любое время, независимо от подключения к интернету. Эта привычка подкрепляется также невысоким уровнем доступности высокоскоростного интернета. До недавнего времени видеосервисы не давали легального решения данной проблемы - OTT сервисы обеспечивали стриминговые решения исключительно посредством интернета. Но недавно стриминговые платформы стали внедрять надежные системы шифрования контента на уровне приложений, которые позволяют существенно уменьшить объем видеофайла без потери качества, скачать его на любое устройство и смотреть офлайн (например, в самолете). Специальный алгоритм разбивает скачиваемый контент на фрагменты, задавая ключ дешифровки, по которому при проигрывании формируется изначальный файл. Таким образом, пиратское использование исходника не позволит получить доступ к файлу без уникального шифра, генерируемого алгоритмом для каждого просмотра.
Одиннадцатый модуль - сервис управления видеоконтентом - обеспечивает управление отдачей видеоконтента по заданным параметрам: обеспечивает связь откодированного контента с api, а также позволяет оптимизировать производительность, учитывая нагрузки на контент в зависимости от частоты запросов пользователей. Это один из главных инструментов для прогнозирования масштабирования ресурсов для инфраструктуры (необходимо установить параметры для запуска автоматического масштабирования, чтобы избежать отказов в случае внезапных всплесков трафика). Как правило, здесь для этих целей пытаются использовать решения на базе ИИ (как пример, хорошие результаты показывают решения от Netflix).
Двенадцатый модуль - сервис статистики - собирает записи статистических данных по всем операциям, созданным от взаимодействия пользователя и платформы. Это основной инструмент исследования пользовательского пути, позволяющий модифицировать всю платформу, улучшать пользовательский опыт (UX) и повышать все основные продуктовые метрики развития видеостриминга (такие как активные пользователи, конверсии, удержание и другие). Как правило, именно здесь находится интеллектуальный центр видеостриминга, где рождаются все гипотезы о совершенствовании платформы и сервиса. Именно благодаря технологичности данного направления видеостриминги выигрывают у других поставщиков видеоконтента и даже есть закономерность, чем лучше выстроена работа данного сервиса, тем быстрее и эффективнее развивается стриминг.
Тринадцатый модуль - сервис автотестов и экспериментов (для проведения автотестов и экспериментальных тестирований). Автотесты отвечают за стабильную работу сервиса. Экспериментальные тестирования - это немного другое. Прежде чем запускать новые сервисы, проводить интеграции, добавлять функции и изменения в продукте, важно понимать, сработают ли они и какой эффект окажут - это все можно проверить быстро и недорого с помощью проведения экспериментов. О необходимости экспериментов и их значимости для отрасли видеостримингов, думаю говорить не стоит (можно просто посмотреть на новости об отрасли, где каждая вторая новость - это успех или провал нового эксперимента крупнейших стримингов), поэтому не буду долго сейчас на этом останавливаться.
Стоит выделить еще два модуля, которые так же, как витрина (домашняя страница) и вставки рекламы контента, являются главными инструментами по маркетингу видеостримингов, встроенными в саму платформу. Это четырнадцатый модуль - служба уведомлений (нотификации): микросервис, который обрабатывает все процессы, связанные с уведомлениями по предварительно настроенным каналам на устройства пользователя (push, электронная почта, sms и т.д.). И пятнадцатый модуль - сервис биллинга, который обеспечивает списание средств в счет покупки услуг сервиса, хранение данных о покупках пользователя, оповещение api о подписках и списаниях, управление промоакциями, а также интеграцию с подписками iTunes, Google и другими шлюзами.
Даже без глубокого погружения получилось выделить 15 базовых модулей, но на самом деле микросервисов в видеостриминге намного больше. В целом вся отрасль является очень высокотехнологичной, и ее архитектура постоянно развивается. И именно от того, на сколько эффективно выстроены данные сервисы и их взаимодействие, во многом зависит доступность и персонализированность видео контента, а, следовательно, и то, на сколько видеостриминги будут пользоваться спросом у поколений новых пользователей.
В конце хотелось бы отметить, что я не старался много говорить о использовании решений на базе ИИ в видеостриминге, потому что оно в отрасли стало уже совсем повсеместным, и примеров прикладного применения ИИ стало настолько много, что это тема для отдельного разговора. В 2023 году искусственный интеллект находится на переднем крае повышения операционной эффективности видеостримингов: от формирования рекомендаций по контенту до создания контента и улучшения его качества. Его использование для продуктового, контентного и маркетинговых блоков видеостримингов стало уже темой крупнейших в отрасли технических конференций, а в США уже есть судебные разбирательства о праве использования данных для обучения алгоритмов. Как пример последних инноваций в данном направлении, если говорить о персонализированности, можно выделить целевую рекламу. Достижения в анализе данных позволяют интегрировать рекламный контент, который резонирует с интересами конкретных пользователей (это повышает эффективность рекламы и улучшает зрительский опыт). Автокорректировка видеоконтента (video content integration system - VCIS) реализуется при помощи сверхточных нейронных сетей (в т.ч. врезка рекламы без ущерба для пользовательского опыта). Также с помощью ИИ-алгоритмов масштабируют изображения и видео в несколько раз, переводя их в высокое разрешение. Если среди практического применения технологий, основанных на сложном анализе данных и понимании пользователей, выделить один самый перспективный, то, по-моему, наибольший эффект на индустрию видеостриминга оказывают инструменты оптимизации контент-стратегии. Понимая предпочтения зрителей, потоковые сервисы могут принимать более обоснованные решения о приобретении и производстве контента, гарантируя, что они инвестируют в контент, который понравится их аудитории.
Надеюсь, что данное погружение в технологические аспекты продукта платформ видеостримингов помогут лучше понять отрасль и за счет чего она развивается.