«Газпром-Медиа Холдинг» начал тестировать нейропродакшен в проектах ГПМ Радио, RUTUBE, PREMIER и Yappy
Студия нейропродашкена D.lab представила первые демообразцы AIGC.
Студия нейропродашкена D.lab, которую «Газпром-Медиа Холдинг» запустил в сентябре 2023 года, представила первые демообразцы AIGC – мультимедийного контента разных форматов и жанров, произведенные искусственным интеллектом с минимальным участием человека. Образцы созданы с помощью собственного решения D.lab. Теперь студия переходит к тестированию своих технологий на проектах Детского Радио, RUTUBE, PREMIER и Yappy.
Решение D.lab позволяет создавать новые форматы контента. Например, анимированные пересказы литературных произведений или краткие пересказы полнометражных фильмов. Решение может синтезировать музыкальное оформление и закадровый голос, визуализировать аудиоконтент, генерировать цифровых персонажей, стилизовать видео. Решение гибридное – в его основе более 20 open source и коммерческих моделей искусственного интеллекта, дополнительно обученных и скомбинированных командой D.lab, для производства мультимедийного контента. Также в решении применяются технологии компьютерного зрения, синтеза и распознавания речи.
Ключевые преимущества решения D.lab – экономия времени профессионалов, повышение скорости выполнения рутинных задач и снижение затрат на производство. Например, вместо ручной отрисовки различных фонов, персонажей или деталей можно выбирать из предложенных нейросетями вариантов, созданных на основе специальных запросов-промптов. Участие человека требуется только при постановке задачи, внесении стилистических правок и контроле результатов.
Эдуард Маас, руководитель D.lab: «Мы работаем в постоянном контакте с профессионалами медиа, поскольку наше решение в первую очередь для них. У нас не нейромосфильм и нейроголливуд. Их и не может быть. У нас – набор решений-помощников для профессионального продакшена. Этот набор уже на текущем этапе позволил втрое сократить стоимость отдельных производственных процессов и выполнять их за часы и дни, а не за месяцы и годы. У нас нейросети уже более чем на 80% участвуют в создании самого разнообразного контента новых форматов. И нет задачи, чтобы на 100% вкалывали роботы».
На RUTUBE-канале D.lab представлены первые примеры AIGC-работ: анимационные пересказы «Слова о полку Игореве» и рассказа Айзека Азимова «Лжец!» из знаменитого цикла «Я, робот», видеопересказы киноклассики – «Метрополиса» Фрица Ланга и «Броненосца Потемкина» Сергея Эйзенштейна, а также образец анимационной стилизации видео.
Как работает решение D.lab:
В цикле создания анимационных пересказов литературных произведений от D.lab в среднем 7 этапов:
• анализ исходного текста LLM-моделями
• написание сценария LLM-моделями
• формирование стилевой концепции моделями Text-to-Image
• черновая раскадровка ролика с текстовым описанием LLM-моделями
• генерация сцен и персонажей моделями Text-to-Image
• добавление анимации (при необходимости с участием человека)
• озвучание моделями Text-to-Speech
В «Лжеце!» качество нейросинтезированного озвучания не устроило команду D.lab, и было принято решение использовать классический вариант с настоящим человеческим голосом. На подготовку таких видеороликов по книгам сейчас уходит около двух недель.
В видеопересказах полнометражных фильмов решением D.lab выполнено 6 видов работ:
• анализ фильма ансамблем нейросетей
• обработка полученных результатов LLM-моделями
• написание сценария видеоролика LLM-моделями
• выделение ключевых монтажных точек ансамблем нейросетей
• монтаж видеоролика
• озвучание моделями Text-to-Speech
Решение D.lab по стилизации позволяет оперативно «переодевать» любое видео, например, превращать фильм в мультфильм. Решение двухшаговое:
– текстовое описание стилистики моделями Text-to-Image
– накладывание стилистики на исходное видео моделями Image-to-Image.
Как будут проходить тесты на Детском радио, в RUTUBE, PREMIER и Yappy:
Субхолдинг ГПМ Радио заинтересовали анимированные пересказы, и было принято решение протестировать нейропродакшен D.lab в визуализации контента единственной в России станции для юных слушателей – Детского радио. Уже готовится визуализация популярного аудиоподкаста. Первые результаты будут представлены завтра на Национальном рекламном форуме.
Команда RUTUBE тестирует возможности решения D.lab в создании коротких видео из своих оригинальных шоу. Параллельно платформа анализирует возможности AIGC сразу в нескольких направлениях – интеграция в новые выпуски текущих проектов, разработка премьерных шоу, построенных на нейроконтенте, использование такого материала в трансляциях спортивных и культурных событий, визуализация аудиоконтента, перемонтирование контента в разные форматы.
Онлайн-кинотеатр PREMIER выбрал для тестирования стилизацию видео. Трейлер одного из топовых сериалов сервиса будет представлен в непривычном виде.
В Yappy также выбрали стилизацию как наиболее подходящий и оперативный инструмент для обработки текущего контента. Команда платформы хочет использовать решение D.lab для повышения качества исходного видео (свет, стабилизация, фокусировка и т. п.).
О D.lab
D.lab – цифровая лаборатория «Газпром-Медиа Холдинга», R&D и консалтинговое подразделение компании. Основные направления деятельности – поиск технологических точек роста и синергии между активами, проверка гипотез и пилотирование, опытные разработки, исследования, адаптация и применение новых решений в холдинге, развитие новых технологических бизнес-направлений, партнерства с участниками рынка. Работа D.lab базируется на решениях с применением искусственного интеллекта. Руководитель D.lab – Эдуард Маас.
Сайт: https://d-lab.media/
Telegram-канал: https://t.me/gpmdlab
О «Газпром-Медиа Холдинге»
«Газпром-Медиа Холдинг» – ведущий медиахолдинг в России. Управляет 9 эфирными телеканалами (НТВ, ТНТ, «Пятница!», ТВ-3, ТНТ4, «Матч ТВ», «Матч! Страна», 2х2, «Суббота!»), производством и дистрибуцией тематических телеканалов («Ред Медиа») и спортивных каналов ГПМ Матч, а также оператором спутникового и цифрового ТВ НТВ-ПЛЮС. Фабрика контента «Газпром-Медиа Холдинга» включает студии Comedy Club Production, Good Story Media, 1-2-3 Production, «Киностудия КИТ», продюсерский центр «Ножи», «Студия Пятница!», комплекс по съемкам спортивных событий «Матч» и анимационную компанию «ЯРКО». На рынке кинодистрибуции работают компании «Централ Партнершип» и «Белые ночи».В цифровой среде холдинг управляет онлайн-кинотеатром PREMIER, видеохостингом RUTUBE, приложением коротких вертикальных видео YAPPY, ведущим онлайн-телегидом рунета «Вокруг ТВ» и другими сервисами. Кроме того, в холдинг входит компания «Квант», которая работает в сфере рекламных технологий (AdTech). В портфель «Газпром-Медиа Холдинга» входят 9 радиостанций («Авторадио», Радио Energy, «Юмор FM», «Радио Romantika», Comedy Radio, Like FM, Relax FM, Детское радио, «Радио «Зенит»), портал 101.ru, издательства «Семь дней» и «Медиа Пресс». На рекламном рынке «Газпром-Медиа Холдинг» представлен сейлз-хаусом «Газпром-Медиа», который развивает экосистему рекламных продуктов и инструментов на эксклюзивной основе.