UWB-трекинг в пространстве
Система реалтайм-позиционирования в 3D: координаты человека или объекта управляют светом, видео, пространственным звуком и интерактивными зонами.
Сергей Корнеев
Инженер мультимедийных систем / креативный технолог
Проектирую и запускаю мультимедийные системы, в которых видео, свет, трекинг, кинетика и пространственный звук работают как единый сценарий. Разрабатываю недостающий софт, интегрирую оборудование и довожу систему до эксплуатации.
[ Эффекты от моей работы ]
Что менялось у заказчиков после проектов.
- Сделал шоурум инструментом продаж. Заказчик видит работу комплексного AV-решения вживую, а не на схеме и в презентации. Иммерсивное шоу в шоуруме →
- Перевожу «хотим современное пространство» в реализуемую концепцию. Абстрактное желание превращается в мультимедийный сценарий, который дальше ложится в основу проектирования, закупок и монтажа.
- Закрываю разрыв между дизайном, инженерией и реализацией. Проект доходит до ввода в эксплуатацию, не растеряв исходную идею по дороге.
- Сократил смену на многокамерном эфире. Камеры переключаются по повороту головы спикера — живая режиссура остаётся при меньшей команде. AI-режиссёр для vMix →
- Сократил время подготовки графики к эфиру. Титры с переводом, замена фона и маски делаются в реальном времени, без предварительного рендера и правок постфактум. GFX Engine →
- Создал визуальный центр притяжения выставочного стенда. Неповторяющаяся генеративная графика привлекает внимание и даёт посетителям причину остановиться и рассмотреть экспозицию. Генеративная графика →
- Продлил контакт гостя с брендом за пределами мероприятия. Посетитель получал персональную песню со своим именем, которую мог сохранить и отправить другим людям. Фестивальный стенд →
- Автоматизировал субтитры в прямом эфире и снизил порог входа. Доступность трансляции обеспечивается без отдельного стенографиста и ручной вычитки. RULLZ Subtitler →
- Упростил работу спикера в кадре. Текст едет за темпом речи — оператор суфлёра больше не нужен. Голосовой телесуфлёр →
[ Избранные проекты ]
Нажмите на карточку — откроются детали, все видео и кадры проекта.
AVStream Spatial
Пространственная логика для AV-инфраструктуры: трекинг человека, сценарное управление светом, видео, звуком, PTZ-камерами и устройствами.
Иммерсивное шоу в шоуруме Hi-Tech Media
Трёхминутное аудиовизуальное шоу-презентация: рассказывает и показывает, как работает установленное в шоуруме оборудование.
AVStream Spatial Panner
Софт для перемещения звуковых объектов в 3D-пространстве: траектории, ключевые кадры, циклы и управление Holophonix.
Трекинг головы для перспективы видео
Трекинг головы зрителя управляет видеокартинкой в шоуруме — перспектива и кадр следуют за поворотом головы.
Автотрекинг для любых PTZ-камер (VISCA)
Превращает любую PTZ-камеру с VISCA и RTSP в следящую: Python, FFmpeg и YOLOv8 ведут спикера в кадре.
[ Интерактивные системы и трекинг ]
Управление объектом в Unreal Engine через UWB
Перемещение объекта в сцене Unreal Engine координатами UWB-трекинга в реальном времени.
AI-режиссёр для vMix
Переключение камер по повороту головы спикера: vMix сам выбирает нужный вход без оператора.
Трекинг и шоу-контроль по OSC
Данные трекинга уходят в медиасистемы через OSC: зоны, триггеры и логика шоу-контроля.
Терменвокс: жест в MIDI
Концепт, в котором движение в пространстве становится управляющим сигналом для звука и медиа.
UWB-трекинг — дополнительные демо
Трекинг 2
Трекинг 3
Свет за меткой
[ Шоу-системы и пространственный звук ]
AVStream Spatial Controller
Операторский интерфейс для шоу-контроля пространственного звука: маршруты OSC, звуковые объекты и управление сценой вживую. На видео — интеграция с Holophonix.
Иммерсивный звуковой процессор (TouchDesigner)
Процессор пространственного звука на TouchDesigner: двигает источники звука по колонкам в любом помещении, по логике Ti-Max.
Интерфейс управления звуком шоу
Интерфейс для быстрого доступа к ключевым параметрам звука во время шоу — без риска сломать логику сцены.
GFX Engine — графический движок
Реалтайм-движок эффектов: замена фона, живые титры с переводом, оверлеи осциллограммы, генерация изображений и маски приватности спикера.
[ Реалтайм-графика и проекция ]
Генеративная графика и проекционный маппинг
Реалтайм-этюды генеративной графики и проекционный маппинг как технический слой визуальной системы.
Многослойная реалтайм-композиция видео
Послойная сборка видео в реальном времени как часть живого медиасценария.
[ Концепты и экспериментальные работы ]
Концепт водного шоу
Концепция водного шоу с синхронизацией медиа, света и кинетики.
WooHoo — концепт интерактивной среды
Концепт пространства, в котором посетитель становится частью медиасценария.
Генерация песни на стенде — День молодёжи
Фестивальный стенд генерирует персональную песню с именем гостя в выбранном музыкальном стиле и отправляет её в Telegram.
СНЯТО! — приложение для совместной съёмки
Массовое приложение для совместной съёмки на смартфоны, монтажа и рендера готовых роликов.
[ Софт для трансляций и медиаинфраструктура ]
Автоматизация эфира, реалтайм-графика, обработка речи и транспорт видео с низкой задержкой для прямых трансляций — в том числе сервисы RULLZ: субтитры, управление расписанием vMix и голосовой телесуфлёр.
vMix · OBS · WebRTC · SRT · NDI · FFmpeg · Node.js · WebSocket
RULLZ Subtitler — субтитры в прямом эфире
Автоматические субтитры на живых трансляциях: распознавание речи и вырезание мата прямо в эфире.
RULLZ vMix Commander — автоматизация эфира
Удалённое управление эфиром vMix: расписания по времени, автоматические переключения и быстрые команды из браузера.
RULLZ — голосовой телесуфлёр
Суфлёр, который следует темпу речи и сам прокручивает текст. Есть отдельное окно для спикера.
CloudMix — облачный видеопродакшен
Профессиональный облачный инструмент для онлайн-продакшена: конференции, спорт, концерты и вебинары с привычным эфирным интерфейсом.
Стримометр — рестрим с защитой от обрыва
Мониторит входящий поток по битрейту и FPS, рестримит его в четыре точки, пишет запись на диск и подставляет заглушку, пока продакшен чинит трансляцию.
Транспорт видео с низкой задержкой
Студийные и удалённые видеотракты с низкой задержкой на NDI, WebRTC, SRT, RTMP, WHEP, FFmpeg и MediaMTX.
SRTMiniServer, NTRStreamer, WinDeskCam Pro
Коммерческие продукты приёма и раздачи потоков, плюс WinDeskCam Pro — превращение Windows-компьютера в RTSP/ONVIF-камеру для систем видеонаблюдения.
[ Архитектура систем и опыт ]
Архитектура мультимедийных систем
Сквозная объектная архитектура: видео, звук по Dante, OSC, MIDI и Art-Net, медиасерверы, трекинг и резервирование.
AV-инфраструктура театра
Руководил звуковым направлением и построил AV-инфраструктуру театра с нуля до сдачи в эксплуатацию.
[ Разборы проектов ]
- CloudMix — сервис для онлайн видеопродакшенов — прототип интерфейса: микшер, повторы, титры, матрицы аудио.
- «Снято!» — приложение для совместной съёмки — UX-сценарии, экраны, быстрый доступ.
- Сервис создания музыки (День молодёжи) — генерация текста и музыки, экраны сервиса.
- Трекинг артиста на сцене (PTZ, DMX, звук) — UWB-радиометки, TouchDesigner, инструкция на GitHub.
- Автопереключение камер по повороту головы
- Субтитры в vMix и текстовая запись эфира
- Иммерсивное шоу (Hi-Tech Media)
- Иммерсивный звуковой процессор
- Автотрекинг для любых PTZ (VISCA)
- Микшер WebRTC → SRT
- Облачный WebRTC-SRT микшер
- RTMP-комбайн: запись, рестрим, мониторинг
[ Что могу взять на себя ]
- мультимедийная концепция и сценарий;
- архитектура AV-системы;
- шоу-контроль и интеграция;
- прототипирование недостающего ПО;
- подбор и кураторство внешних подрядчиков;
- сопровождение от идеи до ввода в эксплуатацию.
[ Примеры проектов ]
- проектирование под ключ от идеи до реализации интерактивного шоу для шоурума крупного интегратора (видео, звук, свет, Crestron);
- проектирование системы мониторинга и управления репутацией через анализ контента медиа и соцсетей в реальном времени с использованием больших языковых моделей;
- проектирование MVP программно-аппаратного комплекса для мониторинга и предупреждения о БПЛА;
- проектирование MVP облачного видеомикшера и приложения для мобильной видеосъёмки;
- система трекинга целей на основе UWB;
- «Стримометр» — сервис для записи и рестрима RTMP-SRT с защитой от обрыва входящего потока.
[ Контакты ]
Открыт к проектам по мультимедийным системам, креативным технологиям, шоу-контролю и интерактивным инсталляциям.