Как работает PCVR
Введение
Всем привет! Возможно вы задумывались, как же работает PCVR? Какие технологии за этим стоят? Предлагаю ответить на эти вопросы в этой статье. Разберем в общем и на примерах разного софта для стриминга PCVR.
Компоненты системы:
Стример (серверная часть на ПК)
Клиент (приложение на VR гарнитуре)
Сетевой транспорт (WiFi или USB соединение)
А вот как они взаимодействуют. Путь одного кадра:
Сбор данных отслеживания на клиенте (компьютер по сути спрашивает "что где находится?")
Передача данных трекинга
Рендеринг кадра на ПК
Компрессия изображения для экономии трафика, выполняется на аппаратном уровне видеокартой
Передача кадра на шлем
Декодирование на гарнитуре
Корректировка изображения (линзы кривые, помним это) и, наконец, отображение на дисплеях
Как шлем связывается с вашим ПК
Если вы подключаетесь по Meta Link/AirLink, она выглядит так:
Общая таблица беспроводного PCVR:
Как можно заметить, выгодно выделяется OpenXR. Он универсален, без прослоек работает с различными стримерами и это хорошо сказывается на производительности.
OpenVR же требует для своей работы SteamVR, который ест производительность из-за прохождения через Steam прослойку.
Программы для беспроводной игры
Virtual Desktop
Это знать надо, это то, чем пользуются многие. Лучше не найдешь, про него есть отдельно в нашей вики. Поддерживает большинство автономных шлемов.
Поддержка кодеков:
h.264
h.264+
HEVC (он же h.265), также есть 10-битный вариант. Он немного лучше обычного
AV1 (только если у вас RTX 40XX, RX 7XXX и выше. А также Quest 3 или Pico 4 Ultra)
Максимальный битрейт 400 Мбит/с при использовании h.264+
Также имеется автоматическая регулировка битрейта в зависимости от возможностей сети, по умолчанию включена.
Синхронизация и задержки:
SSW (Synchronous Space Warp) для сглаживания падений частоты кадров, а также для тех случаев, когда компьютер ну совсем не вытягивает игру. Помогает получить в два раза больше кадров в цену небольших артефактов.
Задержка motion-to-photon (от движения, до его результата в экране): 30-40 мс при оптимальных условиях
Задержки помимо рендера приблизительно 5.6 мс в оптимальных условиях
Уникальные оптимизации:
Snapdragon GSR (Game Super Resolution) - апскейл кадра, помогает выглядеть игре лучше. Имеет смысл до пресета High и до 90 FPS.
Возможность напрямую стримить игры из Oculus без использования Revive
Двойное кодирование - игра будет выглядеть круче там, где происходит много движения.
OpenXR-среда VDXR, которая благодаря различным оптимизациям дает 20-30% буст к производительности игры.
AirLink и Link от Meta
Официальное решение от Meta для беспроводного и проводного PCVR соответственно на гарнитурах Quest. Часто работает нестабильно и имеет проблемы с ПО, поэтому многие пользователи предпочитают альтернативы. Поддерживает все гарнитуры Quest.
Конвейер передачи данных (тут все интересно):
Стример получает входные данные от гарнитуры
Рендеринг кадра
Стример кодирует буферы глаз (eye textures) через H.264 (другие кодеки не поддерживаются)
Передача закодированных кадров по частям (slices) клиенту через Wi-Fi
Клиент декодирует, корректирует и передает кадр в композитор Quest
Клиент также отправляет обновления позиции и состояния ввода
Технические особенности
ASW (Asynchronous Space Warp) - схожая технология с SSW из Virtual Desktop
AADT (Axis-Aligned Distortion Transmission):
Вместо прямой передачи "сырых" изображений и последующего искажения в шлеме, (Air-)Link применяет искажение по осям
Сжатие пары буферов глаз с 3616x2000 до 2016x1120, выходит экономия ~70% пропускной способности
На гарнитуре изображение восстанавливается до исходной формы перед отображением
Временная синхронизация и предсказание:
Использование Asynchronous Timewarp (ATW) для гарантии готовности кадра. Является частью ASW.
Adaptive Compositor Kickoff (ACK) для точного расчета времени запуска композитора
Оценка общей задержки и динамическая настройка предсказания положения
Производительность:
Общая задержка: около 54.8 мс в тесте с RTX 3090
Всё помимо рендера игры: примерно 5.6 мс при оптимальных условиях
Steam Link
Решение от Valve для прямого подключения Quest к SteamVR без использования лишнего ПО. Может передавать ещё и просто экран. Можно играть в обычные плоские игры.
По сути просто базовый стример за бесплатно.
Поддерживаемые гарнитуры: Meta Quest 2, 3, Pro
Компоненты системы:
Steam и композитор SteamVR на ПК
Приложение Steam Link в шлеме из магазина Meta
В Steam Link нет выбора кодеков, поэтому исходя из возможностей железа, идёт автоматический выбор между кодеками HEVC и H264
ALVR
ALVR (Air Light VR) - проект с открытым исходным кодом, предоставляющий альтернативу коммерческим решениям. Так как это opensource, то настала пора настраивать В-С-Ё. Зато поддерживает проводное соединение, но требует SteamVR. И так всегда с ALVR, где-то хорош, а где-то жирный минус.
Стример есть только для Linux и Windows 10/11 А вот клиент есть на все, где есть VR
Поддержка всех кодеков, включая AV1. Прям как у VD. Но настраивать придется вручную, в базе вы получите не самую крутую картинку, хотя играть можно.
Fixed Foveated Rendering (FFR) - отрисовка изображения в более низком разрешении по краям, там, куда вы будете смотреть реже всего. Зато сэкономит ресурсы видеокарты.
Схема домашней сети
С программами мы разобрались, но теперь нужно понять как сделать нашу домашнюю сеть пригодной для беспроводной игры с нашим шлемом.
У нас есть для вас прекрасная схема:
Схема отличная, прошла испытание временем. При выборе нужных Wi-Fi роутеров рекомендуем заглянуть в наш список
Последнее обновление