当前位置：网站首页>艺术与科技的狂欢，云端XR支撑阿那亚2022砂之盒沉浸艺术季

艺术与科技的狂欢，云端XR支撑阿那亚2022砂之盒沉浸艺术季

2022-08-09 16:39:00 【InfoQ】

水下观影、互动电影、远程虚拟演唱会……这些看似前沿的概念，你都可以在阿那亚2公里海岸线沿途体验到，甚至有的项目，你在地球另一端也能同步体验。

今年7月底到8月下旬(2022年7月28日-8月21日)，

阿那亚正举办一场规模庞大的VR影像展——2022 砂之盒沉浸艺术季

（SandBox Immersive Festival，简称“SIF”）。

阿那亚园区展区分布

2022砂之盒沉浸艺术季活动以线下作为主体，共征集了近80部作品，展映32部作品。其中竞赛作品有15部，非竞赛展映17部，同时包括三部入围威尼斯影展的作品《你醒来之晨》、《双世阴谋》、《红尾巴》。

除了展映的优秀沉浸艺术作品之外，

沙核科技独立开发的新一代沉浸式虚拟娱乐平台大千（VAST）也成为活动上的一大亮点

。今年，未能到场的受邀嘉宾可以在线上通过大千(VAST)平台参与活动，使用自己的VR设备来体验线上展映的VR佳作，实现“云观影”的体验。

大千VAST，让全球观众同时享受体验一场“LIVE”

“云观影”背后的大千(VAST)平台，是沙核科技依托于UE引擎独立开发的新一代沉浸式虚拟娱乐平台

。砂之盒沉浸展曾与“西南偏南”合作，在大千（VAST）上构建了一个赛博朋克风格的虚拟城市。通过VR设备，用户可以在这座虚拟城市中，在线观看今年西南偏南电影节XR单元的虚拟展览，并与全球在线观众交流。

大千(VAST)在本次SIF 2022中亮相，特邀观众可通过大千(VAST)应用的云能力线上观展。此外，通过一场电气樱桃虚拟演出，更加全面展现了大千（VAST）平台带来的线上娱乐新方式。

SIF电气樱桃现场演出画面

不同于VR电影的事先制作，

这次电气樱桃乐队的“虚拟演出”是即兴的、实时的，却又不是传统现场的LIVE

。类似于电影《头号玩家》或《阿凡达》，演出为观众打造了一个不同于现实的奇幻世界，艺人在其中有着自己的数字化身和虚拟舞台。

艺人穿着动捕服，通过麦克风、吉他、电子合成器等设备在舞台表演，他们的姿态和音乐效果，都会同步到虚拟世界，被观众一一接收。

电气樱桃演出VR头显用户操作画面

这场虚拟演出中，

大千(VAST)结合NVIDIA CloudXR平台以及阿里云云XR平台，实时捕捉现场电气樱桃组合的动作并将其传输到了云端服务器中，实时渲染并传输到各个终端设备上

。观众们无论使用PC、手机还是VR一体机，无论身处世界各地，都能够通过VAST平台遍布全球的云端节点，都可以“身临其境”地享受云端渲染技术带来的出色的画面与音乐效果，还可以与同时观看虚拟演唱会的其他观众进行低延迟的实时互动。

从“线下”到“线上”，沉浸式体验的必然

随着VR硬件在消费市场的销量不断攀升，以及部分优质内容的呈现，沉浸式体验潜力愈发显现。原来，消费者体验VR，主要是到线下体验店购买服务；如今，变成了在家自行游戏、观影，逐渐成为主流的模式。

然而，受限于硬件性能，不同设备的体验差别巨大，也给开发者带来了巨大的适配门槛。

目前主流的VR硬件包括PC VR头显、VR一体机，还有类似VR眼镜盒子等基于手机平台的简易VR设备，这些各个平台间存在着极大的性能差异，在A设备能跑的应用，B设备未必能跑起来。

当下许多VR游戏的做法，是为不同平台提供不同精细程度的模型与特效，保证自身需要的运算能力与运行的平台相匹配，先保证体验的流畅，但这样做带来的后果则是各个VR平台之间的画面质量差距较大。除了高性能PC用户能够享受最佳的画面效果，其他平台用户看到的画面都有着不同程度的损失。

画面质量的损失，无疑让VR主打的“沉浸感”大打折扣，使其体验难以匹敌高性能PC

。尤其在虚拟演唱会场景下，如何保证不同平台的用户都能接收到高保真的画质与音质，也是大千（VAST）技术团队需要考虑的一大问题。

云技术加持，让观众体验高质量的“沉浸感”

在此背景下，大千（VAST）的技术团队选择了一条不依靠终端算力的技术路径：

云端实时渲染

。

通过集成NVIDIA CloudXR的阿里云云XR平台，大千将画面渲染的工作放到云端，

云XR平台实现了云端服务器算力的动态调度与有效扩展，并完成了编码、推流等工作

，让各种类型的XR设备能够摆脱性能的限制，无论设备型号与新旧，只要能够联网，就能让享受到高质量的音画体验。

电气樱桃演出VR头显用户操作画面

同时，乐队表演等场景，涉及到双人甚至多人实时动作捕捉，并不是简单的多传输一份传感器数据就足够了。两套动捕服上的传感器同时传输数据，加上外部的复杂环境，会带来更强的相互干扰，影响传输质量。同时，服务器端还需要更多的算力来处理双人的实时交互动作，防止不同步和其他运算偏差情况的出现。

电气樱桃演出舞台，实时动捕同步画面

大千（VAST）结合WiFi 6与5G通信技术，保证双人实时动作捕捉的稳定性，

阿里云提供了搭载NVIDIA A10 Tensor Core GPU的gn7i云服务器

，该款云服务器专门面向图像处理场景，很好地满足交互动作需要的大规模算力。

不过，这也带来了另外一个难题，流式传输不仅需要始终占用大量的带宽，对延迟与数据传输的稳定性也要求极高，在这样的情况下要实现全球同步VR直播，对云端服务器节点之间的数据传输能力、部署能力、调度编排能力以及服务器节点到终端设备的推流能力提出了一个更为严峻的考验。

大千（VAST）的技术团队一方面优化了NVIDIA CloudXR的流式视频传输功能，减少了视频流的带宽占用，提升了同一网络环境下能够支持的终端设备数量，另一方面，基于阿里云的神龙计算架构带来的低延迟网络和遍布全国的弹性计算可用区，可以实现云渲染服务器节点的高效调度与数据传输，让用户能够始终与延迟较低且稳定的云端节点建立连接，上传VR头显姿态数据并获得渲染画面的推流，从而减少设备使用过程中卡顿、眩晕等状况的出现，也保证了全球各地的用户都能同步享受精彩的高质量实时演出。

云技术加持下的大千（VAST）平台，不仅能够为用户提供传统XR内容的线上体验，还成为了世界范围内为数不多能够实现全球实时收看虚拟演唱会等新形态XR内容的优秀平台。

大千（VAST）平台可以根据场地、设备、网络环境等条件灵活的实现

虚拟演出

、

虚拟影展

、

虚拟旅行

等各类互动式虚拟社交活动的本地部署、云端部署以及混合部署，

为用户带来跨平台的无线实时VR体验方案，彰显了沙核科技雄厚的技术实力与深厚的行业积淀

。

沙核科技创始人楼彦昕表示，“希望大千不仅可以解决诸如各大国际电影节等在线活动的VR展映需求，也能够让过去那些全球最优秀的展映内容可以有永久留存的平台，

既让观众能够观赏全球顶尖的叙事和娱乐内容，也为创作者提供了一个长期稳定的内容变现渠道