如何用HTC Vive拍摄Mixed Reality视频（绿幕技术）

天の川

本文仅作研究学习参考。因为我是UE4党。所以没有实践这篇文章。有任何问题欢迎在此贴讨论交流，有实现效果的和如何解决各种问题欢迎回帖赐教。




也许你是一位开发者，想为自己的Vive游戏制作酷炫的宣传片；或者你是游戏主播，想为观众带来高品质的VR直播体验；也许你是一位VR和爱好者。无论如何，如果你对Mixed Reality感兴趣，请继续看下去。本文将介绍如何用HTC Vive拍摄高品质MR视频。


========================================================
什么是Mixed Reality视频？
========================================================

Mixed Reality视频就是VR影像+人的影像合成的视频。相比普通方法录制的VR视频，Mixed
Reality视频更适合用来做游戏直播和制作宣传视频。

以上这个视频就是来自一个Mixed Reality视频，大家可看到本文图一画面中的草地、狗、木棍都是VR游戏的画面，而人的影像是由一台摄像机实时捕捉的。因为人的影像摆放的位置和玩家在虚拟场景中的位置一样，摄像机拍摄画面中手的位置和游戏画面中手的位置是完全一样的，看起来就像体验者走进了一个虚拟世界，并用双手直接和环境互动。


========================================================
MR视频的原理
========================================================

普通的VR视频是将体验者左眼看到的影像录制下来。这样的第一人称视角录制带来两个问题，一是因为视角原因看不到体验者的全身，二是即使低头看到了，也只是看到虚拟的模型，甚至多数时候只能看到两只漂浮的手。要解决这两个问题。就需要

1. 切换成第三人称视角
2. 将体验者的影像也录制下来
3. 将游戏画面和摄像机影像合成

下面逐个解释如何实现。

1. 切换成第三人称视角

普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼，分别生成左右眼的画面传给HMD，然后将其中一只眼的画面复制到PC屏幕上。为了让屏幕上产生第三人称视角的游戏画面，就需要在和玩家一定距离外摆放一个额外的虚拟camera，并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复刻，而是由这个额外的camera单独绘制的（会增加一定的渲染负担）。

2. 将体验者的影像录制下来

因为我们只需要玩家本人的影像，并不需要看到房间里的桌子、墙壁等背景。所以要用到抠
像技术。在录制的时候，让体验者在一个周围是绿布（或者其他颜色）的房间里，然后用一个摄像机（webcamera或者专业的摄像机）录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉，就只剩下人的影像了。

3. 将游戏画面和摄像机影像合成

在1.和2.中我分别提到了一个虚拟摄像机和一个真实的摄像机。为了让他们拍到的影像能合
成起来，需要保证他们的视角是一样的。也就是说，假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角，那么要保正现实中摄像机在体验者左前方2米，朝向和体验者朝向成120度角。这就需要借助第三个手柄来定位和定向。

将额外的手柄绑在摄像机上，或者将手柄和摄像机绑在同一个位置上，原则是确保它们相对
位置、相对朝向是不变的。这样当现实中摄像机移动时，游戏通过感知手柄的位置变化，也相应地改变虚拟摄像机的位置。然后，把游戏中的物体按位置分为两类，一类是前景，位置在摄像机到玩家之间，另一类是背景，位置在玩家之后。最后把背景、体验者影像、前景合成成视频。


========================================================
需要准备什么？
========================================================

硬件部分：

1.        摄影棚：墙和地面铺上绿布，5m*5m。（图二）

2.        摄像机：两种方案
a)        低成本：是webcamera，例如Logitech Webcam C930e
b)        高成本：专业摄像机+视频采集卡。例如Sony A7S II

3.        高性能主机：因为同时需要运行Vive游戏和录像，对配置要求较高。显卡推荐980ti，CPU推荐i7-4790以上。

4.        第三个手柄：目前Vive只能连接两个无线手柄，所以需要用一个长一点的USB线来连接第三个手柄。

5.        4K屏幕：为了合成1080p视频，屏幕需要能放得下多个1080p窗口。


软件部分：

1.        Unity3D + SteamVR：目前只有Unity3D制作的程序支持MR模式。只要游戏用的SteamVR版本是1.0.8或以上，就可以用于拍摄。否则需要开发商升级SteamVR后再发布一个版本。
2.        OBS或者其他视频合成软件。


========================================================
如何拍摄
========================================================

1. 为游戏开启MR模式
2. 安装摄像机和第三个手柄
3. 调整视频合成软件

下面详细解释。

1. 为游戏开启MR模式
a)  Unity SteamVR插件版本升级到v1.0.8或以上
b)  在游戏的根目录（如果用的是Unity3D工程而不是发而好的游戏，就放在工程根目录）下加上externalcamera.cfg新建一个空白文件，重命名为externalcamera.cfg，在其中加上如下内容：

游客，如果您要查看本帖隐藏内容请回复

LIUXINWEIDE

谢谢分享，非常感谢~