查看: 1620|回复: 2

如何用HTC Vive拍摄Mixed Reality视频(绿幕技术)

  [复制链接]

811

主题

854

帖子

3488

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
3488

最佳新人

发表于 2018-12-7 08:49:06 | 显示全部楼层 |阅读模式
本文仅作研究学习参考。因为我是UE4党。所以没有实践这篇文章。有任何问题欢迎在此贴讨论交流,有实现效果的和如何解决各种问题欢迎回帖赐教。
gsdf0181207085155.jpg

412320181207085144.jpg

也许你是一位开发者,想为自己的Vive游戏制作酷炫的宣传片;或者你是游戏主播,想为观众带来高品质的VR直播体验;也许你是一位VR和爱好者。无论如何,如果你对Mixed Reality感兴趣,请继续看下去。本文将介绍如何用HTC Vive拍摄高品质MR视频。


========================================================
什么是Mixed Reality视频?
========================================================

Mixed Reality视频就是VR影像+人的影像合成的视频。相比普通方法录制的VR视频,Mixed
Reality视频更适合用来做游戏直播和制作宣传视频。

以上这个视频就是来自一个Mixed Reality视频,大家可看到本文图一画面中的草地、狗、木棍都是VR游戏的画面,而人的影像是由一台摄像机实时捕捉的。因为人的影像摆放的位置和玩家在虚拟场景中的位置一样,摄像机拍摄画面中手的位置和游戏画面中手的位置是完全一样的,看起来就像体验者走进了一个虚拟世界,并用双手直接和环境互动。


========================================================
MR视频的原理
========================================================

普通的VR视频是将体验者左眼看到的影像录制下来。这样的第一人称视角录制带来两个问题,一是因为视角原因看不到体验者的全身,二是即使低头看到了,也只是看到虚拟的模型,甚至多数时候只能看到两只漂浮的手。要解决这两个问题。就需要

1. 切换成第三人称视角
2. 将体验者的影像也录制下来
3. 将游戏画面和摄像机影像合成

下面逐个解释如何实现。

1. 切换成第三人称视角

普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼,分别生成左右眼的画面传给HMD,然后将其中一只眼的画面复制到PC屏幕上。为了让屏幕上产生第三人称视角的游戏画面,就需要在和玩家一定距离外摆放一个额外的虚拟camera,并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复刻,而是由这个额外的camera单独绘制的(会增加一定的渲染负担)。

2. 将体验者的影像录制下来

因为我们只需要玩家本人的影像,并不需要看到房间里的桌子、墙壁等背景。所以要用到抠
像技术。在录制的时候,让体验者在一个周围是绿布(或者其他颜色)的房间里,然后用一个摄像机(webcamera或者专业的摄像机)录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉,就只剩下人的影像了。

3. 将游戏画面和摄像机影像合成

在1.和2.中我分别提到了一个虚拟摄像机和一个真实的摄像机。为了让他们拍到的影像能合
成起来,需要保证他们的视角是一样的。也就是说,假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角,那么要保正现实中摄像机在体验者左前方2米,朝向和体验者朝向成120度角。这就需要借助第三个手柄来定位和定向。

将额外的手柄绑在摄像机上,或者将手柄和摄像机绑在同一个位置上,原则是确保它们相对
位置、相对朝向是不变的。这样当现实中摄像机移动时,游戏通过感知手柄的位置变化,也相应地改变虚拟摄像机的位置。然后,把游戏中的物体按位置分为两类,一类是前景,位置在摄像机到玩家之间,另一类是背景,位置在玩家之后。最后把背景、体验者影像、前景合成成视频。


========================================================
需要准备什么?
========================================================

硬件部分:

1.        摄影棚:墙和地面铺上绿布,5m*5m。(图二)

2.        摄像机:两种方案
a)        低成本:是webcamera,例如Logitech Webcam C930e
b)        高成本:专业摄像机+视频采集卡。例如Sony A7S II

3.        高性能主机:因为同时需要运行Vive游戏和录像,对配置要求较高。显卡推荐980ti,CPU推荐i7-4790以上。

4.        第三个手柄:目前Vive只能连接两个无线手柄,所以需要用一个长一点的USB线来连接第三个手柄。

5.        4K屏幕:为了合成1080p视频,屏幕需要能放得下多个1080p窗口。


软件部分:

1.        Unity3D + SteamVR:目前只有Unity3D制作的程序支持MR模式。只要游戏用的SteamVR版本是1.0.8或以上,就可以用于拍摄。否则需要开发商升级SteamVR后再发布一个版本。
2.        OBS或者其他视频合成软件。


========================================================
如何拍摄
========================================================

1. 为游戏开启MR模式
2. 安装摄像机和第三个手柄
3. 调整视频合成软件

下面详细解释。

1. 为游戏开启MR模式
a)  Unity SteamVR插件版本升级到v1.0.8或以上
b)  在游戏的根目录(如果用的是Unity3D工程而不是发而好的游戏,就放在工程根目录)下加上externalcamera.cfg新建一个空白文件,重命名为externalcamera.cfg,在其中加上如下内容:

游客,如果您要查看本帖隐藏内容请回复




关注galaxixv,官方微信公众号。
GALAXIX UE4 讨论学习群 140439020
UE4精英学习群  12762592
UNITY学习群   194092348

0

主题

11

帖子

14

积分

新手上路

Rank: 1

积分
14
发表于 2019-7-10 17:29:31 | 显示全部楼层
谢谢分享,非常感谢~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


快速回复 返回顶部 返回列表