焊炬厂家
免费服务热线

Free service

hotline

010-00000000
焊炬厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

uSens技术工程师吕希鸣VR手势交互应用开发案例分享

发布时间:2021-01-20 07:23:41 阅读: 来源:焊炬厂家

11月21日下午,由蛮牛精心打造的开发者线下技术交流平台,第四届蛮牛杯思享汇系列活动(北京站)在金长安大厦圆满结束。来自蛮牛社区的游戏开发者、VR行业、游戏产业以及媒体记者等超120人。现场异常火爆,座无虚席,学习交流氛围浓郁。

会上,uSens技术工程师吕希鸣同学与大家分享的主题是“VR手势交互应用开发案例分享”。主要讲的是在虚拟现实和增强现实中,用手势与虚拟世界进行互动。

以下为演讲实录:

大家好,刚才活动开始前有一段我们的联播视频,里面的内容,有虚拟现实,也有增强现实,但是那些演示里面都有一些新奇的地方,很多Sample是用手势来操作,这也是我今天要讲的内容,在虚拟现实和增强现实中用三维手势进行交互操作。

我们公司是一家美国的创业公司,在中国有三个分部,北京,杭州,还有深圳,我是来自杭州。我们做三维手势是为了解决交互问题,最能发挥用途的地方还是在VR移动应用中,VR头盔上的输入问题一直是个难题,所以我们要来解决这个难题。

我们看图上,鼠标是一个好东西,在PC上几乎是无可取代的,然后,手机上有触摸屏,也是无可取代的,它们输入都很灵活,然后人们用VR头盔时就会很郁闷,像图片上谷歌这个Cardboard,它有一个磁铁,提供了类似按钮的功能,只能做一些简单的操作,人们玩一段时间以后会很不爽,说“我的手在哪里”,甚至会想用手去触摸一些虚拟的物体,所以我们下面这个头盔,是我们明年要推出的一款产品,戴上它是可以用手势来输入和操作的。

这个头盔的前端有我们的硬件,是我们开发的一个板子,我们起名为Fingo,顾名思义就是手指运动的意思,它的核心部分是两个红外相机,它们会扫描到手的图像,然后捕捉到手的位置和运动,这用的是图像处理方法,很多高深复杂的算法。这些算法我们已经烧录到板子上的芯片里了,是我们硬件的一部分。

好,有了硬件就要有SDK,有了SDK才能拿来做应用,来看一下我们的SDK是什么样的。它现在支持Windows和Android平台。在Windows平台里,功能被封装成一个动态库(l),用C++/C#/都可以访问,Unity中写写脚本也能调用,而且它在编辑器里也能运行,所以调试程序会很方便。然后是Android,有一个底层,是底层部分,对应的有一个r,可以用Java来编写Android游戏,Unity里也是一样,写写脚本,把这两个库加进去再打包出Android游戏。

我们看一下SDK里有什么接口。我这是一个而很抽象的图,只把主要内容放上来,主要是提供了一个设备对象,它会从设备里取出我们的手指信息,它的刷新率一秒钟差不多是60帧,能满足游戏的要求。所有的手指信息是在一个TipInfoList里,可以理解为是数组,里面包含了所有手指的信息,每个手指的信息是包含了三个内容,手指编号,手指位置,手指尖的指向,有了这些信息,你们就可以好好发挥,做你们需要的功能。

有人会问手指编号是干什么用的,它是为了识别出手指的顺序,系统不是按一个特定顺序得到手指的,就是每次数组里的信息顺序不一样,有了这样的ID,就识别出哪一个是食指,哪一个是中指,这样的信息。

后面我们会展示一些例子,这个是一个很简单的例子,它是一个SDK的入门例子,我们会把它放到发布的SDK里面去,你们学习时可以看到,它用到两个脚本,一个FingoDeviceCtrl是SDK里面已经写好的,下面FingoHandCtrl是Sample自己的代码,把这两个脚本绑定到右边这个场景物体上。Sample里需要提供五个手指的模型,我们就用五个小球来代替了,五个小球已经在FingoHand下面了,在那个数组里一一绑定,一个简单的例子就完成了。

这是另外一个例子,打气球的小游戏,这里是一段视频,是把刚才那个例子升级了一下,多加了点球,我们现在播放一下。现在就编程了一个打球的小游戏,可以用五个手指来触碰这些球,这里双目显示是用的Cardboard接口。

我们还提供了一个稍微复杂一点的例子,这是一个传统街机的打地鼠游戏,我们希望有手势来敲打可爱的老鼠,而不是用鼠标去点它。这个游戏其它部分显得复杂,但是手势部分还是用的我们这个设备脚本,把它绑定上去,然后用手势来操作游戏。我们爱看一下它的两个视频,这个是从视野里录出来的,有一个简单的内景,这把锤子现在也i警示用手指来操作了。这边播放的是我从外面录的,也是一样,演示效果会更明显。这个游戏的手势很简单,只用到了一个手指,因为它就控制一个棒槌,这三个Sample在展台上有,三个例子大家都可以去体验一下。

好了,我将的就是这些,明年我们新产品上市,同步的也会发布这个SDK,你们可以去体验一下,希望能有技术交流,多和我们uSens联系。谢谢大家!

英雄的战争手游

火炬之光安卓版

三生三世十里桃花安卓版

天问