アイドルGEEKERS VR特集に出演しました
2016/08/01 でしたが、「アイドルGEEKERS」というWeb配信の番組に出演させて頂きました。
アイドルGEKERSはひょんなことからお知り合いになったパーソナリティの桐島ローランドさんとGEEK見習い女子、そしてガチGEEKがトークする番組でYoutubeチャンネルから配信されています。
そして今回出演したのは「最新VR特集」です。
ひとりだと心細いので、お友達のMPV 初音 玲さん、泉本 優輝さんも誘って遊びに行ってきました！
いやあーなんか、すっごく楽しかったです！！
また遊びに行きたいっす！
KINECTを使ったMR体験、HoloLensが2台も来ちゃっていいの？HTC VIVEでMRもやっちゃった超豪華スペシャルでした。
ダイジェスト記事やダイジェスト映像が公開されているのでよかったらぜひ。
コレが未来！ 話題のVRが続々登場!!「アイドルGEEKERS最新VR特特集」おさらいレポート – アイドルGEEKERS
KINECTでMixedReality映像を楽しめる「きゃらみらー」
ぼくがKINECTで色々と実験をする過程で生まれてきたのが「きゃらみらー」という製品です。
KINECTで変身というと実に王道なKINECTコンテンツなのですが、テクニカル的には下記のチャレンジをしています。
- KINECTのdepthデータを使った空間センシング
- 空間センシングデータとCGのZバッファのリアルタイムミキシング
- CGとリアル物体のZ軸上での入り繰りが考慮されたカラー映像出力
- 30FPS（実際には60～120FPS程度で動作）での高速処理
開発はUnityで行っており、depthのミキシングなどはGPUのPixel Shader内で行っているのでそれほど難しいものではありませんでした。
ネックとなってくるのはメインメモリにあるKINECTから入力されたカラーデータ、depthデータ、カラーとdepthのマッピングデータをGPUメモリへ転送する負荷です。
単純に処理をすると上記大量のデータを毎フレーム転送するため、フレーム処理落ちが発生してきます。
そこで、毎フレーム更新する必要がない、少し更新が遅れても体験上違和感のない情報については1フレームあたりにGPUへ転送するデータ量を量を一括バッファ送信から8分の1サイズまで任意選択が可能となる実装としました。
例えば4分の1サイズとした場合は、最初のフレームでバッファの最初の4分の1のところまで転送。2フレーム目では4分の１から4分の２のところまで転送、というように4フレームに渡ってデータを送信します。
バッファ転送の分割量はアプリ起動中でも動的に変えられるので「ちょっともたついてる？」と思ったら誰にも気づかれずに調整することができるようになっています。
KINECTを用いたMixed Realityの考え方については、以前会津大学で講義を行ったスライドがありますのでよかったらぜひ。
そうそう、無理やりOculusにKINECT V2を搭載して動けるKINECT MRも試作してみました。重量的に重くてあんまり動けないです(笑)
