読者です 読者をやめる 読者になる 読者になる

つくるの大好き。

つくるのが大好きな人の記録。

「WebVRとか文化祭」でHoloLensアプリの開発方法を話しました

イベントレポート Unity HoloLens RealSense AR VR MR

2016年11月23日は「Web VRとか文化祭(html5j Webプラットフォーム部スピンアウト企画)」で登壇し、HoloLensアプリ開発の最初の一歩としてユニティちゃんを呼び出す方法をご紹介しました。

eventdots.jp

 

全くWebでどうこうする話ではなく、Web VRとかの「とか」領域の話ですが、GitHubに公開されているツールキットにアクセスするのにWebブラウザを使いますし、きっとそのページはHTML5で記述されていると思うのであながち無関係ではないはずです!

 

会場は渋谷のdots.さん。
とても綺麗なスペースで気分もあがります。

こちらに来るのは「Unity Rendering Wizard の集い」以来ですね。

www.systemfriend.co.jp

f:id:peugeot-106-s16:20161218215732j:plain

f:id:peugeot-106-s16:20161218215832j:plain

f:id:peugeot-106-s16:20161218215858j:plain

 

登壇資料はこちらで公開していますのでご参照ください。

www.slideshare.net

シンプルなHoloLensアプリはUnityを利用すれば簡単に作ることができます。
ただやはり実用的であったり少し高度なことに足を踏み込むと広範囲な経験とスキルが求められます。

f:id:peugeot-106-s16:20161218220410p:plain

ぜひこの資料をもとにホログラフィック・アプリケーションを開発する人が増えてくれると嬉しく思います。
プロジェクト一式は下記からダウンロード可能です。

GitHub - SystemFriend/HoloLensUnityChan

展示

今回は展示もありました。
HoloLens実機は体験会とする意図はなかったので静態展示です。

f:id:peugeot-106-s16:20161218220750j:plain

その他もあのSurface Dialが来ていたり

f:id:peugeot-106-s16:20161218220838j:plain

上海問屋版のIntel RealSense SR300Intel Joule上で動いているデモなどなど、なかなかレアなものが見られました!

f:id:peugeot-106-s16:20161218221226j:plain

 

なお、その他の部分も網羅されたすてきなイベントレポートがCodeIQさんからリリースされていますのでこちらもぜひ。

codeiq.jp

Twitterまとめもございます。

togetter.com

 

この「Web VRとか文化祭」、年明けにもあるようでそれって寒中文化祭っすかという思いはありつつそちらはもっと盛大らしいです。
どうもまた喋らせてもらえるとか貰えないとかということですのでまたホロネタを仕込んでいこうと思っています。

楽しい文化祭に参加させて頂きありがとうございました!

NUI(Natural User Interface)についての考察

イベントレポート その他 KINECT

最近あまりNUI(Natural User Interface)っていう言葉を聞かなくなってきた気がします。
一時はCUI,GUIに続く次世代の入力インターフェイスとしてジェスチャー入力が近未来感とともにもてはやされていた気がします。

しきりに耳にしたワードがこれ。

「マイノリティリポートの世界がいよいよやってきた」

http://www.jikanryoko.com/images/mino.jpg

 

 

でもいざ多くの人が使ってみて薄々気づいてしまったんだと思います。

30秒も腕を上げているとすごい疲れるし、思ったように操作できないということに。

f:id:peugeot-106-s16:20161212221154j:plain

f:id:peugeot-106-s16:20161212221350j:plain

えw タッチすればよくね?ということに。

 

ぼくもKINECTを触り始めてもう6年になりますが、最初にチーム制作したAIR SHODOUを通して、これは達人にしか扱えないのでは?という事に早くから気づいていました。

でも一向にマイノリティポートみたいなことをやりたいというオーダーは後を絶ちません(笑)

ぼくはこれを「マイノリティリポート症候群」と呼んでいます。
またこのようなインターフェイスのコンテンツを「ゴリラ腕養成ギブス」と呼ぶ友人もいます。

要は、人間というのは空中にある見えないものを正確に操作するようにはできていない生き物だと思っています。
指輪型デバイスのような物理スイッチャーを使っても依然それは難しいものです。


なのでジェスチャーUIを使いたいという要望に対しては企画段階からしっかりお断りするか、老弱男女、人種を超えてだれでも間違えないものに限定するか、ブースの造作や物理ボタンやタッチパネルで補助するような提案に落とし込むよう誘導すべきです。
悲劇はそれが決定事項として降りてくるようなお仕事でそれはやめたほうがいいですw

このDUVETICAのヴァーチャルフィッティングのように頭上のモヤモヤを触るというとても簡単で直感的なスイッチでさえ、観察していると数十人に一人程度の割合ではありますが画面のモヤモヤをタッチしにゆく人がいるのです。
これは結構衝撃的でとても勉強になりました。

youtu.be

 

このような経験からNUIってなんだろうって深く考えるようになりました。
必然性もないのに画面から距離をとって立つ必要があり、ジェスチャー操作のしかたが説明書きとして貼ってあり、それに従わなければ操作できないUIのどこがNaturalなのだろうと。

Natural = 自然 = 特別なことをしなくても使える

ここまで来ないとキーボードやマウス、タッチパネルという便利なインターフェイスに肩を並べることはできないと思います。

 

そういう経緯で生まれたのが「きゃらみらー」です。

開発コンセプトとゴールは

「一切の説明をせず置くだけで子どもたちが狂ったように遊びはじめるその様を後ろからビールでも飲みながらほくそえみつつ楽しむ」

これはかなり成功したので満足しています。

機能追加をするときは厳選して上記コンセプトに反しないものだけを少しだけ足すようにしています。

ジェスチャー入力としては「そこに立つ」というのが最もシンプルで世界中誰でも間違えずにできるものでそれ以上はよほど自然なものでないと難しいなと思っています。

また変な誘導を作らないことで子どもたちはそこで例えばいかにセンサーに検知されず近くまで近よれるかを競うだるまさんが転んだのような新しい遊び方を編み出してきたり、場所を分け合ってみんなで楽しく遊ぶルールを自分たちで作るような社会性を発揮したりと、観ているとほんと面白いです。

youtu.be

 

というわけで、2016年11月20日、横浜市金沢区役所のCode for Japan Summitで展示した「きゃらみらー」も置いただけでとても盛り上がっていました!
(この記事は実はイベントレポートでしたww)

f:id:peugeot-106-s16:20161212224515j:plain

f:id:peugeot-106-s16:20161212224552j:plain

川崎市の聾学校できゃらみらーを展示

イベントレポート KINECT

2016年11月19日は、川崎市立聾学校の「かしわ祭」に参加しました。

f:id:peugeot-106-s16:20161207220059j:plain

この学校の隣には富士通本店・川崎工場があり、富士通さんはこのかしわ祭に以前から参加しお祭りを盛り上げてきたそうです。

f:id:peugeot-106-s16:20161207220254j:plain

この川崎工場ではさくらの花びらの舞う春にもイベントがあり、KINECT変身コンテンツ「きゃらみらー」を展示させてもらいました。

www.systemfriend.co.jp

この時の子どもたちの狂喜乱舞ぶりを見た富士通総務部の方からのリクエストがありこのかしわ祭での展示が実現しました。

というわけで、学校内に富士通ブースができました。

f:id:peugeot-106-s16:20161207220716j:plain

そして富士通ジャンパーをお借りして富士通の人になりましたw

f:id:peugeot-106-s16:20161207220901j:plain

このイベントのために富士通の女子バスケットボールチーム「レッドウェーブ」のマスコットキャラクター「レッディ」もきゃらみらーにやってきました。

レッディ紹介 レッドウェーブ : 富士通

youtu.be

そして、体験中の記念撮影をする機能を設け、撮影結果は自動的にフォトカードとしてプリントアウトされます。
体験した皆さんにおみやげとしてたくさん持って帰っていただけました。

f:id:peugeot-106-s16:20161207221233j:plain

そしてブースにはほかにも音声を瞬時に文字に変換してくれる「LiveTalk」も。
LiveTalkを使えば、手話がわからなくても会話を文字として耳の不自由な子どもたちに伝えることができます。

f:id:peugeot-106-s16:20161207221452j:plain

さらに、音を髪の毛への振動や光で伝える「Ontenna」も。

f:id:peugeot-106-s16:20161207221546j:plain

このようなテクノロジーを使って耳の不自由な子どもたちとコミュニケーションを図るツールたちの活躍でもりあがりましたね!

f:id:peugeot-106-s16:20161207221810j:plain

f:id:peugeot-106-s16:20161207221937p:plain

さらになんと帝国軍までサプライズで遊びに来てくれました!
これはビックリ!めちゃめちゃテンション上がりました。

f:id:peugeot-106-s16:20161207222038j:plain

世界規模のコスチューミング団体「The 501st Legion(第501軍団)」の日本支部からボランティアで来られていたんですね!

Japanese Garrison - Japan Chapter of the 501st Legion (第501軍団 日本部隊)

 

というわけで楽しかったかしわ祭、宇宙を超えた記念写真も撮って貰えました!
そしてなにより自分が作ったアトラクションでたくさんの子どもたちが楽しんでくれて本当によかったです。

f:id:peugeot-106-s16:20161207222409j:plain

NVIDIA GeForce GTX 950 搭載BRIXを試してみました

ハードウェア GPU RealSense

NVIDIA GeForce GTX 950 を搭載したベアボーンキット "GB-BNi7G4-950 (rev. 1.0) " をお借りすることができましたので検証を行いました。

f:id:peugeot-106-s16:20161207113955j:plain

スペックは下記の通りです。

  • 第6世代 Intel® Core™ プロセッサー搭載
  • ウルトラコンパクト設計 (300 x 230 x 30mm)
  • グラフィックス Nvidia GTX950搭載
  • 2 x M.2 SSD (2280) スロット
  • 2 x SO-DIMM DDR4 スロット (2133 MHz)
  • Intel® IEEE 802.11 ac, Dual Band Wi-Fi & Bluetooth 4.2 NGFF M.2 カード搭載
  • 2 x USB3.1 (1* USB Type-C™)
  • 3 x USB 3.0
  • 4 x Mini DP
  • Intel Gigabit Lan
  • ヘッドフォンとマイク 端子搭載

www.gigabyte.jp

 

mini-displayポートが4つあり、4K映像を4枚ディスプレイに出力することが可能です。

f:id:peugeot-106-s16:20161207114034j:plain

その他のポートはこのように実用に十分なものが揃っています。

f:id:peugeot-106-s16:20161207114131j:plain

Wi-Fiについては外部アンテナを接続するかたちとなります。

f:id:peugeot-106-s16:20161207114519j:plain

 

セットアップ

ベアボーンキットなので、SSDとメモリは別途用意し、スロットに差す必要があります。

f:id:peugeot-106-s16:20161207114649j:plain

 

今回はWindows10をセットアップしました。
Windows10メディア作成ツールでセットアップ用のUSBフラッシュメモリを作成し、セットアップを行いました。

f:id:peugeot-106-s16:20161207114944j:plain

ドライバー類はディスクで提供されており、セットアッププログラムを起動すれば途中に再起動を挟みつつ自動的にセットアップが行われました。

f:id:peugeot-106-s16:20161207115110j:plain

 

パフォーマンステスト

先回お借りしたキットではGPUがCPUインテグレートだったためぼくの用途では思ったほどパフォーマンスが出なかったのですが、今回はどうでしょう。

www.systemfriend.co.jp

 

きゃらみらーを起動してみました。

youtu.be

全く問題ないですね!

Unity Editor上でProfilingした結果です。

f:id:peugeot-106-s16:20161207115749p:plain

なぜかUnityEditorで実行するとキャラクターがカクついたのですがFPS的には問題ないようです。exe実行では体験上の問題は全くありませんでした。
Unity5.5を利用したのでもしかしたらEditorになんらかの問題があるのかもしれないと思いつつ、深く追ってはいません。

次に前回検証したIntel RealSense R200のDepthに対して独自ボーン認識&映像データを激しくファイル出力をするプログラムを検証してました。
前回は22FPS程度までしかパフォーマンスが出ませんでした。

http://www.systemfriend.co.jp/files/u/blog/maemoto/gigabyte05.png

対する今回は余裕しゃくしゃくです。

f:id:peugeot-106-s16:20161207120405j:plain

SSDの恩恵でディスクI/Oもとても低負荷で推移しています。

f:id:peugeot-106-s16:20161207120636p:plain

 

というわけで、この新しいBRIX。
グラフィックを多用する方にはオススメの機体ではないかと思います。

"Code for Japan Summit 2016 前夜祭 with TMCN" でLTしました。

AR VR MR イベントレポート

2016年11月18日は「Code for Japan Summit 2016 前夜祭 with TMCN」が渋谷のFabCafe Tokyoで開催されました。

cfjsummit2016festival.peatix.com

 

Code for JAPAN(以下CfJ)は市民の活動でよりよい社会を作っていくというシビックテックのコミュニティです。
TMCNでは昨年のCfJサミットでも子ども向けワークショップやテクノロジーを使った展示、夜のパーティの盛り上げなどをさせて頂き楽しかったです。

2015/11/07 Code for Japan Sumit x TMCNイベント | ソフトウェア開発の株式会社システムフレンド

 

それでは本編前の盛り上げパーティ「前夜祭」のテイストをさくっと振り返り。

f:id:peugeot-106-s16:20161205000952j:plain

 

とにかく気になったのがこの最新デバイス。
"UKIWA"っていうらしいです。

f:id:peugeot-106-s16:20161205001259j:plain

f:id:peugeot-106-s16:20161205001307j:plain

f:id:peugeot-106-s16:20161205001316j:plain

みんなこの最新のウェアラブルバイスを装着して登壇するのがCfJ Summitのルール。
ぼくも装着してLTしましたが、心地よいホールド感、滑っても守ってくれそうな包まれ感、ぎゅっとできる安心感など、これからのプレゼンテーションには必須な神デバイスだと思いました。

こんなLTをさせてもらいました。

www.slideshare.net

 

今年はVR元年とも言われていますので、身近になったVRやMR技術と地図やオープンデータを絡めたりすると新しいシビックテックなアプリができそうな気がしますね!
なんかいい感じにまとめたぞw

 

あとはオフィシャルサイトの方にもレポート記事が掲載されているので詳しくはこちらもぜひご覧ください。

medium.com

Twitterまとめもございます。

togetter.com

 

というわけでCfJ Summit前夜祭、楽しいお祭りでした!

f:id:peugeot-106-s16:20161205002853j:plain

"UKIWA"は使わない時はすごく小さくできるところもすごい!
さすが最新!

日立エルジーデータストレージさんのTOFセンサーを試してみた

ハードウェア Sensor

堰を切ったようにいろんなガジェット、デバイスの試用をしています(笑)

さて、今日は日立エルジーデータストレージさんからTOFセンサーを(かなり前に)貸していただいたので接続レポートです。

f:id:peugeot-106-s16:20161201131928j:plain

このセンサーですが、わかりやすく言うとKINECTのように物の距離を測れるDepthセンサーです。
大きな特徴はLAN接続でPCと繋がる、複数台でもひとつのPCでコントロールができる。というところです。

DepthセンサーといえばKINECTが高性能かつ安価で使いやすいですが、KINECTには

  • USBケーブルの延長がほぼ不可
  • 独立した電源ケーブルから電源供給が必要
  • 一つのPCに1台しかつながらない

という制限もあります。

 

youtu.be

例えば上の動画のような天井の高いスペースで、天井から床に向かって人物をトラッキングし、床に楽しいエフェクトをプロジェクションするようなインタラクティブコンテンツを作る場合、KINECTでは短いUSBしか使えないので、PCを天井に置く?そのPCをどうやって使う?メンテナンスどうする?という頭の痛い問題が常に付きまといます。

その点LAN接続のセンサーであれば余裕をもってPCのところまで線を引っ張ってくることができコンテンツ配置の自由度が上がります。
(ちなみに上の動画は普通のWEBカメラを赤外線カメラに改造したものを使い、USB2.0延長20メートルぐらいでなんとかPCへ入力しています)

というわけで、インタラクティブコンテンツを作られる方にとってこのTOFセンサーはかなり素敵な製品ではないかと思います。

なお本来は店内の人の動線調査等に使うようです。

www.value-press.com

 

接続方法

このTOFセンサーはLAN接続ですが電源供給がされるPoE+対応のハブが必要です。

おすすめはこちら

 

item.rakuten.co.jp

PoEハブの電源プラグはアース付き三穴タイプなっているので二穴への変換プラグも用意しました。

 

f:id:peugeot-106-s16:20161201134105j:plain

PC - LAN - PoEハブ - ToFセンサー という接続形態としました。

 

ToFセンサーはデフォルトでは 192.168.0.のサブネットに接続されます。
http://IPアドレス/cgi-bin/network_setting
から設定変更が可能で、僕の場合はサブネットが異なる環境だったのでこちらで変更しました。

f:id:peugeot-106-s16:20161201134531p:plain

 

サンプルプログラムを起動

今回SDKとサンプルプログラムのご提供も頂きました。
現状SDKWindows7以降のVisual C++用、x86とx64のものが用意されています。
ライブラリは素直な感じで使いやすそうです。

コンパイル済みのバイナリも提供されているのでそちらを起動して動作確認をすることが可能です。

プログラムからTOFセンサーへ接続するには下記の情報が必要です。

  1. センサーID
  2. MACアドレス
  3. IPアドレス

3は自分で設定するのでわかると思いますが、1や2はハードウェアに張り付けられているQRコードを読み取るとわかるようになっています。

f:id:peugeot-106-s16:20161201135533j:plain

これらのパラメータを指定してやり、接続に成功するとDepthデータや赤外線映像が取得できるようになります。

https://youtu.be/3GDydeh4UTkyoutu.be

youtu.be

 

まとめ

軽くテストした結果を記載しましたが、大規模インタラクティブコンテンツや3Dスキャンなど使いどころによっては大きなメリットがあるセンサーだと思いました。

B向けというところが強いのでコンシューマーが使うには少しハードルがあるかもしれませんが、Unityプラグインなどを作ってクリエイターが触りやすい環境を作ってあげると喜ばれるだろうなと思いました。

引き続きSDK方面を掘っていきたいと思っています。

Makey Makeyで遊んでみた

ハードウェア Sensor

ちょっと簡単に物体へのタッチをPCで検出したいなというお仕事があって実現方法を考えるのにMakey Makeyを参考に貸してもらいました。

makeymakey.com

ちょっと余裕が出てきたので(今年は既に気分はお正月)詳しく遊んでみました!

Makey Makeyは端子で通電を検知するとPCにキーやマウスクリックを送るもので、PCからは入力デバイスとして見えるようです。
アプリ側は単純にキーやマウスの入力に反応するようなアプリを作ればなんでもできるというわけです。

多機能なMakey Makey Classicと、よりシンプルな Makey Makey Goが発売されています。

f:id:peugeot-106-s16:20161130175148j:plain

f:id:peugeot-106-s16:20161130175250j:plain

端子の先を触れば(Classicはアースが必要なので2点、Goはアース不要なので1点)通電して音が鳴ったりいろいろできて楽しいです。

身近にコインしか使えるものがなかったのですが、野菜とかお肉とかお魚とかごはんとかなんでも楽器にできる!

f:id:peugeot-106-s16:20161130175632j:plain

結婚指輪はアースとしてもとても役立ちます。

f:id:peugeot-106-s16:20161130175656j:plain

 

サンプルアプリで色々演奏してみました。
楽しいし、ちょっとしたセンシングにも使えそうなのでよかったらぜひ!

 

youtu.be

youtu.be

youtu.be