Intel Euclid Developer Kit を試してみた
Intel Euclid Developer Kitは、5月31日に発売になったIntel RealSenseカメラとAtom プロセッサ、及びWiFI等を内蔵したスタンドアロン動作するデバイスです。
非常にロボットの目、ロボットの頭脳となることを意識したパッケージングになっていて、RealSenseカメラはZR300相当が装備されているようです。
環境を認識しながら自立的に動く何かが作れそうな気がしますねw
開発者向けの情報はこちらに集約されています。
ではさっそく試してみましょう!
開封
Euclidは本体と2種類のパワーサプライ用アタッチメントがあります。
一つがバッテリーパック、もう一つがUSBからパワー供給を行えるアタッチメントパックです。
用途に応じてどちらを使うか選択します。
あと、画面を持たないスタンドアロンデバイスのなので喋ります。
ライセンス条項なんかもどんどん喋ります。
声がロボット感があっていい感じw
なお、これは内部で動作しているUbuntuの設定から”Screen Reader”をOFFにすれば黙ります。
初期設定
Euclidと最初に接続するにはPC等からEuclid自体がアクセスポイントとなっているWiFiに接続し、Webインターフェイスのポータル画面にアクセスします。
このポータル画面から利用する機能ノードをまとめたシナリオを起動/終了できます。
またWiFi設定をここから行えるので、普段利用しているWiFiにEuclidを参加させることもできます。
ぼくはここで普段利用しているネットワークにEuclidを参加させました。
以後EuclidへのアクセスはこのWebインターフェイス、VNC接続を利用したリモートデスクトップでのアクセスにより行います。(SSHも試していませんが可能なはず)
プリセットのシナリオを試してみる
前項で述べたシナリオを起動してみます。
今回はカラーカメラ、Depthカメラ、Person Trackingノードを利用する"PersonalViewを起動してみます。
そしてMonitorタブで各機能のRawデータを表示させるようにしてみると、各機能が正常に動作していることを確認できます。
独自のシナリオを作成する
さて、本当にやりたいのはここからですよね!
独自の機能ノードを作成するためにチュートリアルを紐解いてみましょう。
Euclidの機能ノードを作成するにはlinuxの知識とROSの知識が必要です。
開発作業自体はEuclid内にROSのワークスペースが準備されているので自家発電的に開発が可能ですよ。
では、Communityページの”Introduction To Euclid”を順を追ってすすめます。
ただこちらのチュートリアル、ノリはいいけどそのままですとすんなりいかない人が多そうです。
しかもPDFなのでコードのコピーとかしんどいですw
あとコマンド等の _ (アンダーバー)が抜けているところがかなりあるのでROSのコマンドらしきものはROS自体の情報を参照して誤りを正したうえで実行します。
一応Updateが入っているようですが、こちらも合わせて参照しながら進めると良いでしょう。
そしてぼくの方で実際に動作したソースコード、設定ファイル類をこちらに置いておきます。
また、カメラを起動するとパフォーマンスを喰うのでVNCサーバーがとてつもなく遅くなって操作不能になることも多いので、割といばらの道でしたw
ということで、きちんと動くとカメラ映像にOpenCVで色調変換のフィルタをかけた映像が、Ubuntu内でもWebインターフェイスでもモニターできるようになります。
まとめ
ということでEuclidを試してみました。
これまでWindowsやUnityでRealSenseを使ったアプリを作っていた方にはかなり世界観が違うのでとっつきにくいかもしれませんが、いまやRealSenseが主にフォーカスしているのはこのようなロボットの目となるような用途になってきているので当然の進化なのかもしれません。
スタンドアロン動作できるということはちょっと今までと違う使い方ができそうで夢が広がります。
やっぱり動くものに載せたいですね^^
de:code 2017 : Alex Kipmanと会えた!
de:code 2017 回想記 最終回です!
ごめんなさい、タイトルからしてもう結論がわかってしまっているのですがどうしてもこの感動を書き残しておきたくて(笑)
信じがたいことにこれまで第一回、第二回と書いてきましたがこれ全部同じ日の出来事です。
盆と正月がいっぺんに来たどころのスケールの小さな話ではないんです!
盆と正月がいっぺんに来、かつ宝くじの割といいのに当たり、かつハレー彗星がちょうどやってきたくらいの感じだと言っても過言ではないとぼく的には思うんです。
コミュニティへの最高のプレゼント
日本におけるHoloLensコミュニティ、HoloMagiciansのアクティブな活動は実に目を見張るものがありました。
日本でのHoloLens発売日、1月18日から僅か2週間後の2月2日には渋谷に80台以上のHoloLensが集合したイベント Tokyo HoloLens Meetup vol.1 が開催され、きっと世界最大数の端末が同時にシェアリングを行いました。
これはAlex Kipmanの目にも触れ、彼自身のTwitterからリツイートがなされました。
<3 <3 <3 https://t.co/H1usmRuJGS
— Alex Kipman (@akipman) 2017年2月2日
その後も例えば仙台は日本三景松島にてHoloLensを装着した一団が牡蠣を喰うというクレイジーな事象は海外からも注目を浴びました。
AR users at rest.
— Robert McGregor (@ID_R_McGregor) 2017年2月12日
One of the first photos I've seen with relaxed AR users, even the clunky first gen #HoloLens begins to look natural. https://t.co/rgo3VnJ0Nc
そしてその裏側では日本マイクロソフトの皆さんがAlex Kipman招致に向け交渉をしてくださっていたそうです。
そして密かにこのde:code 2017 展示エリアのクローズ時にコミュニティメンバーは”いいことがある”のである場所に集まるようにというお知らせを貰っていました。
それがなんとAlex Kipmanと直接会える機会!!
なんか当初予定よりたくさん人が集まっているようだけどみんなでお祝いだw
というわけで、Alexきたー!!
と思ったら、ぼくたちみんながホロ首掛けスタイルをしているのみたAlexはぼくもホロ持ってくるよ!とホテルの部屋にマイホロをとりに行ってしまいましたw
うおお、焦らすなあ!
そしてしばらくして、きたー!!
シリアルナンバー1番のホロをぼくたちと同じように首からかけてきてくれました!
レジェンドなのにすごくフレンドリー!
みんなと笑ってハグして、まるで昔からの友達、戦友のような感じでした。
そして、イスラエル出張帰りの友人が国旗ステッカーを貼ったぼくのホロにインストールされている、VRアーティスト せきぐちあいみ さんのVRアートを現実世界で見ることができるアプリを体験してくれました!
HoloLensの父、アレックスキップマン様…‼️ホロラボ前本さんが開発して下さってるアプリでVRアートをHoloLensで見てもらいました✨お褒め頂きました☺️ありがとうございました‼️Thankyou sooo much✨ #decode17 pic.twitter.com/ilBwPhBeMK
— せきぐちあいみAimiSekiguchi (@sekiguchiaimi) 2017年5月23日
やべーこのホロもう洗えねー。
あとなんとなんと、サインまで頂きました!やばい!
そしてみんなで記念撮影。
いやあ、もう凄すぎて完全に意味がわからないですね!
本当に日本に来てくれてありがとうございました!
また会いに行きたいです。
帰り道、東京タワーを眺めながら今日という日は何だったんだろうとぼんやりしてしまいました。
そして、まだ続きがあります。
de:code 2017が終了した次の日、、なんとAlex KipmanのTwitterアイコン、および背景がぼくたちの写真になっているではないですか!
本当に今回の体験を楽しんでくれたんだなと胸が熱くなりましたね!
本当に今回この機会を呼び寄せてくれたすべての皆さん、そしてAlexにありがとう。
もうそれしかないです。
というわけで、長きにわたってお送りしてきたde:code回想記、ようやく終了ですw
de:code 2017 : 展示とMVP RoundTable
de:code 2017 回想記 vol.2 です。
展示エリアでの二つの展示についてと夕方の特別なミーティング、「MVP Round Table」について!
"AR CAD Cloud"と"LAVIE SmartMirror" 2つの展示
例年de:codeの展示エリアには何かしら裏方で入っていますが、今回は2ブースにぼくがかかわりのある展示が行われました。
ひとつはソフトバンクコマース&サービスさん販売、ホロラボ開発の3D CADデータをHoloLensで現実空間で、しかも複数人で同時に見ることのできる「AR CAD Cloud(ARCC)」の展示です。
Unite 2017 Tokyo に続く展示です。こちらも良かったらご覧ください。
satoshi-maemoto.hatenablog.com
ソフトバンクC&Sさん、ホロラボ力を合わせてブース運営したくさんの方にARCCを体験頂きました。
このチームは本当に楽しいです!
その後も展示会での展示や企業向けセミナーの開催など様々な計画が実施/計画されていて製造業をはじめ多くの業界から注目を受けていることを感じています。
ぜひ買ってほしいですねw
もう一つはNECPCさんブースに展示されたLAVIE Smart Mirror。
元々RealSenseハッカソンで優勝を頂いた作品がベースになっています。
その後NECPCさんと一緒に様々なブラッシュアップを続け現在は店舗やスマートハウス等に実導入が始まる段階まできています。
satoshi-maemoto.hatenablog.com
今回de:code展示用にAzure Face APIと連携し、ミラーに映った方の性別と顔年齢に応じた商品レコメンドを行う機能を追加しています。
レコメンドされる商品は伊勢丹さんの商品で、商品画像ご提供は伊勢丹さんから受けています。
けっこう若めに判定してくれるすごいいいやつですw
こちらのミラーも注目を受け、楽しんでいただけたようです。
その他も楽しいアトラクションがたくさん。
Uniteでも設置されていたHoloLensを装着したプロフィール画像の撮影ブース。
あほ毛まできれいに抽出されるクロマキー技術には驚きです!
こちらもfacebookをはじめ、MVPプロフィール画像にもしました!
Uniteでは2ホロだったのですが、今回は3ホロです。
ホロを増やしていかないとインパクトが出せないループにはまっていますw
https://mvp.microsoft.com/en-us/PublicProfile/5002154
そのほか、Windows Mixed Reality HMDの静態展示もありました。
すっごく軽いです。びっくり!(モックではなく中身入ってます)
今年のde:code展示エリアはほんとHoloLensづくしでしたね!
HoloLens装着が当たり前になった時代のためのファッションをデザインされたゴスピさんと!
chloma x STYLY HMD collection [REAL ⇄ MR ⇄ VR]
あと、ファッションと言えばMicrosoft ベビー服もかわいくてオススメです^^
MVP Round Table
今回のde:codeでスペシャルな体験の一つにAI、VR、MR、Azure、そしてデータサイエンスに精通するMVP/RD受賞者と、Microsoft Corp.のSteven Guggenheimerさん、日本マイクロソフトの伊藤かつらさんによるラウンドテーブル(意見交換会?)が開催されました。
日本のMVPの代表数名の中に選んで頂けたことは驚きです!
今回のテーマはコミュニティ。
代表者はそれぞれ活発なコミュニティを運営/所属しています。
Steveに日本のコミュニティの現状と課題などがシェアされてゆきます。
SteveからはUSでのコミュニティの様子や日本でよりコミュニティが活発になるためのアドバイスなどのフィードバックを頂きました。
まだまだ日本では仕事とコミュニティは混ぜてはいけないもの、という考えが根強く残っているのだなと思いました。
でもコミュニティに活発にかかわる人は仕事以外にリソースを振り分けられる優秀な方たちが多く、そこで得られるものは仕事をより良いものにします。
その価値を理解する企業は今後どんどん増えていくでしょうね!
ぼくからもTMCNのソウルである、まずチアーズ(乾杯)でイベントを始めることの大切さをSteveにお伝えできましたw
終始にこやかな雰囲気のRoundTable。貴重な機会をありがとうございました!
イベント後お忙しいのにSteveはThanksメールを送ってくださいました。
MVP RoundTable with Steve Guggenheimer!! #theta360 - Spherical Image - RICOH THETA
さてさて、まだ続くde:code2017回想記。
次回最大のビックイベントにて最終回を迎える予定!!
de:code 2017 : はじまりそしてAlex Kipman登場!
ぼくの人生の中でも特別な特別な体験となった de:code 2017。
今思い出してもあれは本当だったんだろうかと思ってしまいます。
忘れないように書き記しておきましょう。
de:code 2017 day0 前夜祭
de:codeは前夜祭から始まります。夜の東京タワーを拝みつつプリンスパークタワーへ。
Developers Summit code your future ~エッジな技術領域とエンジニアのキャリアデザインについて語ろう~
豪華なビュッフェとともにステージではセッションが始まりました。
でも里帰り出産でしばらく会えなかったHoloMagiciansやTMCNのみなさんにお会いできてついついぼくらのテーブルだけ飲み会になってしまいましたw
いやあ、楽しかったw
ただただ楽しかったのでその他のことは割愛してサクッと本編へ。
de:code 2017 キーノート
今回ぼくは主に展示エリアに生息していましたが、キーノートはメイン会場で聴くことができました。
もちろんHoloLens着用なのでぼくの視界はこんな感じです。
Corporate Vice PresidentのSteve Guggenheimerが登場。
実はこの日夕方、Steveと日本のMVP代表者で対談を行う機会を頂いており、うわーめっちゃ外人さんやん、ごつい、やばーいって思いましたww
続いて、日本マイクロソフトの平野社長から日本におけるHoloLensコミュニティの盛り上がりについての言及があり、おなじみこの写真が大きくとりあげられてなんでしょう嬉しいやら照れくさいやらの、とりえずもう意味わかんないですねw
そしていよいよ!Alex Kipmanが登場です。
KINECTを開発し、やがてHoloLensを作ったレジェンドの登場です!
あなたのおかげでぼくたちはご飯食べられているんだよアレックス!!
Alexから直接MixdRealityの説明や今後の将来像についての話を聞けるとはなんて幸せなんだろう。もう耳かっぽじって聴きましたよ、ええ。
そして日本でのHoloLensの盛り上がりを本当に喜んでくれていました!
今まで見えなかった世界が見られる夢のデバイスHoloLensに熱狂しないわけないよ、生きているうちにこんなデバイスが手元にやってくるなんて信じられない。
作ってくれて本当にありがとう!!
中村薫さんのこのツイートから色々とあり得ないことが動き始めて目の前のことが実現したのです。感動しかないなあ。
<3 <3 <3 https://t.co/H1usmRuJGS
— Alex Kipman (@akipman) 2017年2月2日
その他詳しいレポートはこちら。
う~ん。この日はあまりにも色々なことがありすぎて一度には書ききれませんね。
ここでひとくくりし続きは次の投稿とします。
Unite2017 & "AR CAD Cloud" 展示
2017/5/8,9 はみんな大好きUnityの国内最大イベント「Unite 2017 Tokyo」が開催されました。
今回は参加者というポジションに加えて、展示エリアで3D CADデータが即座にHoloLensを介して目の前で立体として表示される「AR CAD Cloud」の展示ブース対応も行います。
Unite 2017 Tokyo
今年から東京国際フォーラムでの開催となりメインステージの大きさはすごいものがありました。スクリーンでっかーい!
そしてHoloLensの標準開発環境でもあるUnity。
昨年のUniteではまだHoloLens実機がなく、こじんまりとたまたまぼくが自分のPCにインストールしてた HoloLensエミュレーター展示に留まっていましたが、今年はどんどどーん!です!
↓昨年の様子
マイクロソフト エヴァンジェリスト 高橋忍さんの公式HoloLensセッションも大きな会場で満員でした。
HoloLensへの注目度はかなりものもだと感じました。
また会場にはちらほらとHoloLens首掛けスタイルで歩いている見知らぬ方々も。
まだまだHoloMagiciansでお会いしていない隠れホロレンジャーさんがたくさんおられるんだな。
Unite Party
unite2017tokyoparty.peatix.com
day1終了後の懇親パーティはMicrosoftスポンサードのHoloLensパーティ!
やっぱりパーティは楽しい!
しかもしかもHoloLensビール!!
ホロレンジャーはHoloLens首掛けスタイルで乾杯!
首掛けしてない人にはなんで首掛けしてないの?え!まだ持ってないの!?なぜ!!
みたいなノリ。ビールがこぼれることなんて気にしてる場合じゃないw
パーティの人混みにSpatial Mappingして人々の頭上でUnityちゃんを躍らせたりして遊びましたw
"AR CAD Cloud" セッションと展示
AR CAD Cloud(ARCC)は紹介セッションもありました。
開発を行っている我々ホロラボの中村薫さんと販売を行ってくださるSoftBank C&Sの遠藤さんが登壇。
ARCCを利用すれば、これまで3D CAD データを現実空間で可視化するために必要だった下記のような莫大なコストを限りなくゼロにすることができます。
- 3Dプリンターで出力する膨大な時間と材料費、プリント失敗のリスク
- クレイモデルを作成する膨大な費用
スライドもぜひご覧ください。
で、展示ブースはみんな大好きイリュージョンさんのお隣でテンションがあがりました!!
このブースでは第三者視点からHoloLensの映像を見ることができるSpectatorViewのセットアップもされ、体験者だけでなく付近を行きかう人もHoloLensの映像を見ることができるよう考慮されており、たくさんの方々にご体験いただけました。
その他、クロマキー合成でこんな素敵なポートレイトを撮影してくれるコーナーもあり、早速とってもらいfacebookをはじめ色んなところのプロフィール画像にしましたw
というわけで、今回のUnite、セッションを楽しんだのに加え展示ブースでの対応という立場でもとても楽しむことができました。
そして何よりもHoloLensの扱いが昨年とは隔世の感がありとても嬉しく思いました。
2017年4月のHoloな出来事まとめ
こんにちは。3月末に娘が生まれあっというまにもう6月、生活もかなり落ち着いてきましたのでまたブログを書いていこうと思います!
ウォーミングアップに4月もたくさんあったHoloLensにまつわる出来事、イベントをサクっと振り返っておこうと思います。
どれもアウトプットせずにおくことのできない素敵な体験でした。
4/14-16 MVP Community Connection
Microsoft MVP 受賞者限定のイベントに初めて参加しました。
メインは15,16日の2日間ですが、前日には前夜祭として品川でパーティが開催されました。
MVPの中ではぼくたちMixedRealityやVR、Unityの使い手たちはまだまだ少数派で知らない人も多いのですがやっぱりパーティーは楽しい!
飲んだ勢いでアメリカのMicrosoft 本社から来られたMVPのマネージャーさんたちにもぼくが開発したHoloアプリを体験いただけ、楽しまれていました。
翌日からのメインコンテンツは、アイディアソンやセッションの聴講。
もちろんNDA対象なHoloなセッションに参加ァ!
あとはMVP内でランキングが発表されるというイベントがあり、新米MVPの自分は関係ないだろとほへ~っと傍観していたらランクインされていてお茶吹きましたw
やっててよかったTMCN。
あとですね、頂いたMVPジャケット、まさにホロレンジャーのために作られたとしか思えないクールなデザイン。寒くなったらどんどん着よう。
また、特設ストアではこれまで日本では手に入れることができなかったMicrosoftオフィシャルベビー服を入手することができました!
この時ストアのスタッフさんとすっかり仲良くなり、なんと先日のde:code2017のストリーミング配信内では「ストアにベビー服を買いに来るHoloLensの人」として言及されていたそうですw
本イベントのTwitterまとめは下記となります。
こちらは集合写真!
Attendee Party集合写真@MVP Community Connection Day 1!! #MVPBuzz pic.twitter.com/3Cy23rvqXo
— MS JPN MVP Program (@JPN_MVP) 2017年4月16日
4/16 友人の結婚パーティにホロ着用で参加
MVP Community Connection終了後すぐに渋谷FabCafeで開かれる友人の結婚パーティに参加しました!
ものづくりをきっかけで知り合い結婚したお二人らしい素敵なパーティでした。
ぼくも特製HoloLensアプリを作ってお二人に見てもらいました。
もっとお金持ちならデバイスごとプレゼントできたのに!!w
特製アプリはこんな感じです。
ご結婚おめでとうございます!
これからも楽しみですね!
4/19 HoloLens大感謝祭
この日は日本でのHoloLens発売3か月を記念するイベントが開催されました。
その名も「HoloLens大感謝祭」!
でもなんとなく3カ月って中途半端な感じですよね。
実は、、、大きなサプライズが隠されていたのです。
どどん!!
なんとなんとKINECTやHoloLensの生みの親、これまで海外を含めイベントで登壇することは稀だったAlex Kipman氏が日本でのHoloLensコミュニティの盛り上がりを知りここ日本まで来てくれることになったのです!
それでこの日、日本マイクロソフトさんはぜひこの喜びをコミュニティのみんなと分かち合いたいという思いでこのイベントを企画してくれたのです。
これにはもう大興奮ですね!!
de:code行かないの?死ぬの?って感じ!
このイベントのレポートはCodeIQさんからリリースされています。
大人げなくHoloLensクイズにマジ参戦してTシャツもらえましたw
楽しかったなぁ。
というわけで、サクっとのつもりが結構長くなった4月のホロなできごとまとめでした!
HoloLens用 Managed Pluginの作り方
ご無沙汰しております。ご無沙汰の間に家族がひとり増えちゃいました☆
さて、HoloLensアプリのUnityプロジェクトにおいて、一部のソースコードを非公開にしたいと思い、ManagedのPluginを作ろうとしたのですが思いのほかハマってしまったので作り方をご紹介します。
サンプルプロジェクト
PluginをビルドするためのVisual StudioソリューションとHoloLens用Unityプロジェクトを含むシンプルなサンプルプロジェクトを公開しています。
こちらを参考にコードを追加するなどしてご活用下さい。
Pluginソリューション構成
Pluginをビルドするためにソリューションには4つのプロジェクトを用意しました。
- Shared
ソースコードを保持する共有プロジェクト。 - Package4UnityEditor
UnityEditorでの実行時に利用される.NET3.5をランタイムとするDLLのプロジェクト。ソースは実体を含めず1のものをリンクしている。
- Package4UWP
HoloLens実機(UWP)での実行時に利用されるUWP用DLLのプロジェクト。ソースは実体を含めず1のものをリンクしている。
- UWPUnitTest
3の動作確認のためのUnitTestプロジェクト。
UnityでHoloLensアプリを開発をする場合、UnityEditorでの実行環境とHoloLens実機での実行環境が大きく異なるためプラグインもそれぞれの環境で用いるものが必要です。
またハマリどころとしては、UnityEditor用PluginとUWP用Pluginは同じインターフェイスを持っていないとWindowsStore形式にビルドする際にエラーとなります。
また、これに関連しては後述するPlaceholderの設定が重要です。
共有ソース
#if NETFX_CORE を利用して実行環境に応じたコードがビルドされるようにします。
(これ可読性が悪いのでどうにかならないですかねw)
単純に”Hello”という文字を返すメソッドを用意しました。
UWP用コードでは無意味ですがサンプルとしてUnityEditorでは利用できないasync/awaitを使っていますw
このソースをPackage4UnityEditor, Package4UWPでビルドすることでそれぞれの環境用に同一のインターフェイスを持ったDLLをビルドすることができます。
動作テスト
プラグインの動作テストはHoloLens実機で行うとUnityからビルド、実機デプロイ、、と時間のかかる手順を何度も行うはめになりますし、デバッグ効率も悪くなります。
基本的な動作についてはUWP用UnitTestプロジェクトで確認をしておくととても幸せになれます。
Unity側構成
UnityEditor用DLLをPlugins配下に、HoloLens実機用DLLをPlugins/WSA配下に配置します。
DLLには下記の設定を行います。
[UnityEditor用DLL]
[HoloLens用DLL]
ここで重要なのがPlaceholderの設定です。
どうもWindowsStore形式へのビルドプロセス内ではDLLが持つインターフェイスのチェックを行っているようなのですが、そのチェックにはHoloLens用DLLではなくUnityEditor用DLLが用いられるようです。
そのインターフェイスチェックを行うDLLの指定がPlaceholderの設定となります。
この理由からUnityEditor用DLLとHoloLens用DLLは全く同じインターフェイスとなっている必要があります。
まとめ
HoloLens用 Managed Pluginの作り方は以上となります。
また、HoloLensのUWPまわりのコードの開発効率を上げる方法として、HoloLens実機にDLLをデプロイする前に、UWPのUnitTestプロジェクトでデバッグと動作確認を行っておくというTipsについてもご紹介しました。