2017年12月現在Oculus Rift DK2は使えるのか

概要

使えます。ただし操作をするためにはXBOXコントローラを買いましょう。

セットアップ

OculusのSetup.exe を起動して、セットアップ時にこの画面でHDMIを探してずっとクルクルが回るので、 skip setupします。 f:id:izm_11:20171206024244p:plain

すると、home画面などはDK2のディスプレイには映りませんが認識はされています。
デスクトップ上のOculusからLucky Taleを起動してからDK2を覗き込めば、無事起動しているのが確認できます。(Lucky Tale 1.05で動作確認済)
XBOX コントローラを使うアプリケーションであれば動作するものがある。という感じで覚えておきましょう。

Oculus App上では以下のように認識されていればOKです。(ver 1.20.0.474906で確認)
常に上の方に「Setupがまだだよ!!」という警告が出ますが、気にしなくてOKです。

f:id:izm_11:20171206024547p:plain

Unity上での開発

エディタ実行でもDK2上にプレビューが出来ます。
また、ビルドした実行ファイルを起動すればDK2に映すことが出来ます。

何が出来ないか

あまり詳しくは確認していませんが

  • そもそも古いGPUやOptimus付きのノートPCなどは動作保証外なので動かない可能性が高いです。要スペック確認です。

  • Riftを被っているか判定するセンサがDK2には無いので、市販のアプリでHMDを被ったらゲーム開始、みたいな仕組みが入っているとDK2では遊べない予感です。

  • OculusHome画面は見られません。アプリ起動を切り替えるには都度Oculus Rift DK2を頭から外して、PCモニタ上でアプリを切り替えましょう。

  • また、将来にわたって動作を保証するものではありません。今から新規で購入する場合はOculus Rift CV1をお勧めします。

余談:もし友人などから「余ってるから使ってみる?」と言われたら1-2万円くらいなら買っても良いんじゃ無いでしょうか!

Insta 360Proをガーっと一週間くらい使った感想

概要

現時点のレビュー未満のメモです。

買いかどうか

45万円は、これまでの相場から考えると驚きのバーゲン価格、ステレオパノラマが必要なら現実的に第一選択肢だと思います。 NokiaのOZOとか先行事例より一桁安いし、GoPro2台の魚眼より横向いた時の破綻が少ないし、立体オーディオもいけるし…

微妙に気になった点

起動までの時間

電源入れてから撮影開始までが1分強掛かります。覚悟が必要です。

動画撮影中の電池の減り

大体1時間にバッテリー1本使います。大量購入推奨。

静止画の内蔵スティッチが遅い

特に8kステレオパノラマ。撮影開始してスティッチ終わって、次の絵が撮れるまで30秒くらい掛かります。全部6kステレオパノラマ動画で撮ってPC上で後処理してフレーム書き出しした方が良い気がします。

天頂付近がクシャッとなる

アップデートで修正予定だそうです。

ファンノイズ

これは静かな室内や、ペット撮影ではちょっとつらいかも。ただし内蔵マイクはデジタルノイズキャンセルがあるので、ファンの音はほとんど気になりません。素晴らしい。

スティッチ精度

付属ソフトウェアによるNew OpticalFlowスティッチはすごくスティッチ痕を消してくれます。しかし人工物(背景のビルとか)を人が横切ったりすると、荒れます。 ここら辺は現場で試し撮りして、ガッとOpticalFlowスティッチして確認した方が良いです。 例えば人混みのシーンなんかは、苦手です。

Androidクライアント無し

iOSおよびMacおよびWindows(x64)のみです。Androidで遠隔シャッターだけでも動くと嬉しいので、楽しみにしてます。

めちゃくちゃディスクの空き容量が減る

びっくりしました。ちょっと1週間遊んだだけでPCの空き容量が500GB程度減りました。

マニアックな気になった点

各カメラがシャッターシンクロしてない

ほとんど明かりが無い夜に車が走ってるのを道端で撮ると顕著ですが、各カメラはシャッターシンクロしていません。なのでステレオパノラマにしたときに左右のシャッタータイミング由来の奥行誤認が起きます。

//普通の日中や照明がある用途だと気にならないです

OpticalFlowスティッチ+ステレオパノラマで立体視が破綻する

左目画像と右目画像それぞれで、OpticalFlow計算結果が独立しているようです。なのでカットによっては左右の立体視が壊れます。まあ気にならない事の方が多いですし、多くの場合は左目画像と右目画像は同じようなスティッチをするので問題ないかもしれません。

最後に

重箱の隅を楊枝でほじくるような事ばかり書きましたが、これ45万円は本当にあり得ないほど安いんで、お勧めです。ただ、誰でもどんなシーンでも使える夢の万能機ではない、という事は念頭に置いておく必要がありそうです。

OpenPoseがどんどんバージョンアップして3d pose estimationも試せるようになっている

概要

今年のゴールデンウイークに公開されたCMUのOpenPoseはその推定精度の高さと、(Ubuntuなら)気軽に試せる依存ライブラリの少なさ、結果の分かりやすさから多くのサイトで話題になりました。

github.com

このエントリは、このOpenPoseについての最近(-2017/7)の情報をまとめておく、という備忘録的な意図です。

  • 手と顔の推定が正式追加
  • WindowsBuildが実用的に動く
  • 骨格の3次元座標が(セッティングすれば)取れる
  • 商用ライセンスが正式に発表

あたりがトピックになるかと思います。

手と顔の推定が正式追加

これは話題になった当時からビデオは公開されていましたが2017年7月にコードが公開されました。早速試された方がいるようです。(nnn112358さん凄い!最初のインストール記事も書かれた方です)

OpenPoseのFace Estimationを動かしてみた。 - Qiita

OpenPoseのHand Estimationを動かしてみた。 - Qiita

WindowsBuild済み実行ファイルが実用的に動く

1.0.1相当のビルド済みDemoがzipで配布されています。 github.com

Windows10環境(と、たぶん初期ビルドだとGeforceGTX900番台のGPU)でこの800MBくらいのデモ環境一式をダウンロードして http://posefs1.perception.cs.cmu.edu/OpenPose/OpenPose_demo_1.0.1.zip

bin\OpenPoseDemo.exe --video examples\media\video.avi

コマンドラインで実行するだけで、Windows上でOpenPoseを試すことが出来ます。

f:id:izm_11:20170801125449p:plain

もし、起動に失敗するようであれば以下のリンクを頼りに外部ソフトウェアのインストールやセットアップを行ってください。

openpose/installation.md at master · CMU-Perceptual-Computing-Lab/openpose · GitHub

手や顔の認識も同時に使いたい場合は

bin\OpenPoseDemo.exe --video examples\media\video.avi --face --hand

とfaceオプションやhandオプションを付けて実行すれば良いようです。

参考サイト OpenPoseのFace Estimationを動かしてみた。 - Qiita

骨格の3次元座標が(セッティングすれば)取れる

OpenPose公開時の反応で多かったのが、各関節の3次元座標が取得できるという誤解でした(僕も最初はそう思っていました) しかし、実際にOpenPoseが行っている処理では、画像内の関節の2次元座標(xyの位置)だけしか求めていません。 なのでモーションキャプチャシステムに使うとかの用途だと、そのままでは使いにくい面もありました。

しかし 2017年7月に3次元骨格推定 がコミットされています。

openpose/3d_reconstruction_demo.md at master · CMU-Perceptual-Computing-Lab/openpose · GitHub

現時点ではまだbeta扱いで、UbuntuWindowsでしか動作確認が無いですが、骨格の3次元座標が取得できるデモも作られています。(1.0.2で追加) カラクリとしては複数のカメラの内部行列(視野角とか歪みパラメータ)と外部行列(カメラ間の位置と姿勢)を予め求めておいた後、普通のOpenPoseを起動して、各カメラ上の関節座標の2次元座標を元に、3角測量的に3次元座標を求める、という仕組みです。

推奨カメラはPointGray社のFLIRで、たぶんこれはシャッタータイミングを同期させる事と、速くて高解像度のカメラの方が精度良く推定することが出来る為だと思います。もちろん理屈の上では機種がバラバラのUSBカメラを3台でも求めることは出来ます。

商用ライセンスが正式に発表

以前よりライセンスに「非商用、研究用に限る」と記載されていましたが、正式な商用利用の手段が公開されました。 商用利用の場合は年額25000ドル(約270万円)程度かかるようです。ちょっと高めなのでお財布と相談の上ご利用になれますね!

OpenPose - Realtime Multiperson 2D Keypoint Detection from Video | Flintbox

共著 VRコンテンツ開発ガイド2017 出版されました

ご挨拶

こりん (@k0rin)さんに誘われてMdN様のVR技術書に参加しました。

VRコンテンツ開発ガイド 2017

VRコンテンツ開発ガイド 2017

僕は4章のパノラマ動画プレーヤーのUnity実装について50ページほど書いております。各種パノラマ案件で培った各種ノウハウ、小ネタ等を書きました。

TLで、パノラマ動画関連だと情報が散らばってるなあという話や、しょうもないバッドノウハウが多いなあと思っていたので、こうして本という形にまとめる機会を頂いたことに感謝します。

内容について

パノラマ動画プレーヤーをPC両HMD(MediaDecoder)、Cardboard(EasyMovieTexture)、Unity5.6VideoPlayerそれぞれで実装したサンプルコードが付属しています。ちょっとした動画プレーヤーならコピペでいけます。

ちょっとした動画プレーヤーの例

ハコスコやCardBoardのデモをする時に便利なパノラマ動画再生アプリ作った - izm_11's blog

ソースコードは出版社の方に許可を頂きMITライセンスにしました。また、サンプル動画はCC0です。エンコードテストにバシバシつかっちゃってください。

また、マルチプラットフォーム対応(固有SDK非依存)+3DオブジェクトもuGUIも両対応の視線選択のアセットをUnitypackage形式でフルソースコードで提供しています。いわゆる、秘伝のたれです。これもMITライセンス。

案件やってる時にハマった点と解決策を書面のスペースの空きある限り詰め込んでいます。ハマる前にお守りとして1冊くらい手元に置いておくのはいかがでしょうか!

また、ご不明な点や不備などはお気軽にメンション頂ければ、と思います。

以上、宣伝でした。

本の出版について

紙の本を書くのは大変勉強になりました。

to:社内および社外の下読みを手伝って下さった皆様 ありがとうございます!おかげでヘロヘロのtwitter文体だった原稿が日本語になりました

to:エムディエムの担当の方 章立ての方針や、図説のわかりやすさ、編集作業やライセンスの件など大変ありがとうございました

常日頃からオンライン、オフライン問わず界隈の方が知見を公開していて、それによって大いに勉強になっていました。 僕も今回の本によって、幾分かでも恩返しが出来たら嬉しいです。

wacomの中古液タブを買った

日記エントリです。

概要

wacomの出している業務用液タブは、ヤフオクebayで安価に出ている事があります。 筆圧検知レベルが粗かったりしますが、安くて大きい液晶タブレットは素敵です。

DTU-1931,DTU-2231あたりが、解像度もそこそこ高くて2-3万円ラインなのでお勧めです。 僕はDTU-2231Aを買いました。2万円くらいです。

以下、買う時の注意点です。

ヤフオクで買おうと思ったらACアダプタが欠品

この手の液タブのACアダプタは、内径2.1外径5.5コネクタで12V出力が多いようです。

タブレットの裏側見て「Input 〇V □A」と書いてあったらamazonで〇V □A ACアダプタと検索して買いましょう。アンペアは大きい分には怒られないので12V5Aのタブレットに12V8AのACアダプタ刺しても大丈夫です。電圧はちゃんと合わせてください。

ヤフオクで買おうと思ったらスタイラスペンが欠品

これは大変キツいです。専用ペンだったりします。 一番安全なのはスタイラスが付属している個体を買う事です。次は製品情報を見て純正スタイラスの型番でe-bayや、ヤフオクで探すことです。(スタイラスはe-bayの方が見つかりやすいです。)

一応DTU-2231,DTU-1931は未確定情報ですがHPのタブレットPC(TC4400 TC4200 2710p 2730p 2740p 2760p)に対応しているスタイラスが使えそうです。「PL-800 stylus」という単語でe-bayで調べると安価(2000円くらい)で手に入りそうです。

2017/3/28追記 PL-800を買って試したところ、DTU-2231で筆圧検知して無事使えました

ヤフオクで買おうと思ったらスタンドが欠品

良いモニタアームを付ければ大丈夫です。一昔前は高くてもエルゴトロンが一番!と思っていましたが最近はloctekさんのモニターアームも評判が良いようです。

https://www.amazon.co.jp/dp/B01CE5JB7Q/

というわけで、ジャンクの液タブはパソコンオタクじゃなくて普通の絵描きの人でも手を出しやすいと思います。是非おもしろ半分で買いましょう。 //あと、こういうジャンク液タブ特有の事情ですが、値下がりしきっているので中古で手放す時も、購入時に近い価格で売れます。