クイックレビュー アンビソニックマイク兼バイノーラルマイクのZOOM H3-VR

H3VRというとSteamで大人気の銃を撃つゲームがヒットしちゃう…SEO最悪です(挨拶)

現在ASMR配信なども盛り上がりを見せるVTuber界隈ですが、録音機材としても面白そうなこのマイク、H3-VRです。
4chのアンビソニックマイクとして見るとTheta V用アクセサリーのマイクより少し高い程度、ゼンハイザーの20万のやつより圧倒的に安い(現在Amazonで35000円程度)で、アンビソニック形式の立体音響を記録できます。

H3-VR Handy Recorder | Zoom

ちょっとだけH3-VRを触る機会があったので、VTuber案件をちょこちょこ手伝うエンジニア目線でレビューというか感想を書きます。

普通のアンビソニックマイクとして

大体パノラマ動画撮影案件で、Insta360Proの下にマウントして一緒のタイミングで記録開始(カチンコ入れると良い)して、映像はInsta360Pro,音はH3VRという組み合わせは、相当コストパフォーマンスが高いです。
(今までは40万のカメラに20万のマイクだったので…そしてInsta360Pro内蔵マイクはアンビソニック対応しててもノイズが多い…)

Adobe Premiereとかで後編集してYoutubeにアップするとお手軽で良さそうです。本体設定を変えればmicroSDカードに記録する時にAmbiX(Ambisonics B)に出来るので、変換漏れやミスも減って大変都合が良いです。
他のアンビソニックマイクは結構Ambisonics Aで記録して後処理でのAmbiX変換を要求します…

たしかこれが本体マイク取って出しのAmbiXなはず(ハサミチョキチョキです)

https://www.dropbox.com/s/6xja8srhn2rvmfg/H3-VR%20sissor_test181118_001.WAV?dl=0

バイノーラル、ASMR向けマイクとして

「バイノーラルや5.1ch出力にも対応」と書いてあってAmbisonicマイクなのにバイノーラルって何かと思ったら、4chのマイク入力から計算で擬似的に再現した バイノーラル2ch のwavを書き出すようです。

厳密なバイノーラル録音をするためにはダミーヘッドや、物理的な耳の形を再現しないとダメなんですが、このH3-VRは計算で求めるようです。イメージ的には100均の発泡スチロールのマネキン頭に素人工作するよりバイノーラル感はあります。
(ちゃんと3Dio社のFree Spaceとか使ってる人は乗り換える価値無いです)

どの程度のバイノーラル感(?)かを確認するには
ここからZOOM Ambisonics Playerをダウンロードして実行して、上のハサミチョキチョキwavファイルを突っ込んで、ヘッドホンをした上でステレオとバイノーラルを切り替えながら聞いてみてください。

https://www.zoom.co.jp/ja/products/field-video-recording/field-recording/h3-vr-handy-recorder#downloads

f:id:izm_11:20181118184157p:plain

ステレオと比べて明らかにバイノーラルの方が立体的に聞こえると思います。すげえ。

試しにバイノーラル書き出ししてみました。

Dropbox - H3-VR sissor_test181118_001_Binaural.wav

ライブ配信でのバイノーラルマイクとしての使用

本体から設定変えたら、リアルタイムで LINE-OUTからそのままバイノーラル2ch データが出てきます。 なんも考えずに使えて凄くグッド!!!! f:id:izm_11:20181118184538p:plain

(USB-IFモードだと単純な4ch Inputとして見ることになるので、バイノーラル配信よりちょっと手間かも。まあアンビソニック配信はVTuberの人あまり使わないよね…)

まとめ

ASMR配信にも興味があるけど、いきなりマネキン頭とか買ったりするのはなあ…という人も気軽に手を出せる値段で、これだけ遊べるのはとても良いと思います。おすすめ。

Noitom Hi5をVTuber案件で投入したのでレビューしつつ便利スクリプトを書いた

概要

PerceptionNeuronの開発元でもあるNoitomが手袋デバイスとしてHi5を発売しています。国内ではアユートさんが国内代理店として取り扱っています。

www.aiuto-jp.co.jp

手の指だけで15万円!!と結構良いお値段がする製品なのですが、試すことが出来ないか考えていたところ、 株式会社アユートさんより特別にお借りすることができました。 また株式会社BitStar さんより現場運用を試してもらう機会を頂くことが出来ました。

僕以外にもVTuber案件で指をトラッキングする手段を検討している人、結構多い印象があります。

このエントリを読むことで

  • 技術担当者は内部の挙動を察することが出来る
  • 非技術担当者は技術担当者に「Hi5こういう感じらしいけど、買いですか?」ってジャッジを委ねられる

みたいなお役に立てたら嬉しいです。

ここから宣伝

アユートさんはHi5マニュアルの和訳も行っていて、代理店として誠実な仕事をされています。「この製品は取り扱わないのか」みたいな相談も出来るので、みんなもアユートさんから製品を買いましょう。

BitStar さんは僕のコードを実地検証、フィードバック、改善してくれました。既に大規模イベント含む幾つかの案件でHi5込みの全身トラッキングを使用中です。 VTuber案件の企画立ち上げから技術面の相談も出来るそうです。お困りの企業さんは是非問い合わせ窓口 ( https://corp.bitstar.tokyo/contact ) からどうぞ。(もしくはDM戴ければ担当者まで繋げます)

宣伝終わり

最初にまとめ

  • Hi5自体はVTuber用というよりインタラクションを行うViveコントローラ置き換え用、みたいな意図を感じる
  • なのでVTuber案件に投入するときはちょっと調整が必要(本エントリでスクリプト配布します)
  • 適用するキャラクターモデル手指のボーンは姿勢リセットしていてほしい(ユニティちゃんはダメだった…)
  • 親指の向きは Hi5が特殊(パーではなく手刀の形)なので、モデル側で合わせるかスクリプト側で吸収する
  • ジャイロセンサが入っているだけです。なので磁気ノイズ耐性はPerception Neuronと同等程度だが、SDKから取得できる指の角度が制限掛かっている為骨折していないように見える。
  • マウスやキーボードを長時間触るとノイズがつらい
  • キャリブレーションは平易なので上手くいくまでトライすること。(何もして無くても特定の指がピンと立ったり寝たりするのは、キャリブレーションミスです)
  • 減磁は30分に1度くらいやると良い

Hi5自体の精度はこのくらいまで詰められます。

運用など

演者さんにこれを見せてキッチリキャリブレーションしてもらいましょう。

www.youtube.com

サイズはほとんどの日本人男女はMで良いです。

レシーバは手袋と近づけて下さい(通信環境が悪いところだと値が飛びます)

動作確認用にVive無しで動くキャリブレーションバイナリ

F1キー押したらBとPのキャリブレーションが自動で実行されます。Vive刺してない普通のノートパソコンとかでも動くはず。

www.dropbox.com

Hi5のキャリブレーションデータは C:\Users\UserName\AppData\Roaming\HI5\CalibrationData 以下に保存されている (つまり、この動作確認用exeでキャリブレーションしたデータを、他のアプリからも参照する)

Hi5をUnityのVTuber案件で使うためのセットアップとスクリプト

CustomHI5_InertiaInstance.cs · GitHub

このスクリプトを LeftHandというEmptyObjectに一個 RightHandというEmptyObjectに一個 づつアタッチしてください f:id:izm_11:20181008010203p:plain

f:id:izm_11:20181008010322p:plain

後はお手持ちの指以外のトラッキングシステムと組み合わせてあげてください。

このカスタムスクリプトは通常のHi5スクリプトに対して追加でこういった機能を含んでいます。

  1. 親指特殊補正(thumbPreEuler , thumbAfterEulerを手動で書き換えて下さい)
  2. 指のパー補正 (Calibration Keyで行います。後述の手首向きの初期値も合せて指定します。P,Bポーズとは別の3段階目の補正です)
  3. 手首向き補正 (手首の向きをリセットします。2.と合せて行います。演者さんにTポーズをしてもらってF2キーを押します。演者さんが向く方向は補正後の手首向きを見て下さい)
  4. Humanoidのキャラクターを前提にした指ボーン自動割り当て (HandBoneのelement[0]にキャラのRootを割り当てて右クリックから「Automatic Set Handbone」を選んで下さい)

導入結果の評価

表情と同じくらい手の形は感情を表現するので(VRChatで手はOculusTouchを使うヘビーユーザーがいるのを参照)15万円のハードウェア代はペイすると思います。 なにより技適が取得されていて、大っぴらに使えますからね…

後はSDKから生のジャイロの値が取れるか、少なくともオイラー角じゃなくてクオータニオンの値が取れるとすっごくうれしいです!

補足

複数人同時運用…PC1台ごとにHi5は1個しかペアリング出来ないため、PCを複数台用意してPhotonとかで同期してHumanPose経由で手袋のデータを送ると楽です。

OculusGoをNOLO VR(CV1)使って6dofの頭と両手トラッキングをした

概要

今年はAndroid系のStandaloneなHMDが各社から発売されて面白いです。

今だとLenovo Mirage SoloとOculus GoがTLでは盛り上がっています。

一方で手の位置のトラッキングは両者とも備えていないため、両手も使えたら良いなあと思い、OculusGoとNOLO CV1を組み合わせて動作することを確認しました。

いわゆるVTuberごっこがPC無し+完全無線で出来るのは、結構おもしろいと思います。NOLO CV1はベースステーションがバッテリーでも動くのが萌えですね。


OculusGo with NOLO VR(CV1) VRIK VTuber Setup

NOLO CV1自体は昨日から日本代理店がAmazonで取り扱いを開始しています。

技術的なハマりポイントとかはここに書いています。

Oculus GoでNOLO CV1を使えないかのテスト - Qiita

以下ツイッター引用

ViveTrackerを使ったAmazonで買えるフルボディトラッキング取付機材

たぶん誰かがまとめていると思うんですが、あんまりお金掛けずに入手性が安定している(Amazonで買える)物を書きます。

まずはViveTrackerの入手性が安定してくれたらうれしいですねorz

【国内正規品】 HTC VIVE Tracker 2018

【国内正規品】 HTC VIVE Tracker 2018

  • 発売日: 2018/03/23
  • メディア: Video Game

肘や手首や足にはこれを使うと良い

マウンタ

坪倉さんの公開してる 坪倉輝明@メディアアーティスト (@kohack_v) | Twitter

このマウンターのv2(25mm溝)を適当な3Dプリンタでプリントします。

HTC Vive Tracker Band Adapter by TsubokuLab - Thingiverse

f:id:izm_11:20180516142544p:plain

ネジ

こういうネジがちょうどぴったり。外しやすいですし。

バンド

AAA verclo 固定バンド 固定ベルト 5本セット 各サイズあり : 台湾生産 (2.5cmx30cm 非収縮 (10本セット))

これが平均体型の男性なら肘や足にちょうどフィットします。 細めの人は25cmとか20cmの方が良いかもしれません。

腰にはこれを使うと良い

坪倉さんの公開してる 坪倉輝明@メディアアーティスト (@kohack_v) | Twitter

このマウンターのv1 large(40mm溝)を適当な3Dプリンタでプリントします。

HTC Vive Tracker Band Adapter by TsubokuLab - Thingiverse

ネジは上に挙げたのを使いまわします。

f:id:izm_11:20180516142625p:plain 100円均一で買えるフニャフニャのベルトが40mm溝にちょうどフィットするので100均に行きましょう。 家から出たくない場合は「ガチャベルト」と言う商品名で調べると、望みの品がヒットしやすいです。

みんなもレッツフルボディトラッキング

ユニティちゃんトゥーンシェーダー入門以前 あるいは現代トゥーンシェーダーへの橋渡し

概要

古来よりNPR(Non-Photorealistic Rendering)と言うのはあって、ほとんどの人間はDirectXもしくはOpenGLを使った簡易なトゥーンシェーダーを書いたことがあると思います。
しかし人間にとって3DCGのモデリングは難易度が高いので、せっかく作ったトゥーンシェーダーをティーポットやドーナツのレンダリングするくらいしか思春期で経験することが出来ません。

そうした経験を持つ人間は成人してUnity+UTS2.0(ユニティちゃんトゥーンシェーダー)環境を手に入れます。

そして可愛いキャラクターを可愛くレンダリングしようと思ってUTS2.0.4のシェーダーファイルを開くとゴツい分量のコードと対面してしまいます。
またUTS2.0.4はシェーダーコードの分量に比例してマテリアル上のインスペクタを開くとビビるくらいテクスチャを指定できる場所とfloatやcolorを指定できる場所があります。UTS2.0.4のマニュアルを開いても専門家向けっぽい用語と使用例のオンパレードで、よくわかりません。
一体、この10年くらいで、何が起きてしまったのでしょう?

本エントリでは同様の疑問を持った僕がUTSに至るまでのトゥーンシェーダーの表現技法の発達を追いかけつつ、説明を試みます。本エントリは Unite2018Tokyo2日目の夜に UTS使いこなし系CGクリエイターの @AkatsukiWorks さんとベラベラ喋ってたラジオを元にしています。

暁ゆ~き デザイン開発ミニオン (@AkatsukiWorks) | Twitter さんの協力無しでは本エントリは成立しなかったので、本当にありがとうございました。(僕自身はモダントゥーンシェーダーエアプです…)

注意事項

  • 本エントリの誤りがあったら全て僕が悪いです。嘘ついてたら教えてください。
  • サンプル画像も数式も出てきません
  • UTS使いたいならマニュアル読んで!

とりあえずUTS2.0.4を使いたい

  1. アセットストアで適当なキャラクターを入手する
  2. マテリアルを全部UTSに置き換える
  3. BaseMap,1st_ShadeMap,2nd_ShadeMapの3個に元のdeffuseっぽいテクスチャを張って、下記みたいな感じに影色設定と有効化をする f:id:izm_11:20180512024248p:plain

終わり!!!!後の細かいパラメータはマニュアル読んで下さい。 最初に1影と2影のマップを当てる、というのが以外と忘れる人多そうなので、今日はこれだけ覚えて帰って下さい。

では以下はガガッと歴史的な説明です。

続きを読む