リアルアバターを改良しよう（その１：まばたき）

最近リアルアバターをよく見るようになりました。

Tatsuya's blog

『リアルアバター集会』に参加しました

http://tatsuya1970.com/?p=14794

1ヶ月近く前のことですが、数年後に「あのイベントから始まった」と言われるような凄いイベントだったので、自分の備忘録としてブログに書きました。2020年5月15日、『リアルアバター集会』というVRChat上の集まりに参加しました。（実際は、参加したというか、存在してただけなんですがw）参加条件は、リアルアバターを持っていることです。【第1回リアルアバター集会】を開催します！5月15日(金)21:00より、VRChatにて開催します。参加条件はリアルアバター所持者です。DJ-09 または kiyotori にreq inviteしてください。バーチャル...

しかし、リアルアバターを作ったはいいけど、そのままの方が多いのではないでしょうか？

私も作ってもらったままだったので、まずは「まばたき」に挑戦してみました。

先人のいろいろな記事を参考にしながらなんとかできました。

このやり方がベストかどうかわかりませんが、自分の備忘録をかねて残しますので、ご参考にしてみてください。

環境

・Blender 2.82

※Cats Blender Plugin　インストール済み

・Unity 2018.4.20f1

・Windows 10

なお、既にVRM形式のリアルアバターを持っていることが前提です。

Blenderにリアルアバターを召喚

Blenderを開き、

CATSの [モデルをインポート]

VRMをクリック

リアルアバターが現れた。

[モデル修正]をクリック

もし、こんなエラーがでた場合は、

Blender で Object と認識される頂点データの入った部品すべての名前の末尾に .baked を追加します。

私の場合、

Body simplified mesh　を

Body simplified mesh.baked　に変える。

それで、ふたたび「モデル修正」

これでVRM形式のリアルアバターをBlenderに召喚できた。

このエラーの解決方法は、こちらのブログのおかげでした。ありがとうございました。

C++ ときどき ごはん、わりとてぃーぶれいく☆

3D-Avatar: VRM を作って → detune して → cluster へアップロード成功するメモ; 2020-04-10版 - C++ ときどき ごはん、わりとてぃーぶれいく☆

https://usagi.hatenablog.jp/entry/2020/04/10/173745

経緯などはさておき、件について少し複雑ですので整理するメモです。時間がないけど結論だけ気になる人は最後のまとめだけどうぞ。 目次 (1) VRoid Studio や セシル変身アプリ でVRM を作って (2) cluster へアップロード -> 「アップロードに失敗しました。」 (3) Blender に add-on 群を導入 (3-1) モデルデータごとに作業用ディレクトリーを別けられるようにディレクトリーを1階層堀り、作業対象の VRM ファイルだけを入れておく (3-2) Blender を導入 (3-3) Blender に add-on 群を導入 (3-4) Blender …

まばたきを作成（モーフィング）

モーフィングとは、ある画像から別の画像へ連続的に変形させる画像表現のことです。

今回のケースでは目を開けた状態と目を閉じた状態を指定し、中間の動きはコンピュータが計算し、スムーズなアニメーションを可能にするといったことです。

まず、以下の画像のように

１、Bodyを選択したまま

２、オブジェクトデータプロパティのアイコン（緑の逆三角形）をクリック

３、シェイプキーにすでに、Basis と　Amatureができてる。

Amatureの数値を1.000にする。

編集モードにして、

複数の頂点を選択しながら、目が閉じた状態になるように編集する。

左目から

（左目からにしたのは後で意味を持ちます）

なお、頂点の数を変更してはいけません。

あとで画像が崩れたり不具合になる可能性が高いらしいです。

どうしても気にいらなければ、元のファイルを直してから再度挑戦しましょう。

オブジェクトモードにする

下の画像のとおり

１、Bodyを選択した状態で

２、キーフレームをゼロにあわし、

３、相対の値をゼロにして、

４、iキーを押すと、フレーム上に黄土色のひし形が現れる

次に、

キーフレームを５に合わせ、

相対の値を 1.000 にして、

iキーを押す。

目を閉じた状態になる

次に、

キーフレームをに１０に合わせ、

相対の値を ゼロ にして、

iキーを押す。

目を開いた状態になる

これで、左目のまばたきのアニメーション完成！

続いて、右目のまばたきのアニメーションを作る。

左右対称のモデルならミラー機能を使うけど、私のアバターは左右対称でないので、さきほどと同じようにアニメーションを作る。

シェイプキーの「＋マーク」をクリックすると、

Key2というシェイプキーが現れる。

あとはさきほどと同様に、右目を閉じて、フレームでアニメーションを作る。

次に、VRChatで必要になるので、

下まぶたを作成する。　

左右各目の下まぶた用にシェイプキーを２つ追加

相対の値を1.000にして、編集モード

ほんの少し下まぶたが上がるだけでいい

続いて、シェイプキーの名前変更を変更する。

VRChatのSDKがこの順番名前をもとに処理するらしいので、まったくこの順番でこの名前に変更しないといけないらしい。

なお、先ほど左目からまばたきの編集を始めたのはここをスムーズにするためでした。

vrc.blink_left

vrc.blink_right

vrc.lowerlid_left

vrc.lowerlid_right

このあたりのことは、こちらのブログを参考にしました。ありがとうございました。

VRChatパブリックログ

 

14 Users

Eye trackingの実装【VRChat技術情報】 - VRChatパブリックログ

https://jellyfish-qrage.hatenablog.com/entry/2018/07/25/034610

こっち見んなモーフからの脱却 VRChat日本ユーザーの間では自作アバターの作成が盛んなのですが、ほとんどの人がVRChatのアイトラッキング（Eye tracking）を実装できていないです。（あるいはわざとかも知れないけれど）ほとんどが目を凹面にしてだまし絵を利用したアイトラッキングなのではないでしょうか。 原因はアイトラッキングに関する日本語の記事が全くないことが原因と思われます。 英語のチュートリアル動画などはあるのですが、英語なので重要なポイントを聞き落としやすく、どこかしらでつまずいていることが多いようです...

最後に、アイトラッキングの「創作」を以下のように設定する。

なお、モーフィングはこちらのニコニコ動画が分かりやすかったです。

ありがとうございました。

ニコニコ動画

【第17回】Vたわ！【表情モーフの設定】（Blender2.79）

https://www.nicovideo.jp/watch/sm35041636

【第17回】Vたわ！【表情モーフの設定】（Blender2.79） 「VRChatでたわむれたい！」略して「Vたわ！」。3D、VR初心者のうp主がVRChatでたわむれるために、...

Unityで調整

FBXにエクスポートする。

その際、以下のようにセットする。

Unityを立ち上げる。

※Unityのバージョンは2018.4.20f1（VRChatのSDK対応のUnityバージョン）

さきほどBlenderで作ったFBXファイルをAssetにコピペする。

もし以下の写真のようにアバターが倒れていたら、うまくいってない。（あとでVRChat上でも倒れたままになる）

直し方はこの記事を参考。

Tatsuya's blog

VRMをBlenderでFBXに変換したあとUnityにインポートすると倒れている問題の解決方法

http://tatsuya1970.com/?p=15335

環境・Blender 2.82   ※Cats Blender Plugin インストール済み・Unity 2018.4.20f1・Windows 10症状VRMファイルをblenderで変換したFBXファイルをUnityにインポートすると倒れている。うーん、なんのこっちゃ。言語化するのが難しい。早い話が以下の画像のように、倒れてしまう。（人型のアバターです） 解決方法解決方法という大袈裟なことではないですが、以下実行したら、たまたま解決しました。あくまでも、私の場合、こうしたら解決したということですので、もし私の方法で解決しなかったらご了承ください。Catsの「モデル修正」...

以下の画像のようにアバターをUnityに合うように設定する。

１、Inspector -> Rig

２、Animation Type を Humanoidに

３、Appply を押す

４、最後に Configure

configueを押した後、以下の画像のようなものが出現する。

グリーンなら問題はないが、Chestの設定がないと後でVRChatにアップロードするときに怒られたような気がするので、Chestを設定する（Chestを押して、出てくるファイルの中からChestを選ぶ）

そして、Applyボタンを押して、Doneボタンを押す。

アバターを画面に配置する。

最後の仕上げ

以降はVRChat対応

※なおcluster対応はこちら

「clusterのアバター等で使われるVRM形式ファイルに「まばたき」を実装する」

http://tatsuya1970.com/?p=15854

VRC SDK2をインストール

https://vrchat.com/home/download

アバターの Inspectorに

コンポーネント[VRC_Avatar Descriptor]を追加すると、

以下の２つのコンポーネントが追加される。

[VRC_Avatar Descriptor(Script)]で、

[Lip Sync]の項目を[Viseme Blend Shape]

[Face Mesh] を[Body]

を選択する。

すると、以下のように展開される。

viceme:E にBlenderで作成した「まばたき」のデータが入っていればOK

なお、Visemeの他の項目はリップシンク（唇の動き）のデータ。

Blenderでリップシンクを作っていれば、ここに反映される。

おそらく、作り方は今回の「まばたき」と同じだと思う。（次回作ります！）

さあ、そろそろ最終局面、

VRChatでこのアバターを使えるようにします。

Unityの

VRChatSDK > Show Control Panel

エラーが出なければ、Build&Publish for Windows ボタンを押す。

アップロード中画面

数分経って、Successのようなメッセージが現れれば、成功！

さっそく、VRChatで確認。

なんとか、瞬きするリアルアバターをVRChatに召喚！
キモすぎる。これが世に言う不気味の壁。
これだけのことで週末潰してもうた💦
中年のおっさんのくせに一体何してるんだろう😅
次はリップシンク（口の動き）に挑戦だ！ pic.twitter.com/9JDTQ1Efig

— たつや (@tatsuya1970)

March 21, 2021

この動画では分かりづらいかもしれなけど、ちゃんとまばたきしてた。

次回は、リップシンクに挑戦します！！