*

生成AIで作ったキャラクターをLive2Dで加工しUnityで動かす(まばたき、話す)

公開日: : ChatGPT, Unity, 生成AI

 

ChatGPT(DALL-E3)で作ったキャラクターをもとに、ChatGPTでセリフを作り、Live2D で、まばたきとリップシンクをつけてみました。(声はVOICEVOXの四国めたん)

ど素人なので、口元とか変ですが、ご勘弁。

 

 

以下、作り方を備忘録として残します。

 

私の環境

・Windows 11
・Adobe Photoshop 2024
・Unity 2021.3.19f1
・Live2D Cubism Editor 5.0.05

 

 

生成AIでキャラ作成

ChatGPT4のDALL-E3で作りました。
こうしたシンプルなキャラはDALL-E3がいいような気がします。(自分調べ)

プロンプト
Create an image of a beautiful anime-style high school girl, shown from the front, waist-up, She should have a youthful, cheerful appearance

68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3239313539322f30646633346135642d373437302d653362352d646163302d6634663734323831623163312e6a706567

 

気付き

・後で口の加工が大変だったので、元の絵は口が開いてる状態がいい。

・この絵は制服に髪が重なっており、髪を動かす場合制服を書き足す必要がある。私のように絵心がない人は制服は別に生成したほうがいい。もしくは髪は短い方が簡単。

 

 

 

Photoshop

先ほどAIで作った画像をPhotoshopで開き、
動かしたいところの部位をレイヤーに分ける。

詳しくは公式の動画を参考
https://docs.live2d.com/cubism-editor-tutorials/psd/

今回はまばたきとリップシンクだけなので、目と口だけでいいですが、
あとあとのことを考えて、公式通り分けました。

髪(前髪、横髪、後ろ髪)、眉、目、口、鼻、顔、首から下

68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3239313539322f62383232393234312d383861612d663936322d356638352d3235643163333066373738332e706e67

すごく雑で下手ですね 💦

目は、まつげ、目玉、白目
口は、上唇、下唇、口中
と細かく分けてますが、ここでは割愛

 

分解できたら、PSD形式で保存します。

 

 

Live2D Cubism Editor

Live2D Cubism Editor を立ち上げ、
さきほど作成したPSDファイルを開きます。

全体を選択(Ctrl+A)し、メッシュの自動生成(下画像の赤で囲んだところ)
68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3239313539322f31303037393835642d616464302d646533362d663538312d6237336365386365346433302e706e67

 

変化度はとりあえず「標準」で

68747470733a2f2f692e6779617a6f2e636f6d2f66666666633133343264613461313438643161303361363037616138303636612e706e67

 

あとは、まばたきや口の開閉などの動きを作ります。(公式のチュートリアル参照)
https://docs.live2d.com/cubism-editor-tutorials/import/

 

最後に組み込み用ファイルを作成し保存して閉じます。
(ファイル > 組み込み用ファイル書き出し > moc3ファイル書き出し)

 

 

Unityに反映する

Unityのプロジェクトを新規作成する。(3Dではなく、2Dで作成)

Cubism SDK for Unity をインポートします。
https://www.live2d.com/sdk/about/

Unity の Projects > Assets に
Live2Dで生成した組み込み用ファイルをフォルダごと入れます。

Live2Dで生成したフォルダにあるプレファブをシーンにドラッグ&ドロップします。

68747470733a2f2f692e6779617a6f2e636f6d2f34376434643634323030313635353162633130626461646137306438323566342e706e67

 

最初は何も画面に出ない(Inspectoar のMeshが反映されない)ですが
1度実行(Run)したら反映されます。

68747470733a2f2f692e6779617a6f2e636f6d2f31633530303461356364366136363330373862663865383862353930623632662e706e67

 

68747470733a2f2f692e6779617a6f2e636f6d2f62303633386232303561323165623261353230643865336137653538383834642e706e67

 

いったんRUNをやめて、
大きさや位置を、Inspectorウインドウで調整してください。

(私のは、Positionを0,0,0、Scaleを9にしました)

A88dfbfd45b60d9db9f5d5a00c3d49c2

 

その他、詳しくは公式サイト参照
https://docs.live2d.com/cubism-sdk-tutorials/getting-started/

 

 

話す

公式サイトをご参照(手抜き)
https://docs.live2d.com/cubism-sdk-tutorials/lipsync/

実は正確なリップシンクではなくて、声の大きさで口を開閉し、リップシンクをしてるかのように見せています。

なお、私はVOICEVOXで音声ファイルを作りました。
種類が豊富で、商用利用も可能です。
https://voicevox.hiroshiba.jp/

 

 

今後の展望

・ChatGPTのAPIを使って対話できるようにする。
・目と口以外も動くようにする。
・Webに公開する

 

以上

ad

    この記事が気に入りましたら、ぜひTwitter、facebookボタンをお願いします。
    ブログを書くモチベーションになります。よろしくお願いします。

  • このエントリーをはてなブックマークに追加
この記事が良かったらビットコインで寄付をお願いします。
ビットコイン投げ銭ウィジェット



関連記事

cluster でワープさせる方法

  しょっちゅう使うので、自分用備忘録   たとえば、こんなワープゾーンを作るとします。 Unit

記事を読む

43歳の素人プログラマーのオッサンがUnityでゲームを作ってみた(第3弾:ゾンビ系ゲーム「TERADA HAZARD」)

中年の素人のオッサンがUnityという開発ツールを使って、 ゲームを作るシリーズ第3弾です。 さて

記事を読む

Character Creator 6 で作成したキャラをBlend ShapeとともにUnityへ

  Charactar Creater で作成したキャラをBlend ShapeとともにFBX変換す

記事を読む

Live2DのモデルをUnityで動かしてみた

Live2D のモデルをUnityで動かす方法です。   まず、 Unity "2D" のプロジェク

記事を読む

【cluster】ワールドでプレイヤー入室時のスピード・ジャンプを設定する方法

前提条件:Cluster Creater Kit 導入済み   空のオブジェクトに以下のとおり、スク

記事を読む

ad

Message

メールアドレスが公開されることはありません。

ad

Oasisの公式トリビュートバンド「Oasish」のライブに行きました

    2024年3月16日イギリス旅行、初日の夜は OASISの公式

イギリスをブラタツヤ(3/16 ロンドン)

  今日から本格的にブラタツヤ「イギリス編」です。   前回はこちら

【Unity】WebGLでビルドしたものをサーバーにアップした後、index.htmlを開いたときに出るエラー(Unable to parse Build/WebGL.framework.js.br!・・・)

  WebGLでビルド後、Webサーバーにアップし、index.htm

Character Creator 6 で作成したキャラをBlend ShapeとともにUnityへ

  Charactar Creater で作成したキャラをBlend

イギリス旅行に行く前に絶対用意したほうがいいもの2点

ブラタツヤ(イギリス旅行記)に入る前に、イギリス旅行を計画してる人に絶

→もっと見る

    • 1690859総閲覧数:
    • 75今日の閲覧数:
    • 475昨日の閲覧数:
    • 0現在オンライン中の人数:
    • 2014年4月29日カウント開始日:
PAGE TOP ↑