イラスト1枚から、じぶんのVTuberモデルを作って配信するまでの手順をまとめました。
正面に近い全身または上半身のイラストから、リグ入りの3Dキャラクターを自動生成します。画像がなくても、特徴を文章で書けば生成できます。
マイクで話すと声から母音(あ・い・う・え・お)を推定して口が動きます。モーションキャプチャーや追加機材は不要です。
音声認識と表情切替はPC内のローカルAIが行います。発話内容に合わせて表情差分が自動で切り替わります。
「手を振る」などの動きを文章で指示して短い動画を生成。配信中、発話内容や待機状態に合わせて自動で再生されます。
「モデル生成/設定」モードで下の5フェーズを順に進め、最後に「配信」モードでキャラを動かします。フェーズは画面左の「制作フェーズ」からいつでも行き来できます。
起動するとホーム画面に2つのモードが並びます。キャラを作る・調整するときはモデル生成/設定、作ったキャラで配信するときは配信へ進みます。


正面画像をえらび「3D生成を開始」を押して、生成方法を選びます。全身ver1・全身ver3とバストアップは正面画像のみ対応します。他の向きが入力されている場合は、各枠の×で削除してください。全身ver2は左・後ろ・右の画像を任意で追加できます。全身 ver1(非推奨)は800pt、全身 ver2(非推奨)は2500pt、全身 ver3(推奨)は800pt、バストアップは800pt(いずれも有料)です。ver1は全身をまとめて生成します。ver3も全身をひとつの3Dモデルとして生成しますが、胸元から上と身体を分けて塗るため、目や髪など顔まわりがより細かく仕上がります。全身を映す配信にも向いており、完成まではおおよそ15分かかります。ver2は頭部・髪と身体を別々に生成し、プレビューで頭の大きさ・位置を調整して、首の接続を確認してからリギングへ進みます。※全身ver2は現在、生成の約3割がエラーで完成まで進みません(その場合はポイント返却か、問い合わせでの対応になります)。リギング後の最終確認は「完了」で保存します。この画面からのやり直しや、キャンセルによるポイント返却はできません。バストアップは顔や胸元を大きく映す配信向けで、下半身と手は生成しません。
【全身ver2のみ】頭の位置を調整するときの注意






表情テンプレート(笑顔・怒り・悲しみなど)をえらんで「表情を生成」を押すと、顔差分と口パク用の口形(閉じ・あ・い・う・え・お)をまとめて自動生成します。1セットにつき200ポイント(有料)を使います。



実際の配信画面をプレビューしながら、キャラの映り方を決めます。背景はグリーンバックが既定なので、OBSでクロマキー合成する前提のセッティングがそのまま作れます。

「手を振りながら軽く会釈する」のように動きを文章で指示して、キャラの短い動画を生成します。生成した動画は配信画面でキャラに重ねて自動再生されます。1秒あたり85ポイント(有料)で、5秒なら425ポイントです。



グリーンバックのまま配信してOBS側で合成するほか、アプリ内の背景に差し替えることもできます。同梱の背景と、手持ちの画像の読み込みは無料です。AIで背景を作る場合は60ポイント(有料)を使います。動画は背景ごとに保存されます。

ホームに戻って配信モードへ。キャラをえらべば配信画面が立ち上がります。あとはマイクで話すだけで、口パク・表情切替・動画再生がぜんぶ自動で動きます。




方法は2つあります。「オプション」の OBS連携を使う方法が簡単で、アプリのUIも映り込みません。
http://127.0.0.1:58090/)を「URLをコピー」で写す3Dモデル生成は生成方法によって数分〜数十分かかります(全身ver3はおおよそ15分。進捗と工程が画面に表示されます)。表情生成・動画生成もそれぞれ数分程度です。生成中は待つだけで、完了するとダイアログでお知らせします。
クラウドで実行される生成機能で消費する有料のポイントです。全身 ver1(非推奨)800pt / 全身 ver2(非推奨)2500pt / 全身 ver3(推奨)800pt / バストアップ 800pt / 表情セット 200pt / 背景 60pt / 動画 1秒あたり85pt / 入力画像を特徴から生成 25pt。残高は画面右上に表示され、アプリ内のショップから購入できます。配信そのもの(口パク・表情切替・動画再生・OBSへの出力)はポイントを消費しません。生成がシステム側の不具合で失敗した場合は自動で返還されます。
配信中の音声認識と表情・動画の選択はPC内のローカルAIで処理されます。
配信ステータスの「マイク」がONになっているか、入力デバイスのプルダウンで正しいマイクがえらばれているかを確認してください。macOSの場合はシステム設定でアプリにマイク権限が必要です。
ホームの「モデル生成/設定」→「保存済み選択」で、過去に作成したキャラを画像付き一覧からえらんで再開できます。
掲載している画面は開発中ビルドのものです。仕様は変更される場合があります。