Reallusion は、Character Creator、iClone、Audio2Face のシームレスな統合を発表しました。NVIDIA の AI アニメーション技術によって強化されたこのロバストな連携は、多言語のフェイシャルリップシンクアニメーション制作を大きく変えます。この統合は、NVIDIA の Audio2Face を多用途のクロスアプリケーションキャラクターシステムで強化するだけでなく、フェイシャル編集機能を強化し、ユーザーが Blender、Unreal Engine、Unity、Omniverse などの主要な 3D エンジンにキャラクターアニメーションをエクスポートできるようになりました。

Audio2Face によるノンリニア AI アニメーション

直接オーディオからリップシンクアニメーションと表情を生成

AI を搭載したアプリケーションとして、Nvidia Audio2Face（A2F）は、オーディオ入力のみから表情豊かなフェイシャルアニメーションを生成できます。多言語対話用の自然なリップシンクアニメーションの生成に加え、Audio2Face の最新のスタンドアロンリリースは、顔の表情もサポートし、スライダー制御とキーフレームエディタを備えています。

多言語リップシンクと歌うアニメーション

英語中心のリップシンクソリューションの大半とは異なり、Audio2Faceは、歌やちんぷんかんぷんな言葉を含むあらゆる言語からアニメーションを生成する優れた機能で際立っています。標準的な AI モデルである Mark に加えて、アジア言語に堪能な女性キャラクター用にカスタマイズされた新しいディープラーニングモデルである Clair も利用できます。Clair の親しみやすい顔立ちは、顧客との対話に最適です。

シームレスな CC ー A2F ー iCloneの統合

2 つの無料プラグインにより、自動化されたワークフローが可能になります。ワンクリックで、NVIDIA Audio2Face で CC キャラクターを配置し、インポートされたオーディオトラックと一緒にリアルタイムでアニメーション化し、3D ツールやゲームエンジンにエクスポートする前に、iClone にしゃべるアニメーションを転送してさらに洗練させることができます。

Audio2Face でワンクリックで CC キャラクター設定

Audio2Face 用の CC Character Auto Setup プラグインは、NVIDIA と Reallusion のコラボレーションから実現したもので、手作業による 18 ステップのプロセスを 1 ステップに凝縮しています。CC キャラクターをインポートし、トレーニングモデル（Mike または Clair）を選択することで、アーティストは、オーディオファイルと同期したリアルなしゃべるアニメーションを即座に目の当たりにすることができます。モーションスライダー、自動表情、キーフレームの設定などを試してみましょう。最終的に完成したアニメーションは、iClone に転送して、さらに洗練させることができます。

iClone によるフルスペクトラムアニメーションの洗練

iClone 用の無料 Nvidia Audio2Face プラグインは、Audio2Face からアニメーションデータを受け取るように開発されています。アニメーションをインポートするだけでなく、顔の特徴を生き生きとさせ、最終プロダクションに適した優れたカットを生成します。

顔パーツの調整

アニメーションはダイナミックなインターフェースで微調整できます。表情の強さ、頭の動き、目の動きなど、さまざまなパラメータを調整して、パフォーマンスを生き生きとさせます。顎の開きを大きくして感情の緊張感を高めたり、舌の位置を微調整して正確な発音を真似たりします。

スムーズさの向上

生成された AI アニメーションはノイズの影響を受けやすく、特にオーディオファイルが低忠実度のデバイスまたは好ましくない環境でキャプチャされた場合です。Reallusion Audio2Face の統合は、高度に洗練されたノイズフィルターを導入することで、このような制限を回避し、ジッターを除去し、音質が悪くても最適な結果を実現します。

レベルを上げる

Audio2Face から満足なアニメーションを作成した後、最後の仕上げが必要になります。特に、感情の変化に直面した時、またはさまざまなレベルの対話で特定の口の形を強調する時です。iClone はフェイシャル編集をサポートし、洗練されたリップシンク、自然な表情の追加、モーキャプ設備から作成した頭の動きの組み込みを可能にします。

Character Creator、iClone、Audio2Face の統合は、AI 駆動のアニメーション技術における重要なマイルストーンであり、クリエイターの制作ワークフローにこれまでにないオーディオソースの柔軟性と効率性を提供します。Character Creator Auto Setup プラグインと iClone プラグインは、Reallusion から無料でダウンロードでき、クリエイターはアニメーションパイプラインを効率化し、クリエイティブな潜在力を引き出すことができます。

iClone Audio2Face プラグインの詳細については、こちらをご覧ください：