リップシンクAI比較：Seedance 2.5、Wan 3.0、InfiniteTalkをテスト

👁 113閲覧数

同じ画角の人物と同じポーランド語の楽曲を使い、リップシンクAIをテストしました。Seedance 2.5は映像が最も気に入りましたが、歌声と口の動きの同期は最も低い結果でした。Wan 3.0は実用的な再生映像を比較的早く作れましたが、今回のテストでは尺の上限がネックになりました。ローカル環境で動かしたInfiniteTalkは最も高い測定値を記録した一方、生成には時間がかかりました。

同じ音源と同じ人物で比較

テストには、ポーランド語の楽曲から14.5秒〜34.5秒の区間を使いました。曲のタイトル「Kiedy po swojemu gram」は、ポーランド語のテスト素材のタイトルを日本語に訳すと「自分らしく演奏するとき」です。この区間には2回目のサビ、ドラムの入り、そしてAメロの冒頭が含まれています。長く伸ばす穏やかな母音だけで評価するのではなく、曲の勢いが変わる場面で、顔が歌に反応しているのか、見栄えのするアニメーションをしているだけなのかを見やすくしました。

出発点として、Z-Image Turboでローカル生成した同じ人物画像を使いました。APIを使う2つのパターンでは、TAKTエンジン経由で音声を参照させています。ローカル版はWanVideoWrapperから起動したInfiniteTalkを使い、Wan 2.1 I2V 14B fp8をベースに、lightx2vを6ステップで実行しました。これは特定の構成同士の比較であり、各モデルの機能すべてを比べたものではありません。

当初は20秒全体を比較する予定でしたが、Wan 3.0ではその長さのリクエストが完了しませんでした。そのため、共通の測定区間は最初の15秒としました。長い区間の結果は、共通ランキングには含めていません。内容の異なる素材でモデルを比較することになり、表の見た目だけが実際の方法以上に信頼できるように見えてしまうためです。

MediaPipeでリップシンクを測定する方法

スクリプトlipsync_pomiar.pyで、MediaPipeが検出した口の開閉の推移と、demucsで分離したボーカルの音量を照合しました。ずれは±0.5秒の範囲で探索しています。この方法では、相関係数が高いほど、2つの推移がよく一致していることを示します。顔が声に反応していることと、人物が「何かを歌っている」ように見える印象を分けて評価するための測定です。

この測定には限界があります。音量だけでは、ポーランド語の各音に必要な口の形を正確に評価できません。唇を閉じる動き、子音の発音、表情の自然さは、映像を見て別途判断する必要があります。そのため、相関係数を発音の自動評価や、視聴者が曲全体の歌唱を信じる証拠としては扱っていません。

顔の検出率も別に記録しました。InfiniteTalkとWanは記録上100%、Seedanceは69〜76%でした。顔を検出できた割合が低いと、測定の網羅性が下がり、直接比較して結論を出しにくくなります。レポートでは検出できなかった理由が明らかになっていないため、原因は推測していません。この指標だけで結論を出すのではなく、実際の映像も確認しています。

ずれを探索しているため、結果はタイミングを合わせた後の推移の一致度を示します。生成されたファイルの音声が、最初から完璧な位置に配置されていることを証明するものではありません。完成映像を編集する際は、一定のオフセットがあるか、後続のフレーズでも同期が保たれるかを別々に確認します。音声全体をずらせば冒頭は改善するかもしれませんが、その後の歌唱に適した口の動きの代わりにはなりません。

リップシンクのスコア、費用、生成時間

時間は実際に受け取ったクリップを対象にしています。ローカル版とSeedanceの映像は20秒、Wanの映像は15秒でした。共通の長さは、同期測定の列に限られます。金額はこのテストで発生した費用であり、いつでも適用される料金表ではありません。電力消費量は測定していないため、電気代は加算していません。

映像の仕様にも違いがありました。InfiniteTalkは832×480、25fps、Wanは1280×720、30fps、Seedanceは1280×720、24fpsで出力しました。編集時にはこうした違いも考慮する必要があります。ただし、今回の比較では、解像度が高いことが楽曲と口の動きの同期向上にはつながりませんでした。

Seedance 2.5：映像は魅力的でも、音声の扱いに注意

Seedanceでは、光の使い方や構図、映像全体の完成度が最も気に入りました。これは同期の測定とは切り分けた、映像としての評価です。元の楽曲を流さずに見ると、魅力的な画角に目を引かれ、口の動きへの注意がそれやすくなります。映像を実際のボーカルと合わせて確認すると、見た目のよさだけでは不十分でした。

モデルは独自の音声トラックも出力しましたが、オリジナル音源との相関は0.12でした。この素材では、メモに記録された約47msのずれを考慮したうえで、元の音声に差し替える必要がありました。このずれを別のクリップにもそのまま当てはめるべきではありません。映像と一緒に出力されたというだけで、モデル独自の音声を楽曲のマスター音源の代わりにすることはできません。

Wan 3.0：実用的な再生映像、今回のテストでは最大15秒

WanはSeedanceより高い相関係数を記録し、今回のテストでの費用も低く抑えられました。映像の評価以前に問題となったのは、20秒のリクエストが料金の請求なしでgeneration_failedというメッセージとともに失敗したことです。15秒にすると生成できました。今回確認した上限は、テストしたAPI経由の方法における制約として捉えています。あらゆる連携方法で同じだと証明するものではありません。

ミュージックビデオを作る場合は、短いクリップに分け、編集でつなぐ位置を用意しておきます。長さの欄に希望の値を入力できるからといって、長いフレーズが生成できるとは限りません。映像を生成できることと、クリップの区切りを音楽に合わせることは別の作業です。次のリクエストを送る前に、どちらも考慮する必要があります。

InfiniteTalkが測定で首位、V2Vで広がる選択肢

ローカル版InfiniteTalkは、共通区間で最も高い相関係数を記録しました。20秒全体でのスコアは0.424でした。解像度は低く、処理時間も長くなりましたが、特定の曲を歌う映像を作る用途では、より有力な出発点になりました。ただし、すべての単語を完璧に発音できることを示すものではありません。

Seedanceとローカル版InfiniteTalkをV2Vモードで組み合わせる方法も試しました。4ステップ中2ステップで実行し、audio_scaleを1.5に設定したところ、相関係数は0.153から0.366に上がりました。顔の検出率は77%で、追加工程には656秒かかりました。出力は832×480だったため、再生映像を改善するには映像仕様の変化を受け入れる必要がありました。

この方法は、単独のInfiniteTalkの測定値を上回りませんでしたが、APIで先に生成した映像を活用できました。その後、SeedVR2 7B fp8を使い、追加で1034秒かけて1872×1080にアップスケールしました。選んだ映像を仕上げる方法として捉えています。アップスケールは、リップシンクがさらに改善した証拠ではありません。

よくある質問

ポーランド語の歌唱に使うなら、どのモデルがおすすめですか？

今回のテストをもとに選ぶなら、再生映像を最も重視する場合はInfiniteTalkです。短い映像で、より早く結果を得たい場合はWanを検討します。Seedanceは、口の動きを追加で調整する価値がある映像向けです。

相関係数が最も高ければ、リップシンクは完璧ですか？

いいえ。測定したのは口の開きとボーカル音量の関係であり、すべての音を正しく発音できたかではありません。今回の条件で比較する参考にはなりますが、元のミックスと合わせて映像を確認する作業の代わりにはなりません。

ローカル生成は無料ですか？

今回のレポートでは、生成料金は発生しないと記録しました。ただし、電気代、機材、環境を準備する時間はかかります。消費電力を測定していないため、総費用や、どのようなクリップ数でも節約できるという約束は示していません。

各モデルの料金や利用方法についてはSeedanceとWan 3.0の記事で、ミュージックビデオ全体のショット計画についてはKling 4.0でミュージックビデオを作る方法で紹介しています。

// 続きを読む日本語の文字を描ける画像生成AIは？21モデルを比較ベンチマークMOSS Imageをレビュー：画像内テキストの精度とポーランド語テストベンチマークAIの信頼度0.9とは？basal miniで見る校正とECEベンチマーク