Kandinsky 6とWan 2.2でAIインフルエンサー動画をローカル生成

👁 117閲覧数

5人のAIインフルエンサーの画像を作成し（AIインフルエンサー画像のテスト）、今度は動画にしました。それぞれに、スマートフォンに向かってポーランド語で一文を話す5秒の縦型動画を用意しました。RTX 4090でローカル生成し、Kandinsky 6.0 LiteとPro（映像と音声を同時生成）、Wan 2.2 5B（映像のみ）の3モデルを使っています。動きや表情は、スマートフォンで撮影した本物の投稿動画のようです。一方、ポーランド語の音声はまだ課題が残ります。最も成績のよかったモデルでも、Whisperが認識した単語は平均65%でした。

テスト方法

1. 各キャラクターの自撮り画像にはFLUX.2 Klein 4Bを使いました。画像生成テストで最も自然に見え、Apache 2.0ライセンスで提供されているためです。
2. 各キャラクターに7〜10語のセリフと、動作や背景音を説明する短いプロンプトを用意しました。
3. Kandinskyには画像を最初のフレームとして入力し、<S>...<E>で囲んだセリフを含むシーン説明と、音声の説明を別々に入力しました。Wanには同じ説明を音声なしで入力しました。
4. 解像度はKandinskyが480×864、Wanが544×960。フレーム数は121で、動画の長さは5秒です。
5. 各動画の音声をWhisper large-v3にかけ、セリフのうち何語が聞き取れるかを数えました。

動画生成に使ったプロンプトの例です（ザコパネのガイド役）。以下は、実際に使ったポーランド語のテスト用プロンプトを日本語に訳したもので、日本語で再テストした結果ではありません。

参照画像の女性が、同じ顔、服装、場所で撮影する縦型のスマートフォン自撮り動画。髪の毛が風で顔にかかり、笑顔でスマートフォンを見つめながら、ポーランド語で次のように話す：「風がものすごく強いけれど、モルスキェ・オコが待っている。行こう！」 <S>Wieje jak diabli, ale Morskie Oko czeka. Idziemy!<E> 自然な手持ちスマートフォンの動き。リアルな映像。フィルターなし。

音声：強い山風、元気な声

5人のキャラクターを3モデルで動画化

各キャラクターの動画は、Kandinsky Pro、Kandinsky Lite、Wan 2.2の順です。Kandinskyの動画にはモデルが生成した音声があり、Wanの動画は無音です。セリフと認識結果の引用は、実際にポーランド語でテストした内容を日本語に訳したものです。日本語のテスト結果ではありません。

カシア、グダニスクのランナー：「朝食前に10キロ。明日、一緒に走りませんか？」

アマラ、ヴロツワフの料理ブロガー：「今日はピエロギとジョロフライス。変な組み合わせだけど、最高においしい！」

ハリナ、ウッチの家庭菜園愛好家：「今年はニンジンが豊作です。畑に遊びに来てください！」

メイ、クラクフのガジェットレビュアー：「新しいイヤホンを試しています。レビューは明日、チャンネルで。」

ゾフィア、ザコパネのガイド：「風がものすごく強いけれど、モルスキェ・オコが待っている。行こう！」

ポーランド語の音声認識結果

以下のセリフはポーランド語でテストした原文を日本語に訳したものです。認識率は実際のポーランド語音声に対して測定しており、日本語音声の評価ではありません。

平均すると、ProはLiteよりポーランド語のセリフを正確に話しました。ただし、すべての動画でそうだったわけではありません。ザコパネのガイドの動画ではLiteが88%、Proは38%でした。どのモデルも完璧ではありません。特に発音の難しいポーランド語の音や、ジョロフライスのような珍しい名称で誤りが目立ちます。短く簡単な文章ほど結果はよく、「風がものすごく強いけれど、モルスキェ・オコが待っている。行こう！」はLiteがほぼ正確に話しました。字幕を付けることの多いInstagramの投稿ならProで十分です。長いセリフの場合は、AI音声を別に生成して動画に重ねるほうがよいでしょう。

Kandinsky 6とWan 2.2の比較

* Proの動画1本は、別のプログラムがGPUを使用していたため、生成に40分かかりました。すべての時間はGPUが一部使用中の状態で測定しています。GPUを空けた状態では、Kandinsky Liteの初期テスト動画は約2分、Proは約6.5分で生成できました（Kandinsky 6.0のローカルテスト）。

よかった点と気になった点

• 顔が元画像に近い。3モデルとも、最初のフレームのそばかす、眼鏡、髪型、服装を保ちました。Wanのランナーだけ、動画の終わりに少し若く見えます。
• スマートフォンで撮ったような動き。カメラが軽く揺れ、髪を直す手や、日差しに目を細める表情も見られました。広告のモデルのようにポーズを取っている感じはありません。
• 不自然なジェスチャー。Wanの料理ブロガーは、ピエロギを載せたスプーンを鼻の近くまで持ち上げます。ガジェットレビュアーは鏡の前でほとんど動きません。
• ポーランド語の発音。Liteの動画では「ピエロギ」が、ここでは引用しない不適切な語に変わりました。投稿する前に、動画を最後まで聞いてください。

自分で試す方法

1. AIインフルエンサー画像のテストで紹介した方法に沿って、キャラクターの画像を作成します。
2. ComfyUIにKandinsky 6をインストールします（手順はKandinsky 6.0のローカルテストを参照）。「Image to Video+Audio」テンプレートを開きます。
3. 「Load Image」で画像を読み込み、幅を480、高さを864に設定します。「Beautify Prompt」のenabledをfalseにして、<S>...<E>でセリフを囲んだ説明文を入力します。
4. セリフは6〜10語程度の短い文にし、外国語の名称は避けましょう。2〜3パターン生成し、すべての単語が聞き取れるものを選びます。
5. 音声なしの動画を作る場合、たとえば音楽に合わせる場合は、Wan 2.2 5Bの「Wan 2.2 5B ti2v」テンプレートを使います。

AI生成であることを明示してください。表示方法については、画像テストの表示に関する項目で説明しています。

よくある質問

話すAIインフルエンサーを無料で作れますか？

ローカル環境なら可能です。Kandinsky 6.0（MIT）とWan 2.2（Apache 2.0）は無料で利用でき、商用利用も可能です。VRAM 24 GBのNVIDIA製GPUが必要です。Kandinsky ProではRAM 64 GBも必要になります。

ポーランド語を最も上手に話すモデルはどれですか？

今回の5本の動画では、Kandinsky 6.0 Proが平均65%の単語を認識されました。Liteは57%でした。Wan 2.2は音声を生成しません。

動画の長さはどれくらいですか？

モデルは5秒の動画を生成するよう学習されています。より長い投稿動画を作るには、前の動画の最後のフレームを次の動画の最初に使い、複数の動画をつなぎます。

生成にはどれくらい時間がかかりますか？

RTX 4090では、5秒の動画1本あたり約1.5分（Lite、Wan）から約7分（Pro）です。

出典

• Hugging FaceのKandinsky 6.0（MITライセンス）
• Hugging FaceのWan 2.2 TI2V 5B（Apache 2.0ライセンス）
• RTX 4090での個人テスト、2026年10月17日：動画15本、Whisper large-v3。

// 続きを読むElevenLabs Scribeの文字起こし精度を検証：固有名詞・数字の認識ベンチマークキノコ判定アプリは安全？AI写真テストの誤判定と限界ベンチマークVeo 3とは：動画と音を考える制作ガイドベンチマーク