SeedVR2 7B fp8で動画を480pから1080pに高画質化

👁 116閲覧数

AI動画のリップシンクを調整したあと、仕上げとしてSeedVR2を試しました。7B fp8モデルで映像を832×480から1872×1080に高画質化し、20秒分の処理に1034秒かかりました。処理前後を比べると、顔や眼鏡、服のディテールの変化がよくわかります。選んだカットの仕上げには役立ちますが、生成時のあらゆる問題を直せるわけではありません。

480pの動画を用意した手順

出発点にしたのは、リップシンクモデルの比較にも使った楽曲の一部分です。楽曲名はポーランド語の「Kiedy po swojemu gram」で、日本語に訳すと「自分らしく演奏するとき」です。まずSeedance 2.5のAPIで映像を生成し、完成した動画をローカル環境のInfiniteTalk V2Vモードに通しました。この処理で歌声に対する口の動きは改善しましたが、出力解像度は832×480でした。

この順番には理由があります。Seedanceで見栄えのよい映像を作れましたが、同期の測定値は0.153でした。InfiniteTalk V2Vの処理後は0.366に上がりました。解像度を上げたのはそのあとです。採用するか決めていないカットを先に高画質化すると、結局やり直す映像のディテールに時間をかけることになりかねません。

そのため、すべての生成結果ではなく、仕上げるカットを選んでから処理しました。長めの動画を編集するときも、この順番を採用します。まず場面や表情、音楽との一致を確認し、そのあとで負荷の高い画質処理を行います。高画質化ツールは、そのカットが楽曲に合うかどうかまでは判断してくれません。

SeedVR2 7B fp8の処理結果

処理時間は、RTX 4090を使った今回の実行結果です。どの動画でも同じ速度になるとは限りません。動画の長さやサイズ、メモリの管理方法、処理設定によって、タスク全体の挙動は変わる可能性があります。影響を数値で示せるほどの反復テストは行っていません。

「1080p」という表現にも補足が必要です。今回の出力は高さ1080ピクセルで、実際の解像度は1872×1080です。一般的な値に合わせて幅を変更したり、映像をクロップしたりしたわけではありません。編集プロジェクトに読み込む際は、人物が引き伸ばされないようキャンバスへの収まりを確認してください。

高画質化の前後で見える違い

比較画像では、左側の映像のほうが全体にぼやけています。眼鏡の輪郭や帽子の縁、口元の境界が不鮮明です。右側では、眼鏡のフレームやひげ、パーカーの質感を確認しやすくなっています。場面全体の色だけでなく顔に注目すると、違いがよりはっきりします。

元映像に実在したディテールを復元した、という意味ではありません。映像は生成されたもので、SeedVR2はディテールを再構成します。質感がより鮮明に見えても、生成前から存在していたものを忠実に記録しているとは限りません。顔については、人物の一貫性や口の形、眼鏡の見え方を中心に確認します。

静止画の比較は、選んだフレームのディテールを示すには十分です。しかし、動きの中で画質が安定しているかどうかは、それだけではわかりません。動画全体でちらつきがない、あるいはすべてのフレームが同じように仕上がっているとは結論づけられません。見栄えのよい静止画だけで動画を評価しないことが大切です。

ComfyUIで高画質化する手順

今回使ったツール群は、ComfyUI-SeedVR2_VideoUpscalerとして提供されています。説明されているワークフローには、SeedVR2LoadDiTModel、SeedVR2LoadVAEModel、SeedVR2VideoUpscalerがあります。オプションとしてSeedVR2TorchCompileSettingsも記載されています。これは追加の重みファイルとしてダウンロードするものではありません。

実際の手順では、採用した入力映像をモデルとVAEのローダーに接続し、出力する映像の高さを設定します。テスト時のメモには、ローカルのヘルパースクリプトを次のように実行したとあります。python klip.py upscale <klip.mp4> 1080。これは検証で使ったスクリプトのインターフェースであり、拡張機能をインストールするだけで使える共通コマンドではありません。

検証レポートに完全なプリセットは記載されていないため、動作確認済みの設定として紹介することはできません。確認できるのは、7B fp8モデルを使ったこと、解像度、処理時間、ワークフロー内での処理順です。ツールの説明には3Bモデルのファイルも記載されていますが、そのチェックポイントのサイズや性能を今回使ったモデルと混同しないようにしています。

メモリと設定で確認したいポイント

SeedVR2の説明では、GPUメモリへの負荷を抑える方法として、CPUへのオフロード、ブロックスワップ、VAEのタイル処理が挙げられています。自分のワークフローを組む際にも、こうした方法を検討できます。ただし、今回の検証では設定ごとの比較やVRAM・RAMの最大使用量を測っていないため、具体的な時間短縮効果は示せません。

メモリ不足が起きた場合は、まず処理を段階ごとに分け、複数のモデルを同時にメモリへ載せない方法を検討します。そのうえで、ブロックスワップや一度に処理する量、出力サイズの設定を確認します。これらはドキュメントをもとにしたトラブルシューティングのヒントであり、今回の実行で実際に発生した問題や、実施した修正ではありません。

長い動画を扱うときは、採用したカットごとに分けて処理する方法もあります。空きVRAMが十分でも、システムメモリに全体が収まるとは限りません。一方で、時間方向の一貫性への影響を確かめずにバッチサイズを小さくするのも避けたいところです。メモリを節約できても、編集に使えない結果では意味がありません。

今回の検証で高画質化できなかったこと

SeedVR2の処理後に同期スコアが上がったことを示す、独立した測定結果はありません。この工程の結果表には、前の段階で得た値が参照されています。したがって、結論は限定的です。InfiniteTalk V2Vがリップシンクを改善し、SeedVR2が解像度を上げて映像のディテールを変えました。この2つの結果をまとめて、歌唱の問題も自動で直ると説明することはできません。

フレームレートの変化もSeedVR2の効果として扱っていません。フレーム補間は別の処理で、ドキュメントではRIFEとともに説明されています。今回のSeedVR2の測定には含まれていません。同様に、鮮明さが増しても、手や楽器の誤り、不自然な動きが自動で修正されるわけではありません。こうした問題は、仕上げる映像を選ぶ前に確認します。

処理コストとライセンスを確認する

高画質化にはローカルのハードウェアを使い、記録上のコストは電気代です。電力消費量を測っていないため、動画1本あたりの料金は示せません。また、工程全体ではそれ以前に有料のSeedanceを使っています。「ローカルで高画質化した」ことは、映像制作のすべてが無費用だったという意味ではありません。

元の比較資料では、SeedVR2の連携リポジトリと公式SeedVRプロジェクトのライセンスはApache-2.0とされています。この情報は、テストの性能データとは分けて確認しました。追加の重みや拡張機能を選ぶ際は、それぞれのコンポーネントに適用される条件を確認してください。コードを利用する権利があっても、処理対象の映像や音楽の権利が得られるわけではありません。

SeedVR2に関するよくある質問

SeedVR2で動画を1080pにできますか？

今回の出力解像度は1872×1080でした。縦横比も伝わるよう、目標の画質名だけでなく実際のサイズを記載しています。書き出す際は、顔を引き伸ばさずに編集プロジェクトへ収まるか確認してください。

7B fp8は3Bより優れていますか？

今回の映像で両モデルを直接比較していません。レポートで確認できるのは7B fp8を使ったことだけです。モデル名に含まれる数字だけから、画質や速度の優劣を判断することはできません。

1枚のフレームを見れば十分ですか？

いいえ。静止画ではディテールを確認しましたが、カット全体を採用する前に音声を聞き、動きを確認する必要があります。特に口元では、映像が鮮明になったことで、以前からあった問題が目立ちやすくなることもあります。

SeedVR2はどのようなときに使いますか？

場面と再生内容を確認して採用を決めたあと、解像度の低さが編集での利用を妨げる場合に使います。今回の検証は仕上げ工程としての有用性を示していますが、生成したすべてのバージョンを選別せずに高画質化する理由にはなりません。

テスト用の動画はSeedanceで生成し、ComfyUIでローカルのリップシンク処理を行いました。ローカル環境で動くほかのモデルについては、ローカルAIのガイドで紹介しています。

// 続きを読むPixVerseとは？料金、無料プランとV6の実力AIツールKimi K3.1 ProのAPI料金と実測コストAIツールKimi K3.1 Pro 日本語実力テスト：Claude Opus 5.5やGPT-6 Astraとの12課題徹底比較AIツール