AI吹き替えとは？ElevenLabsなどで動画の声を翻訳する方法

👁 115閲覧数

AI吹き替えは、動画を別の言語に翻訳し、元の話者に似た声の音声を重ねる技術です。音声を文字に起こして翻訳し、声の特徴を複製して新しい音声を作ります。ツールによっては、口の動きも新しい音声に合わせます。この記事では、対応ツールや料金、作業の手順、字幕が適しているケースを解説します。なお、ここで紹介する品質上の注意点はポーランド語を使った内容に基づくもので、日本語でのテスト結果ではありません。

AI吹き替えとは？字幕やAIナレーションとの違い

AI吹き替えは、主に4つの工程を自動で行います。まず音声認識で会話を文字に起こし、話者を分離します。次に、元の話し方に合う長さになるよう調整しながら翻訳します。その後、元の話者の声の特徴をまねた音声を合成し、事前に分離した音楽や効果音とミックスします。ツールによっては5つ目の工程として映像も加工し、新しい音声に合わせて口が動くようにします。

字幕は音声を変えず、費用を抑えやすく修正も簡単ですが、視聴者は文字を読む必要があります。AIナレーションは、1つの合成音声で翻訳を読み上げ、元の音声に重ねる方式です。これに対して吹き替えは元の声を置き換え、その特徴を保つことを目指します。動画が別の言語で制作されたと視聴者に意識させたくない場合に向いています。

AI吹き替えツールの機能と公式料金

メーカーが公開する料金は、税抜きのUSDです。ElevenLabsの吹き替えはクレジット制で、透かしありは1分あたり2,000クレジット、透かしなしは3,000クレジットです。手動編集ができるDubbing Studioでは、モードに応じて1分あたり5,000または10,000クレジットを使います。HeyGenのVideo Translate機能ページには無料プランで3分の動画を3本とありますが、料金ページでは1分の動画を3本と記載されており、メーカーの案内に食い違いがあります。Raskの料金は、料金が同年中に少なくとも一度変更されたため、2026年7月時点の比較情報に基づいています。

英語の動画をポーランド語に吹き替える手順

• 動画ファイルを用意する - 会話がはっきり聞こえるMP4を使います。音楽やノイズがあると、話者を分離しにくくなります。
• ElevenLabsを開く - Dubbingを選び、動画をアップロードするかリンクを貼り付けます。入力言語を「English」、出力言語を「Polish」に設定し、話者数を指定します。自動モードか、翻訳を編集したい場合はDubbing Studioを選びます。
• 翻訳前に文字起こしを修正する - 固有名詞、略語、数字を確認します。音声認識の誤りは、翻訳と合成音声にも引き継がれます。
• 翻訳を調整する - ポーランド語の文は英語より長くなることが多いため、音声が速くなりすぎないように短くします。Studioでは、タイムライン上で各セリフを確認できます。
• 音声を生成して聞き直す - 数字、姓の語形変化、語尾が聞き取りにくくなる箇所を確認します。テキストを修正して、そのセリフだけを再生成します。
• HeyGenで作業する - 1つの画面で動画をアップロードし、言語と口の動きの同期を選んで生成します。翻訳を編集するには、文字起こし付きのモードを使います。

Synthesiaを使う場合は、Synthesiaで動画を作る方法の手順も参考になります。ツールの概要はSynthesiaの紹介記事、自分の声を複製する方法はElevenLabsのチュートリアルをご覧ください。

AI吹き替えの品質と注意点

以下はポーランド語での品質についての説明です。日本語の音声や翻訳を使って検証した結果ではありません。

• アクセント - 英語話者の声を複製してポーランド語を話させると、軽い外国語アクセントが残る場合があります。外国語話者の発音として自然に聞こえる視聴者もいます。
• 話す速さ - ポーランド語の翻訳文は長くなりやすく、ツールが音声を速めたり文章を短くしたりすることがあります。必要に応じて翻訳を自分で短くします。
• 数字と語形変化 - 「2024年に」「3人のために」といった表現で、数字の読み方や語形が誤ることがあります。文字起こしでは数字を綴りで入力すると改善する場合があります。
• 固有名詞 - 企業名や人名は、発音に合わせた表記を手作業で指定する必要があります。
• 口の動きの同期 - 顔が画面中央にある話者ではHeyGenが良い結果を出しますが、横顔、カメラの動き、複数人が映る場面では映像の乱れが生じることがあります。

専門用語が多い動画、複数人が同時に話す動画、SNSのように音声なしで視聴されることが多い動画では、字幕が適しています。Kling 3.0の動画翻訳機能は声の特徴を保ちますが、口の動きの同期を保証するものではありません。

AI吹き替えの法律と倫理

声を複製するには、その声の本人の同意が必要です。ElevenLabsとHeyGenは声のクローンを作る際に申告を求めていますが、申告内容の正確さについては利用者が責任を負います。元の動画を使う権利も必要です。吹き替えは、著作物を翻案する行為にあたります。

2026年8月2日から、AI Act第50条が適用されます。実在する人物を模したAI生成・加工コンテンツは、人工的に生成または加工されたものであると表示する必要があります。実在する特定の話者の声を複製した吹き替えはディープフェイクの定義に含まれるため、表示が必要です。2026年7月20日の欧州委員会のガイドラインでは、オーディオブックに登場する架空のキャラクターの声などは、この定義の対象外とされています。詳しくはAI Actに基づくディープフェイク表示の解説をご覧ください。

YouTubeは、対象チャンネルの動画を自動で吹き替えます。クリエイターはYouTube Studioの「設定」から「コンテンツ」、「自動吹き替え」へ進んで機能をオフにできます。また、手動公開を設定して、公開前に音声を確認することもできます。視聴者はプレーヤーの設定（歯車アイコン、「音声トラック」）から音声を切り替え、アカウント設定で優先する言語を保存できます。

AI吹き替えに関するよくある質問

AI吹き替えは無料で使えますか？

試用できる無料枠があります。ElevenLabsは月10,000クレジットで、透かしありの吹き替えを約5分利用できます。HeyGenは月3本の動画を作成でき、透かしが入ります。SynthesiaのBasicプランは10分です。YouTubeの自動吹き替えも無料ですが、利用できる言語ペアは限られます。

AI吹き替えの料金は1分あたりいくらですか？

個人向けプランでは、プランや透かしの有無によって1分あたり約2～5 USDです。スタジオで手動編集すると、クレジットの消費量は2～3倍になります。

自分の声で別の言語を話せますか？

可能です。ポーランド語で録音した音声から声を複製し、その声で英語、ドイツ語、スペイン語などを話す音声を作れます。ElevenLabsは90以上、HeyGenは175以上の言語に対応しています。

YouTubeは動画を自動で吹き替えますか？

対象チャンネルでは自動吹き替えが初期設定で有効です。ポーランド語については、現時点で英語からポーランド語、ポーランド語から英語への吹き替えに対応しています。元の音声のイントネーションを再現する「Expressive」モードには対応していません。

動画の映像を生成するツールは、AI動画生成ツールの比較をご覧ください。

// 続きを読むElevenLabs Dubbingの使い方と料金、v1・v2を比較テストベンチマークElevenLabsのAI音声クローン：10秒・2分の音声で精度を比較ベンチマークEleven Musicの使い方と料金、歌詞の再現度を検証ベンチマーク