AI吹き替えとは:しくみと向いている動画
AI吹き替えは、動画内の話し声を、同じ内容の別の言語の音声に置き換えます。その過程で動画に何が起きるのか、そしてタイミングがなぜ多くの人の想像以上に重要なのかを説明します。

AI吹き替えとは
吹き替えは、動画の音声を別の言語の音声に置き換えるもので、視聴者は字幕を読む代わりに耳で聴けます。何十年もの間、それには翻訳者と声優とスタジオが必要でした。AI吹き替えは同じ作業をソフトウェアで行います。話された内容を文字起こしし、翻訳し、その翻訳を生成した声で読み上げ、その声を動画に戻して配置します。
字幕は元の声を残し、テキストを加えます。吹き替えは映像を残し、声を変えます。視聴者の目がカーソルを追うのに忙しいレッスンやチュートリアルでは、この違いこそが重要です。メニューを探しながら字幕を読む必要がなくなるのです。
AI吹き替えができるまで
どの AI吹き替えツールも、同じ5つのステップを何らかの形で実行しています。仕上がりの品質は、それぞれのステップをどれだけ丁寧に行うかで決まります。
- 文字起こし音声認識が、話された内容と、各フレーズが始まって終わるタイミングを書き起こします。
- 翻訳文字起こしをフレーズごとに翻訳します。名前や数字、画面に映るソフトウェアの用語は正しく保ちます。
- 声音声モデルが翻訳を読み上げます。使うのは既成の声か、元の話し手に似た声です。
- タイミング翻訳した各フレーズを、元の動画で話された時点の近くに、動画のタイムライン上で配置し直します。
- ミックス音楽と背景音を新しい声の下に戻し、吹き替えを動画、音声ファイル、字幕として書き出します。
DubForge で目にするのは、この流れの両端だけです。ファイルをアップロードして言語を選ぶと、すべてのセグメントがエディターに並んだプロジェクトができあがり、すぐに確認できます。
誰の声が聞こえるか
ライブラリの声で吹き替えるツールもあります。聞き取りやすいものの、知らない人の声です。一方、話していた本人のような声で吹き替えるツールもあります。講座の講師やチャンネルの配信者のように、視聴者がその人を知っている場合には、これが大切です。
DubForge は、アップロードされたファイルから、話している一人ひとりの声を取得します。事前に声を録音したり学習させたりする必要はありません。2人が話していれば、それぞれが本人の声で吹き替えられ、元と同じタイミングで話します。吹き替えられるのは、ご自身の声、または持ち主から書面で許可を得た声です。詳しくは吹き替えられる声についてをご覧ください。
タイミングが難しい理由
同じ内容でも、2つの言語で同じ長さになることはまれです。ツールはその差をどう扱うかを決めなければならず、よくある手抜きは仕上がりにはっきり表れます:
- 音声を速めて枠に収めると、声がせかせかします。
- すき間を無音で埋めると全体の長さは保てますが、文は早口になり、その間に長い空白が入ります。これは誰の話し方でもありません。
- 元の間を無視すると、話し手が考えるために止まった瞬間や、読み込みを待っていた瞬間が失われます。
顔出しで話す動画なら、これは小さな不便で済みます。しかしチュートリアルでは、レッスンが成り立たなくなります。カーソルが届く1秒前に、声が「ここをクリック」と言ってしまうのです。DubForge の創業者は、自分の Cinema 4D のレッスンを初めて吹き替えたとき、まさにこの問題にぶつかりました。だから DubForge は一つひとつの発話を動画自身の時間軸に置きます。元の無音は吹き替えでも無音のまま、声はカーソルと同時にクリックに届きます。
よい吹き替えとは、全体の長さが合っているものではありません。一つひとつの文が、元の文と同じ位置に収まっているものです。
AI吹き替えが向いている場面、まだ向いていない場面
AI吹き替えが最も力を発揮するのは、声が画面上の何かを説明していて、話し手の顔が小さいか、映っていない動画です:
ドラマやアップのインタビューのように、顔が画面いっぱいに映り、口の動きを言葉に合わせる必要がある動画にはあまり向きません。DubForge はまだリップシンクに対応していません。声を画面に合わせる必要がある、上に挙げた用途のために作られています。視聴者が字幕を苦なく読め、元の声が内容を伝えているなら、字幕で十分な場合もあります。
公開前に確認すること
AI吹き替えは、確かめずにそのままアップロードするファイルではなく、あなたが承認する下書きです。視聴者と同じように、映像と一緒に聴いてください:
- 画面が説明どおりの動きをするときに、その文が聞こえていますか?
- 間は残っていて、長さも適切ですか?
- 製品名、メニュー項目、数字は正しいですか?
- 各文は最後の語が途切れずに、きれいに終わっていますか?
- 字幕は吹き替えの内容と一致していますか?
DubForge では、確認が必要そうなセリフをエンジンが知らせます。元より短くなった間や、元より速く話されているセリフです。セグメントの言葉を変えると、その発話全体が同じ声で再生成され、以前のバージョンにはいつでもワンクリックで戻せます。確認の手順全体はAI吹き替えの確認方法で紹介しています。
費用
料金はツールによって大きく異なるため、完成した吹き替え1分あたりで比較しましょう。DubForge はクレジットで計算します。1クレジットで動画1秒を1言語に吹き替えます。10分のレッスンを1言語に吹き替えると600クレジット、2言語なら1,200クレジットです。
| プラン | 料金 | 月の吹き替え量 | 1分あたり |
|---|---|---|---|
| 無料トライアル | US$0(1回限り) | 30秒 | 無料(ウォーターマーク付き) |
| Creator | 月額 US$25 | 15分 | 約 US$1.67 |
| Pro | 月額 US$60 | 45分 | 約 US$1.33 |
| Studio | 月額 US$160 | 140分 | 約 US$1.14 |
プランなしの場合、クレジットは1,000クレジットで US$35 です。詳細と、ご自身の分数で計算できるツールは、料金ページと動画の吹き替えにかかる費用にあります。
質問
AI吹き替えとボイスクローンは同じですか?
いいえ。ボイスクローンは、ある人のように聞こえる音声を作るものです。AI吹き替えはその周りの作業全体を指します。文字起こし、翻訳、新しい音声を動画にタイミングを合わせて配置すること、そして音楽とのミックスです。吹き替えには、クローンした声も既成の声も使えます。
AIで動画を吹き替えるのに台本は必要ですか?
いいえ。音声は動画から文字起こしされます。あとから文字起こしや翻訳を修正し、変更したセリフを再生成できます。
話し手が複数いる動画もAIで吹き替えられますか?
はい。DubForge では、プロジェクトの作成時に話す人数を選ぶと、一人ひとりが本人の声で、それぞれの話す番に吹き替えられます。
吹き替えが AI で作られたことを視聴者に伝える必要はありますか?
DubForge は書き出した音声に AI による生成であることを示す表示を付けており、利用規約では視聴者に伝えるようお願いしています。多くのプラットフォームも同様の開示を求めています。
AI吹き替えで口の動きに合わせられますか?
試みているツールもあります。DubForge はまだリップシンクに対応していません。口ではなく画面に声を合わせる必要がある、レッスン、チュートリアル、画面録画のために作られています。