AIでリップシンクのミュージックビデオを作るには、ボーカルトラックをAtlabsにアップロードし、動画タイプとして「Performance」を選び、ビジュアルスタイルとキャラクターを選びます。すると、システムが画面上のパフォーマーの口の動きをあなたの音声に合わせます。AIリップシンクは、各単語の音を読み取り、それを生み出す口の形を予測し、フレームごとに顔をアニメーションさせることで、キャラクターが実際にあなたの曲を歌っているように見せます。カメラも、俳優も、編集タイムラインも不要です。
AIリップシンクの実際の仕組み
AIリップシンクは、映像ではなく音声から始まります。モデルはボーカルトラックを聴き取り、音素と呼ばれる極めて短い音の断片、つまり話し声や歌声を構成する個々の単位に分解します。それぞれの音素には、それを生み出す口の位置があります。「あ」なら顎を開き、「ま」なら唇を閉じ、「う」なら唇を丸めます。モデルは、人が話したり歌ったりする大量の映像から、これらの対応関係を学習しています。
各瞬間にどの音が鳴っているかがわかると、対応する口の形を予測し、映像のすべてのフレームで顔の下半分を描き直します。最新のシステムは唇だけにとどまりません。顎を動かし、頬を動かし、顎先を調整して、顔の下半分全体が本物の歌手と同じように振る舞うようにします。その結果、口の動きがボーカルラインに十分に追従し、視聴者はそれを操り人形ではなく本物のパフォーマンスとして受け取ります。
ミュージックビデオでは、単純なトーキングヘッドの同期よりも難しくなる要素が2つあります。歌では話し声よりも母音がはるかに長く伸びること、そしてクリップ全体でタイミングをビートに合わせ続ける必要があることです。Atlabsは、ミュージックビデオワークフローの中で、アップロードしたトラックをマスターのタイミング基準として扱うことでこれに対処するため、口の動きと音声がずれることはありません。
必要な もの は
3つで、時間は約10分です。無料のAtlabsアカウント、mp3またはSunoのリンクのボーカルトラック1つ、そして目指すルックの大まかなイメージ（映画的でムーディー、明るいポップ、ネオンとアーバンなど）が必要です。カメラも、俳優も、リップシンクの練習も、編集ソフトも必要ありません。曲にはっきりしたボーカルがあれば、すぐに同期できます。
YouTubeで動画の全編を見る
リップシンクのミュージックビデオの作り方（ステップごとの解説）
すべての作業はミュージックビデオワークフローの中で完結します。アップロードから完成したパフォーマンス動画までの全体の流れを紹介します。
ステップ1
ミュージックビデオワークフローを開いてトラックをアップロードします。「Add Music」画面で、最大200MBのmp3をアップロードするか、SunoのミュージックURLを貼り付けて「EXTRACT MUSIC」をクリックします。Atlabsが曲のテンポ、ムード、ジャンルを自動で検出するため、以降の流れもそれに合わせられます。
ステップ2
セグメントを選び、動画タイプとして「Performance」を選びます。「Pick the best part of your track」モーダルが開きます。緑色の選択ウィンドウを波形上でドラッグして、取り上げたい部分、たいてい最大25秒ほどに合わせます。曲にボーカルがあり、アーティストを画面に登場させたいときのリップシンクのパフォーマンス動画向けのオプション、「Performance」を選びます。
ステップ3
スタイルを設定します。アスペクト比を選びます。TikTokとInstagramには9:16、YouTubeには16:9、FacebookとPinterestには1:1です。独自のシーンを生成するためにビデオスタイルは「AI Video」のままにし、実写の雰囲気の「Realistic」やスタイライズされた「Dark Urban Cartoon」などのビジュアルスタイルを選びます。
ステップ4
コンセプトを選びます。Atlabsは、トラックのテンポ、ムード、ジャンルから生成した6つのシーンコンセプトを、編集用の鉛筆アイコン付きのカードとして表示します。曲に合うものを選ぶか、「DESCRIBE YOUR CONCEPT」をクリックして、演出を自分で一から書きます。
ステップ5
パフォーマーをキャスティングして生成します。「Cast」ステップで、画面上で歌うキャラクターを定義します。各キャラクターカードには、複数のアングルを示す生成された参照シートが表示され、すべてのシーンで同じ顔が保たれます。空のスロットをクリックして「Add Character」を選ぶか、「Click to edit」を開いてルックを調整し、生成します。Atlabsがパフォーマンスを組み立て、キャラクターの口をボーカルトラックに同期させます。
よりきれいなリップシンクのためのヒント
ボーカルがクリアなミックスから始めましょう。モデルはボーカルラインを読み取るため、声がインストゥルメンタルの上にはっきり乗っているトラックのほうが、ボーカルが埋もれているトラックより緊密に同期します。アカペラやボーカル重視のバージョンがあれば、それが最良の入力です。長いインストゥルメンタルの区間ではなく、はっきり発音された力強いフレーズのセグメントを選びましょう。言葉が明瞭なほど、口の動きの手がかりが多くなります。パフォーマンスを実写のように感じさせたいときは「Realistic」のビジュアルスタイルを選び、動画全体で1人のキャラクターをキャスティングして、同じ顔がすべてのシーンを担うようにします。速いパッセージで最初の生成がずれる場合は、セグメントをより引き締まった部分にトリミングして再生成してください。
コピーして使えるプロンプト
ステップ4で独自のコンセプトを書く場合、これらは生成ツールに明確なパフォーマンスの演出を伝えます。「DESCRIBE YOUR CONCEPT」に貼り付けて、曲に合わせて詳細を調整してください。
温かなランプ1つだけが灯る薄暗いスタジオで歌う一人のシンガー。サビでは顔へゆっくりと寄っていくカメラ、浅い被写界深度、フィルムグレイン。リップシンクがはっきり伝わるよう、パフォーマーはクローズアップでカメラに向かって直接歌う。
背景に街の灯りが広がる夕暮れの屋上でのパフォーマンス。アーティストはミディアムクローズアップでカメラに向かって歌い、穏やかな手持ちの動き、温かな肌の色に映える冷たい青空、トラックのビートに合わせて切り替わるカット。
よくある質問
リップシンクのミュージックビデオを作るのにどれくらいかかりますか？
作業の大半は5ステップのセットアップで、約10分かかります。その後に生成が実行され、正確な時間は選んだセグメントの長さとビジュアルスタイルによって異なります。
編集やアニメーションのスキルは必要ですか？
いいえ。ボーカルトラックをアップロードしていくつか選択をするだけで、Atlabsがリップシンクとシーン生成を担当します。覚えるべき編集タイムラインも、手作業のアニメーションもありません。
どんな音声ファイルが使えますか？
「Add Music」画面で、最大200MBのmp3をアップロードするか、SunoのミュージックURLを貼り付けます。モデルは声を直接読み取るため、ボーカル重視のミックスが最もきれいに同期します。
同じ歌手を動画全体に登場させられますか？
はい。「Cast」ステップでは、各キャラクターカードに複数のアングルの参照シートがあり、動画内のすべてのシーンで同じ顔が保たれます。
今すぐ始める
ボーカルトラックをアップロードして「Performance」を選び、曲がリップシンク動画になる様子をご覧ください。
Atlabsを開く
