※こちらの記事はDomo AIの広告リンクを含んでいます。
「リップシンクで思い通りに喋らせたい」というクリエイターに愛用されているのがDomo AI。Web版が実装されたことにより、 Discordを介さずブラウザで直感的な生成ができます。
私はSUNO AI による音楽生成をメインとしており、Domo AIのリップシンク機能に以前から興味がありました。実際に使ってみてわかったことを書きます。
料金プラン
| プラン | 月額（年額） | 特徴 |
|---|---|---|
| Basic | $9.99 ($6.99) | 月500クレジット、透かしなし |
| Standard | $27.99 ($19.59) | ここより上位はリラックスモード（無制限生成）が利用可能 |
| Pro | $69.99 ($48.99) | 高速生成、同時実行数が多い |
リラックスモードなら低速で無制限に生成ができます。たくさん作りたい方は「Standardプラン」以上がおすすめ。生成に時間はかかりますが、リラックスモードならクレジットを消費せずに作り放題で利用できます。
ただし、リップシンク（AIアバター）はリラックスモードで生成できないので注意が必要です。
リップシンク（AIアバター）
リップシンクはDomo AIで今もっとも注目されている機能。
こちらが初めてリップシンクを使ったときの動画です。（youtube投稿動画より）Domo AIにもリップシンクにも慣れていなかったのですが、キャラクターの違和感もなく歌ってくれました。
Song Title: Deepfake
こちらはリップシンクの消費クレジットです。
| 時間 | 消費クレジット |
| 5秒 | 15 |
| 10秒 | 45 |
| 20秒 | 90 |
| 30秒 | 180 |
| 60秒 | 360 |
20秒のリップシンクを５回で450クレジット。ベーシックプランで使えるのは500クレジットと考えると、１本のショート動画が作れるかどうかって感じです。リップシンクで動画をつくるなら上位プランにしたほうが賢明ですね。
あとは時間に比例してクレジット消費量が多くなるのもポイントです。５秒のリップシンクが一番コスパがよいんですが、音源を細かくカットしてアップロードするのは手間がかかり編集も大変です。私はクレジットとのバランスを考えて20秒をメインに使っています。
あとはリップシンクが始まるのは音源の出だしとなるため、音源はカットして使いたい部分を切り出す必要があります。私はPCから動画編集のclipchampを使って、動画を作りたい部分の音源を切り出しています。なお、スタートの部分だけカットしておけば後半はそのままでも大丈夫です。
ちなみに２回目のリップシンクの動画がこちらです。
Song Title: Precious Memory
Precious Memory｜Nostalgic city pop that evokes the past
この動画を作ったときに、前回のショートで使わなかった高画質化を利用してみました。
高画質化
画像もしくは動画を2Kもしくは４Kへ高画質化できる機能です。これを使うとかなり動画の質が上がるので利用したいところ。ただし消費クレジットはそれなりにかかります。４Kならリップシンク以上のコストです。
以下は動画を高画質化するために必要なクレジットです。
| 長さ | ２K | ４K |
| 3s | 10 | 20 |
| 5s | 15 | 30 |
| 10s | 30 | 60 |
| 20s | 60 | 120 |
| 30s | 90 | 180 |
| 60s | 180 | – |
ちなみに先ほどの動画は２Ｋの高画質化を利用しましたが、下の画像が少し破綻していたという理由があって130％に拡大しています。
動画生成
Image to Video（静止画の動画化）
1枚の画像から動画を生成。もっとも基本的な動画生成の使い方です。他の動画生成との違いについては、さらに使い込んだら追記していきたいと思います。
Video to Video（実写のアニメ化）
元動画をアップロードして「日本アニメ風」「3Dスタイル」「アメコミ風」などを選ぶだけで、元の動きを保ったまま別世界の映像に変換します。これも用途は色々ありそうなので、また実際に使ってみたら追記したいと思います。
実験
リップシンクを使って音楽に合わせて動かすことができるのかという実験をしてみました。リップシンクの動画では体の動きも音楽に合わせてくれたので、他の使い方ができないかと思ったからです。
そこで、歌のないインスト曲などで「歌わない」をプロンプトに含めて試しました。
まずこちらの動画は失敗。口がパクパク動きますね。
しかし、こちらの動画は音楽に合わせて指が動いています。精度は高くないものの、ピアノの速度に合わせて指の動きも変化しています。
わざわざこんな使い方をする人は少ないかもしれませんが、リップシンクは別の使い方もできるかもしれないですね。
あとがき
まだDomo AIの全機能をテストできていないので、のちに内容を追記していきます。
また、リップシンク以外の消費クレジットは、以下の公式ページに掲載されていますので、チェックしてみてください。
Domo AI の生成動画
猫と私と美味しいさんま
I don’t want to be a flower
