Dify が動画生成に対応！AI 動画アプリの作り方つき

Doubao の動画プラグインを使って、Dify でテキストから動画・画像から動画を生成するアプリを作る方法。インストール、認証、DSL のインポート、Chatflow での一から構築まで。

約4分で読めます

このページの内容

要点だけ知りたい方は、記事末尾の体験リンクへどうぞ。

前置きは抜きにして、まずは完成品をご覧ください。

アプリのチャット欄にテキストを入力するだけで、動画が出来上がります。一言だけの簡単な文章でも、自動的に詳しい動画用プロンプトに広げられてから生成されます。

この記事では、テキストから動画を体験する方法と、自分で AI 動画生成アプリを作る方法を紹介します。

生成例（元の WeChat 記事に埋め込まれていた動画のため、ここではカバー画像を残しています。動きのある完全な効果は体験リンクからご覧ください）：

画像から動画までのワークフロー画面のイメージ：

複雑な登録や認証は必要ありません。あとは想像力を働かせてください。

#仕組み

この三つのアプリはすべて Dify で作られています。その中心にあるのが、Dify の動画生成プラグインです。

Dify をご存じない方は、AI アプリの遊び場だと思ってください。レゴブロックを組み立てるように、アプリを組み上げられます。公式サイト：https://dify.ai/

以下が再現するための完全な手順です。所要時間は約 3 分です。

https://cloud.dify.ai/ を開き、メールアドレスで登録してください。右上で言語を切り替えられます。オープンソースのコミュニティ版をインストールすることもできます。

Dify 自体は動画モデルではありません。動画の生成には外部のプラグインを使います。

右上の「プラグイン」→「Explore Marketplace」を選び、「video」を検索して Doubao Image and Video Generator を見つけてください。機能は Doubao がベースになっています。

インストール後、ご自身の API キーを入力して認証を完了してください。キーを資料に書いたり、リポジトリにコミットしたりしないよう注意してください。

プラットフォームに登録したら、アプリを作成し、そこに動画生成を追加する必要があります。

Dify のアプリは内部的には DSL で定義されています。Web 画面で「DSL ファイルをインポート」を選び、リンクを貼り付けてください。

インポートが成功すると、次のようなアプリ画面が表示されます。

空白のアプリを作成し、Chatflow を選んで名前と説明を入力してください。

ツールノードを追加し、Doubao Generator を選びます。目的の効果に応じて、テキストから画像、テキストから動画、画像から動画のいずれかを選んでください。

各ツールノードには既定の入出力があります。テキストから動画の場合、入力はプロンプト、出力はプラグインが生成した動画です。

私は入力を、前段の LLM の出力につなげています。ユーザーの入力するプロンプトは詳しくないことが多いため、先にモデルに詳細な動画用プロンプトへ広げてもらい、それを生成ノードに渡すのです。

このプラグインは Agent ノードの中でも使えます。

ワークフローがまだよくわからない方は、先に Dify Workflow をご覧ください。

以前は Dify で動画を生成する場合、多くは HTTP ノードで外部 API を呼び出していました。動くにはしても、スマートとは言えず、動画を作りたい人は誰でも設定し直す必要がありました。これは共通のニーズなので、API キーを入力するだけで使えるプラグインにしたほうが良いと考えました。

Dify で動画生成を試してみたい方や、自分のプラグインを作りたいけれど何から始めればよいかわからない方は、お気軽に WeChat でご相談ください。