小举人 手册

↑↓ 选择 Enter 打开 Esc 关闭

Dify 支持视频生成了!附 AI 视频应用搭建教程

用豆包视频插件在 Dify 里搭文生视频、图生视频应用:安装、授权、导入 DSL,或从 Chatflow 从零搭建。

约 3 分钟读完
本页目录

省流:想先玩起来,直接去文末的体验链接。

不说废话,先看效果图:

文生视频对话示例:输入「千军万马」后得到扩写提示词、图片与视频
文生视频对话示例:输入「千军万马」后得到扩写提示词、图片与视频

在应用对话框里输入文本即可得到一段视频。哪怕只是简单的一句话,也会自动扩展为详细的视频提示词再生成。

本文将介绍如何体验文生视频,以及如何自己搭建 AI 视频生成应用。

示例效果(WeChat 原文内嵌视频,这里保留封面;完整动态效果请点体验链接):

  1. 女孩与狐狸(文生视频)
女孩与狐狸文生视频封面
女孩与狐狸文生视频封面
  1. 千军万马来相见(文生视频)
千军万马来相见文生视频封面
千军万马来相见文生视频封面
  1. 王与飞机(图生视频)
王与飞机图生视频封面
王与飞机图生视频封面
  1. 古代战马(图生视频)
古代战马图生视频封面
古代战马图生视频封面

图生视频工作流界面示意:

图生视频工作流:上传图片后运行得到 MP4
图生视频工作流:上传图片后运行得到 MP4

不需要复杂注册认证。发挥想象力即可。

#实现原理

这三个应用都是在 Dify 里搭的,核心是 Dify 的视频生成插件。

如果你还不了解 Dify,可以把它理解成一个 AI 应用游乐场,像拼乐高一样搭应用。官网:https://dify.ai/

Dify 官网与工作流预览
Dify 官网与工作流预览

下面是完整复刻步骤。大约三分钟。

#1. 注册并登录 Dify

打开 https://cloud.dify.ai/,用邮箱注册。右上角可切语言。也可以安装开源社区版。

cloud.dify.ai 右上角切换语言
cloud.dify.ai 右上角切换语言

#2. 安装视频插件并完成授权

Dify 本身不是视频模型。生成视频靠外部插件。

右上角「插件」→「探索 Marketplace」,搜索视频,找到 Doubao Image and Video Generator。能力基于豆包。

Marketplace 搜索「视频」找到 Doubao Image and Video Generator
Marketplace 搜索「视频」找到 Doubao Image and Video Generator

安装后填写你自己的 API Key 完成授权,不要把密钥写进文档或提交到仓库。

插件授权面板:填写 Volcengine API Key
插件授权面板:填写 Volcengine API Key

#3. 创建应用

注册进平台之后还要创建一个应用,再往里加视频生成。

#3.1 复制现成应用

Dify 应用底层是 DSL。在网页里「导入 DSL 文件」,粘贴链接即可:

导入 DSL 文件对话框
导入 DSL 文件对话框

导入成功后,你应该可以看到以下应用界面:

导入成功后的应用界面
导入成功后的应用界面

#3.2 从零搭建

创建空白应用,选 Chatflow,填名称和描述。

创建空白 Chatflow 应用
创建空白 Chatflow 应用

添加工具节点,选 Doubao Generator。按你要的效果选文生图、文生视频或图生视频。

添加工具节点并选择 Doubao Generator
添加工具节点并选择 Doubao Generator

每个工具节点都有默认输入输出。文生视频的输入是提示词,输出是插件生成的视频。

文生视频工具节点的输入输出参数
文生视频工具节点的输入输出参数

我把输入接到上一步 LLM 的输出:用户的提示词往往不够细,先让模型扩写成详细视频提示词,再送给生成节点。

将 LLM 扩写后的提示词接到视频生成节点
将 LLM 扩写后的提示词接到视频生成节点

这个插件也可以用在 Agent 节点里。

在 Agent 节点中使用视频插件
在 Agent 节点中使用视频插件

如果还没搞懂工作流,先看:Dify Workflow。

#总结

以前在 Dify 里生成视频,多半是 HTTP 节点去打外部 API。能跑,但不优雅,每个想做视频的人都要重配一遍。这是个普遍需求,不如做成插件,填 API Key 就能用。

插件源码与 Marketplace 卡片示意
插件源码与 Marketplace 卡片示意

插件源码:AllenWriter/doubao-image-and-video-generator

开发文档:Getting started with Dify plugins

如果你也想在 Dify 里体验视频生成,或想开发自己的插件却无从下手,欢迎加微信咨询:

作者微信二维码
作者微信二维码

原文:https://mp.weixin.qq.com/s/obqH8fliSfFIJC0yH7dqvg