ClipSketch AI部署:从视频关键帧生成漫画风图文素材

把一段视频重新整理成图文内容,最耗时间的往往不是把文字重新写一遍,而是从几分钟甚至十几分钟的视频里重新找画面、截图,再想办法让这些图片保持统一的视觉风格。
ClipSketch AI提供了一种比较特别的处理方式。导入视频以后,可以先由用户自己选择需要保留的关键帧,再结合Gemini对内容进行分析和图像生成,把这些画面重新整理成漫画风格的分镜素材。
本文会在Windows中通过Docker运行ClipSketch AI,实际完成视频导入、关键帧选择、图片提示词设置、角色形象融合、分镜整理和文案生成,看看一段已有的视频能够怎样转换成更适合图文发布的内容素材。
需要说明的是,ClipSketch AI并不是自动完整复制视频内容,也不会替用户解决原素材的版权问题。用于再创作的视频、图片和人物形象,应优先选择自己制作、已经获得授权或允许二次使用的内容。
完成本地测试后,还会通过cpolar为ClipSketch AI的3000端口创建公网入口,用来验证从其他网络环境打开这套工具。由于处理过程中需要使用Gemini API Key,公网使用时还应特别注意接口凭据和访问权限,避免把应用作为无认证服务长期公开。
1 关于【ClipSketch AI】
ClipSketch AI是什么?简单来说,它是你的“在线视频转绘机 + 爆款文案生成器 + 顶级漫画师”!这个AI应用能将B站和小红书的视频瞬间变成精致的手绘漫画故事板。你只需要复制视频链接,粘贴到ClipSketch AI里,它就能帮你完成剩下的工作。

2 windows部署安装【ClipSketch AI】
部署之前我们需要先去获取一个Gemini的API key:https://aistudio.google.com,然后我们把这个APIkey复制下来备份
【AIzaSyBxQ3k1-xOFHwE_40xfF4L_zQxVt_Le2xI】
打开终端,执行这行代码,一键启动
docker run -d -p 3000:3000 --name clipsketch-ai tannic666/clipsketch-ai:latest

最后打开浏览器访问localhost:3000,就可以看到我们的ClipSketch AI的主界面啦!

3 简单使用ClipSketch AI
我们随便找一个视频导入进去,加载成功后就可以操作了!

左侧是视频预览,右侧是截取的关键帧,关键帧需要大家自己手动截取

比如我们想导入这一帧,就点击T键,以此类推

大家可以理解为,截取的每一个关键帧,之后都会对应的生成一张图片,大家想呈现什么样的画面内容,就在视频对应的画面截取关键帧就行。只需要五秒钟就标记了五个最精华的瞬间!
当你将所有想要的画面全部截取之后,就可以点右上角的AI绘图按钮,进入下一步了。

然后在这个界面你就能看到你之前截取的所有关键帧,

这时候你需要在右上角填入你刚才备份的 Gemini API Key

接着AI 就会像个课代表一样,把你刚才选的那几个片段分析一遍,理解这几个步骤到底在干嘛。

第一步:左侧先分析一下原视频的文案。
分析这个文案的主要目的,就是更进一步分析原视频的主要内容是什么,然后更确定你之后要生成什么样内容的图片。

这个文案是由工具自动拉取原视频的,不用自己填写。如果你对文案不满意,也可以自己修改。
第二步:填写图片提示词。
截取关键帧,是为了确定每一张图片的具体内容是什么。而这一步,是为了确定图片最终的风格。

这款工具默认就已经填写了一套比较不错的提示词,出来的效果就是开头展示的那样。

如果想要其他画风的图片,也可以自己写一套别的提示词,然后选择你想要的画面比例,最后点击生成就行。生成的图片会在页面右侧显示

第三步:角色融合。
如果你长期运营一个某品类的账号,那有一个固有形象也是挺重要的,
可以加强读者对你账号品牌的认知度。所以这里可以上传你的品牌形象,可以是一只小猫,或者皮套人,甚至是你本人都可以。

之后AI会智能将你的形象融合到图片中去。会智能根据你上传的形象,来自定义角色的动作和表情,可以说是非常智能了。

这简单的操作背后,作者一定提前嵌入了丰富的提示词,才能将前台的操作简化成一步搞定。而如果你不需要融合IP形象,那么直接跳过这一步就可以了。
第四步:分镜修饰。
这其实就是将之前生成的图片,一副一副分割成你要求的图片数量。只用根据你之前截取的关键帧数量来填写数字,或者根据你想要的图片数量来填数字就行。

然后AI会智能合并步骤或者扩展步骤,以你的图片数量为准来产出多张图片。
最后一步:文案生成。
发小红书,一个优质的文案也很重要。
这里也可以交给AI,它会自己根据你的主题和小红书这个平台的风格,
生成一篇还算不错的文案。

AI出的文案有很多种风格,有讲解了详细步骤的纯粹攻略, 也有专注提供情绪价值的小甜文,大家可以根据自己的需求选择~
最后点击生成,能看到它完美地融合成了一张封面!

线条流畅,风格可爱,而且重点突出!
以前是选主题、写文案、画草稿,现在是复制链接、按T、点生成!这效率,简直是开了挂!
4 介绍以及安装cpolar内网穿透
它的应用场景简直无敌!知识分享UP主可以快速把你的硬核代码教程变成漫画笔记,让小白也能看懂!
美食博主可以把你的30分钟做饭Vlog,变成5张图的“懒人食谱”,发到小红书上,流量暴涨!或者二创大神可以快速截取番剧/电影的经典瞬间,生成手绘梗图,二创速度比别人快十倍!
ClipSketch AI有多牛,你们都看到了。但是目前我们只能在本地的电脑上使用
如果我在外面,用我的手机玩部署在电脑上的ClipSketch AI,或者想分享给我的美食博主闺蜜,怎么操作呢?
别担心我们还有cpolar内网穿透工具!他可以给你一个固定的公网地址,搞定所有远程访问和分享需求!
跟着我继续操作吧!
cpolar安装与配置:
cpolar 是一款简单易用的端口转发工具,它可以将你的本地端口映射到公网,让你的应用能够被外网访问。
访问cpolar官网:击免费使用注册一个账号,并下载最新版本的Cpolar。

登录成功后,点击下载Cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

Cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

5 使用cpolar内网穿透ClipSketch AI
登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理——创建隧道:
- 隧道名称:可自定义,注意不要与已有的隧道名称重复
- 协议:http
- 本地地址:3000
- 域名类型:我为了长期使用所以选择二级子域名,如果只是测试可以选择随机隧道
- 地区:选择China Top

然后我们需要保留一下二级子域名,登录cpolar官网,点击预留:

选择保留二级子域名,地区选择china top,名称自定义,点击保留

保留成功后把这个子域名复制下来,回到cpolar配置界面,粘贴到域名上,点击创建:

创建成功后,打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了两个公网地址,接下来就可以在其他电脑或者移动端设备(异地)上,使用任意一个地址在浏览器中访问即可。

随便复制一个地址,使用任何设备的浏览器打开!都能成功访问我们部署的ClipSketch AI了!

结尾
完成以上测试后,ClipSketch AI从视频画面选择到图文素材生成的基本流程已经跑通。
导入视频以后,可以先在预览界面手动选择需要保留的关键帧。这些关键帧决定后续图片主要呈现哪些内容,再通过提示词进一步控制生成图片的画风和画面比例。
配置Gemini接口以后,ClipSketch AI还可以辅助分析视频相关文本,并根据选中的画面生成新的视觉素材。如果需要统一账号形象,还可以加入自己有权使用的角色图片,再继续进行分镜整理和文案生成。
这套流程更适合处理自己制作或已经获得授权的视频素材。AI重绘会改变画面表现形式,但不会自动改变原视频、人物形象、影视角色或其他素材原有的版权和使用权限,正式发布前仍然需要对生成结果进行人工检查。
通过cpolar为本地3000端口创建公网隧道后,还可以从其他网络环境打开ClipSketch AI。由于页面中会使用Gemini API Key,并可能处理视频截图和人物图片,公网使用时应优先采用HTTPS,并增加适当的访问认证,不建议将实例作为无认证页面长期公开。
从Docker部署、关键帧选择,到AI重绘、分镜整理和远程访问,本文完成了一套视频内容转漫画风图文素材的基础流程。
更多推荐


所有评论(0)