image-20260304100824152

把一段视频重新整理成图文内容,最耗时间的往往不是把文字重新写一遍,而是从几分钟甚至十几分钟的视频里重新找画面、截图,再想办法让这些图片保持统一的视觉风格。

ClipSketch AI提供了一种比较特别的处理方式。导入视频以后,可以先由用户自己选择需要保留的关键帧,再结合Gemini对内容进行分析和图像生成,把这些画面重新整理成漫画风格的分镜素材。

本文会在Windows中通过Docker运行ClipSketch AI,实际完成视频导入、关键帧选择、图片提示词设置、角色形象融合、分镜整理和文案生成,看看一段已有的视频能够怎样转换成更适合图文发布的内容素材。

需要说明的是,ClipSketch AI并不是自动完整复制视频内容,也不会替用户解决原素材的版权问题。用于再创作的视频、图片和人物形象,应优先选择自己制作、已经获得授权或允许二次使用的内容。

完成本地测试后,还会通过cpolar为ClipSketch AI的3000端口创建公网入口,用来验证从其他网络环境打开这套工具。由于处理过程中需要使用Gemini API Key,公网使用时还应特别注意接口凭据和访问权限,避免把应用作为无认证服务长期公开。

1 关于【ClipSketch AI】

ClipSketch AI是什么?简单来说,它是你的“在线视频转绘机 + 爆款文案生成器 + 顶级漫画师”!这个AI应用能将B站和小红书的视频瞬间变成精致的手绘漫画故事板。你只需要复制视频链接,粘贴到ClipSketch AI里,它就能帮你完成剩下的工作。

image-20260304100833737

2 windows部署安装【ClipSketch AI】

部署之前我们需要先去获取一个Gemini的API key:https://aistudio.google.com,然后我们把这个APIkey复制下来备份

【AIzaSyBxQ3k1-xOFHwE_40xfF4L_zQxVt_Le2xI】

打开终端,执行这行代码,一键启动

docker run -d -p 3000:3000 --name clipsketch-ai tannic666/clipsketch-ai:latest

image-20260304101037186

最后打开浏览器访问localhost:3000,就可以看到我们的ClipSketch AI的主界面啦!

image-20260304101046233

3 简单使用ClipSketch AI

我们随便找一个视频导入进去,加载成功后就可以操作了!

image-20260304101058992

左侧是视频预览,右侧是截取的关键帧,关键帧需要大家自己手动截取

image-20260304101110908

比如我们想导入这一帧,就点击T键,以此类推

image-20260304101121828

大家可以理解为,截取的每一个关键帧,之后都会对应的生成一张图片,大家想呈现什么样的画面内容,就在视频对应的画面截取关键帧就行。只需要五秒钟就标记了五个最精华的瞬间!

当你将所有想要的画面全部截取之后,就可以点右上角的AI绘图按钮,进入下一步了。

image-20260304101158757

然后在这个界面你就能看到你之前截取的所有关键帧,

image-20260304101208649

这时候你需要在右上角填入你刚才备份的 Gemini API Key

image-20260304101217435

接着AI 就会像个课代表一样,把你刚才选的那几个片段分析一遍,理解这几个步骤到底在干嘛。

image-20260304101237173

第一步:左侧先分析一下原视频的文案。

分析这个文案的主要目的,就是更进一步分析原视频的主要内容是什么,然后更确定你之后要生成什么样内容的图片。

image-20260304101259284

这个文案是由工具自动拉取原视频的,不用自己填写。如果你对文案不满意,也可以自己修改。

第二步:填写图片提示词。

截取关键帧,是为了确定每一张图片的具体内容是什么。而这一步,是为了确定图片最终的风格。

image-20260304101318887

这款工具默认就已经填写了一套比较不错的提示词,出来的效果就是开头展示的那样。

image-20260304101326187

如果想要其他画风的图片,也可以自己写一套别的提示词,然后选择你想要的画面比例,最后点击生成就行。生成的图片会在页面右侧显示

image-20260304101338042

第三步:角色融合。

如果你长期运营一个某品类的账号,那有一个固有形象也是挺重要的,

可以加强读者对你账号品牌的认知度。所以这里可以上传你的品牌形象,可以是一只小猫,或者皮套人,甚至是你本人都可以。

image-20260304101355880

之后AI会智能将你的形象融合到图片中去。会智能根据你上传的形象,来自定义角色的动作和表情,可以说是非常智能了。

image-20260304101411857

这简单的操作背后,作者一定提前嵌入了丰富的提示词,才能将前台的操作简化成一步搞定。而如果你不需要融合IP形象,那么直接跳过这一步就可以了。

第四步:分镜修饰。

这其实就是将之前生成的图片,一副一副分割成你要求的图片数量。只用根据你之前截取的关键帧数量来填写数字,或者根据你想要的图片数量来填数字就行。

image-20260304101450946

然后AI会智能合并步骤或者扩展步骤,以你的图片数量为准来产出多张图片。

最后一步:文案生成。

发小红书,一个优质的文案也很重要。

这里也可以交给AI,它会自己根据你的主题和小红书这个平台的风格,

生成一篇还算不错的文案。

image-20260304101511934

AI出的文案有很多种风格,有讲解了详细步骤的纯粹攻略, 也有专注提供情绪价值的小甜文,大家可以根据自己的需求选择~

最后点击生成,能看到它完美地融合成了一张封面!

image-20260304101600562

线条流畅,风格可爱,而且重点突出!

以前是选主题、写文案、画草稿,现在是复制链接、按T、点生成!这效率,简直是开了挂!

4 介绍以及安装cpolar内网穿透

它的应用场景简直无敌!知识分享UP主可以快速把你的硬核代码教程变成漫画笔记,让小白也能看懂!

美食博主可以把你的30分钟做饭Vlog,变成5张图的“懒人食谱”,发到小红书上,流量暴涨!或者二创大神可以快速截取番剧/电影的经典瞬间,生成手绘梗图,二创速度比别人快十倍!

ClipSketch AI有多牛,你们都看到了。但是目前我们只能在本地的电脑上使用

如果我在外面,用我的手机玩部署在电脑上的ClipSketch AI,或者想分享给我的美食博主闺蜜,怎么操作呢?

别担心我们还有cpolar内网穿透工具!他可以给你一个固定的公网地址,搞定所有远程访问和分享需求!

跟着我继续操作吧!

cpolar安装与配置:

cpolar 是一款简单易用的端口转发工具,它可以将你的本地端口映射到公网,让你的应用能够被外网访问。

访问cpolar官网:击免费使用注册一个账号,并下载最新版本的Cpolar。

img

登录成功后,点击下载Cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

image-20240319175308664

Cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

img

5 使用cpolar内网穿透ClipSketch AI

登录cpolar web UI管理界面后,点击左侧仪表盘的隧道管理——创建隧道:

  • 隧道名称:可自定义,注意不要与已有的隧道名称重复
  • 协议:http
  • 本地地址:3000
  • 域名类型:我为了长期使用所以选择二级子域名,如果只是测试可以选择随机隧道
  • 地区:选择China Top

image-20260304101828936

然后我们需要保留一下二级子域名,登录cpolar官网,点击预留:

image-20260304101902183

选择保留二级子域名,地区选择china top,名称自定义,点击保留

image-20260304101921558

保留成功后把这个子域名复制下来,回到cpolar配置界面,粘贴到域名上,点击创建:

image-20260304101939813

创建成功后,打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了两个公网地址,接下来就可以在其他电脑或者移动端设备(异地)上,使用任意一个地址在浏览器中访问即可。

image-20260304101955747

随便复制一个地址,使用任何设备的浏览器打开!都能成功访问我们部署的ClipSketch AI了!

image-20260304102015893

结尾

完成以上测试后,ClipSketch AI从视频画面选择到图文素材生成的基本流程已经跑通。

导入视频以后,可以先在预览界面手动选择需要保留的关键帧。这些关键帧决定后续图片主要呈现哪些内容,再通过提示词进一步控制生成图片的画风和画面比例。

配置Gemini接口以后,ClipSketch AI还可以辅助分析视频相关文本,并根据选中的画面生成新的视觉素材。如果需要统一账号形象,还可以加入自己有权使用的角色图片,再继续进行分镜整理和文案生成。

这套流程更适合处理自己制作或已经获得授权的视频素材。AI重绘会改变画面表现形式,但不会自动改变原视频、人物形象、影视角色或其他素材原有的版权和使用权限,正式发布前仍然需要对生成结果进行人工检查。

通过cpolar为本地3000端口创建公网隧道后,还可以从其他网络环境打开ClipSketch AI。由于页面中会使用Gemini API Key,并可能处理视频截图和人物图片,公网使用时应优先采用HTTPS,并增加适当的访问认证,不建议将实例作为无认证页面长期公开。

从Docker部署、关键帧选择,到AI重绘、分镜整理和远程访问,本文完成了一套视频内容转漫画风图文素材的基础流程。

Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐