我用DeepSeek将《桃花源记》拍成了微电影!
不好意思,有点标题党了,大家都知道DeepSeek是个纯LLM,没有多模态的功能,没法生成视频,出图的功能都没有。完整的技术方案应该是DeepSeek+Midjourney+即梦+剪映。其中DeepSeek用于生成分镜脚本和提示词,Midjourney用于生成分镜首图,即梦用来直接生成分镜视频,而剪映用于最终的剪辑和成片。本文主要展示如何组合使用上述工具,将陶渊明的《桃花源记》生成为1-2分钟的微
不好意思,有点标题党了,大家都知道DeepSeek是个纯LLM,没有多模态的功能,没法生成视频,出图的功能都没有。
完整的技术方案应该是DeepSeek+Midjourney+即梦+剪映。其中DeepSeek用于生成分镜脚本和提示词,Midjourney用于生成分镜首图,即梦用来直接生成分镜视频,而剪映用于最终的剪辑和成片。
本文主要展示如何组合使用上述工具,将陶渊明的《桃花源记》生成为1-2分钟的微电影,看看目前国内的视频生成产品和应用能够做到什么程度。
去年2月份OpenAI突然发布Sora,震惊了全世界。随后去年一整年国内各大厂商疯狂跟进,把视频生成这个赛道卷的风生水起,包括快手的可灵、字节的即梦、爱诗科技的PixVerse、生数科技Vidu、Minimax海螺、腾讯混元、智谱清影、阿里通义万相等。以至于卷到现在,单论生成效果来看,国内在视频生成赛道已经把Sora卷到在后面吸尾气的程度。
今年春节期间,国产大模型DeepSeek爆火,刚好就有了组合各种工具做一个微电影的想法。陶渊明的《桃花源记》作为大家都学过的古文,同时也是一个很好的故事脚本。陶渊明白天是田园诗人,晚上是鬼故事高手,其文章本身具备非常好的故事性。
需要提前说明的是,制作AI视频本身是一个不断尝试的过程,想做出高质量的视频效果需要花费大两时间反复尝试。在制作过程中,我们应遵循两个原则,一是找一些跟自己生成主题相关的优秀案例,先模仿再对标,其次是先完成再完美,根据效果和反馈反复进行版本迭代。
撰写分镜脚本
因为直接有《桃花源记》原文,我们不需要自己构思写视频分镜脚本,直接根据原文即可构思分镜。先来回顾一下《桃花源记》原文:
晋太元中,武陵人捕鱼为业。缘溪行,忘路之远近。忽逢桃花林,夹岸数百步,中无杂树,芳草鲜美,落英缤纷。渔人甚异之,复前行,欲穷其林。
林尽水源,便得一山,山有小口,仿佛若有光。便舍船,从口入。初极狭,才通人。复行数十步,豁然开朗。土地平旷,屋舍俨然,有良田、美池、桑竹之属。阡陌交通,鸡犬相闻。其中往来种作,男女衣着,悉如外人。黄发垂髫,并怡然自乐。
见渔人,乃大惊,问所从来。具答之。便要还家,设酒杀鸡作食。村中闻有此人,咸来问讯。自云先世避秦时乱,率妻子邑人来此绝境,不复出焉,遂与外人间隔。问今是何世,乃不知有汉,无论魏晋。此人一一为具言所闻,皆叹惋。余人各复延至其家,皆出酒食。停数日,辞去。此中人语云:“不足为外人道也。”
既出,得其船,便扶向路,处处志之。及郡下,诣太守,说如此。太守即遣人随其往,寻向所志,遂迷,不复得路。
南阳刘子骥,高尚士也,闻之,欣然规往。未果,寻病终。后遂无问津者。
我们先让DeepSeek根据原文为我们制作一个时长1分钟的分镜设计,然后根据DeepSeek给的结果,我们修改完善形成一版分镜表。需要说明的是,DeepSeek设计的分镜可能在做图像/视频生成时较为困难,我们可以根据实际情况进行修改。
一个初步版本的分镜表如图所示。
撰写分镜提示词
有了分镜表之后,我们就可以针对各分镜撰写提示词,这时候有两种方案可以选择:一是直接根据text2video文生视频模型生成分镜视频,但这种方式在长视频设计时很难保持不同分镜主体的一致性,建议对于独立分镜可以直接使用文生视频模式。
其次就是img2video图生视频的方式,这种方式需要我们先用text2img文生图模型先出图,再根据首图出视频。
我们同样使用DeepSeek来撰写各分镜提示词,比如对于分镜1的提示词:
全景镜头,35毫米电影胶片的质感。黎明时分的中国古河,身着靛蓝麻衣的东晋渔夫划着竹筏,薄雾袅袅笼罩着河岸,古朴的捕鱼工具在使用中褪去了铜锈,柔和的金色灯光在水面上形成长长的阴影,远处山峦若隐若现。
使用即梦生成视频
即梦是字节旗下的一站式AIGC创作平台,我密集的使用了两周,整体下来感觉功能还是非常强大的。
将DeepSeek生成的分镜提示词copy到即梦图片生成模块下的填入框内,即可生成首图,即梦一次可生成4张图,可根据效果选择一张作为视频生成首图或者微调提示词重新进行生成。
比如我们选择其中一张图片作为首图,然后在视频生成模块下选择图生视频模式,再撰写简单的视频提示词,即可生成以上传图片为首帧的视频。生成视频效果如下:
将全部15个分镜按照上述方式生成视频,当然这个过程会非常耗时,有时候尝试了很多遍都没有满意的图和视频,所以需要耐心调试。有时候也可以尝试多平台综合使用,比如一个镜头在即梦上表现不好,我们也可以试试可灵和海螺等其他视频生成产品,对比着来用。
使用剪映剪辑成片
全部分镜头完成之后,就可以使用视频剪辑软件进行视频剪辑合成,补充字幕和背景音乐等音效,就可以完成你的视频了。
我大概花了两个晚上的时间,快速出了第一版的AI视频《桃花源记》,成片效果如下:
第二版更新
因为是第一次尝试,秉着先完成再完美的态度,第一版视频成片非常粗糙,整体有如下缺点:
1. 视频时长不够,1分钟的视频难以把桃花源记的故事完整呈现。
2. 画面风格一致性较差,不同分镜风格跳跃性比较大。
3. 视频主体人物(渔夫)一致性较差。
上述缺点,有的是即梦生成模型本身的问题,有的是我分镜设计和提示词写的不够好。所以,根据第一版的反馈,我把大部分分镜头出图模型换成了Midjourney,视频时长增加到约2分钟,分镜头扩大到了24个,更新了分镜表,重新做了一版视频。
用DeepSeek撰写分镜的Midjourney生图提示词:
Midjourney出图效果:
更新的即梦视频效果:
重新剪辑后出片:
第二版的成片效果:
整体效果相较于第一版要明显质量高许多。但也存在很多缺点,比如人物一致性,画面细节,没有任何视频转场,多镜头缺失,连续分镜头之间跳跃性偏大等问题,要真正达到微电影的制作级别,还有待后续迭代更新。
这也是我第一次深度使用AIGC工具做超过一分钟时长的视频,总结下来有如下几点经验参考:
1. 先模仿后对标
2. 先出图后出视频
3. 先完成再完美
4. 学习一些视频制作知识,合理使用各种运镜
5. 多打磨提示词,多动手实践。
参考阅读:
眼下DeepSeek持续火热,笔者也在努力学习、研究和使用DeepSeek,包括V3和R1两篇论文,在进行重点研读。为了信息共享和交流DeepSeek学习使用经验,特地建了个群,但目前群成员已超过200人,无法扫描加入,感兴趣的朋友可以加我微信邀请进群。
更多推荐
所有评论(0)