文本生成视频模型Runway gen-2前些天公开测试，令人失望的是，它的生成能力不如预期，并且只可以生成4秒钟视频，这个时长也是太短。
不过几前天它又增加了一个图像生成视频的功能，不同于之前以图像作为参考，这个功能是把图像作为视频的第一帧生成一个动画，刚看到消息我都没去试用，看到网友分享出的很多电影感的镜头才发现这功能有点意思，尝试了几次，确实效果还可以，尤其是卡通图像。那么结合前天分享的suno生成音乐的新模型chirp，我们可以尝试制作音乐小短片啦。
写一下步骤：
第一步，画图。我用的是Midjourney，拼号还真是有点麻烦，半个月以来换到第三个号，前两个一个被盗，一个被ban，幸运的是这个号目前还有快速模式。为了动画生成顺利，我画几张可爱的卡通小鸟。
第二步，使用runway Gen-2制作动画。
使用图片生成视频功能，上传图片后直接点击generate生成，不要加任何文字。注意不是每幅图都会出来很好的动画效果，有的图生成的动画四秒钟仅仅是晃动一下，还没摸索出太多规矩，要多尝试。我的小鸟变化效果很不错。因为每个动画只有4秒钟，需要多生成几个来拼接。
第三步，去discord suno服务器中找chirp生成歌曲。
当然之前要把歌词写出来，我仍然找claude写啦，图是小鸟，歌词也要相关。第一次生成的歌不太好听，参考了里面其它网友制作的一首歌的形式，重写了歌词后果然得到非常好听的音乐。
第四步，把动画和音乐放进剪辑软件，PR或剪映，做一个简单的剪辑，配上字幕，就大功靠成啦。
成品如最后一张图。
现在的问题是全程不可控~，动画和歌曲的质量都不低，但都无法控制产出的细节，距离做为工具来使用还有很大的距离，不过参考AI绘画的发展，很快这将不再是问题啦。