“AI 会深刻改变我们原有的工作流、认知和创作习惯。
已经发生的事情,无法阻挡。
”执导《可可西里》《南京!
南京!
》的导演陆川说。
今年云栖大会,陆川使用阿里巴巴多模态模型,制作了短片《历史·现场》,复原 1626 年明代北京城的“王恭厂之变”。
过去需要数月、千万级投入的制作,这次团队只用了 5 天。
陆川甚至评价,模型对上下文的理解“已经达到‘博士后’的水平,超过 80% 以上的普通人”。
支撑陆川这类专业创作实践的,是过去一年多模态生成能力的持续提升。
沿着技术演进继续往前看,两条路径尤其明显。
首先, 从单模态生成走向多模态融合生成 。
对于视频而言,模型不仅可以联合处理画面与声音,参考图、参考视频、音频、运镜轨迹、3D 白模等也可以成为生成条件。
过去主要依靠文字描述的创作意图,开始通过更直接的多模态信息传递给模型,生成因此更加一致和可控。
其次, 从生成内容走向创造体验 。
随着生成时长增加、速度提升,视频正在从离线生成走向实时流式生成。
模型可以在生成过程中持续接受输入,根据新的状态生成后续内容,由此进入游戏、互动内容和仿真等新的应用空间。
🔗 原始来源
如果你要核对细节,可以再看原文: InfoQ AI原文链接
AI热榜