欢迎来到 bling zoo！
北京时间今天凌晨，OpenAI正式发布了文本到视频生成模型 Sora，继 Runway、Pika、谷歌和 Meta 之后，OpenAI 终于加入视频生成领域的战争。
毫不客气的说，直接吊打目前所有AI视频工具，就像从冷兵器时代直接跨越到火器时代！
①能生成1分钟的长视频
②超强自然语言理解能力
③能高度模拟现实世界交互
④多镜头、多角色、复杂场景展现
舞动的中国龙、行进的队伍、旁边看热闹、拿着手机拍照的人、在阳光下密密麻麻的人影，如果不跟你说，你能分辨出这是AI生成的吗！比如输入 prompt：加州淘金热时期的历史镜头。
复杂的环境，众多角色运动，展现都很合理自然，像极了真实世界的航拍，有了Sora不用出门，就可以在朋友圈环游世界！
输入 prompt：玻璃球的特写视图，里面有一个禅宗花园。球体中有一个小矮人正在沙子上创造图案。
输入 prompt：一位 24 岁女性眨眼的极端特写，在魔法时刻站在马拉喀什，70 毫米拍摄的电影，景深，鲜艳的色彩，电影。
Sora最牛逼的地方，是在于对现实世界物理规律的理解，用AI虚拟世界还原出真实感，看下面这个视频就明白了。
列车外的复杂景色很美，更厉害的细节是车窗上的反光倒影，随着车内外光线环境和人物的运动变化，倒影也几乎完美还原了真实世界的样子！
输入 prompt：穿过东京郊区的火车窗外的倒影。
输入 promot：赛博朋克背景下机器人的生活故事。
画面太真实，同时太诡异但 OpenAI 承认，当前的模型也有弱点。它可能难以准确模拟复杂场景中的物理现象，也可能无法理解具体的因果关系。该模型还可能混淆提示的空间细节，例如混淆左和右，并可能难以精确描述随时间发生的事件，如跟随特定的摄像机轨迹。比如他们发现，在生成的过程中动物和人会自发出现，尤其是在包含许多实体的场景中。在下面这个例子中，Prompt 本来是「五只灰狼幼崽在草丛环绕的偏僻碎石路上嬉戏追逐。幼狼们奔跑着、跳跃着，互相追逐着、咬着，嬉戏着。」但所生成的这种「复制粘贴」的画面很容易让人想起某些神异鬼怪传说：
还有下面这个例子，吹蜡烛之前和吹蜡烛之后，火苗没有丝毫变化，透露出一种诡异：
技术细节对 Sora 背后的模型细节，我们知之甚少。据 OpenAI 博客，更多的信息将在后续的技术论文中公布。博客中透露了一些基础信息：Sora 是一种扩散模型，它生成的视频一开始看起来像静态噪音，然后通过多个步骤去除噪音，逐步转换视频。
Midjourney 和Stable Diffusion的图像和视频生成器同样基于扩散模型。但我们可以看出，OpenAI Sora 生成视频的质量好得多。Sora 感觉像是创建了真实的视频，而以往这些竞争对手的模型则感觉像是 AI 生成图像的定格动画。
Sora 可以一次性生成整个视频，也可以扩展生成的视频，使其更长。通过让模型一次预见多帧画面，OpenAI 解决了一个具有挑战性的问题，即确保被摄体即使暂时离开视线也能保持不变。
与 GPT 模型类似，Sora 也使用了 transformer 架构，从而实现了卓越的扩展性能。OpenAI 将视频和图像表示为称为patch的较小数据单元的集合，每个 patch 类似于 GPT 中的 token。通过统一数据表示方式，OpenAI 能够在比以往更广泛的视觉数据上训练扩散 transformer，包括不同的持续时间、分辨率和宽高比。Sora 建立在过去 DALL・E 和 GPT 模型的研究基础之上。它采用了 DALL・E 3 中的重述技术，即为视觉训练数据生成高度描述性的字幕。因此，该模型能够在生成的视频中更忠实地遵循用户的文字提示。除了能够仅根据文字说明生成视频外，该模型还能根据现有的静态图像生成视频，并准确、细致地对图像内容进行动画处理。该模型还能提取现有视频，并对其进行扩展或填充缺失的帧。
之前的AI生成视频工具还停留在能够生成视频，Sora直接跑步进入AI智慧生成时代，它真的能够理解现实！时长也从4秒越级提升到1分钟，真的可以称得上秒杀了！OpenAI去年用ChatGPT开创了大语言模型时代，今天它又用Sora开创AI智能视频生成时代，不得不感慨，发展真是太快了！
发展的太快了，我们跟不上[笑着哭]