到处都能刷到的AI视频,真没你想的那么简单

差评XPIN 2024-10-18 10:15:16

“疑似使用了AI 生成技术,请谨慎甄别”

大家有没有发现,这行小字有点像 “ 广告仅供参考, 请以实物为准 ” ,已经几乎在生活中越来越常见了。

特别是现在的短视频平台。

刷到个小猫视频,口型是 AI 合成的。

刷个西游记,也能看到 AI 妖精真身。

甚至看一个动画片,画面还总是 AI 合成的。

AI 视频越来越多了。

虽然掀起 AI 视频浪潮的 Sora 还在难产,但 AI 视频时代或许已经悄然而至。

东吴证券的一份研报里就预测,中国 AI 视频生成的潜在行业空间,可能拥有超过 5800 亿元的市场。

但随着市场不断火热,行业的一些问题也逐渐暴露到公众视野:

视频化和 AI 确实都是未来,但像是成本问题、质量问题、协同问题和性能问题,都萦绕在所有初创企业,大厂们的心头。

就拿成本问题和质量问题为例。

大家都知道,目前的生成式大模型特别是视频,就是一个力大飞砖的过程,需要用海量数据进行训练。

而超大规模视频训练数据,又会对计算和处理数据、以及数据本身有着天量需求,随之而来的成本增加是一个天文数字。

GPT-4o 作为一个老款 AI ,开发成本“ 仅 ” 为 1 亿美元,训练成本大概在 7800 万美元左右。

而视频模型的训练成本就更高了,以年初推出的视频模型 Sora 为例,其训练和推理所需的算力需求,分别就达到了GPT-4 的 4.5 倍和近 400 倍。。。

除了天价训练成本外,大模型训练样本质量、处理链路复杂,涉及多个环节,需要多团队协作;自研 / 第三方, GPU 、 CPU 、 ARM 等多种异构算力资源,又需要灵活调度部署。。。

所以,对不少准备拥抱 AI 视频的公司们来说,当务之急就是想尽办法,解决这些问题,才能更快地进化。

要论玩视频的高手,抖音和火山引擎可就有话说了。

上个月底字节推出的爆火的 PixelDance ,效果那是杠杠的。

我们当时还写了篇文章专门给大家唠了遍,就看我们简单试用生成的视频效果,就知道还真有点东西喔。

而在 15 号结束的火山引擎视频云技术大会上,开场用了定制数字人谭待来和大家沟通。

结果效果好到,现场参会者们,不少都以为这是视频抠图。

而这些高质量 AI 产出背后,其实离不开一个叫BMF 的智能框架。

火山引擎通过和自家大模型团队在内部合作,一起把海量的视频数据进行预处理。

最后基于火山引擎音视频处理平台和 BMF 框架,在短时间内生产了足够多高质量的视频素材,用于模型的训练,才有了 PixelDance 。

功臣之一的 BMF ,为什么能够做到这些呢?

我们用个生活中常见的例子来解释:

一个公司开发大模型就好比你家做年夜饭。

为了吃上一顿丰盛的年夜饭,你爸爸负责买菜、妈妈烧饭、奶奶包饺子、你搬桌椅板凳。。。

所有人都得有分工,从头忙到尾,可能还得时不时打个电话发个微信互帮互助,最后一算,好家伙,原来吃顿年夜饭还得花这么多钱。

而BMF 就是火山引擎推出的一个 “ 年夜饭一键全流程套餐 ”,它提供了一系列的工具和服务,帮你轻松、快捷地准备好年夜饭。

这个套餐重点针对性地解决了我们前面说到的 4 个行业痛点,进行了相应的调整。

比如为了解决视频训练数据质量问题,他们掏出了多种算法对视频进行多维度的分析和筛选,做到了充分精细化的过滤;

应对性能难题,他们又利用 BMF 框架的灵活调度,提前调配好了性能。

这就相当于准备年夜饭一早就做好了攻略,买菜交给了多多买菜送货上门、烧饭找了五星级大厨专门掌勺、桌椅板凳安排了专门的小工打杂。。。

反正就是用了 BMF 这套框架,又便捷又省心又省钱。

搞定了企业这边的需求,火山引擎也没忘了大家伙。

如今,大家设备的算力不断上涨,与之而来的就是对视频画质提升的强烈需求。

火山引擎通过得天独厚的优势,每天在抖音 / 西瓜等 app ,面对上亿用户,处理海量视频图片。

获得了这么丰富的经验之后,火山引擎在 BMF 基础上,沉淀出了一个更适合普通用户体质的“BMF lite”,实现了更轻量、更高效、更通用的进化。

比如相较于云端,在用户端侧,对于功耗,内存非常敏感,而场景又涉及 Android 、 ios 、 PC 等多平台。

于是 BMF-Lite 就重点建设基于跨平台,资源复用的算法包的框架设计。

简单说就是统一了各个平台的接口形式,方便集成部署。

再用算法控制器来复用相同的算法实例,在抖音播放场景,点播跟直播播放大部分都是只会生效一个,可以最大程度地复用资源。

而除了 BMF 为代表的智能框架,火山引擎还提出了智能算力和智能编解码。

火山引擎直接在去年掏出了一款自研视频转码芯片,将自研的视频编解码技术融入到了里面。

好处就是,针对视频点播、直播等特定场景,这款转码芯片有着更高的计算密度。

就这么说吧,一套视频编解码芯片服务器的转码能力,相当于上百台 CPU 服务器。

今天视频转码芯片上线抖音后,通过实践数据表明,在同等视频压缩效率下,成本能节省 95% 以上。

而针对编解码层,火山引擎推出了基于自研视频转码芯片构建的“BVE1.2 编码器 ”。

这个编码器大胆融合了深度学习技术,推出了革命性的智能混合编解码解决方案,将传统压缩技术与深度学习压缩技术有机融合成为一个整体,极大地提升了编解码的效率,提升了编码性能。

在前不久结束的的第六届深度学习图像压缩挑战赛( CLIC 大赛 )中, “BVE1.2 编码器 ” 拿到两个冠军足以说明实力。

这一套小组合拳下来,感觉有兴趣的厂商们,估计满脑子都是 “ 付款码扫哪儿 ” ?

你还别说,火山引擎也的确没打算藏着掖着。

像前面说的 BMF 框架,早在去年就已经开源了,更新完的 BMF lite ,也是直接开源。

总的来说,目前,大模型的进化还在持续,视频 AI 公司之间的竞争也只会日益激烈。

但如果大家只是闭门造车,互相拿成果比拼,用产品说话,可能会显得竞争有余、合作不足。

而作为可能是全中国短视频玩得最熟练的字节跳动,他们旗下的火山引擎一次次地将内部技术、框架开源。

特别带来的 BMF 框架以及它和智能算力和智能编解码组成的一整套智能底座,的确能够帮助企业们节约了大量时间和成本,更好地帮助 AI 项目落地发展。

这种竞争和合作共存的态度,才是中国 AI 最乐意见到的场面。

一枝独秀难成林,万紫千红才是春。

0 阅读:19

差评XPIN

简介:用知识和观点Debug the world!