《歌手2024》背后有哪些技术创新

我的广电视界 2024-08-25 23:13:19

试想一下,要做《歌手2024》这样的“超级直播产品”,背后需要满足哪些条件?

其一,13场大型直播,需要稳定、流畅、安全,涵盖大小屏,总决赛甚至覆盖航空场景;其二,不仅需要继承顶级音综IP的顶级视听效果,在当下的传播语境中,更需要移动场景的智能交互创新。

这是一场从播控到交互,从覆盖到传输,从传统技术到AI最新应用的综合试炼。湖南广电从广播电视时代到AI智能时代所积累的技术储备,在长、中、短视频场景所累积的技术运营经验,在《歌手2024》中得到全面体现。

《歌手2024》的现象级表现,不仅是内容的胜利,更是技术深入融入甚至驱动内容创作的成果。

从“每一个位置都是最佳听音位”到“每一个人都拥有自己的导播间”

“绝对殿堂级的现场”“中国有自己的格莱美”是首场直播后,社交媒体上用户对视听感受的主流声音。场景碎片时代,极致视听是长视频的第一壁垒。作为一档久负盛名的顶级音乐IP,《歌手2024》的现场首先是一个极致的听觉现场。在这一季,节目现场首次采用L-ISA沉浸式扩声系统,实现对所有声音对象的定位、扩展、远近以及移动,保证场馆内每位观众拥有相同的听感,“每一个位置都是最佳听音位”。

但更多的用户,只能在线上观看和收听。为了保证播出音效,本季节目共计处理通道数超过900路,各区域、各环节分别设有自己的音频混音系统,并投入全景声音频车,让现场音效得到最大的还原。在客户端播出侧,芒果TV的工程师也在用算法针对不同终端信号进行声音调试,将节目创造的顶级音效最大程度让每一位用户共享。

这些努力,也最终让大小屏前的观众都能收获置身演出现场的沉浸体验。

而此次《歌手2024》播出过程以“1个主机位+3个自选机位”的组合被称为“直播也有真人秀”而引发广泛关注的“云导播”多屏互动玩法,从交互上看,是结合移动小屏场景打造的新型互动产品,但要追溯到产品源头,则是湖南广电在大型项目创制过程对于画面调度的经验与传承。这一功能之所以能展现在用户面前,归功于“一杯咖啡”。3月的某个下午,芒果TV平台技术中心负责人胡奕涵去员工咖啡厅买咖啡,经过播控室,看着播控室几百个屏幕同时闪烁,她和同行的同事讨论:这种酷炫的掌控感,有没有可能让用户也拥有?

这个平均90后、最小的技术人员是98年的技术团队,“很爱玩”。这个疑问,让大家雀跃,于是带着“让用户也能成为自己的导播”的目标,技术团队与播控团队,主动与《歌手2024》节目组多次沟通,最终共同让技术进入到节目运营,成为直播的一大亮点。

为了最大程度优化云导播的效果,芒果技术团队进行了多次技术试验。比如从播控提供的11个分机位中让用户选择3个,是技术端通过多次的前期测试,选中的能够被用户带宽承载,又能够提供多种选择的最适合配比。

“让用户能自己导播,还要让导得爽快”。为保证用户“无感切换”流畅体验,产品技术团队采用自研智能无缝切换技术,在业内首次完美实现了“多窗口在各屏幕形态下(含折叠屏)的无缝切换和布局显示”,换句话说,没有一个用户会在切换直播窗口时候,会面临缓存、卡顿的情况,这极大地保障了云导播的功能的用户体感。

相比传统的直播形式,云导播有效提高了内容的用户观看时长。数据显示,单场直播用户“云切换”次数高达18次,带动直播人均观看时长提升超60%。技术支撑下的内容创新,让《歌手2024》融合客厅与手机场景,吸引了观众的最大公约数。

更值得一提的是,此类直播大多采用传统的SDI直播播控技术,成本高昂。此次《歌手2024》全程采用了轻量化的全IP多机位直播播控技术方案,以IP编码器为核心,同步处理11个机位的字幕、延时、多码率编转码,支撑了云导播多路直播信号播控。与传统直播技术相比,设备成本和人力成本降低了70%,同时支持横竖屏多机位及4K直播。这也是该方案在行业内的首次应用。

AI再次深度应用于节目运营成为用户活跃度催化剂

不仅有传统优势的传承,《歌手2024》中的很多巧思,也建立在芒果TV对于AI等前沿技术的探索基础上。

例如在直播间中嵌入的AI产品“爱芒歌手排名预测”,基于芒果大模型的“芒果西米露”智能体应用平台打造,在直播期间实时对现场音视频流进行分析,在视觉维度识别观众情感变化,在音频维度识别歌手音高音强的基础上,再辅以歌手信息、歌曲信息、歌手往期排名、实时舆情等数据,实现多模态信息的理解、整合和分析,最终实现实时的排名预测并发布。

换句话说,“你在观察歌手,AI在观察你”。从实际表现来看,爱芒的“观察”颇有成效,“爱芒歌手排名预测”的准确率很高。在第十一期突围赛,AI成功预测3名突围选手,第十二期总决赛,对排名和歌王则是100%预测正确。

7月23日,芒果TV大模型正式通过中央网信办生成式人工智能(大语言模型)备案审核,《歌手2024》则成为这一垂直大模型最新的的应用案例。

除了直播中的AI预测,在生产端AI也在大幅提高生产效率。在节目点播内容的制作过程中,平台也借助AI技术,来实现快速剪辑、AI打码、AI唱词等,从而大幅提升产能,完成成品的交付。

芒果TV对于综艺AI应用的探索处于流媒体领先地位。在今年的中国网络视听大会上,作为AI导演的“爱芒”已经亮相;在综艺《我们仨》中,“爱芒”则承担助理导演的职责,负责与艺人沟通确定节目行程、撰写分镜头脚本、创作文案、设计节目游戏等工作。此次“爱芒歌手排名预测”正是基于芒果TV大模型衍生的细分场景推理模型创新应用。

空地互联、海外覆盖技术助力内容传播更广

“刚从歌手现场出来,这事儿我能炫耀半辈子”,如果说2024新增了一种新型社交货币是“我听过《歌手2024》的现场”,还有一部分人有着更极致的体验:7月26日,芒果TV与厦门航空合作,在北京飞往多哈的MF845次国际航班上直播了《歌手2024》总决赛,将直播体验带到了海外的万米高空之上。要实现“空地互联”,技术上如何解决空地对接、移动距离远、观众实时连续收看的困难?

在打造航空直播生产新场景时,湖南广电综合运用流媒体动态编码技术、互联网安全传输技术、云平台微服务功能产品、卫星移动互联网技术等多种新型融合媒体传输技术手段,优化了编码格式、编码码率、分辨率、延时等技术参数,来确定适配航空互联网网络条件的动态编码模式;将自研自建的基于微服务技术的云平台直播分发模块,通过航班引入的卫星互联网与乘客建立连接,安全传输信号至每一块飞机屏幕上。

这一航空直播能够实现,包括了不少高维度的技术积累。其中的“微服务技术”、“互联网传输技术”和“动态编码技术”,就是湖南广电参与国家科技部研发项目的成果之一。有自研技术、有经验积累、敢创新突破,是芒果能推动用户在飞机上观看《歌手2024》直播的重要内因。

与此同时,《歌手2024》的海外观看与传播场景也在技术助力下得到进一步拓展。《歌手2024》设置了双语直播间,采用跨国推流技术,支持双语直播间导播推流+竖屏录制+双语直播间调音,并且覆盖新加坡星和视界Hub都会台、马来西亚电视台Astro QJ、新媒体平台Astro GO等多国媒体。

“技术基建”推动协作创新实现全流程高水平保障

大型节目创制复杂,直播更是对全流程的工业化水准要求极高。《歌手2024》演播厅位于湖南广电新建的“七彩盒子”,其“技术基建”的完备,成为节目安全播出的重要保障。

“七彩盒子”首先实现是工作设备的轻量化。场地配置的WiFi6无线网路几乎全域覆盖,现场的工作人员只需使用笔记本电脑等轻量化通用设备,就可以实现节目电子流程单和导播公告消息的一键导入与精准推送,面向不同工口、不同终端进行分权限的定制化推送。

七彩盒子

这次直播还首次应用了数字化审片来提升效率。在“七彩盒子”Wifi6无线专网中,节目审核人员可以实时接收返送的直播PGM信号,软件具备实时截图、在线批注和快速备注等审片功能,并对不同角色的审核意见进行分类汇总,相比传统的纸质审片大大提升了审片效率,并且有利于数字化资产的归档。

在播出方面,大小屏同步直播对信号传输提出超高挑战,湖南广电基于多年在无线射频传输方面的应用经验,对微波传输系统进行关键技术升级,同时极致优化了5G网路和传输系统,保证“云导播”等小屏运行的新产品流畅稳定。

可以说,《歌手2024》的13场大型直播的成功,正是在协同创新的技术系统之上,播控、传输、算法等各项技术的全面优化与创新,其现象级表现,不仅是内容的胜利,更是技术主动前置、能动创新、与内容深度共创的成果。而从更大的系统来看,湖南广电正在布局以长、中、短内容贯通的“国有数智超级平台”,融合了湖南卫视、芒果TV、小芒电商、风芒、5G智慧电台等矩阵式平台。据报道,生态融合之下,湖南广电“内容+技术”复合型人才占比达到80%,技术人才90后占比达到70%。一个多层次的技术创新系统,正在加速融入乃至驱动内容创制。

在一个分众、碎片化的时代,《歌手2024》证明了技术和内容能力结合完全有能力打破圈层壁垒、创造出具有全社会影响力的新型大众文化产品。湖南广电的技术实践,也正持续为新时代文化与科技加速融合提供全新范

0 阅读:5

我的广电视界

简介:以独特视角解读广播影视行业的点点滴滴