作者丨临风
编辑丨海腰
图源丨SakanaAI官网
6月14日,由谷歌知名研究者David Ha和AI开创性论文作者之一Llion Jones建立的SakanaAI宣布完成Khosla Ventures、Lux Capital、NEA联合领投的1.27亿美元。这家公司成立于2023年7月,近半年融资2轮,上轮资方还包括NTT(日本电信巨头)及索尼等。
据《朝日新闻》,SakanaAI在新一轮融资后估值约为1800亿日元(11.42亿美元),不到一年,成为日本增长速度最快的AI独角兽。
“每个国家都需要占有自己的智力生产,这就是为什么会有‘主权人工智能’这个概念。它编撰了你的文化、社会智慧、常识、历史,因此你必须拿到这些数据、完善这些数据,并拥有自己的国家情报,你不能容许其他人这么做。”
黄仁勋在2月的World Government Summit提到了主权AI。再小的国家如果要专注一项人工智能,那么第一件事是建立“基础设施”,将自己的文化、语言编入自己的大语言模型中。
来源:YouTube,WGS2024视频截图
这个道理对All in AI的日本而言是字字箴言,2023年他们举全国之力抢跑AI赛道,各大名企训练AI模型,巨额押注“梦之队”SakanaAI,旨在超越中美。不仅是日本,新加坡、印度、阿联酋等国也在大力投资主权AI。
不到1年,估值11亿美元
SakanaAI被称作“东京AI梦之队”,有着顶尖行业人才和新颖的创业理念。更为重要的是,他们是一家100%在日本注册的公司。
SakanaAI的名字取自日文“鱼”的意思,他们的logo是一簇鱼群,他们旨在开发基于自然原理的人工智能,即许多小元素共同作用以产生大结果。
图源:JAFCO
3月,SakanaAI宣布发布EvoLLM-JP(大语言模型)、EvoVLM-JP(视觉语言模型)和EvoSDXL-JP(图像生成模型)这3种日语模型,后2者在Huggingface上可以在线试跑。从热度来看,3类模型下载次数均未超1000次。
来源:HuggingFace
从实效来看,模型的生成能力还带提升。作者使用其EvoSDXL-JP演示模型以日文“大和抚子”跑图后发现,生成图像仍存在物种、性别上的错误,及眼睛和腿脚显示的误差。在食物生成方面,模型生成效果好一些,更具美术效果。
图1题词:大和抚子,图二题词:浮世绘风格的美味食物。注:生成时输入语言为日语。图源:EvoSDXL-JP测试模型生成效果
但模型生图速度很快,约为5s/张,符合其推理仅需4步,速度比现有日本模型快10倍的说法,生图风格贴近题词“日本浮世绘”。
短短几月达到成效,SakanaAI团队游刃有余。6月,他们开始研究起新问题:“我们是否也可以使用LLM来提出更好的算法来训练LLM本身”,如果可以,这是最少人工干预的情况下优化新算法的办法。他们将与牛津大学和剑桥大学合作这个项目。
来源:SakanaAI Blog
SakanaAI能吸引到多种学界资源并不意外,它于2023年7月在东京成立,创始人是David Ha、Llion Jones和后期加入的Ren Ito,这三人都是业界知名人士。
左David Ha,右Llion Jones,来源:Lux Capital
David Ha是东京大学多学科博士,曾在高盛工作8年,成为Google Brain日本分中心的研究负责人,也是Google在职6年的研究科学家。他发布了多篇关于神经网络、深度学习、图像生成、项目演示和论文,并在ACM、ICCV、ICLR、AAAI等顶会/顶刊发表。早在2018年他就有一篇与日本古典文学深度学习相关的论文发表于NeurIPS。
David曾担任 Stability AI的研究主管,但不到1年确认离职,同时期Stability AI高层变动,其时任COO Ren Ito也同时离职,目前两人都在SakanaAI工作。他透露在日本创业的部分原因,一是日本尚未开发出有竞争力的大模型。二是在硅谷创业难以实现差异化。
SakanaAI的COO Ren Ito毕业于东大,是纽约大学的法学硕士及法学院高级研究员、斯坦福的文学硕士。他最先是在政界任职外交官,曾是日本外务省首席副主任,后在商界也有成就,助日本二手平台Mercari策划IPO,后前往Stability工作。
在Stability,他接触到了人工智能模型生成的西方凝视和文化偏见,Ren Ito认为每种文化、每个民族、每个国家都应该建立自己的基础模型。在日本运营SakanaAI,也算是Ren Ito得偿所愿。
来源:领英,Ren Ito
另一位Llion Jones是“Transformer 八子”的其中之一,他毕业于伯明翰大学,在YouTube、Google工作过,直到去年才开始创立公司。他是人工智能界有开创性贡献的论文《Attention Is All You Need》的第五作者(每名作者同等重要),该文介绍的Transformer深度学习架构,成为ChatGPT等产品开发的基础。在顶尖AI人才不过百余人的当下,Llion Jones坐镇SakanaAI显得意义非凡。
据IT Media,SakanaAI在1月融资后公布过一份创始成员名单,其中的Google含量极高,10个人里5个来自Google的主要AI研究机构,有3名来自Stability。
David在访谈中表示,今年2月他们在网上发布招聘信息的4天内收到300分申请,有70%来自英国、美国、澳大利亚等非日本地区。
图源:IT Media
团队阵容华丽,因此他们成立的第7个月就拿到了3000万美元的融资,估值达到2亿美元。SakanaAI在2024年1月获得一轮资金,除了硅谷VC Lux Capital和Khosla Ventures外,还有日本的NTT集团、KDDI、索尼集团及JAFCO集团,还包括谷歌首席人工智能官Jeff Dean、Hugging Face创始人Clem DeLang、Scale AI创始人 Alex Wang的个人投资。
那时,他们的模型还在研发阶段,甚至还是一个概念。
Ren Ito介绍,他们在开发一条生成式AI的创新之路,用“自然启发智能”的理念来实现低成本、强性能。“想象一个蜜蜂群,工蜂离开蜂巢寻找资源,他们可以相互交流优质资源的位置,优化资源利用。”
团队给出的专业解释是,他们的算法可以通过在组合、测试和丢弃数据时模仿自然选择,帮助自动创建处理语言或图像的AI模型,减少人工输入量。他们跟OpenAI花数十亿美元的训练方法形成鲜明对比,David设想的是,“我们希望用更少的计算将时间缩短到几天或几周,同时获得相似的性能水平。”
官网称,他们使用“进化模型合并”来开发兼具性能指标和稳健性的大模型。
第一个好处便是节省算力。Medium用户Bragi分析, “模型合并”即通过结合多个小模型的知识和能力来创建高性能模型,计算成本仅是小部分。最终生成的统一模型可以达到或超过几个大模型的性能。
图源:Medium
另外,这个过程类似于多个开源模型融合,类似自然进化繁衍出下一代优秀模型,无需人工干预,且能青出于蓝胜于蓝。
进化模型合并有效地自动化模型构建,不仅适用于语言生成,也适用于图像生成。如他们的EvoSDXL-JP的构建,由日语专用图像生成模型合并英语基本图像生成模型得到兼容日语的图像生成模型(对应表中模型6),再将其与更快的生图模型合并,由此得到支持日语的高速图像生成模型EvoSDXL-JP(对应表中模型7)。
来源:SakanaAI Blog
SakanaAI极速开发、降本增效的方法论与日本渴望的速度契合。在其发布3个大模型后,又一笔新的融资快速启动。即使在3月,Sakana AI初期的合并模型效果不佳,日本政府和商界选择持续投入。
在4月时,SakanaAI是日本工业部“生成式AI加速器挑战赛”七家获得赠款的实验室之一,并赢得了日本政府提供的超级计算机使用权资助,并与NTT和索尼等巨头公司合作,建设日本人工智能的生态系统。此外,SakanaAI还瞄准了政府机构工作及国防工业的分包合同。
“(日本)公司应该至少该拥有自己的基础模型,即使这个模型的性能并不是特别好,”David开玩笑说道,“他们需要拥有属于自己的传真机。”
据Crunchbase,Sakana AI在6月完成由Lux Capital、NEA、Khosla Ventures联合领投200亿日元(约1.43亿美元)融资,投后估值约11.5亿美元。也正是因为这笔融资,Sakana AI没有明确的核心产品,却成为新兴独角兽。
SakanaAI是日本打造本土大模型的晋级之路上选择的“明星战队”,在其举国之力发展AI时备受瞩目,获得满满的期待和诚意。
主权AI预计“收入”100亿美元
不仅仅是日本,世界各国都在对主权AI做出投资。
中美创企和巨头在大模型上“卷生卷死”。中国研发的大模型数量全球第二,“你领跑,我紧追”的态势已经不用多说,国家是人工智能发展的有力支撑。
有外媒报道称,一些国家自认为在移动互联网和云计算革命中落后的国家,在此次AI浪潮中要设法保全本土文化与国家安全。
现任新美国安全中心的Pablo Chavez表示:“一些国家政府对生成式AI革命将如何影响经济感到万分焦虑”。
这份焦虑正击中了各国政府的痛点,而唯有行动能战胜焦虑。
亚洲范围内,今年4月,韩国、日本政府纷纷出台政策投资AI领域。韩国的投入金额不少,约为9.4万亿韩元(69.4亿美元),支持其成为半导体供应大国的目标。韩企巨头们早早就研发了大模型,除了上述Naver的Hyper CLOVA,还有LG的Exaone,KT的Mi:DEUM(韩企开发的首个LLM)等,韩国大型电商、云服务企业与AI芯片公司合作共同参与政府项目。
新加坡是主权AI的投资大户,也是英伟达的大买家。英伟达2023年第三季度业绩指出,约15%(27亿美元)收入来自新加坡,这与其本身具有多个数据中心和云服务提供商有关。据Crunchbase数据,东南亚AI、机器学习、数据等相关业务公司约1354家,其中有866家都位于新加坡。
政策方面,新加坡在去年12月出台政策NAIS2.0,要在未来投资超10亿美元用于AI计算、人才和行业发展。而且,新加坡计划要率先建一个基于东南亚语言训练的LLM。
眼光转向电力基础设施相对落后的印度。据数据,印度AI大模型领域的公司还不到10家,独角兽Krutrim的自研模型仅允许400多个字符输入。印度政府在3月直接批准了国家级“IndiaAI”项目,投入1030亿卢比(12.4亿美元)旨在实现“让AI为印度服务”的目标,受主权AI的概念推动,希望建立一个全面的生态系统。
中东土豪选择砸钱搞先进科技。阿联酋成立AI和先进技术委员会(AIATC),今年3月AIATC宣布成立投资公司MGX,由穆巴达拉和G42共同合伙部署前沿技术,投资集中在人工智能基础设施、半导体和人工智能应用3个领域,据称资产规模在未来几年超1000亿美元。
沙特公共投资基金(PIF)计划在AI领域投资400亿美元,希望支持一系列初创、芯片企业和庞大的数据中心,甚至是沙特自己创办人工智能公司。
肯尼亚在5月和G42签了一份协议,在该国斥资10亿美元建一个数据中心,以肯尼亚的地热能(供电)用斯瓦西里语和英语训练一个AI模型。
不缺AI人才的加拿大在4月投入了24亿加元(约17.7亿美元),20亿提算力建基础设施,剩下的资金赋能初创和研发。一揽子发展AI的计划推出,确保加拿大人工智能优势地位。
另一边,欧洲的人工智能也在暗暗较劲。线性资本投资者黄松延在访谈中表示,欧洲是很多原创性技术的发源地,AI和机器学习领域的不少大牛藏在欧洲各个角落不为人知。如法国版OpenAI Mistral就在巴黎造出Mistral Large,推理任务不逊色GPT-4。
今年4月,欧盟委员会宣布将在人工智能领域投资6500多万欧元,其中有5000万用于扩展大模型能力。法国、德国和意大利都在发力,法国总统马克龙呼吁欧洲建立政府和社会资本合作买芯片,到2030年或2035年将欧洲全球GPU部署份额从3%提升到20%。
总的来看,各国政府、企业投资本地语言的模型、算力和数据中心,以免发展先进AI技术受制于他国。模型较弱的国家在造地基,而已有强力模型的国家则在构筑“护城河”巩固地位。
这其中,赚钱的人将主权AI的概念变成了产品的USP。近半年,黄仁勋既参加了阿联酋的WGS,又在去年9月会见了印度总理莫迪,12月与日本首相和新加坡总理会面,推动政府或政府关联单位、计算机基础设施电信公司投资AI。
实际上,主权AI从商人黄仁勋口中说出时,便带有盈利性质。早在2019年,英伟达就有一项“AI Nations”计划帮助各国建立主权AI,包括生态系统支持和劳动力发展。各国政府砸钱新建数据中心,用专门的计算机芯片改造旧数据中心,这类芯片大多来自英伟达。
据《华尔街日报》,英伟达在5月表示,主权AI战略预计将在今年带来近100亿美元的收入,去年还是一片空白。英伟达公布的季度收入是260亿美元,其中近一半来自使用其芯片的大型云计算公司。
CFRA的分析师Angelo Zino得出结论:“(英伟达)面向云计算的销售额显然无法持续攀升,但它能通过其他方式从AI热潮中获利。创造更高收入,主权AI正是一个新的收入增长点。”