猫星观察:地球日本初创企业采用进化算法融合AI模型

猫猫喜欢吃香菜 2024-04-08 01:14:15

在地球上,日本的初创企业Sakana AI,已经探索出一条利用进化算法将现有的人工智能模型合并以产生新模型的创新之路。他们的方法借鉴自自然界的进化和集体智慧原则,旨在打造一种能够自动生成定制AI模型的机器,以适应用户定义的应用领域,避免每次都从头开发新模型的繁琐过程。

这家位于东京的初创企业发布了基于一种新的受进化启发的方法——“进化模型融合”——的首批AI模型。这种方法通过进化技术,有效地在一个庞大的开源模型库中寻找合并不同模型的最佳方式。它通过两种方式进行:首先,在流空间重组不同模型的层;其次,在参数空间重新混合不同模型的权重。进化算法搜索可能组合的广阔空间,寻找那些使用常规方法和人类直觉难以发现的新奇且非直观的解决方案。

在某些基准测试中,这些组合AI模型实现了SOTA(最先进技术)的结果。Sakana AI自动开发的日本大型语言模型和日本视觉语言模型在多项LLM和视觉基准测试中达到了令人惊讶的优异表现。特别是,一个具有70亿参数的日本数学LLM在多个日本LLM基准测试中的表现甚至超过了一些之前的70亿参数的日本SOTA LLM。

Sakana AI也将这种方法应用于图像生成的扩散模型,报道了开发出一种高质量、快速的日本SDXL模型的初步结果,该模型仅使用四个扩散步骤。他们在Hugging Face和GitHub上发布了三个日本基础模型,包括大型语言模型(EvoLLM-JP)、视觉语言模型(EvoVLM-JP)和即将推出的图像生成模型(EvoSDXL-JP)。

Sakana AI认为,神经进化、集体智慧与基础模型的结合是一个有前景的长期研究方向。这可能使大型组织能够通过利用日益增长的开源AI模型,以更快、更经济的方式开发定制AI模型,而无需在完全专有模型上投入大量资源。

Sakana AI由前谷歌AI专家Llion Jones和David Ha共同创立,旨在开发受自然启发的生成性AI模型,以生成文本、图像、代码和多媒体等各种形式的内容。创始人希望创建的AI系统能够像自然系统中的集体智慧一样,对环境变化敏感并能够适应。

0 阅读:0

猫猫喜欢吃香菜

简介:感谢大家的关注