刚刚开源!SVG向量图形生成模型

程序员咋不秃头 2025-03-25 02:18:17

StarVector 这个开源项目有点意思,3 天前开源的:可以把图像和文本生成高质量的可缩放编辑 SVG 图形。

由 ServiceNow Research、Mila 等机构联合开发,并已被 CVPR 2025 会议收录。

1️⃣ 项目简介

这个 SVG 向量图形生成模型,简单来说可以做下面的事情:

① 你输入一个星星的图标,它就能画出来一个可编辑的 SVG 星星图形。

② 你上传一个 logo 或者表情的图片,它也能转换成可以编辑的 SVG 文件。

StarVector 通过重新定义矢量化任务为代码生成问题,而非传统的图像处理流程,实现了对 SVG 语法的全面支持。

它能够处理包括路径(Path)、圆形、多边形、文本元素等复杂 SVG 元素,生成紧凑且语义丰富的代码。

2️⃣ 技术架构

StarVector 基于多模态视觉-语言模型(Vision-Language Model),结合了图像编码器与大型语言模型(LLM)的优势:

① 视觉处理:采用 Vision Transformer(ViT)将图像分割为补丁网格,提取视觉嵌入并映射到 LLM 的隐藏空间

② 文本与代码生成:通过 LLM 适配器将视觉或文本输入转换为 SVG 代码序列,支持动态生成结构化图形

③ 统一框架:模型可同时处理图像和文本输入,通过互斥操作(⊕)或序列连接(‖)实现多模态融合

3️⃣ 核心优势

① 复杂元素处理:传统算法难以生成的文本标签、渐变填充等 SVG 特性,StarVector 能智能识别并生成(如线性渐变代码示例)

② 数据驱动训练:基于大规模数据集 SVG-Stack(含 200 万+ SVG 样本)训练,覆盖图标、标志、技术图表等多种风格

③ 性能领先:在 SVG-Bench 评估中,其生成的 SVG 代码在准确性和渲染质量上显著优于现有方法

开源地址:https://github.com/joanrod/star-vector项目介绍:https://starvector.github.io/

0 阅读:0