JinaAI开源多模态重排器jina-reranker-m0,来...

开源其实不简单 2025-04-15 04:54:26

近日,Jina AI 开源了jina-reranker-m0,一款多模态、多语言重排器(reranker),核心能力在于对包含丰富视觉元素的文档进行重排和精排,同时兼容跨语言场景。

jina-reranker-m0在线体验已上线模力方舟 AI 模型广场,体验链接:https://ai.gitee.com/serverless-api?model=jina-reranker-m0

jina-reranker-m0支持超过 29 种语言及多种图形文档样式,例如自然照片、截图、扫描件、表格、海报、幻灯片、印刷品等等。

当用户输入一个查询(query)以及多个包含文本、图表、表格、信息图或复杂布局的文档时,jina-reranker-m0会根据文档与查询的相关性,输出一个排序好的文档列表。

模型架构

jina-reranker-m0的模型架构基于Qwen2-VL-2B构建的,总参数量达到 24 亿。该模型采用成对比较(pairwise comparison)机制,能够同时评估输入文档里的视觉和文本元素与查询的相关性,进而实现高效的文档排序。

值得注意的是,jina-reranker-m0不再使用经典的交叉编码器(cross-encoder)架构,而是转向了**仅解码器(decoder-only)**的视觉语言模型。

新架构使jina-reranker-m0能处理长达 32K token 的输入,并且能无缝地结合图片和文本输入。模型支持的图片尺寸最高可达 4K 分辨率。

能做什么

jina-reranker-m0支持多种查询和文档输入组合来进行重排。经过显式训练与优化,在以下任务上达到了行业顶尖(state-of-the-art,SOTA)水平:

文本到文本 (Text-to-Text)文本到图像 (Text-to-Image)图像到文本 (Image-to-Text)文本到混合单模态文档 (Text-to-Mixed-Unimodal):指使用文本查询对一个同时包含纯文本文档和纯图像文档的候选集进行统一排序

立即在线体验

jina-reranker-m0现已上线模力方舟 AI 模型广场,点击链接:https://ai.gitee.com/serverless-api?model=jina-reranker-m0,即可在线体验。

模力方舟的 AI 模型广场提供了行业大模型、文本生成、视觉模型、语音多模态、图像生成与处理、3D生成、文档处理/OCR、视频生成、自动语音识别、语音合成、向量化和重排、代码生成、风控识别十三大类共 69 款各领域的顶尖开源模型的在线体验和 API 使用。通过购买模型资源包,即可通过极低的价格即可尽享众多主流模型。

0 阅读:0

开源其实不简单

简介:感谢大家的关注