星光澄海 | BLOG

Decision 3.0:vLLM推出新一代开源决策模型

8.39B的d3-flash模型,内部评估的决策指数得分超过了上一代27B的Decision 2.0——这是vLLM Semantic Router刚推出的Decision 3.0系列里,最显眼的突破之一。

到底什么是Decision 3.0?

这是一套多模态决策模型,用Apache-2.0协议开源,输入支持文本、JSON、图片,输出是每个问题对应的概率值。和普通LLM不同,它不需要生成文本再解析,直接返回可校准的概率,适合做请求分类、路由、门控这类“系统一”任务——你只要设个阈值就能用,不用折腾prompt解析那套麻烦事。

参数和性能的核心情况

Decision 3.0一共5个尺寸,从0.85B到26.09B,全部基于Qwen模型微调:小模型用Qwen3.5,27B版用Qwen3.8-27B。每个模型都带视觉编码器,d3-lite视觉参数0.1B,d3-nano和d3-mini是0.33B,d3-flash和d3是0.46B,最多支持1.6兆像素的图片输入。
延迟数据在AMD Instinct MI325X GPU上测得,单请求下纯文本延迟21.7ms到84ms;加图片的话,小模型d3-lite要60.7ms,大的d3要342ms。
性能方面,27B的d3在内部测试的文本和视觉榜单排第一,文本得分64.1、视觉得分71.6,比Perplexity Decider v1.1高;但公开套件里,Torchcast Decision 27B得分65.1略超它。8.39B的d3-flash内部得分59.0,超过上一代27B的Decision 2.0(得分55.9)。不过小模型表现不均:0.8B的d3-lite视觉排第三,2B的d3-nano视觉第一,但文本不如LiquidAI的3B模型。

对开发者的实际价值

最大的好处是全尺寸覆盖,从0.8B到27B都有,还都是开源商用协议,没有授权限制。之前要做路由、门控这类任务,要么用闭源模型,要么自己微调小模型,现在这套Decision 3.0现成的,不用从零搭。尤其是8.39B的d3-flash,性能追上旧版27B,延迟还低,跑在AMD MI325X上的成本,比跑27B闭源模型少很多,适合实时性要求高的场景。你还能在Hugging Face找到对应的模型集合,GitHub有代码,集成起来不算复杂。

现在开源决策模型的性能差距已经缩小到只差一个量级,你做项目时,会选8.39B的d3-flash还是追求极致性能的闭源大模型?


素材来源:MarkTechPost · AI情报、大模型、AI芯片与算力、开源生态
查看报道原文

发表第一条评论吧

支持 Markdown