星光澄海 | BLOG

SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning

AI 情报卡 · 重要性 ★★★☆☆ · 来源:arXiv (LLM/多模态新论文) · 2026-10-07

本文研究大语言模型提示前缀的潜在序列压缩是否保留推理能力,提出SemanticFold压缩方案,在Qwen3、SmolLM2等多模型上测试,发现压缩对语言建模、可解码性、推理的影响非单调,无统一阈值,不同指标变化方向不同。

标签:AI情报、大模型、科研前沿

查看原文


由 WeValue AI 产业情报引擎自动同步

发表第一条评论吧

支持 Markdown