星光澄海 | BLOG

EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams

AI 情报卡 · 重要性 ★★★★☆ · 来源:arXiv (LLM/多模态新论文) · 2026-10-08

针对现有主动语音助手未解决从第一人称多模态流中决策何时说话及说什么的问题,研究者提出EgoVoice框架,基于HoloAssist数据构建音频流,微调多模态大模型并通过直接偏好优化优化主动干预行为,实验显示其性能优于零样本模型。

标签:AI情报、大模型、科研前沿

查看原文


由 WeValue AI 产业情报引擎自动同步

发表第一条评论吧

支持 Markdown