NeurIPS 2026 口头报告:NV-CoT 以连续数值坐标重塑多模态视觉推理(君临国际)

NeurIPS 2026 口头报告:NV-CoT 以连续数值坐标重塑多模态视觉推理(君临国际)

强化学习 ·阅读约 2 分钟 ·君临国际

南洋理工大学联合团队提出NV-CoT框架,让多模态模型直接输出连续坐标以优化视觉思维链,已获NeurIPS 2026 Oral认可。

高清图像中的细微目标常常让多模态模型定位失误,进而影响后续推理判断。君临国际

传统方法依赖离散文本表达空间位置,容易造成误差累积。

多模态大模型
多模态大模型

NV-CoT框架直接预测连续边界框坐标,将区域选择转化为可学习的数值动作。

研究起源:离散坐标限制视觉链精度

现有视觉思维链先输出文本边界框再调用裁剪工具,但数值被拆分为子token后难以精确匹配空间距离。

固定patch方案同样受网格约束,无法灵活适应任意目标位置。

数值分支:新增线性头实现回归定位

模型在语言输出头之外增加四个轻量线性层,直接预测左上和右下角连续坐标。

监督微调阶段结合交叉熵与L1回归损失,定位IoU在验证集上提升超过12个百分点。

策略优化:Laplace分布支持强化探索

无需中间标注时,模型通过共享尺度参数建模四维连续分布并采样边界框动作。

GRPO更新结合答案正确性与格式奖励,实现无需人工框的端到端训练。

基准验证:多任务性能全面提升

在V* Bench与HR-Bench系列测试中,SFT与RL路线均获得稳定增益。

定位改善还延伸至图表理解和OCR任务,君临国际多次实验确认了连续动作的普适价值。

多模态大模型视觉思维链连续坐标强化学习NeurIPS会议