GLM-Omni 研究探讨图像生成知识为何无法迁移到文本回答中

发生了什么

清华大学与智谱 AI 联合开展的一项研究介绍了 GLM-Omni，并探讨通过图像生成学到的知识能否迁移到文本回答中。在受控的虚构世界任务中，GLM-Omni 的视觉准确率为 54.00%，但文本回答准确率仅为 14.57%；交错式图像—文本训练将文本准确率提升至 26.86%，视觉思维链（Visual CoT）则将其提升至 41.14%。该论文并未确立 GLM-Omni 与 GLM-5.5 之间的联系。

接下来读什么

• 今日还有哪些重要变化GPT-6.1 Terra 正式发布

这件事到目前为止

清华大学与智谱 AI 在一项研究中介绍了 GLM-Omni。研究发现，通过图像生成学到的知识很难迁移到文本回答中，而交错式图文训练和 Visual CoT 提高了文本回答的准确率。在受控的虚构世界任务中，GLM-Omni 的视觉准确率为 54.00%，文本回答准确率为 14.57%。交错式图文训练将文本回答准确率提高到 26.86%，而 Visual CoT 将其提高到 41.14%。 这些实验使用虚构世界考察了统一多模态模型中的知识迁移。其结果并未证明这些方法在真实且不断变化的环境中效果如何。