Meta 发布 Muse Spark Open:开放权重的多模态混合专家模型
Meta 的 Muse Spark Open 是一款开放权重的混合专家模型,约有 8160 亿个参数,每个 token 激活约 420 亿个参数,上下文窗口最长可达 100 万个 token。该模型经过智能体编程训练,可接收文本、图像、音频和视频,并生成文本。Hugging Face 提供推理和部署方案,报告了其自身的量化测试结果,并演示了使用 TRL 对注意力层进行 LoRA 微调,同时冻结专家网络。
推荐理由:这些部署方案阐明了稀疏专家激活如何在保留大量内存需求的同时减少每个 token 的计算量,帮助开发者根据不同检查点格式和服务框架评估硬件需求。

