弗朗索瓦·肖莱特使用 KerasHub、JAX 和 TPU 尝试 LLM 后训练

安德烈·卡帕西将人们接触大语言模型（LLM）的情况分为四个层级，并认为公众对其能力的认知落后于前沿系统用户所体验到的能力。他估计，约有 60 亿人几乎没接触过大语言模型，10 亿至 20 亿人使用休闲型聊天机器人产品，2000 万人在数学和代码工作中使用前沿模型，另有 5000 人可以访问内部前沿系统。他声称，这些内部系统能协调数千个智能体开展项目，而专家完成这些项目需要数年；人工审核则已跟不上进度。他将模型在代码和数学方面的进步归因于针对可验证奖励的强化学习，以及商业化的训练优先事项。

我最近一直很享受用 KerasHub + JAX + TPUs 尝试各种各样的 LLM 后训练实验。或许会把其中一些开源。