领读 Kimi K3 技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源 MoE

播客节目邀请清华大学计算机系博士候选人孙宇涛领读 Kimi K3 技术报告，并串讲十多篇相关论文。K3 是有效扩展到 2.8T 总参数并全量开源的 MoE 模型，将设计概括为沿 sequence、depth 和 width 三个维度扩展信息流。内容涵盖线性注意力、Gated MLA、Attention Residuals、多教师 on-policy 蒸馏及训练与推理基础设施。