晚点聊143期：阿里、Kimi都在用的DeltaNet是什么？与杨松琳聊线性注意力新改进

本期《晚点聊》访谈DeltaNet核心贡献者、MIT博士生杨松琳，讲解线性注意力与DeltaNet从2021年被提出到近年改进的演进脉络。节目中提到Qwen与Kimi大概率在下一代旗舰模型使用线性注意力，MiniMax用回full attention，DeepSeek目前释放的改进都是稀疏注意力；杨松琳认为即使算力无限，线性注意力在有限数据中的学习效率更高，仍有价值。