晚点聊播客:与 InfLLM、MoA 作者详解 DeepSeek NSA 与 Kimi MoBA 注意力机制改进
本期播客邀请 InfLLM 一作、清华博士肖朝军与 MoA 共同一作、清华博士傅天予,围绕上周 DeepSeek 与 Kimi 放出的两项注意力机制改进 NSA、MoBA 展开讨论。
本期播客邀请 InfLLM 一作、清华博士肖朝军与 MoA 共同一作、清华博士傅天予,围绕上周 DeepSeek 与 Kimi 放出的两项注意力机制改进 NSA、MoBA 展开讨论。
晚点聊本期邀请西北大学 MLL Lab 博士生王子涵,围绕 DeepSeek 开源周聊大模型开源究竟在开什么。
推荐理由:结合 DeepSeek 开源周的时点,梳理大模型开源的层级划分与不同开源策略的取舍,可作为理解开源生态的框架。
「十字路口」播客用20个问题对谈 Luma.ai 产品经理 Barkley,梳理 Sora 于2024年2月15日登场后 AI 视频模型领域一年来的创新与变革。
这期播客邀请MIT计算机科学与人工智能实验室在读博士松琳,逐篇解读DeepSeek、Kimi与MiniMax发布的三篇注意力机制论文,解析不同模型公司的技术哲学与路线选择。
谷歌基于Willow芯片的量子计算机不到5分钟完成传统计算机需“10的25次方”年才能算完的运算,被称为量子计算的“Transformer时刻”。节目围绕黄仁勋“二十年内实现可用量子计算”的预测,对比IBM超导量子比特、D-wave量子退火、微软转向软件平台、IonQ离子阱等技术路线之争,并讨论量子计算对银行体系与加密货币私钥安全的冲击。
硅谷101播客E178期与Alphaist Partners创始人陈哲讨论2025年的CES智能硬件,指出优秀硬件不能只靠集成大模型API,更需在用户体验、工程实现、供应链管理上做到极致。节目还谈及“百镜大战”、Meta Rayban核心功能是摄影而非AI、大疆第一性原理与工程师文化,并涉及Plaud录音笔续航、石头科技G30 Space与追觅X50 Ultra扫地机器人等产品。
「十字路口」播客邀请归藏和大聪明逐日回顾 OpenAI 连续12天的发布会,Day 12 正式发布 o3。Day 1 推出满血 o1 与 ChatGPT Pro $200 会员,Day 3 为 Sora,Day 5 苹果全系接入 GPT,Day 9 更新 o1 API(支持 Function Call 与联网)、发布实时语音 SDK 并新增 PFT 偏好微调。
《硅谷101》E176 期邀请 Fusion Fund 创始管理合伙人张璐,探讨 SpaceX 的商业版图与太空经济的崛起。截至2024年底,SpaceX 估值达 3500 亿美元,超越字节跳动成为全球估值最高的未上市公司,猎鹰九号可重复使用技术、星链商业化与星舰加速发展是主要支撑。SpaceX 的成功正带动太空经济领域的投资与创业热潮。
「晚点聊 LateTalk」串台「十字路口Crossing」,复盘字节后来居上、大模型六小龙承压的创业生存战。字节确定自己做、不再对外投资并成立 Flow;六龙中 Kimi 重注生产力,MiniMax 的星野、Talkie 在细分市场暂时强于大厂产品。一场原定 150 人的 AI 创业线下活动最终 700 多人报名。
晚点聊播客邀请云启资本合伙人陈昱解读主权AI热潮,梳理各国争相建设AI基础设施带来的机会与过度投资风险。节目中提到软银正用英伟达新一代Blackwell GPU平台构建日本最强大的AI超级计算机,日本政府承诺未来十年为半导体和AI行业提供超650亿美元支持,英伟达预计主权AI相关收入今年从0增长到100亿美元。
《晚点聊》在 OpenAI o1 发布后的第二天邀请硅基流动创始人袁进辉,讨论 o1 从扩大训练算力转向扩大测试时间算力的新范式,以及这一年 AI 开发者生态的变化。
硅谷101播客邀请Ray-Ban Meta产品经理可南与硬件创业者夏勇峰、卫骁,从设计与体验角度拆解智能眼镜。Ray-Ban Meta自2023年9月推出后不到一年销量突破百万,相比第一代提升画质、声音和AI,重量只比原版多4克,近视版在佩戴舒适度上尚未达到全天候佩戴。嘉宾还讨论了眼镜渠道与配镜服务、定价策略,以及续航与电池重量的卡点、AI Pin和Rabbit失败对用户预期的影响。
晚点聊第72期邀请AI设计工具Motiff运营副总裁张昊然,聊他前期访谈上百位设计师、总结共同痛点后与团队设计出AI提效工具的过程。节目还讨论Figma已做得很大的情况下Motiff的机会、国内外卖产品方式有何不同,以及AI能否取代设计师、当前AI使用渗透率远低于想象的原因。
「十字路口」对谈林间聊愈室 CEO Joshua 和 CMO 盒子,解析这款 AI 心理陪伴应用的产品思路:不让 AI 直接提供心理咨询,而是让 AI 扮演弱小、能产生共情的对象,用健康稳定的关系修复关系中的创伤。
《硅谷101》邀请NVIDIA中国区机器人业务负责人李雨倩和五源资本董事总经理陈哲,讨论AI加持下机器人行业的新工具、技术挑战与规模化商业化路径。节目提到大模型与仿真训练加速了复杂形态机器人发展,NVIDIA已布局训练、仿真到推理并推出人形机器人通用基础模型GR00T;同时指出通用机器人尚无商业化案例,垂直品类主要集中在扫地、仓储搬运和无人机,中国领先供应链和垂直落地场景,美国擅长探索通用能力。
「十字路口」用一期 50 分钟播客,总结 Y Combinator 近一年投资的 260 多家 AI 初创公司的赛道分布与创业趋势。赛道前十包括 AI 营销 34 个、AI Coding 31 个、AIGC 30 个、AI 基础架构 26 个、AI 医疗 24 个、AI 金融 19 个。此前逐一介绍这 260 家公司的 5 个半小时播客,完听率只有 27%。
硅谷101播客《E149》邀请微软能源战略部资深项目经理徐熠兴与瀚海聚能CEO项江,讨论AI用电荒与核聚变创业热:美国AI数据中心当前耗电量堪比纽约市,OpenPipe创始人Kyle Corbitt称单州使用超10万个H100芯片就会使电网瘫痪,英国、爱尔兰已在限制AI数据中心占用电力。
《晚点聊》访谈逐际动力联合创始人谌骅,围绕 GTC 与人形机器人新进展展开。他认为 GPT 大大加速了机器人大脑的发展,而勾连决策到身体执行的“小脑”仍有很多突破空间,也是最令人兴奋之处;节目还对比了中美人形机器人创业的差异,并梳理了 FigureAI 获 OpenAI、微软、英伟达、贝佐斯 6.75 亿美元投资、英伟达在 GTC 发布机器人基础平台 GR00T 等近期热点。
硅谷101 播客邀请 XR 天使投资人、猫眼电影创始人、真格基金投资合伙人徐梧,分享他过去一个半月每天使用 Vision Pro 3-5 小时的体验与对空间计算的思考,他认为空间计算时代将是移动互联网十倍的机会。Vision Pro 应用数量一个月内从 600 个快速增长到 1200 个,核心吐槽是贵、重、没有内容。他预测三年后 Vision Pro 应用将迎来大爆发,创业的傻瓜窗口期将消失。
《晚点聊》「AI 大爆炸」第二期与 VAST 创始人、CEO 宋亚宸和 CTO 梁鼎聊 AI 3D 生成的“抖音时刻”。VAST 于 2023 年 12 月上线可用文字和图像生成 3D 模型的 Web 端产品 Tripo,已生成 30 多万个 3D 模型,并正在内测一个 3D 内容托管平台(目前为 PC 客户端)。
《硅谷101》E135 期邀请 Zilliz 技术合伙人栾小凡与亚马逊云科技解决方案架构师吴万涛,探讨大模型时代向量数据库为何重要及 AI Native 企业级应用。
《硅谷101》E124期节目中,主播泓君与超级充电站创始人常岩对谈中国新能源车的创新与出海挑战。创新上,中国车企研发费用追平特斯拉,不到20万人民币的车型已配备空气悬架,零百加速度上极氪四个电机打败 Model S。出海方面,研报显示补贴后中国价格比欧洲低40%,比亚迪战绩覆盖澳大利亚、东南亚、以色列,难点在于文化差距与豪华车型的欧洲品牌认知。
《硅谷101》播客对话 Lepton.ai 创始人贾扬清,聊 Llama2 开源对大模型行业的影响、GPT-4 泄密,以及他更看好应用方向的创业判断。Meta 于 7月19日发布免费可商用的开源大模型 Llama2 并开源其预训练数据,Yann LeCun 在推特表示此举可能改变大模型行业的竞争格局。贾扬清认为闭源模型没有护城河、只有 6-12 个月的领先优势,推理成本是训练成本的 5-10 倍。
晚点聊第40期邀请梅卡曼德创始人兼CEO邵天兰,围绕通用机器人是否是AI的下一个浪潮展开讨论。近半年特斯拉、OpenAI、英伟达、微软、字节跳动和腾讯均以自研或投资布局通用机器人,马斯克称未来特斯拉人形机器人数量将是100亿台。
硅谷101 播客 E114 邀请前 Apple 工程师 Nathan Wang 拆解苹果 Vision Pro 的技术,涵盖 4K 显示屏、手势交互、3D 视频创作与自研芯片等亮点。节目认为手势追踪并非高门槛,苹果只是把它做得更顺滑,Vision Pro 并没有 10 倍的体验提升,远不是苹果的 iPhone moment。嘉宾还指出硬件产品已经 450 克,电池必须放在外接状态以控制重量。
《硅谷101》E113期节目与BlueRiver机器人工程师张君武等嘉宾探讨大模型时代机器人研究与商业化之难:感知、路径规划、执行三步均困难重重,且商业化能力与AI应用程度成反比。节目梳理了Covariant、Dexterity、Everyday Robots、波士顿动力、1X等第一梯队公司与RT1、PaLM-E两大人形机器人大模型,并指出机器人最难的部分是物理世界的数据。
硅谷101播客访谈真格基金管理合伙人戴雨森,讨论4月国产大模型集中发布后与GPT-4的差距及难点。嘉宾团队结合学术论文设计了含300个问题的大模型评分系统,GPT-4约80分,国产模型迅速从20分追到50分;除A100芯片外,数据、算法、架构都需要解决。
《硅谷101》播客访谈OpenAI首位实习生、现英伟达AI科学家Jim Fan,回顾OpenAI极早期历史与堆算力路线的成因。节目提到2016年已种下加算力实现大模型的种子,GPT2加入数据后涌现智能,且大模型市场格局不会是赢者通吃。嘉宾还将Segment Anything论文称为图像识别领域的GPT-moment,认为计算机视觉可分割从未见过的物体,无人驾驶与机器人领域将因此发生大变化。
《硅谷101》本期探讨 ChatGPT 对游戏行业的两大改变——玩家体验与生产环节,包括把经典 IP 引入开放式对话、通过生成对话与行为实现虚拟引擎5脚本的自动化渲染。
本期硅谷101播客访谈SAV创始合伙人王英骁,聊AI写作助手Jasper.ai如何在两年内做到营收过亿美元、估值15亿美元的独角兽。Jasper.ai于2022年10月完成1.25亿美金A轮融资,估值达15亿美金,2022年上半年已有4000万美元营收。
《硅谷101》AIGC特辑邀晋英杰、胡家康,围绕中国能否长出自己的OpenAI,梳理文生图创业格局与生成式AI赛跑。Jasper.ai成立18个月收入9000万美元,Jasper与Copy.ai收入过千万美元,MidJourney已火出百万级用户。中国文生图融资火爆、15倍超募,百度、智源做底层模型,阿里万亿模型效果并没有更好,生成类任务千亿参数是门槛。
《硅谷101》推出 AIGC 特辑首期,主播泓君与嘉宾汪昭然、钟凯祺分享"一句话生成图片"的试用体验。《经济学人》封面《AI's New Frontier》与美国科罗拉多州博览会美术大赛冠军作品《太空歌剧院》均由 AI 生成,本期播客封面图也由《硅谷101》用 Midjourney 自动生成。
这期晚点聊邀请探维科技的立辰与晚点编辑曼祺对谈,讨论激光雷达上车到底值不值、车价打九折消费者是否接受。节目涉及路特斯 Eletre 搭载四个激光雷达、激光雷达为何昂贵、905nm 与 1550nm 波段差异及人眼安全问题,并对比中外激光雷达公司、探讨中国车企为何最为激进。