PD 分离 (Disaggregated prefill and decoding) 架构对大模型推理——尤其是大规模部署场景——具有显著价值。LLM 推理过程可以分预填充（Prefill）阶段和解码（Decode）阶段。预填充阶段是计算密集型而解码阶段是显存密集型。PD 分离架构通过将这两个阶段分开部署，实现 ...

作者 | 玖宇（SGLang 社区 & 阿里云），杨彦波（SGLang 社区 & 科大讯飞），孙伟祥（SGLang 社区 & 小红书），宋阳 （SGLang 社区 & 小红书），雨杨 （Mooncake & 阿里云） 背 景 大语言模型（LLM）推理服务正迅速成为企业级应用的核心基础设施。生产级落地的关键 ...

露丝·巴德·金斯伯格（Ruth Bader Ginsburg，简称“RBG”）逝世。对美国总统特朗普来说，这是提名一保守派法官接替她在最高法院位置的机会。然而，大选在即，时间够吗？ （德国之声中文网）在周五以87岁高龄辞世前数天，最高法院法官金斯伯格还表达了一个 ...

（欢迎点击此处订阅NYT简报，我们将在每个工作日发送最新内容至您的邮箱。） 上个月，大法官鲁思·巴德尔·金斯伯格(Ruth Bader Ginsburg)透露，她因肝脏上出现癌变接受了治疗。之后，YouTube上一段视频在互联网上的自由主义者中像祈祷一样流传开来。这段标题为 ...