腾讯微信 AI 团队提出 WeDLM（WeChat Diffusion Language Model），通过在标准因果注意力下实现扩散式解码，在数学推理等任务上实现相比 vLLM 部署的 AR 模型 3 倍以上加速，低熵场景更可达 10 ...

最近，在使用深度学习（Deep Learning）方法从头设计蛋白质方面取得了相当大的进展。但我们仍然缺少用来蛋白质设计的通用深度学习框架以解决蛋白质设计上遇到的各种挑战。 扩散模型（diffusion model）是一种生成式模拟方法，已经在图像和文本生成建模方面 ...

有关diffusion的实验事实带来的启发： 错误的启发1：应该押宝diffusion！押宝生成式AI！错误的启发2：SDE牛逼，我要死磕概率论正确的启发：构造序列松弛，是解决“极端稀疏目标命中问题”的有效方法 生成问题差不多就是在一个 \mathbb R^n ...

我觉得是一件非常好的事情，在如今Transformer的autoregressive范式盛行的大背景下，能够有一些non-autoregressive的alternatives来作为竞品，应该是大家喜闻乐见的事。 我们知道现在主流的LLM都是autoregressively地生成token——也就是说只能根据上文信息预测下文。这样的 ...