杨植麟揭秘Kimi预训练策略：提升Token efficiency，实现长文本

杨植麟指出，Transformer的架构优势体现在长上下文场景中。实验表明，当上下文长度增加到1000个token时，代表Transformer的性能表现会显著下降到LSTM之下，显示出卓越的性能。这揭示了架构在不同上下文长度下的优势差异，是一个至关 ...
腾讯网

谁将取代 Transformer？

2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经，此后席卷全球的人工智能热潮都可以直接追溯到Transformer 的发明。 Transformer 由于其处理局部和长程依赖关系的能力以及可并行化训练的特点，一经问世，逐步取代了过去的 RNN（循环神经 ...
csdn

Qualcomm Cloud AI 推出Efficient Transformers：一个API，无限可能

秉承以开发者为中心的原则，我们推出了最新的推理库：efficient transformers，简化在 Qualcomm Cloud AI 100 上部署大语言模型 (LLM) 的流程。借助该库，用户可以将 HuggingFace (HF) 库（使用HF transformers库开发）中的预训练模型和检查点（checkpoint）无缝移植成推理就绪格式 ...
雷锋网

谁将替代 Transformer？

导语：非 Transformer 面临的共同考验依然是证明自己的天花板有多高。 【雷峰网(公众号：雷峰网)】2017年谷歌发表的论文《Attention Is All You Need》成为当下人工智能的一篇圣经，此后席卷全球的人工智能热潮都可以直接追溯到 Transformer 的发明。 Transformer 由于其 ...