在最近Thinking Machines的新文章（见文末）里指出一种很有用的模型压缩技术——在线策略蒸馏（On-Policy Distillation），它通过从高性能“教师”模型的概率分布中转移知识来训练一个小的“学生”模型。这使得学生能够模仿教师的任务性能，同时显著减少大小和 ...