在当今人工智能领域，大语言模型（LLM）正以前所未有的速度发展。随着模型参数的不断增加，大模型变得愈发“聪明”，在语言理解、文本生成、知识问答等众多任务中展现出了卓越的性能，为自然语言处理等相关领域带来了巨大的变革。 然而，这种参数规模 ...

量化噪音太重要了，是一种没有办法去掉的数字误差，很多时候突兀的出现，但是对采集信号有什么影响很多文章零零碎碎的，我最近的文章正好在补全这些概念，所以看官请享用。 一、什么是量化噪声（Quantization Noise） 量化噪声是指： 在模数转换器（ADC）中 ...

编者按：随着大语言模型（LLMs）规模的不断扩大，如何在有限的计算资源下高效部署这些模型成为了一个迫切需要解决的问题。模型量化作为一种有效的模型压缩技术，在保持模型性能的同时大大降低了计算和存储开销，因此广受关注。但对于许多人来说，模型 ...

这篇文章给出了大模型 FP 量化的解决方案。 大语言模型 (LLM) 压缩一直备受关注，后训练量化（Post-training Quantization) 是其中一种常用算法，但是现有 PTQ 方法大多数都是 integer 量化，且当比特数低于 8 时，量化后模型的准确率会下降非常多。想较于 Integer (INT ...

现在 nlp 模型，动不动就 7b、13b 的，有的甚至更大，如果直接使用 bfloat16 加载推理、训练，需要太大的显存了。 于是现在大家都在用 int4、int8 对这种 100b 以上的模型、对 60b 以上的模型做量化。量化之后的模型，虽然效果会变差，但是好像效果还不错。 有的人 ...

我们都知道，“错误”这个词语在英文中通常有几个名词可以表示，比如error、mistake、fault等，与之类似的还有blunder、slip、faux pas、bull、howler、boner、lapse等等等，那么你知道这些“错误”都有什么区别吗？ 指思想或行动背离了正确轨道或没有受到正确指引 ...