说明：如果访问 GitHub 比较慢的话，可以关注我的知乎账号（Python-Jack），上面的“从零开始学Python”专栏（对应本项目前 20 天的内容）比较适合初学者，其他的专栏如“数据思维和统计思维”、“基于Python的数据分析”、“说走就走的AI之旅”等也在持续更新中 ...

在大模型背景下，通常我们需要进行多卡分布式的训练，在保存 Checkpoint 时所得到的模型权重通常是分片放置的，例如根据张量并行、流水线并行进行切分保存。这种根据分布式策略直接存储 Checkpoint 的方式非常直接明了，但也存在如下的问题： 对下游推理不够 ...

本文介绍一种新型量化量化方式，EfficientQAT。大语言模型的 4-bit 量化相对来说已经较为成熟，掉点少。 近期，众多工作聚焦于推进 2-bit 量化。考虑到均匀（INT）量化的显著性能损失，近期领域内主要关注 vector 量化，例如用于 2-bit 精确量化的 AQLM [1] 和 QUIP# [2]。

前几天 Elon Musk 在线 @xAI，宣布本周将开源 Grok，没想到它真的来了，我满怀欣喜的打开 GitHub，然后... Grok-1（Open Release of Grok-1 [1] ）是一款由 xAI 开发的大型语言模型，拥有 3140 亿个参数，属于混合专家模型（MoE：Mixture-of-Experts model）。模型特点是在处理每个 ...

这篇文章给出了大模型 FP 量化的解决方案。 大语言模型 (LLM) 压缩一直备受关注，后训练量化（Post-training Quantization) 是其中一种常用算法，但是现有 PTQ 方法大多数都是 integer 量化，且当比特数低于 8 时，量化后模型的准确率会下降非常多。想较于 Integer (INT ...

最近有小伙伴询问SNPE是否支持把量化训练得到的参数写入到量化的DLC中。 重写DLC量化参数的功能很早就加入到SNPE了，可能是文档的不完善，很多小伙伴至今不知道怎么用。 这里，我就简单介绍一下重写DLC量化参数的办法和需要注意的点。 SNPE的工具是支持将 ...

本文介绍下SNPE量化工具snpe-dlc-quantize的使用以及包含的后量化技术。 SNPE中的量化工具是snpe-dlc-quantize。 本文以Qualcomm Developer NetworkSNPE v1.55.0 为基础介绍。 一、SNPE-DLC-QUANTIZE 基本用法 ...