Awq

AWQ（Activation-aware Weight Quantization）是一种面向大语言模型的后训练量化方法，其核心思想是依据激活值的分布来保护对输出影响较大的权重，从而在显著压缩模型体积的同时保留模型能力。相比传统仅按权重大小进行量化的策略，AWQ 在较少的校准样本下即可获得高质量的低比特模型。

在量化质量上，AWQ 通常被认为优于 gptq，尤其擅长处理长上下文场景，能够更好地保持生成文本的连贯性与事实性。这一优势使其在需要处理长文档、多轮对话等任务中更具吸引力，因此常被用于对质量要求较高的部署环境。

硬件方面，AWQ 依赖 CUDA 生态，只能在 NVIDIA GPU 上实现高效推理，无法在纯 CPU 环境中运行。这与 gguf 灵活支持 CPU 和 Apple Silicon 的路线截然不同，因此 AWQ 更适合服务器端或高端消费级 GPU 场景，而非个人设备上的轻量化部署。

在实际选型中，AWQ 常与 gptq 和 gguf 并列比较。尽管 AWQ 的推理速度可能稍逊于 gptq，但其出色的量化质量与长上下文稳定性使其成为许多精度敏感型应用的首选。更系统的对比可参阅 llm-quantization-comparison。