Hugging Face Blog（hf-mirror 镜像）·2026-09-22 08:00· 27 天前精选AI 评分66

transformers 新增 GGUF 支持，可直接运行 llama.cpp 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取量化检查点，用 from_pretrained 传入 gguf_file 即可在本地生成，无需额外配置。

推荐理由

transformers 现在能直接加载 GGUF 量化模型，在 Apple Silicon 上跑本地推理，性能接近 llama.cpp。