Hugging Face Blog（hf-mirror 镜像）·2026-09-21 08:00· 27 天前精选AI 评分62

Hugging Face 发布 tokenizers v1 候选版，编码速度最高提升 30 倍

tokenizers v1: encode, decode and scaling, measured

AI 导读

Hugging Face 发布 tokenizers v1 候选版，在 Apple M4 Max 单线程下编码速度是 v0.23 的 3 到 30 倍，八线程扩展效率为线性的 76%，且输出 token ID 与旧版完全一致。

推荐理由

tokenizers v1 候选版把编码速度提升到 v0.23 的 3 到 30 倍，输出 token ID 完全不变，升级只需换安装的构建。