Hugging Face Blog·· 22 天前精选AI 评分61
Hugging Face 发布 tokenizers v1 候选版，编码速度较 v0.23 提升 3 至 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 Rust tokenizers v1 release candidate，在 Apple M4 Max 单线程上覆盖的 10 个模型家族编码速度较 v0.23 快 3 至 30 倍，8 个 worker 下达到 76% 的线性扩展。
推荐理由
文章拆解了 tokenizers v1 在保持 token ID 与 API 不变的前提下，如何通过位流切分、缓存和无分配合并循环获得数十倍提速。
来源：Hugging Face Blog · huggingface.co