Hugging Face 通过 SIMD 分词、缓存、无分配合并等让 tokenizers 提速 15.9 倍,API 不变。

Hugging Face 在不改动任何 token ID 的前提下,把 tokenizers 提速了 15.9 倍,真不错:

→ 用 SIMD 切分器替代正则引擎
→ 为重复出现的词加缓存
→ 合并循环全程零内存分配
→ 模型调用批量化

API 完全不变。Rust RC 版本现已发布 🚀 https://t.co/ZMQquo3srf