调侃大家突然都会写 Rust,回应专用推理引擎泛滥之问
因为现在人们突然都能写 Rust 了(笑……
为什么大家突然都觉得做专用推理引擎是个好主意?
过去一个月我至少看到 5 个这类东西发布。
vLLM/SGLang 有什么不好?
确实,现在你很快就能搓出一个粗糙的推理引擎,但为什么要分裂生态?这是有害的。
为什么大家突然都觉得做专用推理引擎是个好主意?
过去一个月我至少看到 5 个这类东西发布。
vLLM/SGLang 有什么不好?
确实,现在你很快就能搓出一个粗糙的推理引擎,但为什么要分裂生态?这是有害的。