转推关于开源路由器系统及多模型未来的讨论
转推自 @ClementDelangue:非常兴奋看到开源路由器系统和路由模型,比如 @vllm_project 的语义路由器:https://t.co/Gwza9jPWzr
未来是多模型的,你会像定制代码一样定制你的路由器!
这可能是将价值捕获从少数昂贵的边界模型转向长尾模型(尤其是开源模型)的关键。
更多的人应该构建这些!
未来是多模型的,你会像定制代码一样定制你的路由器!
这可能是将价值捕获从少数昂贵的边界模型转向长尾模型(尤其是开源模型)的关键。
更多的人应该构建这些!