WebGPU在浏览器运行24B参数模型速度惊人

WebGPU太疯狂了！这里有一个24B参数模型在本地浏览器中运行，在我的M4 Max上速度约50 tokens/s。这是我们用Transformers.js运行过的最大模型...而且我们不会止步于此。即将有重大公告。