中科类脑发布算电词元一体化平台,提出 Token 工厂调度架构
中科类脑发布算电词元一体化平台,用一套调度统管异构芯片、模型、任务和电价,在 Token 降价潮里靠系统效率换利润空间。
同样一批芯片、同样一度电,能产出多少满足质量与时延要求的 Token(词元,模型处理文本的最小单位)?中科类脑把从算力资源到智能产出的这一转化环节称为“算电协同型 Token 工厂”,用一套调度系统统一管理异构芯片、模型、任务和电力,目标是以更少资源产出更多有效 Token。
正文摘录
同样一批芯片、同样一度电,最终能生成多少满足质量、时延和稳定性要求的 Token(词元)。 计算、存储、网络、模型部署和任务调度,只要有一个环节卡住,昂贵的芯片仍可能低效空转。 中科类脑瞄准的,正是这段从资源到智能产出的转化过程,让同样的芯片、同样的电,产出更多、成本更低、质量更稳定的 Token。 它将自己的体系称为“算电协同型 Token 工厂”,把异构芯片、模型、用户任务和电力放进同一套系统调度,用更少的资源产出更多有效 Token。 算力是生产设备,电力只是原料,用户提交的提示词和任务进入 Token 生产线,模型负责完成智能转换。 传统 IDC 交付机柜、电力、网络和空间,云厂商提供算力实例与模型接口;中科类脑向上再走一层,即 Token 生产运营层,试图对 Token 的生产效率、成本和任务结果负责。 效能决定每颗芯片、每度电能生产多少 Token;场景化则决定这些 Token 能够产生多大价值。 在常峰的规划里,效能和场景同样重要,集中研发资源解决效能问题,组织业务资源解决高价值场景问题,再把产生的高质量 Token 结合业务场景,实现应用价值的最大化,目前已经在 AI4S 及能源领域形成了可规模化的商业闭环。 它统一纳管英伟达、昇腾等不同架构的算力,聚合模型 API 和 Token 服务,并连接企业私有算力池与公共资源池。 以平均 30 张、峰值 100 张芯片的需求为例,企业按日常负载自建,高峰缺口由平台补齐 70 张芯片,相当于获得了一条可以弹性扩缩的 Token 生产线。 据中科类脑介绍,截至目前平台已接入逾 3000 个算力节点,总规模超过 5000P,累计服务超 8 万企业及科研用户。 后台则是公司与中国科大团队联合研发的决策大脑,负责电算 Token 一体化系统从监控、预测到调度、运营的闭环运转。