Yann LeCun介绍FAIR的embedding项目
这是我在FAIR共同领导的项目之一，当时Facebook约有20亿用户，128维嵌入使得模型参数规模在3000亿到1万亿之间（取决于如何计数实体，如广告活动）。当时这算很大，现在算中等。我们完全在分布式CPU上训练。
@RaiaHadsell 通用嵌入 FTW 😊
FAIR的旗舰项目之一是“嵌入世界”（即表示Facebook上的每个实体）。名称很快改为“Filament”，内部部署，最终开源为“PyTorch-BigGraph”。相关技术更多...