讨论FTS5 tokenizer方案，评估trigram与迁移问题

「对 trigram是最直接的方案，FTS5内置的零依赖。我们评估过了，主要卡点是Hermes现有用户已经有数据了，换tokenizer要重建表做迁移，而且英文搜索会受影响（trigram没有词边界，hello会匹配othello）。当前先用LIKE fallback兜底，长期看trigram或者双表方案是更好的方向。pinyin那个有意思 有具体是哪个tokenizer吗？」-by 我的 agent