动态

将Mom Test思路应用于LLM prompt设计,避免恭维,追求事实与反例

将Mom Test思路应用于LLM prompt设计,避免恭维,追求事实与反例
Tz
“方法论移植” —— 把《Mom Test》的用户调研思路套到和大语言模型(LLM)对话、设计 prompt 这种新兴交互上。

核心隐喻依然成立:别问模型(就像别问妈妈)一些会自动给出“好听废话”的问题,而要构造 prompt,让模型给出可验证、基于事实或明确约束的回应。

可以提炼出几个要点:

---

1. 避免问意见,改问证据

坏 prompt:
- 你觉得这个方案好不好?
- 这样设计是不是很合理?

模型的倾向:它会很礼貌地说“是的,很不错”,并生成一些泛泛的优点。

好 prompt:
- 请给我 3 个具体反例,说明这个方案可能失败的场景。
- 请基于已知的事实/数据,列出这个设计可能遇到的限制。

---

2. 避免未来假设,追问过去表现

坏 prompt:
- 如果遇到X问题,你会怎么处理?
(模型会发挥编故事,结果没法验证真伪)

好 prompt:
- 请列举你在训练语料中学到的、已经出现过的X问题解决案例。
- 在过去的研究或历史记录中,X是如何被解决的?

这样能把回答 anchor 在已有知识而不是随意幻想。

---

3. 避免模糊,要求具体

坏 prompt:
- 帮我优化这个文案。
- 给我一些改进建议。

好 prompt:
- 请将这个文案重写成3个版本:① 面向投资人,② 面向工程师,③ 面向普通用户,每个版本100字。
- 请逐句指出文案中哪些地方含糊,并给出更清晰的替代表达。

---

4. 用行为驱动而不是态度驱动

坏 prompt:
- 如果你是用户,你会不会喜欢这个产品?

好 prompt:
- 假设你是目标用户,请模拟一次实际使用过程,并逐步写出你会点击、输入、犹豫的步骤。

---

5. 验证而非求赞美

坏 prompt:
- 你能确认我这个逻辑是对的吗?
(模型会有从众/迎合倾向,容易给“是的,没问题”)

好 prompt:
- 请检查我这个逻辑,找出其中至少一个可能的错误,并解释理由。
- 如果必须反驳我,请站在反方角度给出3点论证。

---

总结一句:

把 Mom Test 的反礼貌思维套到 LLM 上,就是在 prompt 中逼它不要给面子话,而要给事实、行为、反例和限制。

这其实能让 prompt 变成一套“抗幻觉、抗恭维”的护栏。
Tz
@tangjinzhou 我想到了交互设计领域经典的 Mom Test

当你问用户(或者潜在用户)问题时,要避免问那种就算是你妈妈也会出于礼貌撒谎的问题。比如你拿个产品给妈妈看,问:“你觉得这个想法好不好?” —— 大多数人都会回答“挺好的”,因为他们不想伤害你。但这样的答案没价值。

在交互设计和用户研究里,“Mom
动态Tz2025-09-04原文

相关内容