What Evidence Do Language Models Find Convincing? (Wan et al. 2024)

1. 这篇论文讲什么，以及它逼出的一次反转

主流的 GEO 建议背后藏着一个心照不宣的假设：把一个页面包装得「看起来可信」，即加上作者署名、引用、中立语气、schema 标记、统计数据等等，LLM 在选择来源的时候就更可能站到这一边。What Evidence Do Language Models Find Convincing?（Wan、Wallace、Klein，UC Berkeley，ACL 2024）是第一篇对这个假设做严肃量化的论文，也是第一篇直接打破它的论文。

他们的做法是：把两份在同一个有争议问题上观点相反的真实网页同时摆给 LLM 看，再看模型怎么选。结果是模型主要按查询相关性做选择，也就是页面有多直接、多具体地回答了那个问题；而对人类自己嘴上最看重的风格化可信度信号（科学引用、中立语气、正式引用格式），模型几乎不为之所动。

这一结论之所以让人不适，是因为业内主流做法正好相反。同时也要讲清楚论文的适用范围比标题窄：这是在五个 2023–24 年的 LLM 与 ConflictingQA 数据集上做的反事实研究，并不是对 2026 年所有上线引擎的全面盘点。

属性	内容
作者	Alexander Wan、Eric Wallace、Dan Klein
所属机构	UC Berkeley（Berkeley NLP）
发表	ACL 2024 Main，Bangkok，Long Papers，pp. 7468–7484
标识	arXiv 2402.11782 · DOI 10.18653/v1/2024.acl-long.403
产出物	代码 + ConflictingQA 数据，MIT 许可

2. 它形式化了什么问题

检索增强生成会把多份来源同时交给模型，让它回答同一个查询。在有标准答案的事实型查询上，文献里已经有一套解释：模型往往更倾向于与自身参数化先验一致的来源，或者更倾向于提示词里被特别凸显的那一份。但在有争议的查询上（例如「阿斯巴甜是否致癌」「日托对孩子是不是有害」），并没有一个可以倚靠的「正确答案」，而这恰恰是可信度信号本该起最大作用的场合。

Wan 等人的核心做法，是把这种情形改造成成对比较：

• 选一个尚无定论的有争议问题。
• 给模型两段立场相反的真实网页文字。
• 问它：你被哪一份说服？

这种设置把「什么让证据有说服力」与「真相到底是什么」分开了。在此基础上，他们又对每一段文字做了反事实改写：把其中一段的科学引用整段抽掉、把另一段重写为中立语气、在段落前面加一句问题重述，再看模型的偏好如何随之变化。本论文把检索、提示、引用这一套底层的采信机制当作前提（answer loop 有完整描述），只在这之上提出「偏好」这一层的问题。

还有一点先讲清楚：本论文研究的是偏好步骤，不是检索步骤。可引用性（citability） 讨论的是一段内容在结构上能不能被取出来放进答案；引用 vs 提及 vs 链接 讨论的是被取出来之后归属如何确定。Wan 问的是更上游的一个问题：两份候选来源已经摆到模型面前，它会挑哪一份？

3. 方法学：ConflictingQA 与特征空间

数据集 ConflictingQA 取自医学、政治、社会等领域的有争议查询，特点是检索前 N 条网页时，往往会同时出现立场相反的两种说法：

元素	取值
问题数	238 道有争议问题，分属 144 个问题类别
证据段落	2,208 段从网页上检索出来的真实段落
比较对	其中 912 段都至少与 5 段立场相反的内容配过对，平均每段配 6.54 对
许可	MIT，仓库见 github.com/AlexWan0/rag-convincingness
镜像	HuggingFace kortukov/ConflictingQA

受测的五个 LLM 同时横跨开源 13B 与商用前沿两档，这一点在 §6 的批判里很关键：

模型	类型
GPT-4（gpt-4-1106-preview）	商用前沿
Claude Instant v1	商用中档
LLaMA-2 Chat 13B	开源 13B
Vicuna v1.5 13B	开源 13B，基于 Llama-2
WizardLM v1.2 13B	开源 13B，基于 Llama-2

论文研究的特征分成两类：

类型	所测特征
风格化的可信度信号	增加科学引用；改写为中立语气；加入正式引用格式；「补充更多信息」式的扩写；Flesch–Kincaid 可读性分数；独特词数
内容实质	与查询的相关性，其中尤其是问题前缀这一项做法，即在段落前面加一句对问题的重述；问题与段落的嵌入余弦相似度

每一对段落都要记下三件事：（a）人类标注的偏好；（b）模型在被提示之后给出的偏好；（c）只沿单一特征维度改写其中一段之后，模型的偏好怎么变。最后得到的，是每一个特征对应的一条胜率曲线，论文用 Figure 2 的柱状图与 Figure 4 的散点图把它们画了出来。

4. 反转细节：什么动了偏好，什么没动

这篇论文最值得引用的一点，正是这种「分量极不对称」的胜率效应：

✅ 对 LLM 偏好有显著正向影响	❌ 中性、略偏负，或与偏好无关
问题前缀（Question Prefix）：在段落前面加一句对问题的重述，在所有五个模型上都是最强的正向项	增加科学引用：加入对科学来源的引用，对胜率的影响是中性，甚至略偏负向
问题与段落的嵌入余弦相似度：除 GPT-4 之外，在每个模型上都与胜率高度相关	补充更多信息：在同一领域内多写一段文字，没有带来正向效应
话题具体性：直接回应有争议问题的段落，胜过那些更偏向泛泛背景介绍的段落	中立语气：把段落改写成中立、百科式的语气，并不会提升偏好
	可读性（Flesch–Kincaid）：与说服力无关
	独特词数：与说服力无关

原文摘要里这一句话，把结论说得最清楚：模型 “rely heavily on the relevance of a website to the query, while largely ignoring stylistic features that humans find important such as whether a text contains scientific references or is written with a neutral tone”。

这一结论之所以让做 GEO 的人觉得棘手：业内不少关于 可引用性（citability） 与 E-E-A-T 优化的建议，默认假设就是风格化的可信度信号是让模型信任一个来源的主要杠杆。但在 Wan 等人所测的配置里，这根杠杆其实很轻；真正重的是话题相关性，本论文是迄今为止最干净的一份反事实证据。

5. 主要发现

下面是论文的标题级结论：

发现	细节
风格化可信度信号几乎不动偏好	在所测范围内，加入科学引用、把段落改写为中立语气，对 LLM 胜率的影响都是中性，甚至略偏负向
查询相关性主导	「问题前缀」在所有受测模型上都带来最强的正向效应
不同档位的模型方向一致	在 GPT-4、Claude Instant 与三款 13B 开源模型上都指向同一边，并不是小模型才有的偏差
有争议查询上，语料质量比 prompt 更要紧	语料里没过滤掉的错误，模型不会替你再核一遍；候选集里夹带的错误信息，会直接漏进答案里
与人类对齐的差距指向训练目标	作者明确提到「在训练 LLM 的方式上做出调整，以更好地对齐人类判断」，意思是这种现象可以被修正，并不是写死在模型里的东西

有一点论文自己处理得很谨慎，从业者却常常忽略：这里得到的是效应方向与效应排序，而不是带置信区间的点估计百分比。Figure 2 的柱状图和 Figure 4 的散点图，是它最原始的实验结果。任何「补科学引用带来 X% 提升」之类的说法，都不是论文直接给出的、可以照搬的数字；之所以能写得这么精确，大多是有人从图里读出来的。

6. GEO Wiki 评估

先充分肯定。这三项贡献至关重要，至今依然立得住：

1. 第一次把「说服力」拆成可以分别命名的特征。在此之前，检索增强方向的可信度研究多半停在「模型有没有听从检索来的来源」这一层，并没有进一步问「来源的哪个特征让模型这样听从」。Wan 等人是第一篇用反事实扰动把它逐项度量出来的论文。
2. ConflictingQA 是一份可以复用的公开数据集。238 道有争议问题、2,208 段证据，本身就不容易构造；MIT 许可加 GitHub 公开释放，让后续研究可以直接在它的基础上接着做。例如 Retrieval-Augmented Generation with Conflicting Evidence（Wang 等，arXiv 2504.13079，2025 年 4 月）就直接接续了 Wan 开启的冲突情形这条线。
3. 对语料治理的直接含义。如果偏好主要由话题相关性决定、而不是由表面可信度信号决定，那么高风险 RAG 的真正杠杆就在更上游：哪些来源进入了候选集，而不是候选来源被包装成什么样。这条结论的方向也和 C-SEO Bench 一致：业内不少基于网页的对话式 SEO 改写，效果都比预期来得小。

接下来是四点有边界的批判：

1. 外部效度的边界很窄。受测的五个模型都是 2024 年中以前的版本：GPT-4 是 gpt-4-1106-preview，Claude 是 Instant v1，五个里有三个还是同一 Llama-2 谱系的 13B 开源模型。Claude 3.5 / 4、GPT-4o、Gemini、Mistral、LLaMA-3 都不在评测里。2026 年的读者，没办法拿本论文给今天的 ChatGPT Search、Gemini、Perplexity 或 Google AI Overviews 背书。
2. 特征覆盖只是子集。论文所测的「可信度信号」只是科学引用、中立语气、正式引用、补充信息、可读性、独特词数这几项。更广义的 E-E-A-T 信号家族，包括经过核验的作者身份、sameAs 图、来源域名权威度、统计密度、是否带结构化数据等，都没有被扰动过。准确的说法是「在所测的四项风格化特征上，五个 2023–24 年的模型几乎不动」，而不是「可信度对 LLM 都无所谓」。
3. 与 Aggarwal 的表面矛盾，落到度量层就化解了。Aggarwal 等人（KDD 2024） 显示 Cite Sources 能把 Position-Adjusted Word Count 最高提升 30%，Quotation Addition 最高提升 41%；Wan 这边则显示补科学引用几乎不动偏好。两件事可以同时成立：Aggarwal 度量的是一个来源能否被合成答案纳入（纳入侧的结果），Wan 度量的是模型在两份已被检索出来的来源之间倾向哪一份（偏好侧的结果）。两篇论文落在 answer loop 的不同环节。把它们压成一个数字，就会把这层区分丢掉。
4. 「为什么」这一层还讲得不够。论文记录了「相关性主导，风格化可信度几乎不动」这一现象，但对几种可能的原因（预训练目标的影响、RLHF 工艺带来的偏差、提示格式让比较任务发生扭曲）并没有做有力的区分。后续的「为什么」之所以重要，是因为它决定了这一现象在新的训练范式下还能不能继续成立，还是只是 2023–24 年模型的一次性现象。

GEO Wiki 的判定。奠基不等于可以直接照搬。可取的是方向：相关性与具体性主导偏好步骤，表面可信度信号几乎不动它；不可取的是把这一结论跨引擎、跨时间外推，当作规划依据。

7. 可复现性

以下状态在撰稿时（2026-05-28）逐项实地核实过，并非凭推测：

产出物	状态
源代码	公开：github.com/AlexWan0/rag-convincingness
数据集（ConflictingQA）	公开：同一仓库；HuggingFace 第三方镜像 huggingface.co/datasets/kortukov/ConflictingQA
许可	MIT
模型	开源权重（LLaMA-2、Vicuna、WizardLM）+ 付费 API（GPT-4、Claude Instant）混合；开源那一部分完全可以离线复现

字段取值：code-and-data。实验代码与 ConflictingQA 数据集均开放可得，因此标题实验可被独立复现。相对于这一领域的多数论文，这是一个实在的优点。

8. 它对从业者意味着什么

把本论文读成一个优先级要前移的信号，而不是当成可以放下可信度工作的许可证：

• 把内容投入往漏斗前段挪。多花力气让一段文字直接、具体地回答那个查询：用贴合问题的措辞、给出具体的细节、在该节开头先用一句话点出主题。这才是 Wan 等人在所测配置下真正观察到能推动偏好的那根杠杆。
• 不是放弃表面可信度，而是把它放到合适的位置上。作者署名、sameAs 身份图、schema 标记、来源域名权威度，都不在 Wan 的扰动范围里。它们仍然可能影响一个页面能不能在第一步被检索到（这是 可引用性（citability） 更靠前的那一段），以及被检索之后能不能通过 E-E-A-T 那一道信任过滤。Wan 测的只是两份来源摆到模型面前之后，它会挑哪一份这一步。
• Wan 与 Aggarwal 怎么放在一起读。Aggarwal 等人 的 Cite Sources、Statistics、Quotation 这一类改写之所以有效，部分原因是它们同时提升了相关性：本来就是关于数字的一个问题，给段落补一个统计数据，段落就更直接地回应了那个问题。这样读，两条结论就完全相容了：Wan 告诉你哪一类内容改写能动得了偏好这一步（相关性，而不是风格），Aggarwal 告诉你含实质的可信度改写也能提升被纳入率，而它走的部分就是这条相关性通道。
• 不要把它外推到 2026 年的上线引擎。所测的五个模型都是 2023–24 年的快照。优先级前移这件事的可操作版本，见 writing-for-ai-citation；只要听到「X 已经死了，Y 才是新杠杆」这种说法，尤其是只拿 Wan 一篇做支撑的版本，就已经走出本论文实际证明的范围了。

9. 延伸阅读

• Aggarwal et al. 2024 — GEO: Generative Engine Optimization：纳入侧的研究；建议与 §6 批判第 3 条对照阅读，看清两篇论文在度量层面如何同时成立。
• Puerto et al. 2025 — C-SEO Bench：对 GEO 方法类文献的一份独立复制研究，结论指向相反方向；与本论文在「语料治理 > 网页包装」这个判断上一致。
• 生成式引擎优化：Wan 给出的优先级前移这一信号，在更广义的 GEO 学科里该放在什么位置。
• E-E-A-T：Wan 只触及了它的一小块；建议看完 §6 批判第 2 条后再读这一条。
• 可引用性（citability）：Wan 假定为已满足的检索侧前提。

References

1. Wan, Wallace, Klein — What Evidence Do Language Models Find Convincing?, ACL 2024 Main. arXiv:2402.11782 · ACL Anthology 2024.acl-long.403 · DOI:10.18653/v1/2024.acl-long.403
2. Code and ConflictingQA dataset — github.com/AlexWan0/rag-convincingness（MIT）
3. Third-party dataset mirror — huggingface.co/datasets/kortukov/ConflictingQA
4. Aggarwal et al. — GEO: Generative Engine Optimization, KDD 2024. arXiv:2311.09735
5. Puerto et al. — C-SEO Bench: Does Conversational SEO Work?, NeurIPS 2025 D&B. arXiv:2506.11097
6. Liu, Zhang, Liang — Evaluating Verifiability in Generative Search Engines, Findings of EMNLP 2023. arXiv:2304.09848
7. Wang, Prasad, Stengel-Eskin, Bansal — Retrieval-Augmented Generation with Conflicting Evidence, 2025. arXiv:2504.13079