这是一篇RAG领域的文章，原文在这：https://aclanthology.org/2023.emnlp-main.398.pdf

时间	[Submitted on 24 May 2023 (v1), last revised 31 Oct 2023 (this version, v2)]
背景	LLM在信息搜索、生成带引用的文本时存在幻觉问题，即事实准确性有待提升，而且用户难以验证准确性。
现有工作的不足	人工评估或商用搜索引擎，难以复现和比较不同模型
解决	提出Automatic LLM Citation Evalutation 自动化评估模型检索生成能力
创新点	1. 评估长文本生成 2. 自动评估引用质量 3. 允许为一个陈述引用多篇文章

具体工作内容：

数据集

有三个数据集，分别是

ALCE评估模型：

三方面评估

• 流畅度——MAUVE (Pillutla et al., 2021)
• 正确性——根据数据集特点，定制了三种评估方式，主要使用了召回率，正确率
• 引用质量——根据数据集特点，定制了三种评估方式，主要使用了召回率，正确率

检索生成方式

1. vanilla：提供模型可能包含答案的文章，写提示词告诉他要正确地引用
2. summ/snippet: 不提供完整的文章而是概要版或某一段，为了减少信息损失，还结合了INTERACT，模型可以选择是否去看一个浓缩版对应的完整的文章
3. inlinesearch： 不提供检索结果，允许模型调用搜索
4. closebook：不提供外部文章，让模型闭卷给出答案。