零样本提示词

什么是零样本提示词

零样本提示词，顾名思义就是在人和大模型之间交互时，提示词中可以不使用任何样例，大模型只根据提示词中的指示以及预训练的固有知识生成内容或回答问题。

零样本提示词可以是一句话，一个问题，或者一条指令，但是如果期望大模型生成准确有效的信息，零样本提示词也需要遵循一定的结构，具体的信息可以参考另一篇文章：高效提示词的基本结构

假设你想使用一个语言模型来判断一段文本的情感是积极、消极还是中性。你可以向模型提出这样的问题：

“请对这段文本进行情感分类：‘我在海滩度过了一个很棒的一天！’它是积极的、消极的还是中性的？”

指令微调已经被证明可以提高零样本学习的效果（Wei et al., 2022）。指令微调本质上是指在通过指令描述的数据集上对模型进行微调。此外，RLHF（从人类反馈中进行强化学习）已被用于扩展指令微调，其中模型被调整以更好地符合人类偏好。这种最近的发展推动了像ChatGPT这样的模型的出现。我们将在接下来的章节中讨论所有这些方法。

当零样本不起作用时，建议在提示中提供演示或示例，这就是所谓的少样本提示。

零样本提示词的优缺点

优点：零样本提示在需要快速回答而无需准备示例时非常有用。它还有助于测试模型的一般语言理解能力。

缺点：与少样本或微调模型相比，零样本提示的准确度可能较低，尤其对于复杂任务或与训练数据差异很大的任务。

参考文章

Zero-shot and Few-shot prompting in LLMs
zeroshot
zeroshot prompting