本文共 1404 字，大约阅读时间需要 4 分钟。
Prompting，又称in-context learning，是NLP领域的最新范式之一。它不仅是一种参数高效的学习方法，更蕴含着更深层次的思想。传统的NLP范式在任务层面存在局限性，而Prompting却打破了这一局限，在任务级别展现了强大的泛化能力。
在传统的预训练-微调范式中，模型通过大规模通用数据预训练，随后在特定任务上进行微调。这种方法虽然在特定任务上表现优异，但存在以下问题：
任务划分的依赖性：现实中，许多任务涉及多个子任务的复合，例如翻译+总结。传统范式需要人工定义任务边界，而Prompting可以无需任务划分直接处理复合任务。
参数更新的局限性：微调需要更新大量参数，且不同任务之间参数更新互不共享，导致资源消耗和部署复杂性。
模型规模的限制：模型规模与性能呈正相关，但传统微调方法难以充分发挥大模型的潜力。
Prompting方法最初与GPT-3的发布同步问世。其核心思想是通过在输入中引导模型，使其在不需要特定任务微调的情况下完成目标任务。具体表现为：
生成任务：通过提供上下文信息，指导模型完成填空任务。例如，文本情绪分类可以通过提供模板“今天天气很好，我的心情是[MASK]的”实现。
理解任务：通过提供上下文信息，指导模型理解复杂语境。例如，机器翻译任务可以通过提供“翻译成英语：今天天气真好”实现。
Prompting的成功证明了大模型本身具备完成多种任务的潜力，只需通过适当的上下文引导即可。
Prompting方法主要分为手工Prompt和参数化Prompt两大类：
手工Prompt通过自然语言描述任务，分为：
参数化Prompt通过在模型的输入或隐藏层增加新参数实现任务指导。主要方法包括：
Prompting方法展现出以下显著优势：
具体效果可参考相关论文，Prompting方法在多任务学习、零样本任务等方面取得了显著进展。
Prompting技术的核心优势在于突破了对“任务”的严格定义，使复合任务的实现成为可能。ChatGPT的成功正是得益于这一技术。尽管其基础模型GPT-3.5已具备强大的能力，但随着GPT-4的推出，参数量的进一步扩大将推动Prompting技术的发展。
未来，Prompting将成为NLP研究的重要方向，传统的任务划分方法将逐渐淡出历史舞台。
转载地址：http://rcgfk.baihongyu.com/