博客
关于我
ChatGPT的前生: Prompting思想
阅读量:799 次
发布时间:2023-04-16

本文共 1404 字,大约阅读时间需要 4 分钟。

Prompting:NLP的最新范式

1. Prompting:NLP的最新范式

Prompting,又称in-context learning,是NLP领域的最新范式之一。它不仅是一种参数高效的学习方法,更蕴含着更深层次的思想。传统的NLP范式在任务层面存在局限性,而Prompting却打破了这一局限,在任务级别展现了强大的泛化能力。

传统范式的局限性

在传统的预训练-微调范式中,模型通过大规模通用数据预训练,随后在特定任务上进行微调。这种方法虽然在特定任务上表现优异,但存在以下问题:

  • 任务划分的依赖性:现实中,许多任务涉及多个子任务的复合,例如翻译+总结。传统范式需要人工定义任务边界,而Prompting可以无需任务划分直接处理复合任务。

  • 参数更新的局限性:微调需要更新大量参数,且不同任务之间参数更新互不共享,导致资源消耗和部署复杂性。

  • 模型规模的限制:模型规模与性能呈正相关,但传统微调方法难以充分发挥大模型的潜力。

  • 2. Prompting的核心思想

    Prompting方法最初与GPT-3的发布同步问世。其核心思想是通过在输入中引导模型,使其在不需要特定任务微调的情况下完成目标任务。具体表现为:

    • 生成任务:通过提供上下文信息,指导模型完成填空任务。例如,文本情绪分类可以通过提供模板“今天天气很好,我的心情是[MASK]的”实现。

    • 理解任务:通过提供上下文信息,指导模型理解复杂语境。例如,机器翻译任务可以通过提供“翻译成英语:今天天气真好”实现。

    Prompting的成功证明了大模型本身具备完成多种任务的潜力,只需通过适当的上下文引导即可。

    3. Prompting方法的分类

    Prompting方法主要分为手工Prompt和参数化Prompt两大类:

    3.1 手工Prompt

    手工Prompt通过自然语言描述任务,分为:

    • Prefix Prompt:用于生成式任务(如机器翻译),通过在输入前增加语言标识符实现。
    • Cloze Prompt:用于理解式任务(如情感分析),通过在输入中加入空缺词实现。

    3.2 参数化Prompt

    参数化Prompt通过在模型的输入或隐藏层增加新参数实现任务指导。主要方法包括:

    • Prefix Tuning:在输入层和每个隐藏层增加前缀参数,仅对相关参数进行微调。
    • Prompt Tuning:仅在输入层增加新嵌入参数,模型结构无需修改。

    4. Prompting的效果与总结

    Prompting方法展现出以下显著优势:

  • 高效性:在相同计算资源下,Prompting模型的效果与传统微调方法相当,甚至在参数规模上更具优势。
  • 泛化能力:模型在任务级别展现出强大的泛化能力,能够处理复合任务。
  • 灵活性:无需人工定义任务边界,适合处理现实中常见的多任务场景。
  • 具体效果可参考相关论文,Prompting方法在多任务学习、零样本任务等方面取得了显著进展。

    5. Prompting的未来与ChatGPT的崛起

    Prompting技术的核心优势在于突破了对“任务”的严格定义,使复合任务的实现成为可能。ChatGPT的成功正是得益于这一技术。尽管其基础模型GPT-3.5已具备强大的能力,但随着GPT-4的推出,参数量的进一步扩大将推动Prompting技术的发展。

    未来,Prompting将成为NLP研究的重要方向,传统的任务划分方法将逐渐淡出历史舞台。

    转载地址:http://rcgfk.baihongyu.com/

    你可能感兴趣的文章
    mysql5.7安装
    查看>>
    mysql5.7性能调优my.ini
    查看>>
    MySQL5.7新增Performance Schema表
    查看>>
    Mysql5.7深入学习 1.MySQL 5.7 中的新增功能
    查看>>
    Webpack 之 basic chunk graph
    查看>>
    Mysql5.7版本单机版my.cnf配置文件
    查看>>
    mysql5.7的安装和Navicat的安装
    查看>>
    mysql5.7示例数据库_Linux MySQL5.7多实例数据库配置
    查看>>
    Mysql8 数据库安装及主从配置 | Spring Cloud 2
    查看>>
    mysql8 配置文件配置group 问题 sql语句group不能使用报错解决 mysql8.X版本的my.cnf配置文件 my.cnf文件 能够使用的my.cnf配置文件
    查看>>
    MySQL8.0.29启动报错Different lower_case_table_names settings for server (‘0‘) and data dictionary (‘1‘)
    查看>>
    MYSQL8.0以上忘记root密码
    查看>>
    Mysql8.0以上重置初始密码的方法
    查看>>
    mysql8.0新特性-自增变量的持久化
    查看>>
    Mysql8.0注意url变更写法
    查看>>
    Mysql8.0的特性
    查看>>
    MySQL8修改密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
    查看>>
    MySQL8修改密码的方法
    查看>>
    Mysql8在Centos上安装后忘记root密码如何重新设置
    查看>>
    Mysql8在Windows上离线安装时忘记root密码
    查看>>