GPT 3.5 原Instruct GPT 详细原理介绍

发布网友发布时间：2024-10-11 13:20

共1个回答

热心网友时间：2024-11-14 04:27

GPT3.5（原Instruct GPT）的改进源于对原有GPT-3在理解人类指令方面的局限。GPT-3虽然在某些下游任务中表现出色，但对非标准指令的理解能力较弱，如需要将其转化为机器翻译还是同语言转述等，这就催生了GPT3.5的诞生。通过基于真实调用数据和人类反馈的强化学习（RLHF），ChatGPT3.5和GPT3.5-Turbo得以优化，适用于更复杂的语言处理任务，如情感分析和语法结构分析。

InstructGPT的核心策略在于通过RLHF对预训练语言模型（LLM）进行微调，目的是让模型理解人类指令，如写作、知识问答和头脑风暴等。这种方法不仅让模型能判断优质答案，还保证内容相关性、信息量丰富和无歧视等标准。其技术方案分为两个关键步骤：有监督微调（SFT）和基于人类反馈的强化学习训练。

SFT阶段，通过抽样并标注用户的提示，训练模型理解意图并提供高质量回答。尽管初始阶段面临过拟合问题，但额外的训练回合有助于提高模型性能。训练回报模型（RM）阶段，通过人工排序训练数据，形成对回答质量的评估标准，利用pair-wise学习方法优化模型。

强化学习阶段，利用RM模型评估生成的回答，通过PPO算法调整LLM参数，目标是生成符合高质量标准的回答。这种方法利用了策略、动作空间和奖励函数等强化学习要素，通过对比新旧策略和奖励优化，逐步提升模型性能。

虽然RLHF需要的训练数据相对较少，但通过迭代和扩展高质量数据，强化学习持续提升了GPT3.5的适应性和能力，使其在理解和执行人类指令时更为精准和有效。这种技术优化在有限的数据量下实现了模型性能的显著提升。