GPT-3.5

GPT-3.5 系列是一系列模型    
    
    
    
，从 2021 年第四季度开始就使用文本和代一起进行训练    
    
    
    
。以下模型属于 GPT-3.5 系列：

code-davinci-002 是一个基础模型     


     


     


     


   ，非常适合纯代码完成任务 text-davinci-002 是一个基于 code-davinci-002 的 InstructGPT 模型 text-davinci-003 是对 text-davinci-002 的改进 gpt-3.5-turbo-0301 是对 text-davinci-003 的改进




 




 




 




 

，针对聊天进行了优化

InstructGPT

以 3 种不同方式训练的 InstructGPT 模型变体：

训练方法模型 模型名字 SFT

监督微调人类示范 davinci-instruct-beta1 davinci-instruct-beta1 FeedME 对人工编写的演示和模型样本进行监督微调
   

   

   

   

，这些模型样本被人工标注者在总体质量得分上评分为 7/7 text-davinci-001, text-davinci-002, text-curie-001, text-babbage-001 PPO 使用人类比较训练的奖励模型进行强化学习 text-davinci-003

SFT 和 PPO 模型的训练与 InstructGPT 论文中的模型类似     


     


     


     


   。 FeedME（“feedback made easy    
    
    
    
”的缩写）模型是通过从我们所有的模型中提取最佳完成度来训练的




 




 




 




 

。我们的模型通常在训练时使用最佳可用数据集     

     

     

     

  ，因此使用相同训练方法的不同引擎可能会在不同数据上进行训练
   

   

   

   

。

ChatGPT

ChatGPT和InstructGPT是一对姐妹模型 




  




  




  




  
，是在GPT-4之前发布的预热模型

  


  


  


  


，有时候也被叫做GPT3.5     

     

     

     

  。ChatGPT和InstructGPT在模型结构     
     
     
     
 ，训练方式上都完全一致  




   




   




   




   ，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback


 



 



 



 



，RLHF）来指导模型的训练                    ，它们不同的仅仅是采集数据的方式上有所差异 




  




  




  




  
。

OpenAI 官网

We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests. ChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response.

其实GPT-3.5-turbo* 就是ChatGPT的模型的名字

  


  


  


  


。 

OpenAI相关研究论文

这些是我们今天在 API 中提供的研究论文中最接近的模型     
     
     
     
 。请注意   




    




    




    




    ，并非 API 中可用的所有模型都对应于一篇论文






















，即使对于下面列出的模型                    ，也可能存在细微差异    



     



     



     



    ，无法准确复制论文  




   




   




   




   。

论文 发表时间 在论文中的模型名字 在API中模型的名字 参数数量 [2005.14165] Language Models are Few-Shot Learners 22 Jul 2020 GPT-3 175B davinci 175B GPT-3 6.7B curie 6.7B GPT-3 1B babbage 1B [2107.03374] Evaluating Large Language Models Trained on Code 14 Jul 2021 Codex 12B code-cushman-0013 12B [2201.10005] Text and Code Embeddings by Contrastive Pre-Training 14 Jan 2022 GPT-3 unsupervised cpt-text 175B text-similarity-davinci-001 175B GPT-3 unsupervised cpt-text 6B text-similarity-curie-001 6B GPT-3 unsupervised cpt-text 1.2B No close matching model on API 1.2B [2009.01325] Learning to summarize from human feedback 15 Feb 2022 GPT-3 6.7B pretrain No close matching model on API 6.7B GPT-3 2.7B pretrain No close matching model on API 2.7B GPT-3 1.3B pretrain No close matching model on API 1.3B [2203.02155] Training language models to follow instructions with human feedback 4 Mar 2022 InstructGPT-3 175B SFT davinci-instruct-beta 175B InstructGPT-3 175B No close matching model on API 175B InstructGPT-3 6B No close matching model on API 6B InstructGPT-3 1.3B No close matching model on API 1.3B

其它

强化学习

通常






















，强化学习看起来像这样


 



 



 



 



。 环境会为每个动作产生奖励

InstructGPT