1.1 ChatGPT

chatGPT：chat人机聊天引擎   
    
    
    
    
，GPT是Generative Pre-trained Transformer算法（一种自然语言算法模型）的简称    
    
    
    
    。 ChatGPT是由OpenAI开发的一个人工智能聊天机器人程序


     


     


     


     


    ，于2022年11月推出    


     


     


     


     


。该程序使用基于GPT-3.5架构的大型语言模型並通过强化学习进行训练




 




 




 




 




。

ChatGPT目前仍以文字方式互动 




 




 




 




 


，而除了可以透过人类自然对话方式进行交互   

   

   

   

   

，还可以用于相对复杂的语言工作

     

     

     

     

   ，包括自动文本生成   
    
    
    
    
、自动问答


     


     


     


     


    、自动摘要等在内的多种任务
  




  




  




  




  

，如：在自动文本生成方面  


  


  


  


  


，ChatGPT可以根据输入的文本自动生成类似的文本 
     
     
     
     
  ，在自动问答方面

   




   




   




   




   
，ChatGPT可以根据输入的问题自动生成答案   

   

   

   

   。还具有编写和调试计算机程序的能力     

     

     

     

     

。 在推广的期间中 



 



 



 



 



，所有人可以免费注册                       ，并在登入后后免费使用 ChatGPT 实现与 AI 机器人对话




  




  




  




  




。ChatGPT于2022年11月发布后


    




    




    




    




    ，OpenAI估值已涨至290亿美元
  


  


  


  


  。上线两个月后
























，用户数量达到1亿（增速最快的应用）     
     
     
     
     
。

ChatGPT搅动中国金融市场：股市形成ChatGPT概念                       ，相关个股暴涨30%-40%.

1.2 训练

ChatGPT 使用监督学习和强化学习在 GPT-3.5 之上进行了微调 




   




   




   




   




。

ChatGPT使用基于人类反馈的强化学习进行训练


     



     



     



     



     ，这种方法通过人类干预以增强机器学习的效果























，从而获得更为逼真的结果

 



 



 



 



 。其使用基于GPT-3.5架构的语言模型                         。在训练过程中   
    
    
    
    
，人类训练师扮演着用户与人工智能助手的角色  




    




    




    




    




。模型在Microsoft Azure的超级计算机上训练


     


     


     


     


    ，并通过近端策略优化算法（proximal policy optimization）进行微调






















。这种策略优化算法比信任域策略优化（tru