生成式模型有哪些方法（生成式 AI 分析：大模型 + 大量数据的神奇效果）

前言

如果你对这篇文章感兴趣
    
    
    
，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」     


     


     


 ，查看完整博客分类与对应链接    
    
    
 。

大模型的涌现能力 (Emergent Ability)

下图是模型性能（Loss for next token prediction）与「参数量」和「数据集大小」之间的关系 




 




 




 ，可以看出随着「参数量」和「数据集大小」不断变大

   

   

   

，模型性能不断增强     

     

     

，仿佛不会遇到瓶颈 


     


     


     。

下图展现了大模型的涌现能力  




  




  




  ，即语言模型的性能随着参数量增加并不是线性关系


  


  


  

，而是突然跃升     
     
     
，即涌现

 




 




 




。在未达到门槛之前   




   




   




  ，性能一直在随机的水平徘徊   

   

   

。

Calibration

在上面的实验图中



 



 



 

，Calibration 指「模型置信度」与「真实概率」之间的关系               ，即满足「置信度高 -> 正确」    
    
    
 、「置信度低 -> 可能错误」的模型    




    




    




  ，其 Calibration 指标越好  

     

     

     。

因此 Calibration 实际上对应着「模型是否知道自己错了」这件事
















，如下图所示               ，不同参数量的模型对应不同的颜色     



     



     



  ，可以看到模型越大















，其对自己是否出错的把握越大
    
    
    
，即「模型置信度」与「真实概率」更为贴合


  




  




  



。

Inverse Scaling Prize

一个比赛     


     


     


 ，奖金悬赏 




 




 




 ，寻找能让「模型越大

   

   

   

，性能越差」的任务  


  


  


。

在这个比赛的任务中     

     

     

，许多之前的 “大模型
    
    
    
” 随着参数量变大  




  




  




  ，其性能确实变差了


  


  


  

，但当拿出更大的模型之后     
     
     
，其性能又好了起来   




   




   




  ，并产生了一段 U 型曲线   
     
     
    。

这个比赛中的任务



 



 



 

，一般都是「具体误导性的」               ，例如下述这个例子：

因此对于上述这种 U 型曲线    




    




    




  ，一种猜测是：这些任务里通常包含着一些误导任务
















，例如上述的 5 元               ，当模型还没有很大的时候     



     



     



  ，由于一知半解















，就会接受被误导的方法
    
    
    
，进而使其比随机效果还要差     


     


     


 ，但当其变得足够大时 




 




 




 ，就会得到真正的结果

   

   

   

，类似于上述的计算期望值



   




   




   


。

Switch Transformer

Switch Transformer 模型参数量为 1.6T（GPT-3 为 1750 亿     

     

     

，GPT-3.5 为 2000 亿）  




  




  




  ，其使用了 Mixture-of-expert 的结构


  


  


  

，即在模型推断（Inference）的时候     
     
     
，选取不同的 Module   




   




   




  ，进而加快推断速度 



 



 



。

大数据的重要性

足够大量的数据才能让模型学会「常识



 



 



 

，即世界知识」               ，如下图所示    




    




    




  ，横坐标为数据量                 。

数据集准备过程： 过滤有害内容（google 安全搜索） 去除 HTML 标签 用规则去除低品质数据 去除重复数据 过滤出测试集（例如 GPT-3 就未过滤出测试集）

「大模型」还是「大数据」

在固定的运算资源时
















，应该优先「大模型」还是「大数据」？看目前的趋势               ，模型大小越来越大     



     



     



  ，但训练数据量并没有明显变化




    




    




    

。

根据下图（颜色代表固定的运算资源















，横坐标为参数量
    
    
    
，参数量越大     


     


     


 ，数据量越小） 




 




 




 ，可以发现「大模型」和「大数据」需要取得平衡

   

   

   

，只增加模型大小     

     

     

，不增加算力  




  




  




  ，只会让训练结果变得更差














。

每个 U 型曲线取一个最低点


  


  


  

，得到下图所示的算力与参数量（Parameters）和数据量（Tokens）之间的关系                 。

根据上述估计图     
     
     
，Google 重新估计了 Gopher（参数量为 280 Billion   




   




   




  ，数据量为 300 Billion） 对应的算力下



 



 



 

，应该采取的参数量和数据量方案               ，于是训练得到了 Chinchilla（参数量为 63 Billon    




    




    




  ，数据量为 1.4 Trillion）



     



     



     
。对比之后
















，发现 Chinchilla 大胜 Gopher















。

根据上述结果               ，进一步给出了具体的「参数量」与「数据量」之间的关系：

最新的 LLaMA 也采用了这种「减少参数量     



     



     



  ，扩大数据量」的方案：

KNN LM

通常来说















，语言模型在做一个分类问题
    
    
    
，即输入为「清华大」     


     


     


 ，输出为各个候选词的概率 




 




 




 ，随后选出概率最高的词即可    
    
    
 。

如下所示

   

   

   

，Transformer 得到 Text 的 Embedding     

     

     

，随后通过线性层 + softmax 转换为分类问题 


     


     


     。

与之对比  




  




  




  ，KNN LM 在得到 Repesentation 后


  


  


  

，不仅训练了一个分类器     
     
     
，还将测试 Text 的 Repesentation 与训练数据得到的 Repesentation 进行距离计算   




   




   




  ，并根据距离得到下一个词的预测概率



 



 



 

，再与原始分类器结合起来               ，得到最终结果

 




 




 




。

另外    




    




    




  ，KNN LM 可以拿任意资料与测试 Text 的 Representation 计算距离
















，并不局限于训练数据   

   

   

。因此 KNN LM 这种机制可以使模型训练时更专注于一些难度更高的问题               ，对于一些仅需记忆的问题则可以通过这种方式解决  

     

     

     。

参考资料

Hung-yi Lee：生成式 AI（一） Scaling Laws for Neural Language Models Emergent Abilities of Large Language Models Inverse scaling can become U-shaped Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity When Do You Need Billions of Words of Pretraining Data? Scaling Language Models: Methods, Analysis & Insights from Training Gopher Deduplicating Training Data Makes Language Models Better Training Compute-Optimal Large Language Models Scaling Instruction-Finetuned Language Models Introduction of ChatGPT Training language models to follow instructions with human feedback Learning to summarize from human feedback Ggeneralization Through Memorization: Nearest Neighbor Language Models Language Is Not All You Need: Aligning Perception with Language Models