贝叶斯优化算法什么时候提出的（贝叶斯优化算法（Bayesian optimiazation））

贝叶斯优化算法（Bayesian optimiazation）：

应用：超参数调优    
    
    
、贝叶斯优化调参

主要思想

：给定优化的目标函数(广义的函数    
    
    
    ，只需指定输入和输出即可


     


     


     


，无需知道内部结构以及数学性质)
 




 




 




，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布    
    
    
。简单的说   

   

   

   ，就是考虑了上一次参数的信息 

     

     

     

，从而更好的调整当前的参数     


     


     


    。

核心过程：先验函数(Prior Function,PF)与采集函数(Acquisition Function,AC)

  




  




  




，采集函数也可以叫效能函数(Utility Funtcion)  


  


  


  ，但一般还是称呼为采集函数




 




 




 


。PF主要利用高斯过程回归(也可以是其它PF函数  
     
     
     
，但高斯过程回归用的多)；AC主要包括EI


   




   




   




，PI 



 



 



 ，UCB这几种方法                  ，同时exploration与exploitation的平衡



    




    




    




，也是通过AC来完成的
   

   

   

。

探索(exploration)：简单来说就是尽量选择远离已知点的点为下一次用于迭代的参考点














，即尽量探索未知的区域                   ，点的分布会尽可能的平均     

     

     

   。

利用(exploitation)：简单来说就是尽量选择靠近已知点的点为下一次用于迭代的参考点



     



     



     



，即尽量挖掘已知点周围的点














，点的分布会出现一个密集区域    
    
    
    ，容易进入局部最大 




  




  




  

。

常用的超参数调参的方法有：网格搜索


     


     


     


，随机搜索

网格搜索是应用最广泛的超参数搜索算法
 




 




 




，网格搜索通过查找搜索范围内的所有的点   

   

   

   ，来确定最优值

  


  


  


。一般通过给出较大的搜索范围以及较小的步长 

     

     

     

，网格搜索是一定可以找到全局最大值或最小值的     
     
     
  。但是

  




  




  




，网格搜索一个比较大的问题是  


  


  


  ，它十分消耗计算资源  
     
     
     
，特别是需要调优的超参数比较多的时候  




   




   




   
。（网格搜索就相当于穷举法）

与网格搜索相比


   




   




   




，随机搜索并未尝试所有参数值 



 



 



 ，而是从指定的分布中采样固定数量的参数设置


 



 



 



。它的理论依据是                  ，如果随即样本点集足够大



    




    




    




，那么也可以找到全局的最大或最小值














，或它们的近似值                。通过对搜索范围的随机取样                   ，随机搜索一般会比网格搜索要快一些   




    




    




    。但是和网格搜索的快速版（非自动版）相似



     



     



     



，结果也是没法保证的


















。

优缺点对比：

贝叶斯调参采用高斯过程














，考虑之前的参数信息    
    
    
    ，不断地更新先验；网格搜索未考虑之前的参数信息               。 贝叶斯调参迭代次数少


     


     


     


，速度快；网格搜索速度慢,参数多时易导致维度爆炸    



     



     



     。 贝叶斯调参针对非凸问题依然稳健；网格搜索针对非凸问题易得到局部最优


















。 和网格搜索相比
 




 




 




，优点是迭代次数少(节省时间)   

   

   

   ，粒度可以到很小 

     

     

     

，缺点是不容易找到全局最优解    
    
    
。

应用举例：例如我们想调logistic回归的正则化超参数

  




  




  




，就把黑箱函数设置成logistic回归  


  


  


  ，自变量为超参数  
     
     
     
，因变量为logistic回归在训练集准确度


   




   




   




，设置一个可以接受的黑箱函数因变量取值 



 



 



 ，例如0.95                  ，得到的超参数结果就是可以让logistic回归分类准确度超过0.95的一个超参数     


     


     


    。也就是说你设置以下你想得到的精确度 他会给你推荐超参数取值




 




 




 


。