zeroshot跨模态(zero-shot, one-shot和few-shot)
目录
一 、Zero-shot learning (零样本学习 ,简称ZSL)
二 、One-shot learning
三 、Few-shot learning
对于这些概念的划分 ,主要从测试卷类别 ,训练集类别以及类别对应的样本数量的角度来理解 。
一 、Zero-shot learning (零样本学习 ,简称ZSL)
任务定义:
利用训练集数据训练模型 ,使得模型能够对测试集的对象进行分类 ,但是训练集类别和测试集类别之间没有交集;期间需要借助类别的描述 ,来建立训练集和测试集之间的联系 ,从而使得模型有效 。
ZSL就是希望我们的模型能够对其从没见过的类别进行分类 ,让机器具有推理能力 ,实现真正的智能 。其中零次(Zero-shot)是指对于要分类的类别对象 ,一次也不学习 。
比如:假设我们的模型已经能够识别马 ,老虎和熊猫了,现在需要该模型也识别斑马 ,那么我们需要告诉模型 ,怎样的对象才是斑马,但是并不能直接让模型看见斑马 。所以模型需要知道的信息是马的样本 、老虎的样本 、熊猫的样本和样本的标签 ,以及关于前三种动物和斑马的描述 。
二 、One-shot learning
如果训练集中 ,不同类别的样本只有一个 ,则成为One-shot learning.
One-shot learning 属于Few-shot learning的一种特殊情况 。
三 、Few-shot learning
如果训练集中 ,不同类别的样本只有少量 ,则成为Few-shot learning.
就是给模型待预测类别的少量样本 ,然后让模型通过查看该类别的其他样本来预测该类别 。比如:给小孩子看一张熊猫的照片 ,那么小孩子到动物园看见熊猫的照片之后 ,就可以识别出那是熊猫 。
推荐阅读的小样本学习综述:
创心域SEO版权声明:以上内容作者已申请原创保护,未经允许不得转载,侵权必究!授权事宜、对本内容有异议或投诉,敬请联系网站管理员,我们将尽快回复您,谢谢合作!