零学习

ZERO SHOT LEARNING

我了解到在零样本学习中,classes被分为seen/unseen类。然后,我们在 50 classes 上训练网络,并在网络未见过的其他 50 个上进行测试。我还了解到网络在看不见的 classes 中使用了属性(不确定它是如何使用的)。但是,我的问题是网络如何 class 化看不见的 classes?它实际上是否用名称标记了每个 class。比如我在做零镜头动作识别,没见过的class是这样的骑自行车,游泳,踢足球。网络实际上是否命名了这些 classes?它怎么知道他们的标签?

网络使用所见 类 来学习图像和属性之间的关系或其他信息,例如人类注视、词嵌入或任何可能与 类 和图像相关的信息。基于网络学习的内容,它可以进一步映射到对象和属性。

假设您的分类器在训练期间有 pig 、 dogs 、 horses 和 cats 图像及其属性,并且必须在测试期间对斑马进行分类。在训练期间,它学习图像像素和属性 'stripes,tail,black,white...'

之间的关系

因此在测试期间,给定图像和斑马的属性,您需要使用分类器来确定它们是否相关。哦,好吧,你也可以得到一张看起来像斑马的马的图像。所以你的分类器必须学会很好地概括。