2019-04-18-元学习

18 Apr 2019   |   relation-extraction  |  

主要内容：

1. 元学习概念
2. 元网络模型
3. 元网络用于少样本关系抽取
4. 基于原型网络的少样本关系抽取

Meta Learning(元学习)

元学习：模型只使用几个样本就能够快速的学习新的知识

有三种常见的方法：

• 学习有效的距离度量（基于度量）;
• 使用具有外部或内部存储器的网络（基于模型）;
• 明确优化模型参数以进行快速学习（基于优化）。

Meta Networks(元网络)

元网络：在多个任务之间具有快速泛化的能力

• 标准的深度神经网络缺乏持续学习能力，不会忘记或破坏以前学过的模式。
• 元学习器的目标是获取不同任务的通用知识，然后将知识传递给基础学习器，以便在单个任务的背景下提供泛化。

元网络学习算法

元学习器

快权重生成:

利用快、慢权重元学习:

基础学习器

元网络在少样本学习中的实验

• Mini-ImageNet数据集：训练集64个类，验证集16个类，测试集20个类，每类有600个实例
• FewRel数据集包含7万个实例，100种关系，每种关系700个实例，其中， 64种关系用于 的训练集，16种关系用于验证集，20种关系用于测试集。

参考文献：

• Munkhdalai T, Yu H. Meta networks[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 2554-2563.