迁移学习完全不同的领域和任务
Transfer Learning completely different domain and task
我一直在阅读一些关于 迁移学习 的论文和博客文章。我意识到有些人说 "different" 而其他人说 "different but similar"。现在，我很困惑。
这么说，
D 是域名。 T 是任务。
a 是源，因此源域是 Da，源任务是 Ta。
a' 与 a.
不同但相似
b 不同于 a.
Ms 是从 Da 和 Ta 学习的源模型。
Mt 是目标模型。
在哪个目标领域-任务组合中，Ms 可以将其知识迁移到 Mt？
1. (Da, Tb)
2. (Db, Ta)
3. (Da', Tb)
4. (Db, Ta')
5. (Da', Ta)
6. (Da, Ta')
7. (Da', Ta')
8. (Db, Tb)
老实说，我知道 5、6、7 是可能的，因为论文是这么说的。我怀疑 8 会起作用（不是吗？）。
但是域或任务是 b 的 1、2、3、4 呢？
这取决于源域和目标域的不同程度。如果源域和目标域没有相似之处，那么您无法通过在任务域上进行预训练来改进目标域中任务的模型。但是，如果有相似之处，例如任何图像域到几乎任何其他图像域，并且您的源域数据集很大，将您的模型从源域转移到目标域可能有助于规范您的模型并提高目标域中的泛化能力。特别是如果目标域数据集很小。
在深度学习中，您想重新初始化（从随机权重重新训练）更多层（从上到下）并根据您的源域和目标域以及源任务和目标任务的不同程度进行更多微调。
什么是 "domain"？
在自然语言处理 (NLP) 领域，有很多领域适应的研究，在您描述的关于 NLP 调用的所有情况 (#1-#8) 中，您都可以获得一些好处 "different domains" - 例如新闻专线文本与推文文本与临床放射学报告文本；是的，即使在 #8.
但是，您可以更多不同 "domains"（恕我直言，这不会真正称为域）- 例如，英文文本与中文文本；或英文文本与英文录音。即使在这些情况下也可以做一些迁移学习，但要有限得多；所以这真的取决于你在 "that's a different domain" 和 "that's a completely different type of input data".
之间画线的位置
我一直在阅读一些关于 迁移学习 的论文和博客文章。我意识到有些人说 "different" 而其他人说 "different but similar"。现在，我很困惑。
这么说，
D 是域名。 T 是任务。
a 是源，因此源域是 Da，源任务是 Ta。
a' 与 a.
不同但相似
b 不同于 a.
Ms 是从 Da 和 Ta 学习的源模型。
Mt 是目标模型。
在哪个目标领域-任务组合中，Ms 可以将其知识迁移到 Mt？
1. (Da, Tb)
2. (Db, Ta)
3. (Da', Tb)
4. (Db, Ta')
5. (Da', Ta)
6. (Da, Ta')
7. (Da', Ta')
8. (Db, Tb)
老实说，我知道 5、6、7 是可能的，因为论文是这么说的。我怀疑 8 会起作用（不是吗？）。
但是域或任务是 b 的 1、2、3、4 呢？
这取决于源域和目标域的不同程度。如果源域和目标域没有相似之处，那么您无法通过在任务域上进行预训练来改进目标域中任务的模型。但是，如果有相似之处，例如任何图像域到几乎任何其他图像域，并且您的源域数据集很大，将您的模型从源域转移到目标域可能有助于规范您的模型并提高目标域中的泛化能力。特别是如果目标域数据集很小。
在深度学习中，您想重新初始化（从随机权重重新训练）更多层（从上到下）并根据您的源域和目标域以及源任务和目标任务的不同程度进行更多微调。
什么是 "domain"？
在自然语言处理 (NLP) 领域，有很多领域适应的研究，在您描述的关于 NLP 调用的所有情况 (#1-#8) 中，您都可以获得一些好处 "different domains" - 例如新闻专线文本与推文文本与临床放射学报告文本；是的，即使在 #8.
但是，您可以更多不同 "domains"（恕我直言，这不会真正称为域）- 例如，英文文本与中文文本；或英文文本与英文录音。即使在这些情况下也可以做一些迁移学习，但要有限得多；所以这真的取决于你在 "that's a different domain" 和 "that's a completely different type of input data".
之间画线的位置