如何去除下雨图像中的雨痕

Question

我在一位教授的指导下工作，我最近研究了卷积神经网络和生成对抗网络，并且能够使用 MNIST 数据集实现关于这些主题的基本 python 代码。 现在我接到一项任务，要尝试去除多雨图像中的雨痕。 我读了一篇论文，他们使用自动编码器和 GAN 来做到这一点，但我不知道该做什么以及如何进行。我有 1000 张干净的图像和 14000 张下雨的图像，每个干净的图像 14 张。我从 github 得到了这个数据集，我也有一些只有雨的图像 streaks.I 对 CNN 和 GAN 来说是相当新的，我什至不知道这是一个简单的任务还是一个复杂的任务我。但我很困惑。 任何人都可以提出一些建议吗？

Answer 1

您可以使用图像到图像的转换方法解决此问题。

• 如果你有成对的图像（干净的图像和相应的雨天图像），你可以使用一些成对的方法，比如 Pix2Pix（论文 + github: link）。 github 实现很容易适应您的情况，只需将您的图像放在相应的文件夹中，然后进行培训。
• 如果您没有配对图像，而是两个域中的图像（晴天图像和雨天图像），请使用无监督图像到图像转换。 CycleGan 是一个很好的架构，并且运行良好 (link)。该实现也易于使用。

注意：在所有情况下，您都需要 GPU 来训练模型！