用于嘈杂的不可微损失函数的自定义 Tensorflow 优化器
Custom Tensorflow optimizer for noisy non-differentiable loss function
我已经使用低级张量流 API 构建了一个模型，它只有几个我想优化的变量（大约 10 个）。因此，我想实现一个自定义损失函数，它会产生嘈杂的损失值（有点像基于模拟的优化方法）。
通常我会使用像 SPSA 优化器这样的无导数优化器。
有没有办法用低级张量流API实现不可微的损失函数和像SPSA这样的优化器？
PS：有人会问为什么要用tensorflow？这是因为我想用tensorflow来方便保存模型，用tensorboard来方便全面的可视化。此外，我希望能够在标准化框架中切换和比较不同的模型。
我认为 SPSA 也适用于不可微函数。
对于 SPSA 实施：https://github.com/fraunhofer-iais/tensorflow_spsa
我已经使用低级张量流 API 构建了一个模型，它只有几个我想优化的变量（大约 10 个）。因此，我想实现一个自定义损失函数，它会产生嘈杂的损失值（有点像基于模拟的优化方法）。
通常我会使用像 SPSA 优化器这样的无导数优化器。
有没有办法用低级张量流API实现不可微的损失函数和像SPSA这样的优化器？
PS：有人会问为什么要用tensorflow？这是因为我想用tensorflow来方便保存模型，用tensorboard来方便全面的可视化。此外，我希望能够在标准化框架中切换和比较不同的模型。
我认为 SPSA 也适用于不可微函数。 对于 SPSA 实施：https://github.com/fraunhofer-iais/tensorflow_spsa