用 Keras 和 PYMC3 拟合正弦波会产生意想不到的结果

Question

我一直在尝试使用 pymc3 将正弦曲线与 keras（theano 后端）模型拟合。我一直在使用这个 [http://twiecki.github.io/blog/2016/07/05/bayesian-deep-learning/] 作为参考点。

单独使用优化的 Keras 实现效果很好，但是 Hamiltonian Monte Carlo 和来自 pymc3 的变分采样不适合数据。跟踪卡在先验开始的地方。当我移动先验时，后验移动到同一个位置。单元格 59 中贝叶斯模型的后验预测几乎没有得到正弦波，而非贝叶斯拟合模型在单元格 63 中接近完美。我在这里创建了一个笔记本：https://gist.github.com/tomc4yt/d2fb694247984b1f8e89cfd80aff8706 显示了代码和结果.

下面是模型的片段...

class GaussWeights(object):
    def __init__(self):
        self.count = 0

    def __call__(self, shape, name='w'):
        return pm.Normal(
            name, mu=0, sd=.1,
            testval=np.random.normal(size=shape).astype(np.float32),
            shape=shape)


def build_ann(x, y, init):
    with pm.Model() as m:

        i = Input(tensor=x, shape=x.get_value().shape[1:])
        m = i
        m = Dense(4, init=init, activation='tanh')(m)
        m = Dense(1, init=init, activation='tanh')(m)

        sigma = pm.Normal('sigma', 0, 1, transform=None)
        out = pm.Normal('out', 
                         m, 1,
                         observed=y, transform=None)

    return out



 with pm.Model() as neural_network:
    likelihood = build_ann(input_var, target_var, GaussWeights())

#     v_params = pm.variational.advi(
#         n=300, learning_rate=.4
#     )
#     trace = pm.variational.sample_vp(v_params, draws=2000)
    start = pm.find_MAP(fmin=scipy.optimize.fmin_powell)
    step = pm.HamiltonianMC(scaling=start)
    trace = pm.sample(1000, step,   progressbar=True)

Answer 1

模型包含固定标准值为 1 的正态噪声：

out = pm.Normal('out', m, 1, observed=y)

但数据集没有。预测后验与数据集不匹配是很自然的，它们是以非常不同的方式生成的。为了使其更真实，您可以向数据集添加噪声，然后估计 sigma:

mu = pm.Deterministic('mu', m)
sigma = pm.HalfCauchy('sigma', beta=1)
pm.Normal('y', mu=mu, sd=sigma, observed=y)

您现在所做的类似于从网络中获取输出并添加标准正态噪声。

一些不相关的评论：

out 不是可能性，它只是数据集。
如果使用HamiltonianMC而不是NUTS，则需要自己设置步长和积分时间。默认值通常没有用。
好像 keras 在 2.0 中发生了变化，这种结合 pymc3 和 keras 的方式似乎不再有效了。

用 Keras 和 PYMC3 拟合正弦波会产生意想不到的结果

Fitting a sine wave with Keras and PYMC3 yields unexpected results

neural-network

keras

theano

pymc

pymc3