张量流中具有分类分布的集成网络

Question

我有 n 个网络，每个网络都有相同的输入/输出。我想根据分类分布随机 select 其中一个输出。 Tfp.Categorical 只输出整数，我试着做类似

的事情

act_dist = tfp.distributions.Categorical(logits=act_logits) # act_logits are all the same, so the distribution is uniform
rand_out = act_dist.sample()
x = nn_out1 * tf.cast(rand_out == 0., dtype=tf.float32) + ... # for all my n networks

但是rand_out == 0.总是假的，其他条件也是如此。

有什么想法可以实现我的需求吗？

Answer 1

我认为你需要使用 tf.equal，因为 Tensor == 0 总是 False。

另外，您可能想使用 OneHotCategorical。对于训练，您也可以尝试使用 RelaxedOneHotCategorical。

Answer 2

您还可以查看 MixtureSameFamily，它会在幕后为您收集。

nn_out1 = tf.expand_dims(nn_out1, axis=2)
...
outs = tf.concat([nn_out1, nn_nout2, ...], axis=2)
probs = tf.tile(tf.reduce_mean(tf.ones_like(nn_out1), axis=1, keepdims=True) / n, [1, n]) # trick to have ones of shape [None,1]
dist = tfp.distributions.MixtureSameFamily(
        mixture_distribution=tfp.distributions.Categorical(probs=probs),
        components_distribution=tfp.distributions.Deterministic(loc=outs))
x = dist.sample()

张量流中具有分类分布的集成网络

Ensemble network with categorical distribution in tensorflow

tensorflow

neural-network

distribution

ensemble-learning

tensorflow-probability