在张量流概率中指定狄利克雷多项式

Question

这可能是非常基本的，但我想不通——我有一个 100x5 矩阵 y，它是从狄利克雷多项式生成的，我想使用张量流概率推断参数 gamma .下面是我实现的模型（为简单起见，我假设 gamma 目前对于所有 5 类都是相同的）：

def dirichlet_multinomial_model(S, p, N, tau):
    gamma = ed.Gamma(2.0, 3.0, name='gamma')
    y = ed.DirichletMultinomial(500, tf.ones(5)*gamma, name='y')
    return y

log_joint = ed.make_log_joint_fn(dirichlet_multinomial_model)

def target_log_prob_fn(gamma):
  return log_joint(
     S=S, p=p, N=N, tau=tau,
     gamma=gamma,
     y=y)

当我尝试使用 HMC 对此进行采样时，出现以下错误：

ValueError: Incompatible shape for initialization argument 'value'. Expected (5,), got (100, 5).

因此，指定长度为 5 的 gammas 向量似乎导致程序期望我的数据具有 5x1 的形状。我不知道如何正确指定模型 - 任何指针将不胜感激。

Answer 1

正如我的评论中所暗示的，这里的解决方法是使用 sample_shape=[100,] 而不是 sample_shape=[100, 5]。我们在 TF Distributions 库（Edward 封装）中有 3 个形状概念：样本形状、批次形状和事件形状。

事件形状描述了分布中单次抽奖的形状。例如，5 维的多元正态分布具有 event_shape=[5,]

批次形状描述了独立的、非相同分布的绘图； "batch" 个分布。例如，Normal(loc=[1., 2., 3], scale=1.) 有 batch_shape 3，因为传递给 loc 参数的 3 个值。

示例形状描述了来自批次分布的 IID 绘制。结果采样 Tensor 具有形状 S + B + E，其中 S、B 和 E 分别是样本、批次和事件形状。

在您的示例中，DirichletMultinomial 具有形状为 [5,] 的浓度参数。这对应于分布的事件形状：从该分布中抽取的每一次都是 5 个整数的集合，总和为 total_count。当您对分布进行 100 次采样时，您确实会得到 shape=[100, 5] 的结果，但是 5 隐含在分布的事件形状中——您只绘制了 100 个样本，因此 sample_shape=[100,]

以上大部分文字摘自 this great notebook，后者对 TF 分布形状有更多详细信息。

希望这有助于澄清事情！快乐采样！ ^_^

在张量流概率中指定狄利克雷多项式

Specifying a DirichletMultinomial in tensorflow probability

python

python-3.x

tensorflow-probability