如何访问三元组损失的嵌入

Question

我正在尝试创建一个具有三重态损失的孪生网络，我正在使用 github 示例来帮助我。我对此很陌生，我无法理解如何从模型中提取嵌入。下面是架构：

我在几个页面上找到的提取嵌入的代码是这样的：

def triplet_loss(y_true, y_pred):
anchor, positive, negative = y_pred[:,:emb_size], y_pred[:,emb_size:2*emb_size], y_pred[:,2*emb_size:]
positive_dist = tf.reduce_mean(tf.square(anchor - positive), axis=1)
negative_dist = tf.reduce_mean(tf.square(anchor - negative), axis=1)
return tf.maximum(positive_dist - negative_dist + alpha, 0.)

让我感到困惑的是，我发现很难将矩阵可视化，而且我不明白为什么锚点是 y[:,:emb_size]，正数是 y_pred[:, emb_size:2emb_size] 和否定 y_pred[:,2emb_size:].

完整代码（如果需要更多上下文）：https://github.com/pranjalg2308/siamese_triplet_loss/blob/master/Siamese_With_Triplet_Loss.ipynb

Answer 1

在完整代码片段中

in_anc = Input(shape=(105,105,1))
in_pos = Input(shape=(105,105,1))
in_neg = Input(shape=(105,105,1))

em_anc = embedding_model(in_anc)
em_pos = embedding_model(in_pos)
em_neg = embedding_model(in_neg)

out = concatenate([em_anc, em_pos, em_neg], axis=1)

siamese_net = Model(
    [in_anc, in_pos, in_neg],
    out
)

anchor、pos 和 neg 连接到一个输出张量，所以 anchor 是 y_pred[:,:emb_size]...

并且 embedding_model.predict(np.expand_dims(anchor_image[3], axis=0)) 会提供您的嵌入。