皮尔逊线性系数keras

Question

我曾尝试将皮尔逊线性系数作为 Keras 中的一个指标来实现，但是由于占位符的原因，我无法使用该指标编译我的模型。

def CC(y_true, y_pred):

y_true = K.clip(y_true, K.epsilon(), 1)
y_pred = K.clip(y_pred, K.epsilon(), 1)
n_y_true=y_true/(K.sum(y_true)+K.epsilon())
n_y_pred=y_pred/(K.sum(y_pred)+K.epsilon())
y_true_average=K.mean(y_true)
y_pred_average=K.mean(y_pred)
print((K.map_fn(lambda x: x-y_pred_average,n_y_pred)).shape[0])
if not(K.map_fn(lambda x: x-y_pred_average,n_y_pred)).shape[0]==None:
    return (K.sum(K.dot((K.map_fn(lambda x: x-y_pred_average,n_y_pred)),(K.map_fn(lambda x: x-y_true_average,n_y_true))))/(K.count_params(n_y_true)-1))/(K.dot(K.std(n_y_pred),K.std(n_y_true)))
else:
    return 0

我尝试使用 K.dot 而不是 * 但是仍然存在相同的错误。在编译期间我得到错误 unsupported operand type(s) for *: 'NoneType' and 'NoneType。而且我不知道如何解决它。发生这种情况是因为我想按元素乘以两个张量，但形状中的批大小在编译期间未定义并表示为？形状为 (?,224,224,3)。有没有办法设置或解决它？

Answer 1

问题在于两个事实：

张量的第一个维度是批量维度（这就是为什么在模型编译期间设置为 None）。
您使用 sum 和 mean 的方式也在您的计算中包含了这个额外的维度。

您的 Pearson 相关损失应如下所示：

def pearson_loss(y_true, y_pred):
    y_true = K.clip(y_true, K.epsilon(), 1)
    y_pred = K.clip(y_pred, K.epsilon(), 1)
    # reshape stage
    y_true = K.reshape(y_true, shape=(-1, 224 * 224 * 3))
    y_pred = K.reshape(y_pred, shape=(-1, 224 * 224 * 3))
    # normalizing stage - setting a 0 mean.
    y_true -= y_true.mean(axis=-1)
    y_pred -= y_pred.mean(axis=-1)
    # normalizing stage - setting a 1 variance
    y_true = K.l2_normalize(y_true, axis=-1)
    y_pred = K.l2_normalize(y_pred, axis=-1)
    # final result
    pearson_correlation = K.sum(y_true * y_pred, axis=-1)
    return pearson_correlation

Answer 2

所以我想通了，问题是 (K.count_params(n_y_true)-1))，因为它乘以 n_y_true.shape 的每个元素，并且因为 n_y_true 是从 y_true 派生的，所以它的形状是 ( ,?,?).

Answer 3

最终函数：

def CC(y_true, y_pred):


    #normalise
    n_y_true = (y_true - K.mean(y_true[:])) / K.std(y_true[:])
    n_y_pred = (y_pred - K.mean(y_pred[:])) / K.std(y_pred[:])  

    top=K.sum((n_y_true[:]-K.mean(n_y_true[:]))*(n_y_pred[:]-K.mean(n_y_pred[:])),axis=[-1,-2])
    bottom=K.sqrt(K.sum(K.pow((n_y_true[:]-K.mean(n_y_true[:])),2),axis=[-1,-2])*K.sum(K.pow(n_y_pred[:]-K.mean(n_y_pred[:]),2),axis=[-1,-2]))

    result=top/bottom


    return K.mean(result)

皮尔逊线性系数keras

pearsons linear coefficient keras

metrics

python-3.x

keras

pearson-correlation