如何对自定义 Keras/Tensorflow 损失函数中的值进行排序？
How can I sort the values in a custom Keras / Tensorflow Loss Function?
简介
我想为 Keras 实现自定义损失函数。我想这样做，因为我对我的数据集的当前结果不满意。我认为这是因为目前内置的损失函数关注的是整个数据集。我只想关注数据集中的最高值。这就是为什么我想出了以下自定义损失函数的想法：
自定义损失函数思路
自定义损失函数应该取最高值的前 4 个预测并减去相应的真实值。然后从这个减法中取绝对值，乘以一些权重并将其添加到总损失总和中。
为了更好地理解这个自定义损失函数，我用列表输入对其进行了编程。希望这个例子更容易理解：
下面的例子计算loss = 4*abs(0.7-0.5)+3*abs(0.5-0.7)+2*abs(0.4-0.45) +1*abs(0.4-0.3) = 1.6 for我=0
然后它除以 div_top，在这个例子中是 10（对于 i=0，它将是 0.16），对所有其他 i 重复一切，最后取所有样本的平均值。
top = 4
div_top = 0.5*top*(top+1)
def own_loss(y_true, y_pred):
loss_per_sample = [0]*len(y_pred)
for i in range(len(y_pred)):
sorted_pred, sorted_true = (list(t) for t in zip(*sorted(zip(y_pred[i], y_true[i]))))
for k in range(top):
loss_per_sample[i] += (top-k)*abs(sorted_pred[-1-k]-sorted_true[-1-k])
loss_per_sample = [t/div_top for t in loss_per_sample]
return sum(loss_per_sample)/len(loss_per_sample)
y_pred = [[0.1, 0.4, 0.7, 0.4, 0.4, 0.5, 0.3, 0.2],
[0.3, 0.8, 0.5, 0.3, 0.1, 0.0, 0.1, 0.5],
[0.5, 0.6, 0.6, 0.8, 0.3, 0.6, 0.7, 0.1]]
y_true = [[0.2, 0.45, 0.5, 0.3, 0.4, 0.7, 0.22, 0.1],
[0.4, 0.9, 0.3, 0.0, 0.2, 0.1, 0.11, 0.8],
[0.4, 0.7, 0.4, 0.3, 0.4, 0.7, 0.6, 0.05]]
print(own_loss(y_true, y_pred)) # Output is 0.196667
Keras 的实现
我想在 Keras 中使用这个函数作为自定义损失函数。这看起来像这样：
import numpy as np
from keras.datasets import boston_housing
from keras.layers import LSTM
from keras.models import Sequential
from keras.optimizers import RMSprop
(pre_x_train, pre_y_train), (x_test, y_test) = boston_housing.load_data()
"""
The following 8 lines are to format the dataset to a 3D numpy array
4*101*13. I do this so that it matches my real dataset with is formatted
to a 3D numpy array 47*731*179. It is not important to understand the following
8 lines for the loss function itself.
"""
x_train = [[0]*101]*4
y_train = [[0]*101]*4
for i in range(4):
for k in range(101):
x_train[i][k] = pre_x_train[i*101+k]
y_train[i][k] = pre_y_train[i*101+k]
train_x = np.array([np.array([np.array(k) for k in i]) for i in x_train])
train_y = np.array([np.array([np.array(k) for k in i]) for i in y_train])
top = 4
div_top = 0.5*top*(top+1)
def own_loss(y_true, y_pred):
loss_per_sample = [0]*len(y_pred)
for i in range(len(y_pred)):
sorted_pred, sorted_true = (list(t) for t in zip(*sorted(zip(y_pred[i], y_true[i]))))
for k in range(top):
loss_per_sample[i] += (top-k)*abs(sorted_pred[-1-k]-sorted_true[-1-k])
loss_per_sample = [t/div_top for t in loss_per_sample]
return sum(loss_per_sample)/len(loss_per_sample)
model = Sequential()
model.add(LSTM(units=64, batch_input_shape=(None, 101, 13), return_sequences=True))
model.add(LSTM(units=101, return_sequences=False, activation='linear'))
# compile works with loss='mean_absolute_error' but not with loss=own_loss
model.compile(loss=own_loss, optimizer=RMSprop())
model.fit(train_x, train_y, epochs=16, verbose=2, batch_size=1, validation_split=None, shuffle=False)
显然，上面的 Keras 示例是行不通的。但我也不知道我怎么能这样工作。
解决问题的方法
我阅读了以下文章，试图解决问题：
How to use a custom objective function for a model?
我还阅读了 Keras 后端页面：
和 Tensorflow Top_k 页面：
这对我来说似乎是最有前途的方法，但在实施了许多不同的方法之后它仍然行不通。使用 top_k 排序时，我可以获得正确的 pred_y 值，但无法获得相应的 true_y 值。
有人知道我如何实现自定义损失函数吗？
假设
- 使用
tf.nn.top_k 对张量进行排序。这意味着 "If two elements are equal, the lower-index element appears first" 如 API document. 中所述
建议的解决方案
top = 4
div_top = 0.5*top*(top+1)
def getitems_by_indices(values, indices):
return tf.map_fn(
lambda x: tf.gather(x[0], x[1]), (values, indices), dtype=values.dtype
)
def own_loss(y_true, y_pred):
y_pred_top_k, y_pred_ind_k = tf.nn.top_k(y_pred, top)
y_true_top_k = getitems_by_indices(y_true, y_pred_ind_k)
loss_per_sample = tf.reduce_mean(
tf.reduce_sum(
tf.abs(y_pred_top_k - y_true_top_k) *
tf.range(top, 0, delta=-1, dtype=y_pred.dtype),
axis=-1
) / div_top
)
return loss_per_sample
model = Sequential()
model.add(LSTM(units=64, batch_input_shape=(None, 101, 13), return_sequences=True))
model.add(LSTM(units=101, return_sequences=False, activation='linear'))
# compile works with loss='mean_absolute_error' but not with loss=own_loss
model.compile(loss=own_loss, optimizer=RMSprop())
model.train_on_batch(train_x, train_y)
评论
getitems_by_indices()有没有更好的实现方式？getitems_by_indices()的当前实现采用了 Sungwoon Kim 的想法。
简介
我想为 Keras 实现自定义损失函数。我想这样做，因为我对我的数据集的当前结果不满意。我认为这是因为目前内置的损失函数关注的是整个数据集。我只想关注数据集中的最高值。这就是为什么我想出了以下自定义损失函数的想法：
自定义损失函数思路
自定义损失函数应该取最高值的前 4 个预测并减去相应的真实值。然后从这个减法中取绝对值，乘以一些权重并将其添加到总损失总和中。
为了更好地理解这个自定义损失函数，我用列表输入对其进行了编程。希望这个例子更容易理解：
下面的例子计算loss = 4*abs(0.7-0.5)+3*abs(0.5-0.7)+2*abs(0.4-0.45) +1*abs(0.4-0.3) = 1.6 for我=0
然后它除以 div_top，在这个例子中是 10（对于 i=0，它将是 0.16），对所有其他 i 重复一切，最后取所有样本的平均值。
top = 4
div_top = 0.5*top*(top+1)
def own_loss(y_true, y_pred):
loss_per_sample = [0]*len(y_pred)
for i in range(len(y_pred)):
sorted_pred, sorted_true = (list(t) for t in zip(*sorted(zip(y_pred[i], y_true[i]))))
for k in range(top):
loss_per_sample[i] += (top-k)*abs(sorted_pred[-1-k]-sorted_true[-1-k])
loss_per_sample = [t/div_top for t in loss_per_sample]
return sum(loss_per_sample)/len(loss_per_sample)
y_pred = [[0.1, 0.4, 0.7, 0.4, 0.4, 0.5, 0.3, 0.2],
[0.3, 0.8, 0.5, 0.3, 0.1, 0.0, 0.1, 0.5],
[0.5, 0.6, 0.6, 0.8, 0.3, 0.6, 0.7, 0.1]]
y_true = [[0.2, 0.45, 0.5, 0.3, 0.4, 0.7, 0.22, 0.1],
[0.4, 0.9, 0.3, 0.0, 0.2, 0.1, 0.11, 0.8],
[0.4, 0.7, 0.4, 0.3, 0.4, 0.7, 0.6, 0.05]]
print(own_loss(y_true, y_pred)) # Output is 0.196667
Keras 的实现
我想在 Keras 中使用这个函数作为自定义损失函数。这看起来像这样：
import numpy as np
from keras.datasets import boston_housing
from keras.layers import LSTM
from keras.models import Sequential
from keras.optimizers import RMSprop
(pre_x_train, pre_y_train), (x_test, y_test) = boston_housing.load_data()
"""
The following 8 lines are to format the dataset to a 3D numpy array
4*101*13. I do this so that it matches my real dataset with is formatted
to a 3D numpy array 47*731*179. It is not important to understand the following
8 lines for the loss function itself.
"""
x_train = [[0]*101]*4
y_train = [[0]*101]*4
for i in range(4):
for k in range(101):
x_train[i][k] = pre_x_train[i*101+k]
y_train[i][k] = pre_y_train[i*101+k]
train_x = np.array([np.array([np.array(k) for k in i]) for i in x_train])
train_y = np.array([np.array([np.array(k) for k in i]) for i in y_train])
top = 4
div_top = 0.5*top*(top+1)
def own_loss(y_true, y_pred):
loss_per_sample = [0]*len(y_pred)
for i in range(len(y_pred)):
sorted_pred, sorted_true = (list(t) for t in zip(*sorted(zip(y_pred[i], y_true[i]))))
for k in range(top):
loss_per_sample[i] += (top-k)*abs(sorted_pred[-1-k]-sorted_true[-1-k])
loss_per_sample = [t/div_top for t in loss_per_sample]
return sum(loss_per_sample)/len(loss_per_sample)
model = Sequential()
model.add(LSTM(units=64, batch_input_shape=(None, 101, 13), return_sequences=True))
model.add(LSTM(units=101, return_sequences=False, activation='linear'))
# compile works with loss='mean_absolute_error' but not with loss=own_loss
model.compile(loss=own_loss, optimizer=RMSprop())
model.fit(train_x, train_y, epochs=16, verbose=2, batch_size=1, validation_split=None, shuffle=False)
显然，上面的 Keras 示例是行不通的。但我也不知道我怎么能这样工作。
解决问题的方法
我阅读了以下文章，试图解决问题：
How to use a custom objective function for a model?
我还阅读了 Keras 后端页面：
和 Tensorflow Top_k 页面：
这对我来说似乎是最有前途的方法，但在实施了许多不同的方法之后它仍然行不通。使用 top_k 排序时，我可以获得正确的 pred_y 值，但无法获得相应的 true_y 值。
有人知道我如何实现自定义损失函数吗？
假设
- 使用
tf.nn.top_k对张量进行排序。这意味着 "If two elements are equal, the lower-index element appears first" 如 API document. 中所述
建议的解决方案
top = 4
div_top = 0.5*top*(top+1)
def getitems_by_indices(values, indices):
return tf.map_fn(
lambda x: tf.gather(x[0], x[1]), (values, indices), dtype=values.dtype
)
def own_loss(y_true, y_pred):
y_pred_top_k, y_pred_ind_k = tf.nn.top_k(y_pred, top)
y_true_top_k = getitems_by_indices(y_true, y_pred_ind_k)
loss_per_sample = tf.reduce_mean(
tf.reduce_sum(
tf.abs(y_pred_top_k - y_true_top_k) *
tf.range(top, 0, delta=-1, dtype=y_pred.dtype),
axis=-1
) / div_top
)
return loss_per_sample
model = Sequential()
model.add(LSTM(units=64, batch_input_shape=(None, 101, 13), return_sequences=True))
model.add(LSTM(units=101, return_sequences=False, activation='linear'))
# compile works with loss='mean_absolute_error' but not with loss=own_loss
model.compile(loss=own_loss, optimizer=RMSprop())
model.train_on_batch(train_x, train_y)
评论
getitems_by_indices()有没有更好的实现方式？getitems_by_indices()的当前实现采用了 Sungwoon Kim 的想法。