scikit-learn StratifiedKFold 实现
scikit-learn StratifiedKFold implementation
我很难从 https://scikit-learn.org/stable/modules/cross_validation.html#stratification
理解 scikit-learn 的 StratifiedKfold
并通过添加 RandomOversample
:
实现示例部分
X, y = np.ones((50, 1)), np.hstack(([0] * 45, [1] * 5))
from imblearn.over_sampling import RandomOverSampler
ros = RandomOverSampler(sampling_strategy='minority',random_state=0)
X_ros, y_ros = ros.fit_sample(X, y)
skf = StratifiedKFold(n_splits=5,shuffle = True)
for train, test in skf.split(X_ros, y_ros):
print('train - {} | test - {}'.format(
np.bincount(y_ros[train]), np.bincount(y_ros[test])))
print(f"y_ros_test {y_ros[test]}")
输出
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
我的问题:
我们在哪里定义训练和测试分割(80%,20% 在 stratifiedKfold 中)?
我可以从 straditifiedkfold 中看到 n_splits 定义的是折叠数,而不是我认为的拆分数。这部分让我很困惑。
为什么我得到 y_ros_test
9 0's
和 9 1's
而我有 n_splits=5
?
根据探索,它应该是 50/5 = 10 ,那么在每个拆分中不是 5 1's
和 5 0's
吗?
关于您的第一个问题:使用交叉验证 (CV) 时没有任何训练测试拆分;发生的事情是,在每一轮 CV 中,一个折叠用作测试集,其余的用作训练。因此,当 n_splits=5
时,像这里一样,在每一轮中,1/5(即 20%)的数据用作测试集,而其余 4/5(即 80%)的数据用于训练。所以是的,确定 n_splits
参数唯一地定义了拆分,并且不需要任何进一步的确定(对于 n_splits=4
你会得到 75-25 的拆分)。
关于您的第二个问题,您似乎忘记了在拆分之前您对数据进行了过采样。 运行 带有初始 X
和 y
的代码(即没有过采样)确实给出了大小为 50/5 = 10 的 y_test
,尽管这不是平衡的(平衡是过采样的结果)但分层(每个折叠保留原始数据的 class 类比):
skf = StratifiedKFold(n_splits=5,shuffle = True)
for train, test in skf.split(X, y):
print('train - {} | test - {}'.format(
np.bincount(y[train]), np.bincount(y[test])))
print(f"y_test {y[test]}")
结果:
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
由于对少数 class 进行过度采样实际上会增加数据集的大小,因此只能预期您会得到与 y_test
相关性更大的 y_ros_test
(此处为 18 个样本共 10 个)。
从方法论上讲,如果您已经对数据进行过采样以平衡 class 表示,则实际上不需要分层采样。
我很难从 https://scikit-learn.org/stable/modules/cross_validation.html#stratification
理解 scikit-learn 的StratifiedKfold
并通过添加 RandomOversample
:
X, y = np.ones((50, 1)), np.hstack(([0] * 45, [1] * 5))
from imblearn.over_sampling import RandomOverSampler
ros = RandomOverSampler(sampling_strategy='minority',random_state=0)
X_ros, y_ros = ros.fit_sample(X, y)
skf = StratifiedKFold(n_splits=5,shuffle = True)
for train, test in skf.split(X_ros, y_ros):
print('train - {} | test - {}'.format(
np.bincount(y_ros[train]), np.bincount(y_ros[test])))
print(f"y_ros_test {y_ros[test]}")
输出
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
train - [36 36] | test - [9 9]
y_ros_test [0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1]
我的问题:
我们在哪里定义训练和测试分割(80%,20% 在 stratifiedKfold 中)? 我可以从 straditifiedkfold 中看到 n_splits 定义的是折叠数,而不是我认为的拆分数。这部分让我很困惑。
为什么我得到
y_ros_test
90's
和 91's
而我有n_splits=5
? 根据探索,它应该是 50/5 = 10 ,那么在每个拆分中不是 51's
和 50's
吗?
关于您的第一个问题:使用交叉验证 (CV) 时没有任何训练测试拆分;发生的事情是,在每一轮 CV 中,一个折叠用作测试集,其余的用作训练。因此,当 n_splits=5
时,像这里一样,在每一轮中,1/5(即 20%)的数据用作测试集,而其余 4/5(即 80%)的数据用于训练。所以是的,确定 n_splits
参数唯一地定义了拆分,并且不需要任何进一步的确定(对于 n_splits=4
你会得到 75-25 的拆分)。
关于您的第二个问题,您似乎忘记了在拆分之前您对数据进行了过采样。 运行 带有初始 X
和 y
的代码(即没有过采样)确实给出了大小为 50/5 = 10 的 y_test
,尽管这不是平衡的(平衡是过采样的结果)但分层(每个折叠保留原始数据的 class 类比):
skf = StratifiedKFold(n_splits=5,shuffle = True)
for train, test in skf.split(X, y):
print('train - {} | test - {}'.format(
np.bincount(y[train]), np.bincount(y[test])))
print(f"y_test {y[test]}")
结果:
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
train - [36 4] | test - [9 1]
y_test [0 0 0 0 0 0 0 0 0 1]
由于对少数 class 进行过度采样实际上会增加数据集的大小,因此只能预期您会得到与 y_test
相关性更大的 y_ros_test
(此处为 18 个样本共 10 个)。
从方法论上讲,如果您已经对数据进行过采样以平衡 class 表示,则实际上不需要分层采样。