运行 proportions_ztest 在 train_test_split 之后

Question

好吧，我得到了一个数据集，在将它分成训练数据和测试数据之后，通过 train_test_split 我正在尝试运行 proportion_ztest 对抗 y_train 和 y_test:

(test_stat, p_value) = proportions_z_test(y_train, y_test, alternative='two-sided')

但是 Python 一直在抛出 ValueError: operands could not be broadast together with shapes (4254,) (1123,).

我的 Y 目标变量是二进制的（类 0 和 1）

有什么方法可以直接将 y_train 和 y_test 添加到 proportion_ztest 调用中，就像上面的代码一样，或者，在它之前我必须计算所有 1 类和每个数据集中的观察总数（y_train 和 y_test）并用 np.arrays 编写代码，如：

success = [123, 359]
TotalObs = [2500, 2500]
(test_stat, p_value) = proportions_z_test(success, TotalObs, alternative='two-sided')

除了将 stratify 参数添加到 train_test_split 调用之外，我正在尝试寻找其他解决方案。

如有任何帮助，我们将不胜感激。

太！

Answer 1

如果随机变量已经编码为二进制 0、1，则求和计算成功次数。

因此，以下应该适用于等比例的两个样本测试

(test_stat, p_value) = proportions_z_test([y_train.sum(), y_test.sum()], 
                                          [len(y_train), len(y_test)], 
                                          alternative='two-sided')

运行 proportions_ztest 在 train_test_split 之后

Running a proportions_ztest after train_test_split

python

scikit-learn

statsmodels