异构 DataFrame 上的 StratifiedKfold
StratifiedKfold over heterogeneous DataFrame
我有一个 pandas DataFrame,其中包含字符串和浮点数列,需要将其拆分为平衡切片才能训练 sklearn 管道。
理想情况下,我会在 DataFrame 上使用 StratifiedKFold 来获取较小的数据块以进行交叉验证。但它抱怨我有不可排序的类型,像这样:
import pandas as pd
from sklearn.cross_validation import StratifiedKFold
dataset = pd.DataFrame(
[
{'title': 'Dábale arroz a la zorra el abad', 'size':1.2, 'target': 1},
{'title': 'Ana lleva al oso la avellana', 'size':1.0, 'target': 1},
{'title': 'No te enrollé yornetón', 'size':1.4, 'target': 0},
{'title': 'Acá sólo tito lo saca', 'size':1.4, 'target': 0},
])
skfs = StratifiedKFold(dataset, n_folds=2)
>>> TypeError: unorderable types: str() > float()
有很多方法可以获取折叠索引并对 DataFrame 进行切片,但我认为这不能保证我的 类 会保持平衡。
拆分 DataFrame 的最佳方法是什么?
StratifiedKFold
需要split的个数,.split()
方法是利用标签的class分布对样本进行分层。假设你的 label
是 target
,你会:
from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=2)
X=dataset.drop('target', axis=1)
y=dataset.target
for train_index, test_index in skf.split(X, y):
X_train, X_test = X.iloc[train_index], X.iloc[test_index]
y_train, y_test = y.iloc[train_index], y.iloc[test_index]
sklearn.cross_validation.StratifiedKFold
自 0.18 版本起已弃用,并将在 0.20 中删除。所以这是另一种方法:
from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=2)
t = dataset.target
for train_index, test_index in skf.split(np.zeros(len(t)), t):
train = dataset.loc[train_index]
test = dataset.loc[test_index]
我有一个 pandas DataFrame,其中包含字符串和浮点数列,需要将其拆分为平衡切片才能训练 sklearn 管道。
理想情况下,我会在 DataFrame 上使用 StratifiedKFold 来获取较小的数据块以进行交叉验证。但它抱怨我有不可排序的类型,像这样:
import pandas as pd
from sklearn.cross_validation import StratifiedKFold
dataset = pd.DataFrame(
[
{'title': 'Dábale arroz a la zorra el abad', 'size':1.2, 'target': 1},
{'title': 'Ana lleva al oso la avellana', 'size':1.0, 'target': 1},
{'title': 'No te enrollé yornetón', 'size':1.4, 'target': 0},
{'title': 'Acá sólo tito lo saca', 'size':1.4, 'target': 0},
])
skfs = StratifiedKFold(dataset, n_folds=2)
>>> TypeError: unorderable types: str() > float()
有很多方法可以获取折叠索引并对 DataFrame 进行切片,但我认为这不能保证我的 类 会保持平衡。
拆分 DataFrame 的最佳方法是什么?
StratifiedKFold
需要split的个数,.split()
方法是利用标签的class分布对样本进行分层。假设你的 label
是 target
,你会:
from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=2)
X=dataset.drop('target', axis=1)
y=dataset.target
for train_index, test_index in skf.split(X, y):
X_train, X_test = X.iloc[train_index], X.iloc[test_index]
y_train, y_test = y.iloc[train_index], y.iloc[test_index]
sklearn.cross_validation.StratifiedKFold
自 0.18 版本起已弃用,并将在 0.20 中删除。所以这是另一种方法:
from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=2)
t = dataset.target
for train_index, test_index in skf.split(np.zeros(len(t)), t):
train = dataset.loc[train_index]
test = dataset.loc[test_index]