用形状可变的输入列表的笛卡尔积填充数据框

Question

我想创建一个脚本，用值填充数据框，这些值是我想在一系列实验中改变的参数的 Carthesian 乘积。我的第一个想法是使用 itertools 的乘积函数，但它似乎需要一组固定的输入列表。可以使用此示例生成我正在寻找的输出：

cols = ['temperature','pressure','power']

l1 = [1, 100, 50.0 ]
l2 = [1000, 10, np.nan] 
l3 = [0, 100, np.nan]


data = []
for val in itertools.product(l1,l2,l3): #use itertools to get the Carthesian product of the lists
    data.append(val) #make a list of lists to store each variation

df = pd.DataFrame(data, columns=cols).dropna(0) #make a dataframe from the list of lists (dropping NaN values)

但是，我想从任意形状的数据框中提取参数，然后用产品填充数据框，就像这样（代码不起作用）：

data = [{'parameter':'temperature','value1':1,'value2':100,'value3':50},
        {'parameter':'pressure','value1':1000,'value2':10},
        {'parameter':'power','value1':0,'value2':100},
        ]

df = pd.DataFrame(data)
l = []
cols = []
for i in range(df.shape[0]):
    l.append(df.iloc[i][1:].to_list()) #store the values of each df row to a separate list
    cols.append(df.iloc[i][0]) #store the first value of the row as column header

data = []
for val in itertools.product(l): #ask itertools to parse a list of lists
    data.append(val)

df2 = pd.DataFrame(data, columns=cols).dropna(0)

你能推荐一个解决这个问题的方法吗？我的目标是创建最终数据框，因此不需要使用 itertools。

Answer 1

没有 product 的另一种选择（虽然 product 没有错）可以使用 .join() 和 how="cross" 来产生连续的 cross-products:

df2 = df.T.rename(columns=df.iloc[:, 0]).drop(df.columns[0])
df2 = (
    df2.iloc[:, [0]]
    .join(df2.iloc[:, [1]], how="cross")
    .join(df2.iloc[:, [2]], how="cross")
    .dropna(axis=0)
)

结果：

   temperature pressure power
0            1     1000     0
1            1     1000   100
3            1       10     0
4            1       10   100
9          100     1000     0
10         100     1000   100
12         100       10     0
13         100       10   100
18        50.0     1000     0
19        50.0     1000   100
21        50.0       10     0
22        50.0       10   100

product 的精简版：

from itertools import product

df2 = pd.DataFrame(
    product(*df.set_index("parameter", drop=True).itertuples(index=False)),
    columns=df["parameter"]
).dropna(axis=0)

用形状可变的输入列表的笛卡尔积填充数据框

Fill a dataframe with Carthesian product of variably shaped input lists

python

itertools

experimental-design