Pandas DataFrame 到列表列表

Question

将列表的列表转换为 pandas 数据框很容易：

import pandas as pd
df = pd.DataFrame([[1,2,3],[3,4,5]])

但是如何将 df 转回列表列表？

lol = df.what_to_do_now?
print lol
# [[1,2,3],[3,4,5]]

Answer 1

您可以访问底层数组并调用其 tolist 方法：

>>> df = pd.DataFrame([[1,2,3],[3,4,5]])
>>> lol = df.values.tolist()
>>> lol
[[1L, 2L, 3L], [3L, 4L, 5L]]

Answer 2

我不知道它是否适合你的需要，但你也可以这样做：

>>> lol = df.values
>>> lol
array([[1, 2, 3],
       [3, 4, 5]])

这只是 ndarray 模块中的一个 numpy 数组，它可以让您执行所有常见的 numpy 数组操作。

Answer 3

如果数据有您想要保留的列和索引标签，有几个选项。

示例数据：

>>> df = pd.DataFrame([[1,2,3],[3,4,5]], \
       columns=('first', 'second', 'third'), \
       index=('alpha', 'beta')) 
>>> df
       first  second  third
alpha      1       2      3
beta       3       4      5

其他答案中描述的 tolist() 方法很有用，但仅产生核心数据 - 这可能还不够，具体取决于您的需要。

>>> df.values.tolist()
[[1, 2, 3], [3, 4, 5]]

一种方法是使用 df.to_json() 将 DataFrame 转换为 json，然后再次解析它。这很麻烦，但确实有一些优点，因为 to_json() 方法有一些有用的选项。

>>> df.to_json()
{
  "first":{"alpha":1,"beta":3},
  "second":{"alpha":2,"beta":4},"third":{"alpha":3,"beta":5}
}

>>> df.to_json(orient='split')
{
 "columns":["first","second","third"],
 "index":["alpha","beta"],
 "data":[[1,2,3],[3,4,5]]
}

麻烦但可能有用。

好消息是为列和行构建列表非常简单：

>>> columns = [df.index.name] + [i for i in df.columns]
>>> rows = [[i for i in row] for row in df.itertuples()]

这产生：

>>> print(f"columns: {columns}\nrows: {rows}") 
columns: [None, 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

如果索引的名字None嫌麻烦，重命名为：

df = df.rename_axis('stage')

然后：

>>> columns = [df.index.name] + [i for i in df.columns]
>>> print(f"columns: {columns}\nrows: {rows}") 

columns: ['stage', 'first', 'second', 'third']
rows: [['alpha', 1, 2, 3], ['beta', 3, 4, 5]]

Answer 4

我想保留索引，所以我将原来的答案改编成这个解决方案：

list_df = df.reset_index().values.tolist()

现在您可以将它粘贴到其他地方（例如粘贴到 Stack Overflow 问题中），然后重新创建它：

pd.Dataframe(list_df, columns=['name1', ...])
pd.set_index(['name1'], inplace=True)

Answer 5

也许有些事情发生了变化，但这返回了一个 ndarrays 列表，它满足了我的需要。

list(df.values)

Answer 6

注意： 我在 Stack Overflow 上看到很多案例，其中将 Pandas 系列或 DataFrame 转换为 NumPy 数组或普通 Python 列表完全是不必要的。如果您是该库的新手，请考虑仔细检查这些 Pandas 对象是否已经提供了您需要的功能。

引用@jpp 的：

In practice, there's often no need to convert the NumPy array into a list of lists.

如果 Pandas DataFrame/Series 不起作用，您可以使用内置的 DataFrame.to_numpy and Series.to_numpy 方法。

Answer 7

我们可以使用 DataFrame.iterrows() 函数遍历给定 Dataframe 的每一行，并根据每一行的数据构建一个列表：

# Empty list 
row_list =[] 

# Iterate over each row 
for index, rows in df.iterrows(): 
    # Create list for the current row 
    my_list =[rows.Date, rows.Event, rows.Cost] 

    # append the list to the final list 
    row_list.append(my_list) 

# Print 
print(row_list)

我们可以成功地将给定数据框的每一行提取到列表中

Answer 8

这很简单：

import numpy as np

list_of_lists = np.array(df)

Answer 9

"df.values" returns 一个 numpy 数组。这不会保留数据类型。整数可能会转换为浮点数。

df.iterrows() returns 一系列也不能保证保留数据类型。参见：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.iterrows.html

下面的代码转换为列表的列表并保留数据类型：

rows = [list(row) for row in df.itertuples()]

Answer 10

如果您希望将 Pandas DataFrame 转换为 table（列表列表）并包含 header 列，这应该可行：

import pandas as pd
def dfToTable(df:pd.DataFrame) -> list:
    return [list(df.columns)] + df.values.tolist()

用法（在 REPL 中）：

>>> df = pd.DataFrame(
             [["r1c1","r1c2","r1c3"],["r2c1","r2c2","r3c3"]]
             , columns=["c1", "c2", "c3"])
>>> df
     c1    c2    c3
0  r1c1  r1c2  r1c3
1  r2c1  r2c2  r3c3
>>> dfToTable(df)
[['c1', 'c2', 'c3'], ['r1c1', 'r1c2', 'r1c3'], ['r2c1', 'r2c2', 'r3c3']]

Answer 11

目前提出的解决方案存在“重新发明轮子”的方法。引用 @AMC:

If you're new to the library, consider double-checking whether the functionality you need is already offered by those Pandas objects.

如果将数据框转换为列表列表，您将丢失信息 - 即索引和列名称。

我的解决方案：使用to_dict()

dict_of_lists = df.to_dict(orient='split')

这将为您提供一个包含三个列表的字典：index、columns、data。如果你决定你真的不需要列和索引名称，你可以使用

获取数据

dict_of_lists['data']

Answer 12

我遇到了这个问题：如何让 df 的 headers 位于第 0 行，以便将它们写入 excel 的第 1 行（使用 xlsxwriter）？ None 的建议解决方案有效，但它们为我指明了正确的方向。我只需要多一行代码

# get csv data
df = pd.read_csv(filename)

# combine column headers and list of lists of values
lol = [df.columns.tolist()] + df.values.tolist()

Answer 13

与问题不太相关，但有相同期望的另一种口味

在 Plotly

中使用 create_distplot 将数据框系列转换为列表列表以绘制图表

    hist_data=[]
    hist_data.append(map_data['Population'].to_numpy().tolist())

Pandas DataFrame 到列表列表

Pandas DataFrame to List of Lists

python

pandas