使用 Google 数据实验室：将 csv 写入存储

Question

我正在尝试使用 google 数据实验室，但我无法将 csv 写入 GCS（Google 云存储）。

import pandas as pd
from pandas import DataFrame
from io import BytesIO
df = DataFrame({"a":[1,2],"b":1})
print(df)
>>    | a | b
>>  0 | 1 | 1
>>  1 | 2 | 1

在Whosebug中，我找到了这个命令

%storage write --object gs://my-bucket/data/test.csv --variable df

但是如果我使用这个命令，读取数据效果不佳。因为数据没有用逗号隔开（用space隔开）。它包括索引。

%storage read --object gs://my-bucket/data/test.csv --variable test_file

df2 = pd.read_csv(BytesIO(test_file))
print(df2)
>>    | a b
>>  0 | 0 1 1
>>  1 | 1 2 1

我想写成没有索引的 csv。（比如 df.to_csv('test_file.csv',index=False)

我该怎么办？请指教

Answer 1

你能试试下面的方法吗？

import pandas as pd
from io import BytesIO
df = pd.DataFrame({"a":[1,2],"b":1})
df.to_csv('text.csv', index = False)
!gsutil cp 'text.csv' 'gs://path-to-your-bucket/test.csv'
%gcs read --object gs://path-to-your-bucket/test.csv --variable test_file
df2 = pd.read_csv(BytesIO(test_file))

使用 Google 数据实验室：将 csv 写入存储

Using Google datalab: write csv to storage

google-cloud-storage

google-cloud-datalab