从 gspread 创建一个 csv 文件,使用 pandas 跳过一些行
Create a csv file from gspread skipping some rows with pandas
我正在创建一个 csv 文件来迭代它并使用 Python 发送电子邮件。
代码对我有用,但我认为我只是为了从 Google SpreadSheet 获取数据、跳过一些行并迭代它而编写了太多代码。
这是我的代码:
import csv
import pandas as pd
import smtplib
from settings_djg import SENDER_EMAIL, SENDER_PASS # Email settings file
from datetime import date, datetime
import gspread
from oauth2client.service_account import ServiceAccountCredentials
from email.message import EmailMessage
from itertools import islice
scope = ['https://spreadsheets.google.com/feeds', 'https://www.googleapis.com/auth/drive']
creds = ServiceAccountCredentials.from_json_keyfile_name('client_secret.json', scope)
client = gspread.authorize(creds)
sheet = client.open("Hosting_Domains").sheet1
list_of_hashes = sheet.get_all_values()
new_list = pd.DataFrame(list_of_hashes)
# Here I'm using .iloc to skip some rows
new_list.iloc[[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]].to_csv('my_csv.csv', index=False, header=False)
msg = EmailMessage()
now = date.today()
# Here starts iteration
with open('my_csv.csv') as csv_file:
csv_reader = csv.reader(csv_file, delimiter=',')
next(csv_reader)
for row in csv_reader:
来自 Google SpreadSheet 的数据是这样的:
X,DOMAIN,EXPIRE,OWNER,REGISTRANT,HOSTING
,,,CUSTOMERS,,,
B,company.com,2021-02-13,Customer,SITEGROUND,SITEGROUND
D,companyb.com,2021-05-17,Customer,GODDADY,GODDADY
E,companyc.com,2021-09-19,Customer,GODDADY,GODDADY
D,companye.com,2021-01-23,Customer,GODDADY,GODDADY
我相信你的目标如下。
- 您想通过使用带有 python 的 gspread 选择行,从 Google Spreadsheet 中检索值作为 CSV 数据。
- 在这种情况下,您不想使用
iloc
并将其另存为文件。
- 作为示例,您想要从 sheet 的
[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]
中检索行。
- 在这种情况下,包括
0
。所以我认为 0
是第一行。
修改点:
- 当
[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]
是list_of_hashes
数组的索引时,我认为可以使用[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]
. 检索所需的行
当这一点反映到你的脚本中,就变成了下面这样。
修改后的脚本:
list_of_hashes = sheet.get_all_values()
values = [list_of_hashes[e] for e in [0, 2, 3, 4, 5, 6, 7, 13, 14, 15, 16, 17, 18, 19, 20]]
df = pd.DataFrame(values)
values
是检索到所需行的数组。
df
是从 values
. 转换而来的数据框
我正在创建一个 csv 文件来迭代它并使用 Python 发送电子邮件。 代码对我有用,但我认为我只是为了从 Google SpreadSheet 获取数据、跳过一些行并迭代它而编写了太多代码。
这是我的代码:
import csv
import pandas as pd
import smtplib
from settings_djg import SENDER_EMAIL, SENDER_PASS # Email settings file
from datetime import date, datetime
import gspread
from oauth2client.service_account import ServiceAccountCredentials
from email.message import EmailMessage
from itertools import islice
scope = ['https://spreadsheets.google.com/feeds', 'https://www.googleapis.com/auth/drive']
creds = ServiceAccountCredentials.from_json_keyfile_name('client_secret.json', scope)
client = gspread.authorize(creds)
sheet = client.open("Hosting_Domains").sheet1
list_of_hashes = sheet.get_all_values()
new_list = pd.DataFrame(list_of_hashes)
# Here I'm using .iloc to skip some rows
new_list.iloc[[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]].to_csv('my_csv.csv', index=False, header=False)
msg = EmailMessage()
now = date.today()
# Here starts iteration
with open('my_csv.csv') as csv_file:
csv_reader = csv.reader(csv_file, delimiter=',')
next(csv_reader)
for row in csv_reader:
来自 Google SpreadSheet 的数据是这样的:
X,DOMAIN,EXPIRE,OWNER,REGISTRANT,HOSTING
,,,CUSTOMERS,,,
B,company.com,2021-02-13,Customer,SITEGROUND,SITEGROUND
D,companyb.com,2021-05-17,Customer,GODDADY,GODDADY
E,companyc.com,2021-09-19,Customer,GODDADY,GODDADY
D,companye.com,2021-01-23,Customer,GODDADY,GODDADY
我相信你的目标如下。
- 您想通过使用带有 python 的 gspread 选择行,从 Google Spreadsheet 中检索值作为 CSV 数据。
- 在这种情况下,您不想使用
iloc
并将其另存为文件。
- 在这种情况下,您不想使用
- 作为示例,您想要从 sheet 的
[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]
中检索行。- 在这种情况下,包括
0
。所以我认为0
是第一行。
- 在这种情况下,包括
修改点:
- 当
[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]
是list_of_hashes
数组的索引时,我认为可以使用[0,2,3,4,5,6,7,13,14,15,16,17,18,19,20]
. 检索所需的行
当这一点反映到你的脚本中,就变成了下面这样。
修改后的脚本:
list_of_hashes = sheet.get_all_values()
values = [list_of_hashes[e] for e in [0, 2, 3, 4, 5, 6, 7, 13, 14, 15, 16, 17, 18, 19, 20]]
df = pd.DataFrame(values)
values
是检索到所需行的数组。df
是从values
. 转换而来的数据框