Python 的 USGS 水文数据甘特图？

Question

我编译了一个数据框，其中包含几个不同流场的 USGS 流量数据。现在我想创建一个类似于的甘特图。目前，我的数据以列作为站点名称，以日期索引作为行。

这是我的 data.

的示例

我链接的甘特图示例的问题是我的数据在通常定义水平时间线的开始日期和结束日期之间存在差距。我发现的许多示例仅说明开始日期和结束日期，但没有遗漏介于两者之间的值。我如何解释某些站点没有数据的空白（这些插槽中的空白或 nan 用于值）？

首先，我有一个图表显示缺失数据的位置。

import missingno as msno
msno.bar(dfp)

现在，我想要 x 轴上的时间和 y 轴上的水平线，用于跟踪网站在那些时间包含数据的时间。我知道如何以蛮力方式执行此操作，这意味着手动选择有有效数据（我在下面弥补）的开始和结束日期。

from datetime import datetime
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as dt

df=[('RIO GRANDE AT EMBUDO, NM','2015-7-22','2015-12-7'),
('RIO GRANDE AT EMBUDO, NM','2016-1-22','2016-8-5'),
('RIO GRANDE DEL RANCHO NEAR TALPA, NM','2014-12-10','2015-12-14'),
('RIO GRANDE DEL RANCHO NEAR TALPA, NM','2017-1-10','2017-11-25'),
('RIO GRANDE AT OTOWI BRIDGE, NM','2015-8-17','2017-8-21'),
('RIO GRANDE BLW TAOS JUNCTION BRIDGE NEAR TAOS, NM','2015-9-1','2016-6-1'),
('RIO GRANDE NEAR CERRO, NM','2016-1-2','2016-3-15'),
] 
df=pd.DataFrame(data=df)
df.columns = ['A', 'Beg', 'End']
df['Beg'] = pd.to_datetime(df['Beg'])
df['End'] = pd.to_datetime(df['End'])

fig = plt.figure(figsize=(10,8))
ax = fig.add_subplot(111)
ax = ax.xaxis_date()
ax = plt.hlines(df['A'], dt.date2num(df['Beg']), dt.date2num(df['End']))

如何使用我提供的数据框作为示例制作图形（如上图所示）？理想情况下，我想避免使用蛮力方法。

请注意： 零值被视为有效数据点。

提前感谢您的反馈！

Answer 1

这是您可以使用的一种方法，它有点老套，所以也许其他人会产生更好的解决方案，但它应该会产生您想要的输出。首先使用 pd.where 将非 NaN 值替换为一个整数，稍后将确定行在 y 轴上的位置，我逐行执行此操作，以便所有属于一起的数据都处于相同的高度。如果你想增加甘特图线条之间的间距，你可以在 i 中添加一个数字，我在下面代码块的注释中提供了一个示例。

y 标签及其位置是在数据处理步骤中生成的，因此无论列数如何，此方法都有效，并且当您更改上述间距时，标签将正确定位。

这种方法 returns matplotlib.pyplot.axes 和 matplotlib.pyplot.Figure 对象，因此您可以调整图表的外观以适合您的目的（即更改线条的粗细、颜色等。 ). Link to docs.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_excel('output.xlsx')
dates = pd.to_datetime(df.date)
df.index = dates
df = df.drop('date', axis=1)

new_rows = [df[s].where(df[s].isna(), i) for i, s in enumerate(df, 1)]
# To increase spacing between lines add a number to i, eg. below:
# [df[s].where(df[s].isna(), i+3) for i, s in enumerate(df, 1)]
new_df = pd.DataFrame(new_rows)

### Plotting ###

fig, ax = plt.subplots() # Create axes object to pass to pandas df.plot()
ax = new_df.transpose().plot(figsize=(40,10), ax=ax, legend=False, fontsize=20)
list_of_sites = new_df.transpose().columns.to_list() # For y tick labels
x_tick_location = new_df.iloc[:, 0].values # For y tick positions
ax.set_yticks(x_tick_location) # Place ticks in correct positions
ax.set_yticklabels(list_of_sites) # Update labels to site names

Answer 2

查找非空数据的日期范围

2020-02-12 编辑以阐明循环中的逻辑

df = pd.read_excel('Downloads/output.xlsx', index_col='date')

确保日期按顺序排列：

df.sort_index(inplace=True)

遍历数据并找到良好数据范围的边缘。获取相应的索引值和仪表名称并将它们全部收集在一个列表中：

# Looping feels like defeat. However, I'm not clever enough to avoid it 
good_ranges = []
for i in df:
    col = df[i]
    gauge_name = col.name

    # Start of good data block defined by a number preceeded by a NaN
    start_mark = (col.notnull() & col.shift().isnull())
    start = col[start_mark].index

    # End of good data block defined by a number followed by a Nan
    end_mark = (col.notnull() & col.shift(-1).isnull())
    end = col[end_mark].index

    for s, e in zip(start, end):
        good_ranges.append((gauge_name, s, e))

good_ranges = pd.DataFrame(good_ranges, columns=['gauge', 'start', 'end'])

绘图

这里没有新内容。几乎直接从您的问题中复制：

fig = plt.figure(figsize=(10,8))
ax = fig.add_subplot(111)
ax = ax.xaxis_date()
ax = plt.hlines(good_ranges['gauge'], 
                dt.date2num(good_ranges['start']), 
                dt.date2num(good_ranges['end']))
fig.tight_layout()

Python 的 USGS 水文数据甘特图？

Gantt Chart for USGS Hydrology Data with Python?

matplotlib

gantt-chart

python-3.x

pandas