快速 pytables pandas 数据切片

Question

我的速度运行很慢。我的数据是

 <class 'pandas.io.pytables.HDFStore'>
 File path: c:/data/bed_1/acc_ohlc.hdf
 /000020            frame        (shape->[7721,5])
 /000030            frame        (shape->[1037,5])
 /000040            frame        (shape->[7723,5])
 /000050            frame        (shape->[7723,5])
 /000060            frame        (shape->[7723,5])
 /000070            frame        (shape->[7724,5])
 /000080            frame        (shape->[2426,5])

每个都是pandas个数据帧，每个数据长度都不同。索引是时间戳。用于制作具有所有同期数据的新数据集。

  begin = '20140117'
  end = '20150116'   
  p_data = {}
  for index, row in code_list.iterrows():
      code = row['Code'][:-3]
      p_data[code] = store[code].ix[begin:end].astype (float)
  new_data = pd.Panel(p_data)

new_data = pd.Panel (p_data)

总运行时间约为 25 秒。有什么好的代码可以缩短运行时间吗？

Answer 1

这样的事情可能会大大加快这个过程。 .iterrows 可能不是最好的选择。

def fun(c):
   code = c[:-3]
   p_data[code] = store[code].ix[begin:end].astype (float)

code_list.Code.apply(fun)

快速 pytables pandas 数据切片

fast pytables pandas data slicing

python

pytables

pandas