在字符串列表上使用 strptime()。不能使用循环

Question

我有一个字符串列表 (unicode)。像这样：

>>> tstamp
[u'2017-08-08T08:51:20.465Z', u'2017-08-08T08:51:27.871Z', u'2017-08-08T08:51:33.399Z', u'2017-08-08T08:51:37.530Z', u'2017-08-08T08:51:47.248Z', u'2017-08-08T08:51:50.414Z', u'2017-08-08T08:51:54.707Z', u'2017-08-08T08:51:54.781Z']

我想将这个字符串列表转换为日期时间对象列表。像这样：

>>> dtstamp
[datetime.datetime(2017, 8, 8, 8, 51, 20, 465000), datetime.datetime(2017, 8, 8, 8, 51, 27, 871000), datetime.datetime(2017, 8, 8, 8, 51, 33, 399000), datetime.datetime(2017, 8, 8, 8, 51, 37, 530000), datetime.datetime(2017, 8, 8, 8, 51, 47, 248000), datetime.datetime(2017, 8, 8, 8, 51, 50, 414000), datetime.datetime(2017, 8, 8, 8, 51, 54, 707000), datetime.datetime(2017, 8, 8, 8, 51, 54, 781000)]

我的解决方案非常粗糙，我希望在不使用任何循环的情况下进行这种转换。转换速度至关重要。到目前为止，这是我的代码：

dtstamp = [0]*len(tstamp)
for i in range(0,len(tstamp)):
     dtstamp[i] = datetime.datetime.strptime(tstamp[i], '%Y-%m-%dT%H:%M:%S.%fZ')

它做了我想做的事，但会很慢。我想试试这个，但行不通：

dtstamp = datetime.datetime.strptime(tstamp, '%Y-%m-%dT%H:%M:%S.%fZ')

任何人都可以指出我正确的方向吗？

提前致谢！

Answer 1

你不能在没有循环的情况下迭代项目。对于单线解决方案，您可以使用：

import dateutil.parser
print [dateutil.parser.parse(i) for i in tstamp]

Answer 2

如果你真的想省略循环（在你的代码中），你可以使用 map():

map(lambda item: datetime.datetime.strptime(item, '%Y-%m-%dT%H:%M:%S.%fZ'), 
    tstamp)

请注意，即使 map() 最终也会使用循环来完成。如果不遍历列表中的每个项目，就无法做到这一点。无论代码多么聪明，幕后某处总会有一个循环。

如果你真的需要它超快，那么使用 python 的唯一方法是使用 C extensions.

Answer 3

您尝试过列表理解吗？

[datetime.datetime.strptime(x, '%Y-%m-%dT%H:%M:%S.%fZ')for x in tstamp]
# [datetime.datetime(2017, 8, 8, 8, 51, 20, 465000), datetime.datetime(2017, 8, 8, 8, 51, 27, 871000), datetime.datetime(2017, 8, 8, 8, 51, 33, 399000), datetime.datetime(2017, 8, 8, 8, 51, 37, 530000), datetime.datetime(2017, 8, 8, 8, 51, 47, 248000), datetime.datetime(2017, 8, 8, 8, 51, 50, 414000), datetime.datetime(2017, 8, 8, 8, 51, 54, 707000), datetime.datetime(2017, 8, 8, 8, 51, 54, 781000)]

它仍然在后台使用循环，但它已经相当优化了。

问候，Koen

Answer 4

您只需按原样使用列表中的 pd.to_datetime 即可获得显着的加速。但是，我认为即使您可以调整方法，您也不会每秒获得 600,000 次转换。

import pandas as pd
import datetime as dt

my_list = [u'2017-08-08T08:51:20.465Z', u'2017-08-08T08:51:27.871Z', u'2017-08-08T08:51:33.399Z', u'2017-08-08T08:51:37.530Z', u'2017-08-08T08:51:47.248Z', u'2017-08-08T08:51:50.414Z', u'2017-08-08T08:51:54.707Z', u'2017-08-08T08:51:54.781Z']
new_list = []
for x in xrange(100000):
    new_list.extend(my_list)

def basic_list_approach(the_list):
    return [dt.datetime.strptime(item, '%Y-%m-%dT%H:%M:%S.%fZ') for item in the_list]

def pandas_approach(the_list):
    converted = pd.to_datetime(the_list)
    return converted

%timeit basic_list_approach(new_list)
1 loop, best of 3: 12.6 s per loop

%timeit pandas_approach(new_list)
1 loop, best of 3: 1.45 s per loop

在字符串列表上使用 strptime()。不能使用循环

Using strptime() on a list of strings. Cannot use loops

python

datetime

typeerror

strptime