python-scrapinghub, ascii / utf8?

Question

Python 3.4.2

我正在使用 Scrapinghub API 的客户端界面，可以在这里找到：

https://github.com/scrapinghub/python-scrapinghub

我抓取一个站点并希望使用

获取并打印项目

for item in job.items():
  print(item)

在 python 解释器中这工作正常但是当我在脚本中导出我的代码时（f.e。'test.py' 和运行它与 'python3 test.py'发生错误，显示：

Traceback (most recent call last):
File "test.py", line 24, in <module>
print(insert_statement)
UnicodeEncodeError: 'ascii' codec can't encode character '\xdf' in position 247: ordinal not in range(128)

第 24 行的文本是这样的：[ ...] Tobias Weiß [...]

我已经运行 'dpkg-reconfigure locales' 并将其设置为 'de_DE.UTF-8 UTF-8' 但这似乎不是问题所在。

我是否必须将每个结果的项目 dict 转换为 utf8，或者是否有其他我没有看到的解决方案。

from scrapinghub import Connection

conn = Connection('1234567890')
project = conn[123456]



jobs = project.jobs(state='finished')

for job in jobs:
    if "consumed" not in job.info['tags']:
            for item in job.items():
                   print(item)

此致

Answer 1

我找到了一个似乎有效的解决方案。

在 shell 我必须输入：

export LC_ALL=C.UTF-8
export LANG=C.UTF-8

我也遵循了这里的说明：https://blog.scrapinghub.com/2016/08/17/introducing-scrapy-cloud-with-python-3-support/

Introducing Scrapy Cloud with Python 3 Support

谢谢大家！

python-scrapinghub, ascii / utf8?

python-scrapinghub, ascii / utf8?

python

utf-8

python-3.4

scrapinghub