Yaml Python 2.7 和 Python 3.7 兼容转储和加载 unicode 字符

Question

我遇到问题 loading/dumping yaml 文件与 PyYaml 需要兼容 Python 2 和 Python 3.

对于Python3转储/Python2加载，我找到了解决办法：

import yaml
data = {"d": ""}
with open(file_path, "w") as f:
    yaml.dump(data, f, allow_unicode=True)

这将生成包含以下行的 yaml 文件：

d:

如果我尝试使用 Python 2:

加载此文件

with open(file_path, "r") as f:
    y = yaml.safe_load(f)
    print(y["d"])

我得到以下输出：

但现在如果我尝试使用 Python 2 转储文件，我尝试过：

data = {"d": u""}
with open(file_name, "w") as f:
   yaml.dump(f)

生成 yaml 文件：

d: "\uD83D\uDE0B"

我也试过：

data = {"d": u"".encode("utf-8")}
with open(file_name, "w") as f:
   yaml.dump(f)

生成 yaml 文件：

d: !!python/str "\uD83D\uDE0B"

在这两种情况下，如果我加载 Python 3:

with open(file_path, "r") as f:
    y = yaml.load(f)

那么 y["d"] 就是 '\ud83d\ude0b' 不能按原样使用。

我发现我可以做类似的事情

y["d"].encode("utf-16", "surrogatepass").decode("utf-16")

但这似乎有点矫枉过正。

那么转储带有 Python 2 且在 Python 3 中可读且正确解释的文件的解决方案是什么？

Answer 1

我最终为此添加了一个构造函数。我将它添加到自定义加载程序中，所以我这样做 self.add_constructor，但在 yaml 级别上它是相同的，更容易说明。

yaml.add_constructor("tag:yaml.org,2002:python/str", unicode_constructor)

def unicode_constructor(loader, node):
    scalar = loader.construct_scalar(node)
    return scalar.encode("utf-16", "surrogatepass").decode("utf-16")

这适用于 Python2 dump/ Python 3 load

并且不影响 Python 3 转储/ Python 2 或 3 加载

Yaml Python 2.7 和 Python 3.7 兼容转储和加载 unicode 字符

Yaml Python 2.7 and Python 3.7 compatible dump and load with unicode characters

python

python-2.7

python-3.7

python-unicode

pyyaml