如何解码 UTF-8 文本序列 \ud83e\udd14
How to Decode UTF-8 Text Sequence \ud83e\udd14
我正在读取包含“\ud83e\udd14”的 UTF-8 文本。阅读规范，它说不使用 U+D800 到 U+DFFF。然而，如果我 运行 通过诸如 Microsoft 的 System.Web.Helpers.Json.Decode 之类的解码器，它会产生一个伸出舌头的面部表情的正确结果。文字来源于推特搜索 api.
我的问题：这个序列应该如何解码？我正在寻找最终的十六进制序列是什么以及它是如何获得的。感谢您的指导。如果我的问题不清楚，请告诉我，我会尽力改进。
我想我已经阅读了有关 UTF-16 的内容，看看它是否给了我任何线索，结果发现这就是所谓的代理对。解码的十六进制公式为：
(H - D800) * 400 + (L - DC00) + 10000
其中 H 是第一个（高）代码点，L 是第二个（低）代码点。
所以\ud83e\udd14变成1f914
显然 UTF-8 解码器必须预测 UTF-16 代理对。
你从一个有趣的角度来看这个问题。首先要注意的是，您正在处理两层文本：JSON 文档和其中的字符串。
概要：您无需编写代码即可对其进行解码。使用将 JSON 反序列化为对象的库，例如 Newtonsoft 的 JSON.Net.
但是，首先是 Unicode。 Unicode 是一种具有一定历史的字符集。与几乎所有字符集不同，1) 它有不止一种编码，并且 2) 它仍在增长。几十年前，它有 <65636 个代码点，这被认为足够了。因此，计划将每个代码点编码为 2 字节整数。它被称为 UCS-2，或者简称为 Unicode 编码。 （Microsoft 在 .NET 中坚持使用 Encoding.Unicode，这引起了一些混乱。）
旁白：使用 U+ABCD（十六进制）格式确定代码点以供讨论。
然后 Unicode 联盟决定添加更多代码点：一直到 U+10FFFF。为此，编码至少需要 21 位。 UTF-32，32 位整数，是一个明显的解决方案，但不是很密集。因此，发明了使用可变数量代码单元的编码。 UTF-8 使用一到四个 8 位代码单元，具体取决于代码点。
但是很多语言在 1990 年代都采用了 UCS-2。当然，文档可以随意转换，但是处理 UCS-2 的代码如果没有针对扩展字符集的兼容编码就会中断。由于 U+D800 到 U+DFFF 未分配，UCS-2 可以保持不变并且那些“代理代码点”可以用于编码新代码点。结果是 UTF-16。每个代码点都编码为一个或两个 16 位代码单元。因此，处理 UCS-2 的程序可以自动处理 UTF-16，只要它们不需要理解它。在同一系统中编写的程序可以被认为是处理 UTF-16，尤其是对于理解它的库。字符串长度之类的东西仍然存在危险，给出了 UTF-16 代码单元的数量而不是代码点的数量，但它在其他方面效果很好。
至于 \ud83e\udd14 表示法，语言在其语法或文字字符串中使用 Unicode，需要一种方法来接受 non-Unicode 编码中的源文件并仍然支持所有 Unicode 代码点。设计于 1990 年代，他们只是简单地以十六进制编写 UCS-2 代码单元。当然，这也扩展到 UTF-16。此 UTF-16 代码单元转义语法允许中间系统使用 non-Unicode 编码处理源代码文件。
现在，JSON 是基于 JavaScript 而 JavaScript 的字符串是 UTF-16 代码单元的序列。所以 JSON 从 JavaScript 中采用了 UTF-16 代码单元转义语法。但是，它不是很有用（除非您必须处理不能使用 UTF-8 的中间系统或将它们不理解的文件视为二进制文件）。旧的 JSON 标准要求 JSON 系统之间交换的文档使用 UTF-8、UTF-16 或 UTF-32 编码。新的 RFC8259 需要 UTF-8。
所以，您没有“UTF-8 文本”，您有使用 UTF-8 的 Unicode 文本编码。文本本身是一个 JSON 文档。 JSON 文档的名称和值是 Unicode 文本，作为允许转义的 UTF-16 代码单元序列。您的文档的代码点 U+1F914 不是写为“”，而是写为“\ud83e\udd14”。
有很多库可以将 JSON 转换为对象，因此您不需要解码 JSON 文档中的名称或值。要手动执行此操作，您需要识别转义前缀并将接下来的 4 个字符作为代理项的位，extracting the data bits, then combine 它们与应该跟随的配对代理项中的位。
我正在读取包含“\ud83e\udd14”的 UTF-8 文本。阅读规范，它说不使用 U+D800 到 U+DFFF。然而，如果我 运行 通过诸如 Microsoft 的 System.Web.Helpers.Json.Decode 之类的解码器，它会产生一个伸出舌头的面部表情的正确结果。文字来源于推特搜索 api.
我的问题：这个序列应该如何解码？我正在寻找最终的十六进制序列是什么以及它是如何获得的。感谢您的指导。如果我的问题不清楚，请告诉我，我会尽力改进。
我想我已经阅读了有关 UTF-16 的内容，看看它是否给了我任何线索，结果发现这就是所谓的代理对。解码的十六进制公式为：
(H - D800) * 400 + (L - DC00) + 10000
其中 H 是第一个（高）代码点，L 是第二个（低）代码点。
所以\ud83e\udd14变成1f914
显然 UTF-8 解码器必须预测 UTF-16 代理对。
你从一个有趣的角度来看这个问题。首先要注意的是，您正在处理两层文本：JSON 文档和其中的字符串。
概要：您无需编写代码即可对其进行解码。使用将 JSON 反序列化为对象的库，例如 Newtonsoft 的 JSON.Net.
但是，首先是 Unicode。 Unicode 是一种具有一定历史的字符集。与几乎所有字符集不同，1) 它有不止一种编码，并且 2) 它仍在增长。几十年前，它有 <65636 个代码点，这被认为足够了。因此，计划将每个代码点编码为 2 字节整数。它被称为 UCS-2，或者简称为 Unicode 编码。 （Microsoft 在 .NET 中坚持使用 Encoding.Unicode，这引起了一些混乱。）
旁白：使用 U+ABCD（十六进制）格式确定代码点以供讨论。
然后 Unicode 联盟决定添加更多代码点：一直到 U+10FFFF。为此，编码至少需要 21 位。 UTF-32，32 位整数，是一个明显的解决方案，但不是很密集。因此，发明了使用可变数量代码单元的编码。 UTF-8 使用一到四个 8 位代码单元，具体取决于代码点。
但是很多语言在 1990 年代都采用了 UCS-2。当然，文档可以随意转换，但是处理 UCS-2 的代码如果没有针对扩展字符集的兼容编码就会中断。由于 U+D800 到 U+DFFF 未分配，UCS-2 可以保持不变并且那些“代理代码点”可以用于编码新代码点。结果是 UTF-16。每个代码点都编码为一个或两个 16 位代码单元。因此，处理 UCS-2 的程序可以自动处理 UTF-16，只要它们不需要理解它。在同一系统中编写的程序可以被认为是处理 UTF-16，尤其是对于理解它的库。字符串长度之类的东西仍然存在危险，给出了 UTF-16 代码单元的数量而不是代码点的数量，但它在其他方面效果很好。
至于 \ud83e\udd14 表示法，语言在其语法或文字字符串中使用 Unicode，需要一种方法来接受 non-Unicode 编码中的源文件并仍然支持所有 Unicode 代码点。设计于 1990 年代，他们只是简单地以十六进制编写 UCS-2 代码单元。当然，这也扩展到 UTF-16。此 UTF-16 代码单元转义语法允许中间系统使用 non-Unicode 编码处理源代码文件。
现在，JSON 是基于 JavaScript 而 JavaScript 的字符串是 UTF-16 代码单元的序列。所以 JSON 从 JavaScript 中采用了 UTF-16 代码单元转义语法。但是，它不是很有用（除非您必须处理不能使用 UTF-8 的中间系统或将它们不理解的文件视为二进制文件）。旧的 JSON 标准要求 JSON 系统之间交换的文档使用 UTF-8、UTF-16 或 UTF-32 编码。新的 RFC8259 需要 UTF-8。
所以，您没有“UTF-8 文本”，您有使用 UTF-8 的 Unicode 文本编码。文本本身是一个 JSON 文档。 JSON 文档的名称和值是 Unicode 文本，作为允许转义的 UTF-16 代码单元序列。您的文档的代码点 U+1F914 不是写为“”，而是写为“\ud83e\udd14”。
有很多库可以将 JSON 转换为对象，因此您不需要解码 JSON 文档中的名称或值。要手动执行此操作，您需要识别转义前缀并将接下来的 4 个字符作为代理项的位，extracting the data bits, then combine 它们与应该跟随的配对代理项中的位。