中文标点Unicode范围?
Chinese punctuation Unicode range?
根据CJK Unicode Ideographs,中日韩Unicode范围为:
- 中日韩统一表意文字 (4E00-9FCC)
[\u4E00-\u9FCC]
- 中日韩统一表意文字扩展 A (3400-4DB5)
[\u3400-\u4DB5]
- 中日韩统一表意文字扩展 B (20000-2A6D6)
[\ud840-\ud868][\udc00-\udfff]|\ud869[\udc00-\uded6]
- 中日韩统一表意文字扩展 C (2A700-2B734)
\ud869[\udf00-\udfff]|[\ud86a-\ud86c][\udc00-\udfff]|\ud86d[\udc00-\udf34]
- 中日韩统一表意文字扩展 D (2B840-2B81D)
\ud86d[\udf40-\udfff]|\ud86e[\udc00-\udc1d]
- CJK 兼容表意文字 (F900-FA6D/FA70-FAD9) 中的 12 个字符,但实际上是 CJK 统一表意文字
[\uFA0E\uFA0F\uFA11\uFA13\uFA14\uFA1F\uFA21\uFA23\uFA24\uFA27-\uFA29]
但是,我检查了中文标点符号?(\uFF01
)和!(\uFF1F
)不在范围内。请问包括标点在内的所有汉字的Unicode范围是多少?
其实我正在研究Python个汉字的正则表达式,但我无法获取中文对句中的内容:
import re
sample3 = "「在看星星嗎?閣下!」"
result = re.search(r"\u300c([\u4e00-\u9fff\u31c0-\u31ef\u31f0-\u31ff\u3200-\u32ff\u3300-\u33ff\u3400-\u4dbf\u4dc0-\u4dff\u4e00-\u9fff]+)\u300d", sample3)
print(result)
没有结果。我要提取句子:
在看星星嗎?閣下!
仅供参考,上面这句话的意思是:“先生,你在看星星吗?”
谢谢。
这不是一个容易回答的问题,因为“汉字”的概念并没有严格的定义。您提到的“全角”标点符号肯定用于中文排版,但它们可用于需要更宽字符的任何上下文。包含全角标点符号的 Unicode 块还包含 91 个“ASCII”printable 字符的全角版本,可用于中文排版中以拉丁字母书写的单词。这会使它们成为汉字吗?这将取决于您的应用程序。该 Unicode 块还包含一些 CJK 标点符号、片假名字母和一些韩文形式的“半角”版本。等等。
Unicode 肯定有一个“文字”的概念,在Unicode 字符数据库(UCD) 中,每个Unicode 符号都恰好分配给一个主要文字。您可以找到 script property table here(适用于 Unicode 版本 13.0.0)。在该列表中,以下字符包含在“Han”脚本中:
2E80..2E99 ; Han # So [26] CJK RADICAL REPEAT..CJK RADICAL RAP
2E9B..2EF3 ; Han # So [89] CJK RADICAL CHOKE..CJK RADICAL C-SIMPLIFIED TURTLE
2F00..2FD5 ; Han # So [214] KANGXI RADICAL ONE..KANGXI RADICAL FLUTE
3005 ; Han # Lm IDEOGRAPHIC ITERATION MARK
3007 ; Han # Nl IDEOGRAPHIC NUMBER ZERO
3021..3029 ; Han # Nl [9] HANGZHOU NUMERAL ONE..HANGZHOU NUMERAL NINE
3038..303A ; Han # Nl [3] HANGZHOU NUMERAL TEN..HANGZHOU NUMERAL THIRTY
303B ; Han # Lm VERTICAL IDEOGRAPHIC ITERATION MARK
3400..4DBF ; Han # Lo [6592] CJK UNIFIED IDEOGRAPH-3400..CJK UNIFIED IDEOGRAPH-4DBF
4E00..9FFC ; Han # Lo [20989] CJK UNIFIED IDEOGRAPH-4E00..CJK UNIFIED IDEOGRAPH-9FFC
F900..FA6D ; Han # Lo [366] CJK COMPATIBILITY IDEOGRAPH-F900..CJK COMPATIBILITY IDEOGRAPH-FA6D
FA70..FAD9 ; Han # Lo [106] CJK COMPATIBILITY IDEOGRAPH-FA70..CJK COMPATIBILITY IDEOGRAPH-FAD9
16FF0..16FF1 ; Han # Mc [2] VIETNAMESE ALTERNATE READING MARK CA..VIETNAMESE ALTERNATE READING MARK NHAY
20000..2A6DD ; Han # Lo [42718] CJK UNIFIED IDEOGRAPH-20000..CJK UNIFIED IDEOGRAPH-2A6DD
2A700..2B734 ; Han # Lo [4149] CJK UNIFIED IDEOGRAPH-2A700..CJK UNIFIED IDEOGRAPH-2B734
2B740..2B81D ; Han # Lo [222] CJK UNIFIED IDEOGRAPH-2B740..CJK UNIFIED IDEOGRAPH-2B81D
2B820..2CEA1 ; Han # Lo [5762] CJK UNIFIED IDEOGRAPH-2B820..CJK UNIFIED IDEOGRAPH-2CEA1
2CEB0..2EBE0 ; Han # Lo [7473] CJK UNIFIED IDEOGRAPH-2CEB0..CJK UNIFIED IDEOGRAPH-2EBE0
2F800..2FA1D ; Han # Lo [542] CJK COMPATIBILITY IDEOGRAPH-2F800..CJK COMPATIBILITY IDEOGRAPH-2FA1D
30000..3134A ; Han # Lo [4939] CJK UNIFIED IDEOGRAPH-30000..CJK UNIFIED IDEOGRAPH-3134A
但是许多字符被归类为“通用”,这意味着它们与任何特定的脚本都没有关联。这包括上面提到的全角和半角变体。此外,Unicode 包含的字符的唯一目的是与前面的字符组合或代表某种印刷效果;这些角色的脚本名称为“继承”,这意味着它们继承了附近某个角色的脚本。 (对于组合字符,脚本名称是前面的基本字符,但还有其他“继承字符”,例如零宽度连接器和非连接器字符(U+200C 和 U+200D),其中有是其他规则。)
全角变体的代码为 U+FF01..U+FF60
和 U+FFE0..U+FFE6
; U+FF00 块的其余部分包含半角变体和一些未分配的代码点。参见 the code chart。
通过搜索脚本 UCD table,我还发现了以下名称中包含缩写“CJK”的字符:
31C0..31E3 ; Common # So [36] CJK STROKE T..CJK STROKE Q
1F210..1F23B ; Common # So [44] SQUARED CJK UNIFIED IDEOGRAPH-624B..SQUARED CJK UNIFIED IDEOGRAPH-914D
1F240..1F248 ; Common # So [9] TORTOISE SHELL BRACKETED CJK UNIFIED IDEOGRAPH-672C..TORTOISE SHELL BRACKETED CJK UNIFIED IDEOGRAPH-6557
但我认为这还不是一个详尽的清单;还有代表麻将牌的字符,例如,可能被认为是“中国”。通常,所有指定为“通用”的字符在任何脚本中都将被视为有效,但您可以随心所欲地或多或少地进行区分。
有关脚本和 Script_Extension 属性的完整讨论,请参阅 Unicode Standard Annex 24, the Unicode Script Property。
根据CJK Unicode Ideographs,中日韩Unicode范围为:
- 中日韩统一表意文字 (4E00-9FCC)
[\u4E00-\u9FCC]
- 中日韩统一表意文字扩展 A (3400-4DB5)
[\u3400-\u4DB5]
- 中日韩统一表意文字扩展 B (20000-2A6D6)
[\ud840-\ud868][\udc00-\udfff]|\ud869[\udc00-\uded6]
- 中日韩统一表意文字扩展 C (2A700-2B734)
\ud869[\udf00-\udfff]|[\ud86a-\ud86c][\udc00-\udfff]|\ud86d[\udc00-\udf34]
- 中日韩统一表意文字扩展 D (2B840-2B81D)
\ud86d[\udf40-\udfff]|\ud86e[\udc00-\udc1d]
- CJK 兼容表意文字 (F900-FA6D/FA70-FAD9) 中的 12 个字符,但实际上是 CJK 统一表意文字
[\uFA0E\uFA0F\uFA11\uFA13\uFA14\uFA1F\uFA21\uFA23\uFA24\uFA27-\uFA29]
但是,我检查了中文标点符号?(\uFF01
)和!(\uFF1F
)不在范围内。请问包括标点在内的所有汉字的Unicode范围是多少?
其实我正在研究Python个汉字的正则表达式,但我无法获取中文对句中的内容:
import re
sample3 = "「在看星星嗎?閣下!」"
result = re.search(r"\u300c([\u4e00-\u9fff\u31c0-\u31ef\u31f0-\u31ff\u3200-\u32ff\u3300-\u33ff\u3400-\u4dbf\u4dc0-\u4dff\u4e00-\u9fff]+)\u300d", sample3)
print(result)
没有结果。我要提取句子:
在看星星嗎?閣下!
仅供参考,上面这句话的意思是:“先生,你在看星星吗?”
谢谢。
这不是一个容易回答的问题,因为“汉字”的概念并没有严格的定义。您提到的“全角”标点符号肯定用于中文排版,但它们可用于需要更宽字符的任何上下文。包含全角标点符号的 Unicode 块还包含 91 个“ASCII”printable 字符的全角版本,可用于中文排版中以拉丁字母书写的单词。这会使它们成为汉字吗?这将取决于您的应用程序。该 Unicode 块还包含一些 CJK 标点符号、片假名字母和一些韩文形式的“半角”版本。等等。
Unicode 肯定有一个“文字”的概念,在Unicode 字符数据库(UCD) 中,每个Unicode 符号都恰好分配给一个主要文字。您可以找到 script property table here(适用于 Unicode 版本 13.0.0)。在该列表中,以下字符包含在“Han”脚本中:
2E80..2E99 ; Han # So [26] CJK RADICAL REPEAT..CJK RADICAL RAP
2E9B..2EF3 ; Han # So [89] CJK RADICAL CHOKE..CJK RADICAL C-SIMPLIFIED TURTLE
2F00..2FD5 ; Han # So [214] KANGXI RADICAL ONE..KANGXI RADICAL FLUTE
3005 ; Han # Lm IDEOGRAPHIC ITERATION MARK
3007 ; Han # Nl IDEOGRAPHIC NUMBER ZERO
3021..3029 ; Han # Nl [9] HANGZHOU NUMERAL ONE..HANGZHOU NUMERAL NINE
3038..303A ; Han # Nl [3] HANGZHOU NUMERAL TEN..HANGZHOU NUMERAL THIRTY
303B ; Han # Lm VERTICAL IDEOGRAPHIC ITERATION MARK
3400..4DBF ; Han # Lo [6592] CJK UNIFIED IDEOGRAPH-3400..CJK UNIFIED IDEOGRAPH-4DBF
4E00..9FFC ; Han # Lo [20989] CJK UNIFIED IDEOGRAPH-4E00..CJK UNIFIED IDEOGRAPH-9FFC
F900..FA6D ; Han # Lo [366] CJK COMPATIBILITY IDEOGRAPH-F900..CJK COMPATIBILITY IDEOGRAPH-FA6D
FA70..FAD9 ; Han # Lo [106] CJK COMPATIBILITY IDEOGRAPH-FA70..CJK COMPATIBILITY IDEOGRAPH-FAD9
16FF0..16FF1 ; Han # Mc [2] VIETNAMESE ALTERNATE READING MARK CA..VIETNAMESE ALTERNATE READING MARK NHAY
20000..2A6DD ; Han # Lo [42718] CJK UNIFIED IDEOGRAPH-20000..CJK UNIFIED IDEOGRAPH-2A6DD
2A700..2B734 ; Han # Lo [4149] CJK UNIFIED IDEOGRAPH-2A700..CJK UNIFIED IDEOGRAPH-2B734
2B740..2B81D ; Han # Lo [222] CJK UNIFIED IDEOGRAPH-2B740..CJK UNIFIED IDEOGRAPH-2B81D
2B820..2CEA1 ; Han # Lo [5762] CJK UNIFIED IDEOGRAPH-2B820..CJK UNIFIED IDEOGRAPH-2CEA1
2CEB0..2EBE0 ; Han # Lo [7473] CJK UNIFIED IDEOGRAPH-2CEB0..CJK UNIFIED IDEOGRAPH-2EBE0
2F800..2FA1D ; Han # Lo [542] CJK COMPATIBILITY IDEOGRAPH-2F800..CJK COMPATIBILITY IDEOGRAPH-2FA1D
30000..3134A ; Han # Lo [4939] CJK UNIFIED IDEOGRAPH-30000..CJK UNIFIED IDEOGRAPH-3134A
但是许多字符被归类为“通用”,这意味着它们与任何特定的脚本都没有关联。这包括上面提到的全角和半角变体。此外,Unicode 包含的字符的唯一目的是与前面的字符组合或代表某种印刷效果;这些角色的脚本名称为“继承”,这意味着它们继承了附近某个角色的脚本。 (对于组合字符,脚本名称是前面的基本字符,但还有其他“继承字符”,例如零宽度连接器和非连接器字符(U+200C 和 U+200D),其中有是其他规则。)
全角变体的代码为 U+FF01..U+FF60
和 U+FFE0..U+FFE6
; U+FF00 块的其余部分包含半角变体和一些未分配的代码点。参见 the code chart。
通过搜索脚本 UCD table,我还发现了以下名称中包含缩写“CJK”的字符:
31C0..31E3 ; Common # So [36] CJK STROKE T..CJK STROKE Q
1F210..1F23B ; Common # So [44] SQUARED CJK UNIFIED IDEOGRAPH-624B..SQUARED CJK UNIFIED IDEOGRAPH-914D
1F240..1F248 ; Common # So [9] TORTOISE SHELL BRACKETED CJK UNIFIED IDEOGRAPH-672C..TORTOISE SHELL BRACKETED CJK UNIFIED IDEOGRAPH-6557
但我认为这还不是一个详尽的清单;还有代表麻将牌的字符,例如,可能被认为是“中国”。通常,所有指定为“通用”的字符在任何脚本中都将被视为有效,但您可以随心所欲地或多或少地进行区分。
有关脚本和 Script_Extension 属性的完整讨论,请参阅 Unicode Standard Annex 24, the Unicode Script Property。