匹配所有韩语（韩语）字符和音节块的正则表达式

Question

我正在尝试验证用户输入（在 Python 中）并查看是否使用了正确的语言，在本例中为韩语。让我们用韩语单词表示电子邮件地址：이메일 주소

我可以像这样检查每个字符：

import unicodedata as ud
for chr in u'이메일 주소':
    if 'HANGUL' in ud.name(chr): print "Yep, that's a Korean character."

但这似乎非常低效，尤其是对于较长的文本。当然，我可以创建一个包含所有韩语音节块的静态字典，但该字典将包含大约 25,000 个字符，而且检查起来效率很低。另外，我还需要日文和中文的解决方案，可能包含更多的字符。

因此，我想使用覆盖韩文音节块的所有 Unicode 字符的正则表达式模式。但我不知道是否有范围或在哪里可以找到它。

例如，此正则表达式模式涵盖所有基于拉丁语的字符，包括方括号和其他常用符号：

import re
LATIN_CHARACTERS = re.compile(ur'[\x00-\x7F\x80-\xFF\u0100-\u017F\u0180-\u024F\u1E00-\u1EFF]')

有人可以翻译这个正则表达式来匹配韩语 Hangul 音节块吗？或者你能告诉我一个 table 或自己查找这些范围的参考吗？

匹配中文和日文的模式也会很有帮助。或者一个正则表达式来一次匹配所有 CJK 字符。我不需要区分日语和韩语。

这里有一个用于该任务的 Python 库，但它适用于非常庞大的词典：https://github.com/EliFinkelshteyn/alphabet-detector 我无法想象这对于大文本和大量用户输入是有效的。

谢谢！

Answer 1

您是否知道 Unicode 是如何分成块的，以及每个块如何表示连续的代码点范围？ IE，有一个比正则表达式更有效的解决方案。

Hangul Jamo, with additional characters in the CJK block, a compatability block, Hangul syllables 等只有一个代码块

最有效的方法是使用if/then语句检查每个字符是否在可接受的范围内。您几乎可以肯定地使用 C 扩展来加快速度。

例如，如果我只是检查 Hangul 块（不充分，但只是一个简单的起点），我将使用以下代码检查字符串中的每个字符：

def is_hangul_character(char):
    '''Check if character is in the Hangul Jamo block'''

    value = ord(char)
    return value >= 4352 and value <= 4607


def is_hangul(string):
    '''Check if all characters are in the Hangul Jamo block'''

    return all(is_hangul_character(i) for i in string)

将它扩展到包含韩文字符的 8 个左右 blocks 很容易。没有表查找，没有正则表达式编译。只是基于 Unicode 字符块的快速范围检查。

在 C 中，这也很容易（如果您想要显着提高性能，只需很少的工作即可匹配完全优化的库）：

// Return 0 if a character is in Hangul Jamo block, -1 otherwise
int is_hangul_character(char c)
{
    if (c >= 4352 && c <= 4607) {
        return 0;
    }
    return -1;
}


// Return 0 if all characters are in Hangul Jamo block, -1 otherwise
int is_hangul(const char* string, size_t length)
{
    size_t i;
    for (i = 0; i < length; ++i) {
        if (is_hangul_character(string[i]) < 0) {
            return -1;
        }
    }
    return 0;
}

编辑粗略地看一下 CPython 的实现，就会发现 CPython 对 unicodedata 模块使用了这种方法。 IE，尽管你自己实现它相对容易，但它是高效的。它仍然值得实施，因为您不必分配任何中间字符串，或使用多余的字符串比较（这可能是 unicodedata 模块的主要成本）。

Answer 2

如果您想要一个不依赖于实用程序的 unicode 合规性的解决方案，对于 AC00-D7AF 的主要块，您可以使用

(([2][0-7]|[34][0-7]|
[5][0-5])[0-7]|[5][6][0-3]) # mawk/gawk -b

扩展出来的平板将是

(56(0|1|2|3|4|5|6|7|
0|1|2|3|4|5|6|7|0|1|
2|3|4|5|6|7|0|1|2|3|
4|5|6|7|0|1|2|3)|
(2(0|1|2|3|4|5|6|
7|0|1|2|3|4|5|6|7)|
5(0|1|2|3|4|5|6|7|
0|1|2|3|4|5|6|7|0|
1|2|3|4|5|6|7|0|1|
2|3|4|5)|(3|4)
(0|1|2|3|4|5|6|7|0|
1|2|3|4|5|6|7|0|1|
2|3|4|5|6|7|0|1|2|
3|4|5|6|7|0|1|2|3|
4|5|6|7|0|1|2|3|4|
5|6|7|0|1|2|3|4|5|
6|7|0|1|2|3|4|5|6|
7))(0|1|2|3|4|5|6|7|0
|1|2|3|4|5|6|7|0|1
|2|3|4|5|6|7|0|1|2
|3|4|5|6|7|0|1|2|3
|4|5|6|7|0|1|2|3|4
|5|6|7|0|1|2|3|4|5
|6|7|0|1|2|3|4|5|6|7))

如果您需要额外的东西 - jamo、兼容性 jamo、带圆圈的表格、带括号的表格和半角表格，请将此附加到上面的表格中

任一

 [140-177
  340-367
  250-257
  560-577
  306-307
  300-306
  310-316
  760-766
  772-777
  772-777
  772-777
  772-774]  # gawk unicode-mode only

或

 ((35|57|1(4|5|6|7))
(0|1|2|3|4|5|6|7|0|1
|2|3|4|5|6|7|0|1|2|3
|4|5|6|7|0|1|2|3|4|5
|6|7|0|1|2|3|4|5|6|7
|0|1|2|3|4|5|6|7|0|1
|2|3|4|5|6|7|0|1|2|3
|4|5|6|7)|(34|56)(0|1
|2|3|4|5|6|7|0|1
|2|3|4|5|6|7)|36(0|1
|2|3|4|5|6|7|0|1|2|3
|4|5|6|7)|25(0|1|2|3
|4|5|6|7|0|1|2|3|4|5
|6|7|0|1|2|3|4|5|6|7
|0|1|2|3|4|5|6|7)
|306|307|
30(0|1|2|3|4|5|6|7
|0|1|2|3|4|5|6|7|0|1|
2|3|4|5|6|7|0|1|2|3|
4|5|6)|(31|76)
(0|1|2|3|4|5|6|7|0|1
|2|3|4|5|6|7|0|1|2|3
|4|5|6|7|0|1|2|3|4|5
|6)|77(2|3|4|5|6|7|2
|3|4|5|6|7|2|3|4|5|6
|7|2|3|4))

如果您只需要构成 11,172 个音节集合的现代 jamo，那么它就干净多了:

((1)((4)[0-2]|(5)[1-5]|(6)[0-7]|(7)[0-2]))

或者如果你更喜欢没有多余括号的：

(1(4[0-2]|5[1-5]|6[0-7]|7[0-2]))

ps ：为了便于阅读，我只在此处设置了这样的格式。这些八进制代码之间没有任何空格选项卡或换行符。这是一个连续的字符串。

就我个人而言，我更愿意自己使用干净的现代正则表达式，但是使用这些八进制对于我自己来说是使 mawk1.3.4 和 mawk2-beta 完全符合 UTF8 标准的必要条件。

（至少在 lengthC() ordC() substrC() 和字符级拆分方面，但在 UC13 代码点级别，加上仅韩文的 NFD 到 NFC。

但没有像字素簇或双向文本那样奇特的）

匹配所有韩语（韩语）字符和音节块的正则表达式

Regex to match all Hangul (Korean) characters and syllable blocks

python

regex

validation

character

alphabet