添加一个新的 cpython 关键字

Question

我目前正在使用 cpython 指南：https://realpython.com/products/cpython-internals-book/

我会详细说明我做了什么以及问题是什么。正如书上所说，我克隆了 github :

git clone directory https://github.com/python/cpython

然后我编译：

./configure --with-pydebug --enable-shared
make -j2 -s

然后，在语法部分，我修改了 python.gram 文件，并在 small_stmt 行添加了：

| ('pass' | 'proceed') { _Py_Pass(EXTRA) }

然后我尝试运行命令 make regen-pegen。我的数据类模块出错，所以我决定从头开始。

全新安装后，我运行命令make all。我不知道这是不是一个错误，但我不再有 python 3.9，而是 python 3.10.

这次命令 make regen-pegen 有效，但是当我尝试使用它时，出现 proceed is not defined 错误。

我尝试从 python.gram 中删除关键字 pass 以查看更改是否被考虑在内。

在尝试重新编译时出现 pass is not defined 错误，因此对文件所做的更改工作正常。

然后我检查了新关键字是否出现在生成的 C 文件中，是的，它就在其中。

    (KeywordToken[]) {{NULL, -1}},
    (KeywordToken[]) {{NULL, -1}},
    (KeywordToken[]) {
        {"if", 509},
        {"in", 517},
        {"ace", 519},
        {"is", 526},
        {"gold", 532},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"del", 502},
        {"try", 510},
        {"for", 516},
        {"def", 522},
        {"not", 525},
        {"and", 533},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"from", 513},
        {"elif", 514},
        {"else", 515},
        {"with", 518},
        {"True", 527},
        {"None", 529},
        {"pass", 530},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"raise", 501},
        {"yield", 503},
        {"break", 505},
        {"while", 511},
        {"class", 523},
        {"False", 528},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"return", 500},
        {"assert", 504},
        {"global", 507},
        {"import", 512},
        {"except", 520},
        {"lambda", 524},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"finally", 521},
        {"proceed", 531},
        {NULL, -1},
    },
    (KeywordToken[]) {
        {"continue", 506},
        {"non-local", 508},
        {NULL, -1},
    },
};

我不明白为什么不考虑更改。谢谢

Answer 1

我没有这本书，这是我第一次编辑 Python 的语法，但我成功了。

构建“常规”Python 3.10 并安装到某个临时目录，如 cpython/build/INSTALL:
```
git clone https://github.com/python/cpython
mkdir cpython/build && cd cpython/build
mkdir INSTALL
../configure --prefix=/full/path/to/cpython/build/INSTALL
make -j4 install
```
我认为像 3.9 这样的早期版本可能工作（我在 3.6 上遇到了一个关于海象运算符的错误，在 3.8 上遇到了一些其他错误，所以这些似乎“太旧了” " 用于构建 3.10），但是 Python 构建速度很快，所以为什么不这样做，以防万一。

修改python.gram:

small_stmt[stmt_ty] (memo):
    | assignment
    ...
    | ('pass' | 'proceed') { _Py_Pass(EXTRA) }  # HERE
    | &'del' del_stmt
    ...

使用新建的Python重新生成解析器：

$ make PYTHON_FOR_REGEN=INSTALL/bin/python3 regen-pegen
PYTHONPATH=../Tools/peg_generator INSTALL/bin/python3 -m pegen -q c \
        ../Grammar/python.gram \
        ../Grammar/Tokens \
        -o ../Parser/parser.new.c
python3 ../Tools/scripts/update_file.py ../Parser/parser.c ../Parser/parser.new.c
$

清理（可能还需要重新配置以安装到不同的路径）并重建：
```
make clean
rm -rf INSTALL/*
make -j4 install
```
这将像之前一样安装到 build/INSTALL。

现在，有趣的部分。您收到此错误：

# huge huge huge traceback...
File "/var/folders/qv/bsx06c394yzb1dlrtcj_9gkc0000gn/T/tmpzt58rw8n/pip-20.2.3-py2.py3-none-any.whl/pip/_vendor/distlib/util.py", line 318
    def proceed(prompt, allowed_chars, error_prompt=None, default=None):
        ^
SyntaxError: invalid syntax

如您所见，有了 new 关键字，现在您不能拥有一个名为 proceed 的函数，所以有些东西会出错。在这种情况下，pip 损坏了，所以这个修改后的 Python 版本不会有 pip，但你也可以去编辑这个特定的文件，看看是否有其他损坏，编辑那个等等

但谁在乎 - Python 本身已成功构建：

$ INSTALL/bin/python3 
Python 3.10.0a2+ (heads/master-dirty:f3cb814315, Nov  5 2020, xx:xx:xx) 
[Clang 11.0.0 (clang-1100.0.33.16)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> proceed # works!
>>> pass
>>>

添加一个新的 cpython 关键字

Add a new cpython keyword

python

cpython

python-3.x