使用 Python 从 Jupyter Notebook 中的相对导入的另一个目录中的模块导入本地函数 3
Import local function from a module housed in another directory with relative imports in Jupyter Notebook using Python 3
我有一个类似于下面的目录结构
meta_project
project1
__init__.py
lib
module.py
__init__.py
notebook_folder
notebook.jpynb
在 notebook.jpynb 中工作时，如果我尝试使用相对导入访问 module.py 中的函数 function()，其中：
from ..project1.lib.module import function
我收到以下错误：
SystemError Traceback (most recent call last)
<ipython-input-7-6393744d93ab> in <module>()
----> 1 from ..project1.lib.module import function
SystemError: Parent module '' not loaded, cannot perform relative import
有什么方法可以使用相对导入让它工作吗？
请注意，笔记本服务器在 meta_project 目录级别实例化，因此它应该可以访问这些文件中的信息。
另外请注意，至少按照最初的意图，project1 没有被认为是一个模块，因此没有 __init__.py 文件，它只是一个文件系统目录。如果问题的解决方案需要将其视为一个模块并包含一个 __init__.py 文件（即使是空白文件）也可以，但这样做并不足以解决问题。
我在机器之间共享这个目录，相对导入允许我在任何地方使用相同的代码，&我经常使用笔记本来快速制作原型，所以涉及破解绝对路径的建议不太可能有帮助。
编辑：这与 Relative imports in Python 3 不同，后者在 Python 3 中一般讨论相对导入，特别是 - 运行 包目录中的脚本。这与在 jupyter notebook 中工作有关，试图调用另一个目录中的本地模块中的函数，该目录具有不同的一般和特定方面。
我在 this notebook 中有与您几乎相同的示例，我想以 DRY 方式说明相邻模块功能的用法。
我的解决方案是通过在笔记本中添加如下片段来告知 Python 该附加模块导入路径：
import os
import sys
module_path = os.path.abspath(os.path.join('..'))
if module_path not in sys.path:
sys.path.append(module_path)
这允许您从模块层次结构中导入所需的函数：
from project1.lib.module import function
# use the function normally
function(...)
请注意，如果您不这样做，则需要将空 __init__.py 文件添加到 project1/ 和 lib/ 文件夹中还没有。
来到这里寻找在笔记本中工作时将代码抽象为子模块的最佳实践。我不确定是否有最佳实践。我一直在提议这个。
这样的项目层次结构：
├── ipynb
│ ├── 20170609-Examine_Database_Requirements.ipynb
│ └── 20170609-Initial_Database_Connection.ipynb
└── lib
├── __init__.py
└── postgres.py
来自 20170609-Initial_Database_Connection.ipynb:
In [1]: cd ..
In [2]: from lib.postgres import database_connection
这是可行的，因为默认情况下 Jupyter Notebook 可以解析 cd 命令。请注意，这不会使用 Python Notebook 魔法。它无需前置 %bash 即可正常工作。
考虑到 100 次中有 99 次我在 Docker 中使用 Project Jupyter Docker images 之一工作，以下修改 是 幂等
In [1]: cd /home/jovyan
In [2]: from lib.postgres import database_connection
到目前为止，接受的答案对我来说效果最好。但是，我一直担心的是，可能会出现这样一种情况，即我可能会将 notebooks 目录重构为子目录，从而需要更改每个笔记本中的 module_path。我决定在每个笔记本目录中添加一个 python 文件来导入所需的模块。
因此，具有以下项目结构：
project
|__notebooks
|__explore
|__ notebook1.ipynb
|__ notebook2.ipynb
|__ project_path.py
|__ explain
|__notebook1.ipynb
|__project_path.py
|__lib
|__ __init__.py
|__ module.py
我在每个笔记本子目录（notebooks/explore 和 notebooks/explain）中添加了文件 project_path.py。此文件包含相对导入的代码（来自@metakermit）：
import sys
import os
module_path = os.path.abspath(os.path.join(os.pardir, os.pardir))
if module_path not in sys.path:
sys.path.append(module_path)
这样，我只需要在 project_path.py 文件中进行相对导入，而不是在笔记本中。然后，笔记本文件只需要在导入 lib 之前导入 project_path。例如 0.0-notebook.ipynb:
import project_path
import lib
这里需要注意的是，逆向导入是行不通的。这不起作用：
import lib
import project_path
因此在导入时必须小心。
我自己研究了这个主题并阅读了我推荐使用 path.py library 的答案，因为它提供了一个用于更改当前工作目录的上下文管理器。
然后你有类似的东西
import path
if path.Path('../lib').isdir():
with path.Path('..'):
import lib
尽管如此，您也可以省略 isdir 语句。
在这里我将添加打印语句，以便于跟踪发生的事情
import path
import pandas
print(path.Path.getcwd())
print(path.Path('../lib').isdir())
if path.Path('../lib').isdir():
with path.Path('..'):
print(path.Path.getcwd())
import lib
print('Success!')
print(path.Path.getcwd())
在此示例中输出（其中 lib 位于 /home/jovyan/shared/notebooks/by-team/data-vis/demos/lib）：
/home/jovyan/shared/notebooks/by-team/data-vis/demos/custom-chart
/home/jovyan/shared/notebooks/by-team/data-vis/demos
/home/jovyan/shared/notebooks/by-team/data-vis/demos/custom-chart
由于该解决方案使用上下文管理器，因此无论您的内核在单元之前处于什么状态，无论导入您的库代码时抛出什么异常，您都可以保证返回到之前的工作目录。
我刚刚找到了这个漂亮的解决方案：
import sys; sys.path.insert(0, '..') # add parent folder path where lib folder is
import lib.store_load # store_load is a file on my library folder
您只需要该文件的某些功能
from lib.store_load import your_function_name
如果python版本>=3.3你不需要init.py文件夹中的文件
这是我的 2 美分：
import sys
# map the path where the module file is located. In my case it was the desktop
sys.path.append('/Users/John/Desktop')
# Either import the whole mapping module BUT then you have to use the .notation to map the classes like mapping.Shipping()
import mapping #mapping.py is the name of my module file
shipit = mapping.Shipment() #Shipment is the name of the class I need to use in the mapping module
# Or import the specific class from the mapping module
from mapping import Mapping
shipit = Shipment() #Now you don't have to use the .notation
我发现 python-dotenv 有助于非常有效地解决这个问题。您的项目结构最终会略有变化，但您的笔记本中的代码会更简单一些并且在笔记本之间保持一致。
为您的项目做一些安装。
pipenv install python-dotenv
然后，项目更改为：
├── .env (this can be empty)
├── ipynb
│ ├── 20170609-Examine_Database_Requirements.ipynb
│ └── 20170609-Initial_Database_Connection.ipynb
└── lib
├── __init__.py
└── postgres.py
最后，您的导入更改为：
import os
import sys
from dotenv import find_dotenv
sys.path.append(os.path.dirname(find_dotenv()))
这个包的 +1 是你的笔记本可以深入几个目录。 python-dotenv 将在父目录中找到最近的一个并使用它。这种方法的 +2 是 jupyter 将在启动时从 .env 文件加载环境变量。双重打击。
这里的所有其他答案取决于在笔记本中添加代码 (!)
在我看来，将特定路径硬编码到笔记本代码中或以其他方式依赖于位置是一种不好的做法，因为这会使以后重构代码变得非常困难。相反，我建议您在启动 Jupyter Notebook 服务器时将根项目文件夹添加到 PYTHONPATH，或者直接从项目文件夹中添加
env PYTHONPATH=`pwd` jupyter notebook
或者如果您是从其他地方启动它，请像这样使用绝对路径
env PYTHONPATH=/Users/foo/bar/project/ jupyter notebook
对于那些像我一样不了解解决方案的人，您必须根据具体问题的需要深入目录。此错误的解决方案：
No module named 'your_folder'
我使用的笔记本在：
C:\Users\vojte\projects\predicta\EDA\apartments\EDA.ipynb
我想导入这个笔记本：
C:\Users\vojte\projects\functions\functions.ipynb
我不得不将@metakermit 上面的解决方案修改为这个解决方案：
import os
import sys
module_path = os.path.abspath(os.path.join('..\..\..'))
if module_path not in sys.path:
sys.path.append(module_path)
from functions import functions as f
您可以查看 sys.path 附加目录。在此示例中，附加了这一行：
C:\Users\vojte\projects
改进@joshua-cook 使用 cd..，以确保您没有重新 运行 单元格并在使用 run all 时弄乱您的目录没有 restart，请改用此代码：
if 'NOTEBOOK_INITIATED_FLAG' not in globals():
NOTEBOOK_INITIATED_FLAG = True
%cd ..
%pwd
NOTEBOOK_INITIATED_FLAG 用作标记内核已经 运行ning 的占位符，因此不需要更改目录。
如果您想使用父文件夹中的 .py 文件 jupytext 和 运行，这就是超级复杂的样板文件：
import os
import sys
if 'NOTEBOOK_INITIATED_FLAG' not in globals():
NOTEBOOK_INITIATED_FLAG = True
try:
# not in notebook
module_path = os.path.join(os.path.dirname(__file__), os.pardir)
except:
# in notebook
module_path = os.path.abspath(os.path.join('..'))
%cd ..
%pwd
if module_path not in sys.path:
sys.path.append(module_path)
我有一个类似于下面的目录结构
meta_project
project1
__init__.py
lib
module.py
__init__.py
notebook_folder
notebook.jpynb
在 notebook.jpynb 中工作时，如果我尝试使用相对导入访问 module.py 中的函数 function()，其中：
from ..project1.lib.module import function
我收到以下错误：
SystemError Traceback (most recent call last)
<ipython-input-7-6393744d93ab> in <module>()
----> 1 from ..project1.lib.module import function
SystemError: Parent module '' not loaded, cannot perform relative import
有什么方法可以使用相对导入让它工作吗？
请注意，笔记本服务器在 meta_project 目录级别实例化，因此它应该可以访问这些文件中的信息。
另外请注意，至少按照最初的意图，project1 没有被认为是一个模块，因此没有 __init__.py 文件，它只是一个文件系统目录。如果问题的解决方案需要将其视为一个模块并包含一个 __init__.py 文件（即使是空白文件）也可以，但这样做并不足以解决问题。
我在机器之间共享这个目录，相对导入允许我在任何地方使用相同的代码，&我经常使用笔记本来快速制作原型，所以涉及破解绝对路径的建议不太可能有帮助。
编辑：这与 Relative imports in Python 3 不同，后者在 Python 3 中一般讨论相对导入，特别是 - 运行 包目录中的脚本。这与在 jupyter notebook 中工作有关，试图调用另一个目录中的本地模块中的函数，该目录具有不同的一般和特定方面。
我在 this notebook 中有与您几乎相同的示例，我想以 DRY 方式说明相邻模块功能的用法。
我的解决方案是通过在笔记本中添加如下片段来告知 Python 该附加模块导入路径：
import os
import sys
module_path = os.path.abspath(os.path.join('..'))
if module_path not in sys.path:
sys.path.append(module_path)
这允许您从模块层次结构中导入所需的函数：
from project1.lib.module import function
# use the function normally
function(...)
请注意，如果您不这样做，则需要将空 __init__.py 文件添加到 project1/ 和 lib/ 文件夹中还没有。
来到这里寻找在笔记本中工作时将代码抽象为子模块的最佳实践。我不确定是否有最佳实践。我一直在提议这个。
这样的项目层次结构：
├── ipynb
│ ├── 20170609-Examine_Database_Requirements.ipynb
│ └── 20170609-Initial_Database_Connection.ipynb
└── lib
├── __init__.py
└── postgres.py
来自 20170609-Initial_Database_Connection.ipynb:
In [1]: cd ..
In [2]: from lib.postgres import database_connection
这是可行的，因为默认情况下 Jupyter Notebook 可以解析 cd 命令。请注意，这不会使用 Python Notebook 魔法。它无需前置 %bash 即可正常工作。
考虑到 100 次中有 99 次我在 Docker 中使用 Project Jupyter Docker images 之一工作，以下修改 是 幂等
In [1]: cd /home/jovyan
In [2]: from lib.postgres import database_connection
到目前为止，接受的答案对我来说效果最好。但是，我一直担心的是，可能会出现这样一种情况，即我可能会将 notebooks 目录重构为子目录，从而需要更改每个笔记本中的 module_path。我决定在每个笔记本目录中添加一个 python 文件来导入所需的模块。
因此，具有以下项目结构：
project
|__notebooks
|__explore
|__ notebook1.ipynb
|__ notebook2.ipynb
|__ project_path.py
|__ explain
|__notebook1.ipynb
|__project_path.py
|__lib
|__ __init__.py
|__ module.py
我在每个笔记本子目录（notebooks/explore 和 notebooks/explain）中添加了文件 project_path.py。此文件包含相对导入的代码（来自@metakermit）：
import sys
import os
module_path = os.path.abspath(os.path.join(os.pardir, os.pardir))
if module_path not in sys.path:
sys.path.append(module_path)
这样，我只需要在 project_path.py 文件中进行相对导入，而不是在笔记本中。然后，笔记本文件只需要在导入 lib 之前导入 project_path。例如 0.0-notebook.ipynb:
import project_path
import lib
这里需要注意的是，逆向导入是行不通的。这不起作用：
import lib
import project_path
因此在导入时必须小心。
我自己研究了这个主题并阅读了我推荐使用 path.py library 的答案，因为它提供了一个用于更改当前工作目录的上下文管理器。
然后你有类似的东西
import path
if path.Path('../lib').isdir():
with path.Path('..'):
import lib
尽管如此，您也可以省略 isdir 语句。
在这里我将添加打印语句，以便于跟踪发生的事情
import path
import pandas
print(path.Path.getcwd())
print(path.Path('../lib').isdir())
if path.Path('../lib').isdir():
with path.Path('..'):
print(path.Path.getcwd())
import lib
print('Success!')
print(path.Path.getcwd())
在此示例中输出（其中 lib 位于 /home/jovyan/shared/notebooks/by-team/data-vis/demos/lib）：
/home/jovyan/shared/notebooks/by-team/data-vis/demos/custom-chart
/home/jovyan/shared/notebooks/by-team/data-vis/demos
/home/jovyan/shared/notebooks/by-team/data-vis/demos/custom-chart
由于该解决方案使用上下文管理器，因此无论您的内核在单元之前处于什么状态，无论导入您的库代码时抛出什么异常，您都可以保证返回到之前的工作目录。
我刚刚找到了这个漂亮的解决方案：
import sys; sys.path.insert(0, '..') # add parent folder path where lib folder is
import lib.store_load # store_load is a file on my library folder
您只需要该文件的某些功能
from lib.store_load import your_function_name
如果python版本>=3.3你不需要init.py文件夹中的文件
这是我的 2 美分：
import sys
# map the path where the module file is located. In my case it was the desktop
sys.path.append('/Users/John/Desktop')
# Either import the whole mapping module BUT then you have to use the .notation to map the classes like mapping.Shipping()
import mapping #mapping.py is the name of my module file
shipit = mapping.Shipment() #Shipment is the name of the class I need to use in the mapping module
# Or import the specific class from the mapping module
from mapping import Mapping
shipit = Shipment() #Now you don't have to use the .notation
我发现 python-dotenv 有助于非常有效地解决这个问题。您的项目结构最终会略有变化，但您的笔记本中的代码会更简单一些并且在笔记本之间保持一致。
为您的项目做一些安装。
pipenv install python-dotenv
然后，项目更改为：
├── .env (this can be empty)
├── ipynb
│ ├── 20170609-Examine_Database_Requirements.ipynb
│ └── 20170609-Initial_Database_Connection.ipynb
└── lib
├── __init__.py
└── postgres.py
最后，您的导入更改为：
import os
import sys
from dotenv import find_dotenv
sys.path.append(os.path.dirname(find_dotenv()))
这个包的 +1 是你的笔记本可以深入几个目录。 python-dotenv 将在父目录中找到最近的一个并使用它。这种方法的 +2 是 jupyter 将在启动时从 .env 文件加载环境变量。双重打击。
这里的所有其他答案取决于在笔记本中添加代码 (!)
在我看来，将特定路径硬编码到笔记本代码中或以其他方式依赖于位置是一种不好的做法，因为这会使以后重构代码变得非常困难。相反，我建议您在启动 Jupyter Notebook 服务器时将根项目文件夹添加到 PYTHONPATH，或者直接从项目文件夹中添加
env PYTHONPATH=`pwd` jupyter notebook
或者如果您是从其他地方启动它，请像这样使用绝对路径
env PYTHONPATH=/Users/foo/bar/project/ jupyter notebook
对于那些像我一样不了解解决方案的人，您必须根据具体问题的需要深入目录。此错误的解决方案：
No module named 'your_folder'
我使用的笔记本在：
C:\Users\vojte\projects\predicta\EDA\apartments\EDA.ipynb
我想导入这个笔记本：
C:\Users\vojte\projects\functions\functions.ipynb
我不得不将@metakermit 上面的解决方案修改为这个解决方案：
import os
import sys
module_path = os.path.abspath(os.path.join('..\..\..'))
if module_path not in sys.path:
sys.path.append(module_path)
from functions import functions as f
您可以查看 sys.path 附加目录。在此示例中，附加了这一行：
C:\Users\vojte\projects
改进@joshua-cook cd..，以确保您没有重新 运行 单元格并在使用 run all 时弄乱您的目录没有 restart，请改用此代码：
if 'NOTEBOOK_INITIATED_FLAG' not in globals():
NOTEBOOK_INITIATED_FLAG = True
%cd ..
%pwd
NOTEBOOK_INITIATED_FLAG 用作标记内核已经 运行ning 的占位符，因此不需要更改目录。
如果您想使用父文件夹中的 .py 文件 jupytext 和 运行，这就是超级复杂的样板文件：
import os
import sys
if 'NOTEBOOK_INITIATED_FLAG' not in globals():
NOTEBOOK_INITIATED_FLAG = True
try:
# not in notebook
module_path = os.path.join(os.path.dirname(__file__), os.pardir)
except:
# in notebook
module_path = os.path.abspath(os.path.join('..'))
%cd ..
%pwd
if module_path not in sys.path:
sys.path.append(module_path)