AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks'>
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks'>
我在 AWS EMR 上使用 pyspark（4 r5.xlarge 作为 4 个工作人员，每个工作人员有一个执行程序和 4 个核心），我得到了 AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks'。下面是引发此错误的代码片段：
search = SearchEngine(db_file_dir = "/tmp/db")
conn = sqlite3.connect("/tmp/db/simple_db.sqlite")
pdf_ = pd.read_sql_query('''select zipcode, lat, lng,
bounds_west, bounds_east, bounds_north, bounds_south from
simple_zipcode''',conn)
brd_pdf = spark.sparkContext.broadcast(pdf_)
conn.close()
@udf('string')
def get_zip_b(lat, lng):
pdf = brd_pdf.value
out = pdf[(np.array(pdf["bounds_north"]) >= lat) &
(np.array(pdf["bounds_south"]) <= lat) &
(np.array(pdf['bounds_west']) <= lng) &
(np.array(pdf['bounds_east']) >= lng) ]
if len(out):
min_index = np.argmin( (np.array(out["lat"]) - lat)**2 + (np.array(out["lng"]) - lng)**2)
zip_ = str(out["zipcode"].iloc[min_index])
else:
zip_ = 'bad'
return zip_
df = df.withColumn('zipcode', get_zip_b(col("latitude"),col("longitude")))
下面是回溯，其中第 102 行，在 get_zip_b 中指的是 pdf = brd_pdf.value:
21/08/02 06:18:19 WARN TaskSetManager: Lost task 12.0 in stage 7.0 (TID 1814, ip-10-22-17-94.pclc0.merkle.local, executor 6): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 605, in main
process()
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 597, in process
serializer.dump_stream(out_iter, outfile)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 223, in dump_stream
self.serializer.dump_stream(self._batched(iterator), stream)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 141, in dump_stream
for obj in iterator:
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 212, in _batched
for item in iterator:
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 450, in mapper
result = tuple(f(*[a[o] for o in arg_offsets]) for (arg_offsets, f) in udfs)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 450, in <genexpr>
result = tuple(f(*[a[o] for o in arg_offsets]) for (arg_offsets, f) in udfs)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 90, in <lambda>
return lambda *a: f(*a)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/util.py", line 121, in wrapper
return f(*args, **kwargs)
File "/mnt/var/lib/hadoop/steps/s-1IBFS0SYWA19Z/Mobile_ID_process_center.py", line 102, in get_zip_b
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 146, in value
self._value = self.load_from_path(self._path)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 123, in load_from_path
return self.load(f)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 129, in load
return pickle.load(file)
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '/mnt/miniconda/lib/python3.9/site-packages/pandas/core/internals/blocks.py'>
一些观察和思考过程：
1、网上查了下，pyspark的AttributeError好像是driver和worker的pandas版本不匹配导致的？
2，但我 运行 在两个不同的数据集上使用相同的代码，一个没有任何错误，但另一个没有，这看起来非常 st运行ge 和不确定性，而且看起来比如错误可能不是由 pandas 版本不匹配引起的。否则，两个数据集都不会成功。
3，然后我再次在成功的数据集上 运行 相同的代码，但这次使用不同的 spark 配置：将 spark.driver.memory 从 2048M 设置为 4192m，它抛出了 AttributeError。
4、综上所述，我认为AttributeError与driver有关。但我无法从错误消息中判断出它们之间的关系，以及如何修复它：AttributeError: Can't get attribute 'new_block' on
我在服务器中使用 pandas 1.3.2 而在我的客户端中使用 1.2 时遇到了同样的错误。
将 pandas 降级到 1.2 解决了问题。
解决方案
- 保持pickle文件不变，升级你的pandas版本到1.3.x然后加载泡菜文件。
或者
- 保持当前 pandas 版本不变，将 pandas 版本 降级为 1.2.x 转储side，然后使用 v1.2.x 转储一个新的 pickle 文件。用你的 pandas 版本 1.2.x
加载它
简而言之
你用来转储泡菜的 pandas 版本（dump_version，可能是 1.3.x）与你的 pandas 用于加载 pickle 的版本 (load_version, 可能是 1.2.x) 。解决办法，尝试升级pandas版本(load_version)到1.3.x加载环境，然后加载泡菜。或者将 pandas 版本(dump_version) 降级为 1.2.x 然后重新转储一个新的泡菜。在此之后，您可以使用您的 pandas 版本 1.2.x
加载新的 pickle
这与 PySpark没有任何关系
中长
此问题与 Pandas 版本 1.2.x 和 1.3.x 之间的 向后不兼容 有关。在1.2.5及之前的版本中，Pandas使用模块pandas.core.internals.blocks中的变量名new_blocks cf source code v1.2.5. On 2 July 2021, Pandas released version 1.3.0. In this update, Pandas changed the api, the variable name new_blocks in module pandas.core.internals.blocks has been changed to new_block cf source code v1.3.0.
此 API 的更改将导致两个不兼容错误：
- 如果您使用 Pandas v1.3.x 转储了 pickle，然后尝试使用 Pandas v1.2.x 加载 pickle，您将获得以下错误：
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '.../site-packages/pandas/core/internals/blocks.py'>'>
Python 抛出此错误抱怨它无法在您当前的 pandas.core.internals.blocks 上找到属性 new_block 因为为了 pickle 加载一个对象，它必须使用完全相同的class 用来倒泡菜。
这正是你的情况：用 Pandas v1.3.x 倾倒泡菜并尝试用 Pandas v1.[=96 加载泡菜=]
重现错误
pip install --upgrade pandas==1.3.4
import numpy as np
import pandas as pd
df =pd.DataFrame(np.random.rand(3,6))
with open("dump_from_v1.3.4.pickle", "wb") as f:
pickle.dump(df, f)
quit()
pip install --upgrade pandas==1.2.5
import pickle
with open("dump_from_v1.3.4.pickle", "rb") as f:
df = pickle.load(f)
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-2-ff5c218eca92> in <module>
1 with open("dump_from_v1.3.4.pickle", "rb") as f:
----> 2 df = pickle.load(f)
3
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/blocks.py'>
我遇到了同样的问题。如果你使用 spyder，试试 jupyter notebooks。我在 spyder 中有同样的错误，但在 jupyter notebooks 中它起作用了。
重启spyder就解决了我的问题！
pip install --upgrade --user pandas==1.3
(+ 重启)
我在以下情况下遇到了相同的 AttributeError：
- Pickle 文件是在 Windows 机器上使用 Pandas 1.4.0 创建的，Python 3.8
- 我尝试在 Debian 机器上使用 Pandas 1.3.5、Python 3.7
加载文件
如果您有一个大型模型对象并且无法更改环境，则替代绕过建议：只需将您的 DataFrame 对象导出为另一种文件类型，例如 .csv。
我在 AWS EMR 上使用 pyspark（4 r5.xlarge 作为 4 个工作人员，每个工作人员有一个执行程序和 4 个核心），我得到了 AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks'。下面是引发此错误的代码片段：
search = SearchEngine(db_file_dir = "/tmp/db")
conn = sqlite3.connect("/tmp/db/simple_db.sqlite")
pdf_ = pd.read_sql_query('''select zipcode, lat, lng,
bounds_west, bounds_east, bounds_north, bounds_south from
simple_zipcode''',conn)
brd_pdf = spark.sparkContext.broadcast(pdf_)
conn.close()
@udf('string')
def get_zip_b(lat, lng):
pdf = brd_pdf.value
out = pdf[(np.array(pdf["bounds_north"]) >= lat) &
(np.array(pdf["bounds_south"]) <= lat) &
(np.array(pdf['bounds_west']) <= lng) &
(np.array(pdf['bounds_east']) >= lng) ]
if len(out):
min_index = np.argmin( (np.array(out["lat"]) - lat)**2 + (np.array(out["lng"]) - lng)**2)
zip_ = str(out["zipcode"].iloc[min_index])
else:
zip_ = 'bad'
return zip_
df = df.withColumn('zipcode', get_zip_b(col("latitude"),col("longitude")))
下面是回溯，其中第 102 行，在 get_zip_b 中指的是 pdf = brd_pdf.value:
21/08/02 06:18:19 WARN TaskSetManager: Lost task 12.0 in stage 7.0 (TID 1814, ip-10-22-17-94.pclc0.merkle.local, executor 6): org.apache.spark.api.python.PythonException: Traceback (most recent call last):
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 605, in main
process()
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 597, in process
serializer.dump_stream(out_iter, outfile)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 223, in dump_stream
self.serializer.dump_stream(self._batched(iterator), stream)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 141, in dump_stream
for obj in iterator:
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/serializers.py", line 212, in _batched
for item in iterator:
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 450, in mapper
result = tuple(f(*[a[o] for o in arg_offsets]) for (arg_offsets, f) in udfs)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 450, in <genexpr>
result = tuple(f(*[a[o] for o in arg_offsets]) for (arg_offsets, f) in udfs)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/worker.py", line 90, in <lambda>
return lambda *a: f(*a)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/util.py", line 121, in wrapper
return f(*args, **kwargs)
File "/mnt/var/lib/hadoop/steps/s-1IBFS0SYWA19Z/Mobile_ID_process_center.py", line 102, in get_zip_b
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 146, in value
self._value = self.load_from_path(self._path)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 123, in load_from_path
return self.load(f)
File "/mnt/yarn/usercache/hadoop/appcache/application_1627867699893_0001/container_1627867699893_0001_01_000009/pyspark.zip/pyspark/broadcast.py", line 129, in load
return pickle.load(file)
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '/mnt/miniconda/lib/python3.9/site-packages/pandas/core/internals/blocks.py'>
一些观察和思考过程：
1、网上查了下，pyspark的AttributeError好像是driver和worker的pandas版本不匹配导致的？
2，但我 运行 在两个不同的数据集上使用相同的代码，一个没有任何错误，但另一个没有，这看起来非常 st运行ge 和不确定性，而且看起来比如错误可能不是由 pandas 版本不匹配引起的。否则，两个数据集都不会成功。
3，然后我再次在成功的数据集上 运行 相同的代码，但这次使用不同的 spark 配置：将 spark.driver.memory 从 2048M 设置为 4192m，它抛出了 AttributeError。
4、综上所述，我认为AttributeError与driver有关。但我无法从错误消息中判断出它们之间的关系，以及如何修复它：AttributeError: Can't get attribute 'new_block' on
我在服务器中使用 pandas 1.3.2 而在我的客户端中使用 1.2 时遇到了同样的错误。 将 pandas 降级到 1.2 解决了问题。
解决方案
- 保持pickle文件不变，升级你的pandas版本到1.3.x然后加载泡菜文件。
或者
- 保持当前 pandas 版本不变，将 pandas 版本 降级为 1.2.x 转储side，然后使用 v1.2.x 转储一个新的 pickle 文件。用你的 pandas 版本 1.2.x 加载它
简而言之
你用来转储泡菜的 pandas 版本（dump_version，可能是 1.3.x）与你的 pandas 用于加载 pickle 的版本 (load_version, 可能是 1.2.x) 。解决办法，尝试升级pandas版本(load_version)到1.3.x加载环境，然后加载泡菜。或者将 pandas 版本(dump_version) 降级为 1.2.x 然后重新转储一个新的泡菜。在此之后，您可以使用您的 pandas 版本 1.2.x
加载新的 pickle这与 PySpark没有任何关系
中长
此问题与 Pandas 版本 1.2.x 和 1.3.x 之间的 向后不兼容 有关。在1.2.5及之前的版本中，Pandas使用模块pandas.core.internals.blocks中的变量名new_blocks cf source code v1.2.5. On 2 July 2021, Pandas released version 1.3.0. In this update, Pandas changed the api, the variable name new_blocks in module pandas.core.internals.blocks has been changed to new_block cf source code v1.3.0.
此 API 的更改将导致两个不兼容错误：
- 如果您使用 Pandas v1.3.x 转储了 pickle，然后尝试使用 Pandas v1.2.x 加载 pickle，您将获得以下错误：
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '.../site-packages/pandas/core/internals/blocks.py'>'>
Python 抛出此错误抱怨它无法在您当前的 pandas.core.internals.blocks 上找到属性 new_block 因为为了 pickle 加载一个对象，它必须使用完全相同的class 用来倒泡菜。
这正是你的情况：用 Pandas v1.3.x 倾倒泡菜并尝试用 Pandas v1.[=96 加载泡菜=]
重现错误
pip install --upgrade pandas==1.3.4
import numpy as np
import pandas as pd
df =pd.DataFrame(np.random.rand(3,6))
with open("dump_from_v1.3.4.pickle", "wb") as f:
pickle.dump(df, f)
quit()
pip install --upgrade pandas==1.2.5
import pickle
with open("dump_from_v1.3.4.pickle", "rb") as f:
df = pickle.load(f)
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-2-ff5c218eca92> in <module>
1 with open("dump_from_v1.3.4.pickle", "rb") as f:
----> 2 df = pickle.load(f)
3
AttributeError: Can't get attribute 'new_block' on <module 'pandas.core.internals.blocks' from '/opt/anaconda3/lib/python3.7/site-packages/pandas/core/internals/blocks.py'>
我遇到了同样的问题。如果你使用 spyder，试试 jupyter notebooks。我在 spyder 中有同样的错误，但在 jupyter notebooks 中它起作用了。
重启spyder就解决了我的问题！
pip install --upgrade --user pandas==1.3 (+ 重启)
我在以下情况下遇到了相同的 AttributeError：
- Pickle 文件是在 Windows 机器上使用 Pandas 1.4.0 创建的，Python 3.8
- 我尝试在 Debian 机器上使用 Pandas 1.3.5、Python 3.7 加载文件
如果您有一个大型模型对象并且无法更改环境，则替代绕过建议：只需将您的 DataFrame 对象导出为另一种文件类型，例如 .csv。