无法将文件从 AWS Glue dynamic_frame 解析为 Pyspark 数据框
Unable to parse file from AWS Glue dynamic_frame to Pyspark Data frame
我是 AWs 胶水的新手。
我在将胶水数据框转换为 pyspark 数据框时遇到问题：
下面是我为读取csv文件而创建的爬虫配置
glue_cityMapDB="csvDb"
glue_cityMapTbl="csv table"
datasource2 = glue_context.create_dynamic_frame.from_catalog(database = glue_cityMapDB, table_name = glue_cityMapTbl, transformation_ctx = "datasource2")
datasource2.show()
print("Show the data source2 city DF")
cityDF=datasource2.toDF()
cityDF.show()
输出：
这里我从胶水 dydf 得到输出 - #datasource2.show()
但是在转换为 pyspark DF 之后，我收到以下错误
S3NativeFileSystem (S3NativeFileSystem.java:open(1208)) - Opening 's3://s3source/read/names.csv' for reading 2020-04-24 05:08:39,789 ERROR [Executor task launch worker for task
感谢是否有人可以提供帮助？
使用UTF-8编码的文件。您可以使用文件检查或使用 inconv 或任何其他文本编辑器（如 sublime）进行转换。
您还可以使用以下方法将文件作为数据帧读取：
df = spark.read.csv('s3://s3source/read/names.csv')
然后使用 fromDF()
转换为动态帧
我是 AWs 胶水的新手。
我在将胶水数据框转换为 pyspark 数据框时遇到问题：
下面是我为读取csv文件而创建的爬虫配置 glue_cityMapDB="csvDb" glue_cityMapTbl="csv table"
datasource2 = glue_context.create_dynamic_frame.from_catalog(database = glue_cityMapDB, table_name = glue_cityMapTbl, transformation_ctx = "datasource2")
datasource2.show()
print("Show the data source2 city DF")
cityDF=datasource2.toDF()
cityDF.show()
输出：
这里我从胶水 dydf 得到输出 - #datasource2.show() 但是在转换为 pyspark DF 之后，我收到以下错误
S3NativeFileSystem (S3NativeFileSystem.java:open(1208)) - Opening 's3://s3source/read/names.csv' for reading 2020-04-24 05:08:39,789 ERROR [Executor task launch worker for task
感谢是否有人可以提供帮助？
使用UTF-8编码的文件。您可以使用文件检查或使用 inconv 或任何其他文本编辑器（如 sublime）进行转换。
您还可以使用以下方法将文件作为数据帧读取：
df = spark.read.csv('s3://s3source/read/names.csv')
然后使用 fromDF()
转换为动态帧