Json Cloud Dataproc 库
Json library for Cloud Dataproc
我需要为 Google Cloud Dataproc 找到一个 json 库。
我有点不确定在哪里可以找到支持的 json 库的列表。
或者,如果我自己编写,哪些依赖项可以纳入 Dataproc?
非常感谢有关此主题的任何数据。
此致,
奥列格
如果您谈论的是 reading/parsing JSON 个对象,那么您可以在 Dataproc 上使用 Gson library witch is a part 的 Hadoop 发行版。
此外,您可以使用您选择的 JSON 库和任何其他依赖项,但您应该 create uber jar 将所有这些 libraries/dependencies 包含在其中。
如果您在谈论 Google JSON API Client libraries, than Dataproc by default deploys 1.20.0 version as part of GCS and BQ connectors. You still can use newer JSON API Client library version if you will relocate 它在您作业的 uber jar 中,以避免与部署到 Dataproc 的版本发生冲突。
在 Dataproc here 中查看有关冲突依赖项管理的更详细答案。
我需要为 Google Cloud Dataproc 找到一个 json 库。 我有点不确定在哪里可以找到支持的 json 库的列表。 或者,如果我自己编写,哪些依赖项可以纳入 Dataproc?
非常感谢有关此主题的任何数据。
此致, 奥列格
如果您谈论的是 reading/parsing JSON 个对象,那么您可以在 Dataproc 上使用 Gson library witch is a part 的 Hadoop 发行版。
此外,您可以使用您选择的 JSON 库和任何其他依赖项,但您应该 create uber jar 将所有这些 libraries/dependencies 包含在其中。
如果您在谈论 Google JSON API Client libraries, than Dataproc by default deploys 1.20.0 version as part of GCS and BQ connectors. You still can use newer JSON API Client library version if you will relocate 它在您作业的 uber jar 中,以避免与部署到 Dataproc 的版本发生冲突。
在 Dataproc here 中查看有关冲突依赖项管理的更详细答案。