如何将 Palantir Foundry 与 Amazon S3 或 HDFS 集成
How to integrate Palantir Foundry with Amazon S3 or HDFS
在 Palantir Foundry 平台内,我从事数据集成工作。我需要一些帮助,因为我是 Palantir 软件的新手。是否有关于此主题的文档、白皮书、链接或教程?
如何集成来自其他来源(例如 Amazon S3 或 HDFS)的数据?
Palantir 通常会在客户公司的内部网上提供一个问答论坛,以帮助开发人员和解决问题。
此外,他们还提供现场支持,并且在 Foundry 工作区主页上有一个名为“培训与学习”的部分,提供了入门示例和教程。
要集成来自另一个平台的数据,您需要一个源和同步数据连接。您需要拥有平台权限才能创建这些,并非所有用户都可以,因为它可能涉及组织数据治理策略。
假设您没有具有 S3 有效配置的来源。您需要创建一个。在数据连接上,单击“源”,然后单击“新源”。然后,您可以通过两种方式执行此操作:
- 使用预构建的 S3 源:在新的
New Source
下拉列表中单击 File System
,然后按照向导步骤进行操作
- 使用自定义连接器,例如 magritte-rest:单击同一下拉列表中的
Custom
。
对于magritte-rest:
- Select 可用代理之一,或 Cloud ingest,具体取决于您的偏好
- 为其命名并将其保存到文件夹中。
- 添加如下配置:
type: magritte-rest
url: 'https://foobar.organization.s3.amazonaws.com'
现在要创建同步,使用与此类似的配置:
type: rest-source-adapter
method: GET
path: the/path/in/s3/yourdata
outputFileType: csv
还支持其他输出文件类型(json
、zip
、...)
在 Palantir Foundry 平台内,我从事数据集成工作。我需要一些帮助,因为我是 Palantir 软件的新手。是否有关于此主题的文档、白皮书、链接或教程?
如何集成来自其他来源(例如 Amazon S3 或 HDFS)的数据?
Palantir 通常会在客户公司的内部网上提供一个问答论坛,以帮助开发人员和解决问题。
此外,他们还提供现场支持,并且在 Foundry 工作区主页上有一个名为“培训与学习”的部分,提供了入门示例和教程。
要集成来自另一个平台的数据,您需要一个源和同步数据连接。您需要拥有平台权限才能创建这些,并非所有用户都可以,因为它可能涉及组织数据治理策略。
假设您没有具有 S3 有效配置的来源。您需要创建一个。在数据连接上,单击“源”,然后单击“新源”。然后,您可以通过两种方式执行此操作:
- 使用预构建的 S3 源:在新的
New Source
下拉列表中单击File System
,然后按照向导步骤进行操作 - 使用自定义连接器,例如 magritte-rest:单击同一下拉列表中的
Custom
。
对于magritte-rest:
- Select 可用代理之一,或 Cloud ingest,具体取决于您的偏好
- 为其命名并将其保存到文件夹中。
- 添加如下配置:
type: magritte-rest
url: 'https://foobar.organization.s3.amazonaws.com'
现在要创建同步,使用与此类似的配置:
type: rest-source-adapter
method: GET
path: the/path/in/s3/yourdata
outputFileType: csv
还支持其他输出文件类型(json
、zip
、...)