NetSuite 数据每天导出 100K+ 行
NetSuite Data Export 100K+ rows daily
我正在研究如何每天同步产品（项目）、发票、销售订单和客户的最佳解决方案。我有其他门户网站每晚都在 CSV 中同步近 100 万条记录，并且 运行 完美无缺。
Netsuite 提供 API，但它们似乎都充满了限制，而且您依赖于 RESTful 调用，我发现这些调用对于几行或更新非常有用，但不适合您正在尝试获取 100K - 1M 行。
我倾向于处理大量数据的方法，即：
- 连接到 NetSuite 的数据库连接器（例如 OBDC）
- CSV 导出（不知何故...我听说您可以保存搜索 - 例如创建 "all customers" 搜索，然后每晚自动执行此搜索以导出为 CSV）
感谢任何帮助。所有 NetSuite API 看起来都不错，但我只是看不出它们如何能够可靠地处理每天的如此大的数据集，并且不会达到限制、超时或任何其他问题。
编辑 1：我读到 here 有些人支付（昂贵的）SuiteAnalytics Connect add-on module 并获得了对他们数据的 ODBC 连接访问权限。
他们还说你可以通过 RESTlets 和 SuiteTalk 做到这一点，但我不相信大数据是不可靠的。
编辑 2：安排保存的搜索，将 CSV 作为附件发送 here 并将 CSV 放入文件柜文件夹。从外部服务器调用 webservices 或 RESTlet 以获取文件夹中的新 CSV 文件。
编辑 3：NetSuite Migrations
编辑 4：netsuite suitescript 2.0 export(csv)
我写了一个工具，用于将 csv 从保存的搜索推送到 S3。请参阅捆绑包 271853 或 https://github.com/DeepChannel/netsuite-savedsearch-s3
它可以触发然后传输非常大的结果。
获得数据后，您可以使用更快的 ETL 工具将数据加载到您的 BI 系统中
我正在研究如何每天同步产品（项目）、发票、销售订单和客户的最佳解决方案。我有其他门户网站每晚都在 CSV 中同步近 100 万条记录，并且 运行 完美无缺。
Netsuite 提供 API，但它们似乎都充满了限制，而且您依赖于 RESTful 调用，我发现这些调用对于几行或更新非常有用，但不适合您正在尝试获取 100K - 1M 行。
我倾向于处理大量数据的方法，即：
- 连接到 NetSuite 的数据库连接器（例如 OBDC）
- CSV 导出（不知何故...我听说您可以保存搜索 - 例如创建 "all customers" 搜索，然后每晚自动执行此搜索以导出为 CSV）
感谢任何帮助。所有 NetSuite API 看起来都不错，但我只是看不出它们如何能够可靠地处理每天的如此大的数据集，并且不会达到限制、超时或任何其他问题。
编辑 1：我读到 here 有些人支付（昂贵的）SuiteAnalytics Connect add-on module 并获得了对他们数据的 ODBC 连接访问权限。
他们还说你可以通过 RESTlets 和 SuiteTalk 做到这一点，但我不相信大数据是不可靠的。
编辑 2：安排保存的搜索，将 CSV 作为附件发送 here 并将 CSV 放入文件柜文件夹。从外部服务器调用 webservices 或 RESTlet 以获取文件夹中的新 CSV 文件。
编辑 3：NetSuite Migrations
编辑 4：netsuite suitescript 2.0 export(csv)
我写了一个工具，用于将 csv 从保存的搜索推送到 S3。请参阅捆绑包 271853 或 https://github.com/DeepChannel/netsuite-savedsearch-s3
它可以触发然后传输非常大的结果。
获得数据后，您可以使用更快的 ETL 工具将数据加载到您的 BI 系统中