ETL - 自动将数据从一个数据库传输到另一个数据库
ETL - Automate Data Transfer from One Database to another
我精通数据以及如何移动和操作数据，但是我已经使用了 5 到 6 年的流程现在大多是手动的。虽然有大量的宏、查询、函数和其他预编码方法可以帮助将数据移动和操作到我的 Oracle 数据库中，但除非有人在那里实现它，否则整个过程无法完成。
我在这里的问题是想知道关于如何将数据从一个系统移出并移入另一个系统的过程自动化的多种方法。我肯定这可以通过从一个系统中删除文件然后让另一个系统拾取文件来完成。或者也许一个系统可以利用其他系统 API 并简单地提取数据并将其导入自身。另一种选择是将数据推出并让源系统通过它的 API 访问目标系统。我在自动化数据传输方面经验不足，只需要一些指导。这些大大小小的公司如何实现数据传输自动化？我有哪些选择？
虽然我正在寻找一般性答案，但我的情况特定于将数据从 Oracle 移出并以 JSON 格式移入 Arango NoSQL 数据库。
这是我们的做法；我们有客户在不同的银行为我们的服务付费。这些银行中的每一家都提供包含前一天付款的 TXT 文件；这些文件位于目录（文件夹）中。
有操作系统计划作业（在 MS Windows 上，即任务计划程序）每隔几分钟运行一次，并检查该目录中是否有新文件。
如果是这样，它会运行调用 Oracle SQL*Loader 实用程序的 (MS DOS) 批处理脚本。然后它将数据加载到 Oracle table 并将 TXT 文件复制到存档目录中。
不完全是一门火箭科学，但是 - 已经工作多年了。
我相信其他人会有不同的示例和建议。
我精通数据以及如何移动和操作数据，但是我已经使用了 5 到 6 年的流程现在大多是手动的。虽然有大量的宏、查询、函数和其他预编码方法可以帮助将数据移动和操作到我的 Oracle 数据库中，但除非有人在那里实现它，否则整个过程无法完成。
我在这里的问题是想知道关于如何将数据从一个系统移出并移入另一个系统的过程自动化的多种方法。我肯定这可以通过从一个系统中删除文件然后让另一个系统拾取文件来完成。或者也许一个系统可以利用其他系统 API 并简单地提取数据并将其导入自身。另一种选择是将数据推出并让源系统通过它的 API 访问目标系统。我在自动化数据传输方面经验不足，只需要一些指导。这些大大小小的公司如何实现数据传输自动化？我有哪些选择？
虽然我正在寻找一般性答案，但我的情况特定于将数据从 Oracle 移出并以 JSON 格式移入 Arango NoSQL 数据库。
这是我们的做法；我们有客户在不同的银行为我们的服务付费。这些银行中的每一家都提供包含前一天付款的 TXT 文件；这些文件位于目录（文件夹）中。
有操作系统计划作业（在 MS Windows 上，即任务计划程序）每隔几分钟运行一次，并检查该目录中是否有新文件。
如果是这样，它会运行调用 Oracle SQL*Loader 实用程序的 (MS DOS) 批处理脚本。然后它将数据加载到 Oracle table 并将 TXT 文件复制到存档目录中。
不完全是一门火箭科学，但是 - 已经工作多年了。
我相信其他人会有不同的示例和建议。