在 Kettle 中加入来自不同来源的数据
Join data from different sources in Kettle
我的数据库有以下 tables:
USER
userid INT
username STRING
USER_SESSION_HISTORY
userid INT (foreign key to USER)
login_date DATETIME
然后我有一个 CSV header:
username;login_date
我需要将 CSV 数据插入 USER_SESSION_HISTORY table。如您所见，我需要加入两个数据源（USER table 和 CSV 文件）才能获取用户 ID。
我是 Kettle 的新手，直到现在才开始学习非常简单的转换。
您需要阅读 CSV 和 USER table，在这两个步骤之后，您需要为每个添加一个排序步骤（检查排序步骤中的大小写 sensitive/insensitive 可能性)，之后，通过合并连接步骤合并两个数据流，将其设置为 LEFT OUTER JOIN，左侧是 CSV 数据（来自排序步骤），右侧是 USER 数据（来自排序步骤），因此对于 CSV 中的每个用户名，您查看该用户名是否已存在于 USER table.
中
在MERGE JOIN之后，你放了一个Filter步骤，查看userid数据是否为NULL，如果为NULL，则意味着CSV中的用户名不存在，所以你需要先插入它在用户 table.
如果您有用户 ID（上一步中的过滤条件为 false），您只需使用从 MERGE JOIN 中检索到的用户 ID 将数据插入 USER_SESSION_HISTORY。
对于过滤器中的真实条件（用户数据中没有以前的数据），这将取决于您如何生成用户标识。如果您有一个与 userid 关联的序列，并且该列会自动填充该列的相应下一个值，您可以在 USER table 中插入用户名，数据库将负责填充 userid。如果您不能简单地将用户名插入 USER table，则必须添加一些中间步骤来生成用户 ID，具体取决于您在数据库中的处理方式。
不知道在USER中插入后能不能看到table生成的userid，可以测试一下。如果在此转换中可用，则可以在 USER table 中的插入步骤之后添加一个块步骤，等待 USER_SESSION_HISTORY 中的插入步骤完成（对于用户名所在的数据已经存在于 USER table 中，过滤步骤中的错误条件）。需要块步骤，因为 Pentaho 同时运行所有步骤，除非您使用此块步骤，因此 USER_SESSION_HISTORY table 将被同时执行的两个事务阻塞。在块步骤之后，为 USER_SESSION_HISTORY table 添加第二个插入步骤。
如果您在插入后没有可用的用户 ID，我认为更简单的工作方法是进行两个转换，第一个是在 USER table 中插入新的用户名，第二个将数据插入 USER_SESSION_HISTORY 的转换，在第二个转换中，我们确信我们已经拥有用户 table 中所有可用的用户名
我的数据库有以下 tables:
USER
userid INT
username STRING
USER_SESSION_HISTORY
userid INT (foreign key to USER)
login_date DATETIME
然后我有一个 CSV header:
username;login_date
我需要将 CSV 数据插入 USER_SESSION_HISTORY table。如您所见，我需要加入两个数据源（USER table 和 CSV 文件）才能获取用户 ID。
我是 Kettle 的新手，直到现在才开始学习非常简单的转换。
您需要阅读 CSV 和 USER table，在这两个步骤之后，您需要为每个添加一个排序步骤（检查排序步骤中的大小写 sensitive/insensitive 可能性)，之后，通过合并连接步骤合并两个数据流，将其设置为 LEFT OUTER JOIN，左侧是 CSV 数据（来自排序步骤），右侧是 USER 数据（来自排序步骤），因此对于 CSV 中的每个用户名，您查看该用户名是否已存在于 USER table.
中在MERGE JOIN之后，你放了一个Filter步骤，查看userid数据是否为NULL，如果为NULL，则意味着CSV中的用户名不存在，所以你需要先插入它在用户 table.
如果您有用户 ID（上一步中的过滤条件为 false），您只需使用从 MERGE JOIN 中检索到的用户 ID 将数据插入 USER_SESSION_HISTORY。
对于过滤器中的真实条件（用户数据中没有以前的数据），这将取决于您如何生成用户标识。如果您有一个与 userid 关联的序列，并且该列会自动填充该列的相应下一个值，您可以在 USER table 中插入用户名，数据库将负责填充 userid。如果您不能简单地将用户名插入 USER table，则必须添加一些中间步骤来生成用户 ID，具体取决于您在数据库中的处理方式。
不知道在USER中插入后能不能看到table生成的userid，可以测试一下。如果在此转换中可用，则可以在 USER table 中的插入步骤之后添加一个块步骤，等待 USER_SESSION_HISTORY 中的插入步骤完成（对于用户名所在的数据已经存在于 USER table 中，过滤步骤中的错误条件）。需要块步骤，因为 Pentaho 同时运行所有步骤，除非您使用此块步骤，因此 USER_SESSION_HISTORY table 将被同时执行的两个事务阻塞。在块步骤之后，为 USER_SESSION_HISTORY table 添加第二个插入步骤。
如果您在插入后没有可用的用户 ID，我认为更简单的工作方法是进行两个转换，第一个是在 USER table 中插入新的用户名，第二个将数据插入 USER_SESSION_HISTORY 的转换，在第二个转换中，我们确信我们已经拥有用户 table 中所有可用的用户名