即时数据转换

Question

除了手动映射之外，还有其他方法可以即时转换相关值吗？我知道这听起来很模糊，但我正在寻找的是一种获取输入值“2015 Ford”并将其转换为客户提供的映射的方法，该映射在他们的系统中指示相同的值。假设他们为我们提供了每辆汽车在他们的系统中如何表示的映射。所以像这样：

"Ford" -> 1111 "BMW" -> 2222 "Ferrari" -> 5050

我想看看是否可以使用风暴螺栓之类的东西来实现这一目标。 （很明显，我不熟悉storm beyond it的数据丰富能力）或者如果可能有另一个数据系统提供这个。因为为我的每个客户做一次性映射感觉不太可行。

提前感谢您的任何建议！

Answer 1

基本上您希望将映射文件与实时流（或批处理数据）结合起来。

在 spark 中，您可以广播您的映射文件，然后像 hashmap 一样使用它来更新您的直播。