NIFI的用例
Use Cases of NIFI
我对 Nifi 及其功能及其适用的用例有疑问。
我读到 Nifi 的真正目标是创建一个允许基于流的处理的 space。在与 Nifi 玩了一会儿之后,我也开始意识到它能够以对我有用的方式 model/shape 数据。 Nifi也可以用来做数据建模公平吗?
谢谢!
数据建模对很多人来说可能意味着很多事情,所以我会在这里小心使用这个术语。我确实认为你所问的非常清楚,Apache NiFi 是一个很好的系统,可用于帮助将数据塑造成正确的格式和模式以及后续分析和处理所需的内容。 NiFi 有一个可扩展的模型,因此您可以添加可以执行此操作的处理器,或者在许多情况下您可以使用现有的处理器,您甚至可以使用 ExecuteScript 处理器,这样您就可以即时编写脚本来操作数据。
数据建模是一个有点过载的术语,但在您希望以对您有用的方式 model/shape 数据的情况下,这听起来可能是一种可行的方法。其余的都是在这个假设下。
虽然 NiFi 通过与基于流的编程 (FBP) 密切相关的原则和设计来采用数据流作为一种手段,但其功能是从 A 点到 B 点(并可能再次返回)获取数据。当然,系统并不是天生就以相同的协议、格式或模式进行对话,因此需要有一些东西来将数据塑造成消费者对生产者所提供的内容的预期。这进入了常见的企业集成模式 (EIP) [1],例如中介和路由。不过,从更广泛的意义上讲,它只是在需要的时间和方式将数据提供给需要它的人(系统、用户等)。
Joe Witt,NiFi 的创始人之一,在 Meetup 上发表了一场精彩的演讲,可能符合数据科学背景下的数据塑造理念。其中的幻灯片可用 [2].
如果您有任何其他问题,我建议您查看社区邮件列表 [3] 并提出任何其他问题,以便您可以深入挖掘并获得更广阔的视野。
我对 Nifi 及其功能及其适用的用例有疑问。
我读到 Nifi 的真正目标是创建一个允许基于流的处理的 space。在与 Nifi 玩了一会儿之后,我也开始意识到它能够以对我有用的方式 model/shape 数据。 Nifi也可以用来做数据建模公平吗?
谢谢!
数据建模对很多人来说可能意味着很多事情,所以我会在这里小心使用这个术语。我确实认为你所问的非常清楚,Apache NiFi 是一个很好的系统,可用于帮助将数据塑造成正确的格式和模式以及后续分析和处理所需的内容。 NiFi 有一个可扩展的模型,因此您可以添加可以执行此操作的处理器,或者在许多情况下您可以使用现有的处理器,您甚至可以使用 ExecuteScript 处理器,这样您就可以即时编写脚本来操作数据。
数据建模是一个有点过载的术语,但在您希望以对您有用的方式 model/shape 数据的情况下,这听起来可能是一种可行的方法。其余的都是在这个假设下。
虽然 NiFi 通过与基于流的编程 (FBP) 密切相关的原则和设计来采用数据流作为一种手段,但其功能是从 A 点到 B 点(并可能再次返回)获取数据。当然,系统并不是天生就以相同的协议、格式或模式进行对话,因此需要有一些东西来将数据塑造成消费者对生产者所提供的内容的预期。这进入了常见的企业集成模式 (EIP) [1],例如中介和路由。不过,从更广泛的意义上讲,它只是在需要的时间和方式将数据提供给需要它的人(系统、用户等)。
Joe Witt,NiFi 的创始人之一,在 Meetup 上发表了一场精彩的演讲,可能符合数据科学背景下的数据塑造理念。其中的幻灯片可用 [2].
如果您有任何其他问题,我建议您查看社区邮件列表 [3] 并提出任何其他问题,以便您可以深入挖掘并获得更广阔的视野。