Airbnb Airflow 对比 Apache Nifi
Airbnb Airflow vs Apache Nifi
Airflow 和 Nifi 在工作流上执行相同的工作吗？每一个的 pro/con 是多少？
我需要读取一些 json 文件，向其中添加更多自定义元数据并将其放入 Kafka 队列中进行处理。我能够在 Nifi 中做到这一点。我仍在研究气流。我正在尝试为我的项目选择最好的工作流引擎
谢谢！
要全面了解 Airflow 和 Apache NiFi，请查看此 reddit post：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
对于您摄取 Json 文件、丰富它们并将它们路由到 Kafka 的特定用例，我相信 NiFi 是完成这项工作的正确工具。您可能会使用的几个处理器以及每个处理器的文档如下：
JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka（或 PublishKafka_0_10 取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html
Airflow 和 Nifi 在工作流上执行相同的工作吗？每一个的 pro/con 是多少？ 我需要读取一些 json 文件，向其中添加更多自定义元数据并将其放入 Kafka 队列中进行处理。我能够在 Nifi 中做到这一点。我仍在研究气流。我正在尝试为我的项目选择最好的工作流引擎 谢谢！
要全面了解 Airflow 和 Apache NiFi，请查看此 reddit post：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
对于您摄取 Json 文件、丰富它们并将它们路由到 Kafka 的特定用例，我相信 NiFi 是完成这项工作的正确工具。您可能会使用的几个处理器以及每个处理器的文档如下：
JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.9.2/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka（或 PublishKafka_0_10 取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-kafka-0-9-nar/1.9.2/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html