logstash vs spring 云数据流,哪个适合做数据预处理?
logstash vs spring cloud data flow, which one is suitable for data preprocessing?
我正在使用 spring boot 和 elasticsearch 在我的网站上创建一个搜索系统。
我有一些数据需要在弹性搜索中推送,这些数据(例如产品)必须先处理(传递给另一个过滤 JSON 的微服务,添加一些字段为了获得更好的搜索结果,请进行一些计算并 return 我要存储的对象)。是否可以使用日志存储来执行此操作,或者我是否需要使用 Spring 云数据流?提前致谢。
我想做什么:
save a product ( product service )
log the saved product or stream it.
process it before storage ( another service )
save the document ( elastic search server )
提前致谢。
显然这取决于多种因素,但我可以尝试从技术角度对 Spring 云数据流提供一些见解。
如果您想构建一个流式传输管道,在其中您的过滤应用程序通过执行此数据流处理的消息传递系统连接,您可以查看 Spring 云数据流。
Spring Cloud Data Flow(以及底层框架支持,例如 Spring Cloud Stream 和 Spring Cloud Task)比您管理流媒体管道的方式提供了运营优势,但它如果您不需要带有消息传递系统等的数据管道,则可能没有意义,在这些情况下,您只需坚持使用一个简单的 Spring 引导应用程序来执行整个过滤模型。一旦您开始探索这些通过消息传递系统松散耦合的应用程序的分布,Spring Cloud Data Flow 就会派上用场。
请查看 SCDF guide to understand some of the features and recipes 以了解更多关于 SCDF 可以提供的内容并选择适合您的情况。
我正在使用 spring boot 和 elasticsearch 在我的网站上创建一个搜索系统。
我有一些数据需要在弹性搜索中推送,这些数据(例如产品)必须先处理(传递给另一个过滤 JSON 的微服务,添加一些字段为了获得更好的搜索结果,请进行一些计算并 return 我要存储的对象)。是否可以使用日志存储来执行此操作,或者我是否需要使用 Spring 云数据流?提前致谢。
我想做什么:
save a product ( product service )
log the saved product or stream it.
process it before storage ( another service )
save the document ( elastic search server )
提前致谢。
显然这取决于多种因素,但我可以尝试从技术角度对 Spring 云数据流提供一些见解。
如果您想构建一个流式传输管道,在其中您的过滤应用程序通过执行此数据流处理的消息传递系统连接,您可以查看 Spring 云数据流。
Spring Cloud Data Flow(以及底层框架支持,例如 Spring Cloud Stream 和 Spring Cloud Task)比您管理流媒体管道的方式提供了运营优势,但它如果您不需要带有消息传递系统等的数据管道,则可能没有意义,在这些情况下,您只需坚持使用一个简单的 Spring 引导应用程序来执行整个过滤模型。一旦您开始探索这些通过消息传递系统松散耦合的应用程序的分布,Spring Cloud Data Flow 就会派上用场。
请查看 SCDF guide to understand some of the features and recipes 以了解更多关于 SCDF 可以提供的内容并选择适合您的情况。