Hadoop 与电子商务门户的集成
Hadoop integration with e-commerce portal
我们正在使用 java 休息服务从头开始构建一个新的电子商务门户，我们计划使用 MySQL（目前，将来使用 Oracle）。我们也在使用 ElasticSearch。我们正在将整个门户构建为微服务。我的问题是，我是否需要从一开始就处理分析（如 hadoop 和 HDFS 集成）？
单一关系数据库工作正常，但它们的扩展性很差。特别是对于大规模的网络服务。
您需要衡量数据摄取 volume/size 以确定您是否需要 Hadoop（更具体地说是 HDFS）在 Elasticsearch 之上进行批处理分析。但可能不会。您可以使用独立的 Apache Spark 集群直接针对 Elasticseach 运行。
不过，您也可以 use Kafka as a message bus between your JDBC compatible database as well as loading an Elasticsearch index。 Spark Streaming 与 Kafka 配合得很好。
如果你想将 Hadoop 添加到组合中，你可以从 Kafka 中提取相同的数据来填充 HDFS 目录。
有很多博客在谈论通过 Kafka 进行微服务通信
我们正在使用 java 休息服务从头开始构建一个新的电子商务门户，我们计划使用 MySQL（目前，将来使用 Oracle）。我们也在使用 ElasticSearch。我们正在将整个门户构建为微服务。我的问题是，我是否需要从一开始就处理分析（如 hadoop 和 HDFS 集成）？
单一关系数据库工作正常，但它们的扩展性很差。特别是对于大规模的网络服务。
您需要衡量数据摄取 volume/size 以确定您是否需要 Hadoop（更具体地说是 HDFS）在 Elasticsearch 之上进行批处理分析。但可能不会。您可以使用独立的 Apache Spark 集群直接针对 Elasticseach 运行。
不过，您也可以 use Kafka as a message bus between your JDBC compatible database as well as loading an Elasticsearch index。 Spark Streaming 与 Kafka 配合得很好。
如果你想将 Hadoop 添加到组合中，你可以从 Kafka 中提取相同的数据来填充 HDFS 目录。
有很多博客在谈论通过 Kafka 进行微服务通信