Spark Streaming：如何有效地将 foreachRDD 数据保存到 Mysql 数据库中？

Question

我们要建立一个实时计算系统，还要将处理后的数据保存到Mysql数据库中，代码如下：

splitWordInfo.foreachRDD(new Function<JavaRDD<String>, Void>() {
        private static final long serialVersionUID = 1L;

        @Override
        public Void call(JavaRDD<String> rdd) throws Exception {
            rdd.foreachPartition(new VoidFunction<Iterator<String>>() {
                // Default Serial ID
                private static final long serialVersionUID = 1L;
                @Override
                public void call(Iterator<String> eachline) throws Exception {
                    String sql = "insert into test_mm(name,addr) values(?)";
                    Connection conn = DriverManager.getConnection("jdbc:mysql://xx.xx.xx.xx:3306/dbname", "user", "pass");
                    PreparedStatement stat = conn.prepareStatement(sql); 
                    while(eachline.hasNext()){
                        stat.setString(1, eachline.next());
                        stat.executeUpdate();
                    }
                    stat.close();
                    conn.close();
                }

            });
            return null;
        }
    });

它会为每个 rdd 或每个分区 open/close mysql 连接吗？

以及如何有效地将 foreachRDD 数据保存到 Mysql 数据库中。谁能帮我一个忙？

Answer 1

每个 RDD 分区就像一个单独的任务，您的程序将为每个分区获取一个连接。最好使用像 Hikari 或 Tomcat 这样的连接池库。但即使使用连接池，与数据库的通信也会产生成本。在这个模型中你无法避免。

Spark Streaming：如何有效地将 foreachRDD 数据保存到 Mysql 数据库中？

Spark Streaming: How to efficiently save foreachRDD data into Mysql Database?

java

mysql

spark-streaming