广播状态源会阻止进程吗?
will the Broadcast state source block process?
使用 flink 版本 1.13.0
我在我的应用程序中使用广播状态,它会每 2 分钟加载大量数据(Map 类型大约 500'000 数据)
我在web-ui中看到拓扑图,发现每次Broadcast源加载时,它都有50%-100%的背压,加入的进程有50%-100%忙.我想知道这段时间是进程被阻塞处理数据变慢还是停止处理数据?
BroadcastProcessFunction 是线程安全的。调用processBroadcastElement加载状态时,不会执行processElement函数
因此,当state比较大的时候,会阻塞正常的数据处理,也会产生背压。
使用 flink 版本 1.13.0
我在我的应用程序中使用广播状态,它会每 2 分钟加载大量数据(Map 类型大约 500'000 数据)
我在web-ui中看到拓扑图,发现每次Broadcast源加载时,它都有50%-100%的背压,加入的进程有50%-100%忙.我想知道这段时间是进程被阻塞处理数据变慢还是停止处理数据?
BroadcastProcessFunction 是线程安全的。调用processBroadcastElement加载状态时,不会执行processElement函数
因此,当state比较大的时候,会阻塞正常的数据处理,也会产生背压。