Presto 与 Kubernetes

Presto with Kubernetes

我们正在尝试使用 Kubernetes 实现 Presto。我们在云上有一个 kubernetes 集群 运行 作为服务。我试图对此进行 google,但无法找到关于使用 Kubernetes 部署 Presto 的最佳实践的结论性结果。尽管存在 Presto 的官方 github - 但无济于事。以下是我试图寻求答案的两个问题:

  1. 使用 Kubernetes 配置 Presto 的最佳方法应该是什么 - 理想工作副本等指标?
  2. 我们如何继续进行此部署的性能测试?

有几个可用的示例说明如何实现它,例如 dharmeshkakadia/presto-kubernetes,但我想您可能想在这里使用 StatefulSet。不确定性能测试,因为它在很大程度上取决于您选择的持久卷类型,或者更好地说明它支持什么,例如 NFS、Ceph,或者您是否处于具有本机存储的云环境中?

您可以使用来自 https://github.com/helm/charts/tree/master/stable/presto It provides an option to set the number of workers. With the official chart you should be able to ask questions in the Kubernetes charts slack channel (through http://slack.k8s.io) and raise issues in GitHub if you hit any. Or there are non-helm examples such as https://github.com/dharmeshkakadia/presto-kubernetes

的官方 helm chart 安装

有多少工人的问题不是 Kubernetes 特有的。这是一个问题,您需要部署来处理多少负载和哪种负载,并且还取决于您的 Kubernetes 集群使用的硬件。如果您不确定,那么也许您可以使用默认值进行部署并根据需要进行调整。 https://prestodb.io/presto-admin/docs/current/installation/presto-configuration.html 建议您在 kubenernetes yaml 描述符的部署部分或在 helm 图表的 values.yaml 中找到一些设置,例如每个节点的内存集。

要对您的部署进​​行性能测试,您将需要测试数据,然后可以 运行 对集群进行查询。因此,您将在 Kubernetes 之外遵循相同的过程。有https://www.lewuathe.com/use-benchto-for-evaluation-of-presto.html or https://github.com/prestodb/tempto You may also want to look at https://kognitio.com/blog/presto-performance-powerful-or-problematic/

等工具可以帮忙