如何在 google 计算引擎和 google bigquery 之间创建专用网络?
How to create a private network between google compute engine and google bigquery?
是否可以通过私有网络从 google 计算引擎或 cloudrun 或云函数访问 bigquery?
据我所知,要从计算引擎、应用引擎、云 运行 或云函数等访问 BigQuery,根本不需要任何专用网络。最有可能的是,进程 运行ning 所在的服务帐户的正确 IAM 配置应该就足够了。
在云环境中,“私有”的含义不明确。事实上,在你的 VPC 中有一个虚拟机,没有 public IP,你不能直接访问 BigQuery 因为 API http://bigquery.googleapis.com 是 public 你需要解析它 publicly.
但是,您可以在子网级别选择通过 private/dedicated 通道路由众所周知的 Google URL。当您编辑 VPC
时,它被命名为 Private Google Access
像这样,流量保持在内部。私人的??嗯,什么是私人的?如果私有意味着在您的私有寻址计划中,它不是,因为 BigQuery 不在您的项目中,它在其他地方,它是无服务器的!!
但是,流量保持在 Google 云内部。够了吗?
并且在任何情况下,流量都是加密的 (HTTPS),即使在互联网上,它也是保密的;这只是延迟问题,与安全无关。
Cloud Function 和 Cloud 也一样 运行。您需要一个带有 egress control set to ALL 的无服务器 VPC 连接器来路由所有流量,如果您希望它通过您的 VPC,甚至是用于 BigQuery 的流量。然后,访问 BigQuery。
如果您不这样做,流量将离开 Cloud Run/Cloud Functions 从 Google Cloud 的无服务器世界到达 BigQuery,在 Google Cloud 的无服务器世界中。与无服务器 VPC 连接器相比,它是否更多或更少是内部的?不确定。
我们换一个更高的角度,当你在互联网上在线支付时,HTTPS 就足够了。当您创建 VPN 隧道时,它类似于 HTTPS 功能。与 BigQuery 请求有什么区别?
最后真正的问题是为什么你需要确保它是私有的?你有什么要求?你的恐惧?
编辑 1
根据您的评论,您的音乐会是为了改善到达 BigQuery 时的延迟。但我不确定是否理解您的用例和阻塞点
BigQuery 是一个分析数据库,每个查询的不可压缩预热时间在 500 毫秒到 1 秒之间。然后,查询 运行.
如果您搜索最佳网络路径,在默认 Google 路由策略不是最佳的情况下,您将节省几毫秒,大约 Google 拍比特中的 5 或 10 毫秒网络。
节省 1% 的延迟真的值得关注吗?
如果您关心的是流写入,则同样如此。当查询至少需要 1 秒时,您的实时数据是否需要更快地摄取 10 毫秒?这样做有什么好处?
是否可以通过私有网络从 google 计算引擎或 cloudrun 或云函数访问 bigquery?
据我所知,要从计算引擎、应用引擎、云 运行 或云函数等访问 BigQuery,根本不需要任何专用网络。最有可能的是,进程 运行ning 所在的服务帐户的正确 IAM 配置应该就足够了。
在云环境中,“私有”的含义不明确。事实上,在你的 VPC 中有一个虚拟机,没有 public IP,你不能直接访问 BigQuery 因为 API http://bigquery.googleapis.com 是 public 你需要解析它 publicly.
但是,您可以在子网级别选择通过 private/dedicated 通道路由众所周知的 Google URL。当您编辑 VPC
时,它被命名为 Private Google Access像这样,流量保持在内部。私人的??嗯,什么是私人的?如果私有意味着在您的私有寻址计划中,它不是,因为 BigQuery 不在您的项目中,它在其他地方,它是无服务器的!!
但是,流量保持在 Google 云内部。够了吗?
并且在任何情况下,流量都是加密的 (HTTPS),即使在互联网上,它也是保密的;这只是延迟问题,与安全无关。
Cloud Function 和 Cloud 也一样 运行。您需要一个带有 egress control set to ALL 的无服务器 VPC 连接器来路由所有流量,如果您希望它通过您的 VPC,甚至是用于 BigQuery 的流量。然后,访问 BigQuery。
如果您不这样做,流量将离开 Cloud Run/Cloud Functions 从 Google Cloud 的无服务器世界到达 BigQuery,在 Google Cloud 的无服务器世界中。与无服务器 VPC 连接器相比,它是否更多或更少是内部的?不确定。
我们换一个更高的角度,当你在互联网上在线支付时,HTTPS 就足够了。当您创建 VPN 隧道时,它类似于 HTTPS 功能。与 BigQuery 请求有什么区别?
最后真正的问题是为什么你需要确保它是私有的?你有什么要求?你的恐惧?
编辑 1
根据您的评论,您的音乐会是为了改善到达 BigQuery 时的延迟。但我不确定是否理解您的用例和阻塞点
BigQuery 是一个分析数据库,每个查询的不可压缩预热时间在 500 毫秒到 1 秒之间。然后,查询 运行.
如果您搜索最佳网络路径,在默认 Google 路由策略不是最佳的情况下,您将节省几毫秒,大约 Google 拍比特中的 5 或 10 毫秒网络。
节省 1% 的延迟真的值得关注吗?
如果您关心的是流写入,则同样如此。当查询至少需要 1 秒时,您的实时数据是否需要更快地摄取 10 毫秒?这样做有什么好处?