Google App Engine 可以用于后端和 API 之外的其他进程吗？
Can Google App Engine be used for other processes besides backends and APIs?
可以 google 应用引擎 运行网络爬虫吗？
我有一个以亚马逊网上商店产品的特定 ID（或 ASIN 编号）开始的爬虫进程。该过程然后使用亚马逊产品广告 API 来获得类似的产品。抓取相似产品后，它们的 ASIN 编号用于调用其他相似产品的 API。这个过程假设获取大约25,000个产品的信息大约需要3-6个小时。
现在我的客户想要 运行 具有不同初始 ASIN 编号的此过程的多个实例。我向他提出了如何使用 google 计算引擎构建整个系统的建议，但他急于使用 google 应用引擎。他认为应用引擎会以某种方式自动生成爬虫实例。
由于 google 应用引擎用于后端和 API，我担心在应用引擎上部署这样的爬虫系统会有其局限性。
是的。您可以获取基础 URL、抓取数据、获取相关产品的 url，然后向上旋转 taskqueues 以获取每个后续 url。冲洗并重复。
可以 google 应用引擎 运行网络爬虫吗？
我有一个以亚马逊网上商店产品的特定 ID（或 ASIN 编号）开始的爬虫进程。该过程然后使用亚马逊产品广告 API 来获得类似的产品。抓取相似产品后，它们的 ASIN 编号用于调用其他相似产品的 API。这个过程假设获取大约25,000个产品的信息大约需要3-6个小时。
现在我的客户想要 运行 具有不同初始 ASIN 编号的此过程的多个实例。我向他提出了如何使用 google 计算引擎构建整个系统的建议，但他急于使用 google 应用引擎。他认为应用引擎会以某种方式自动生成爬虫实例。
由于 google 应用引擎用于后端和 API，我担心在应用引擎上部署这样的爬虫系统会有其局限性。
是的。您可以获取基础 URL、抓取数据、获取相关产品的 url，然后向上旋转 taskqueues 以获取每个后续 url。冲洗并重复。