此错误 "could not be resolved (110: Operation timed out)" 的原因可能是什么？

Question

我实际上在一家公司工作，为了改进 SEO，我正在尝试使用 prerender.io 设置我们的 angular (10) 网络应用程序，以将呈现的 html 发送给访问的爬虫我们的网站。

该应用程序使用 nginx 服务器 docker 化和公开。为了避免与现有的 nginx conf 冲突（在几次尝试使用它之后），我（重新）从 prerender.io 文档（https://gist.github.com/thoop/8165802）中提供的 .conf 文件开始配置，但我不可能得到任何回应来自预渲染服务。

我总是面临： “502：错误的网关”（客户端）和当我使用 Googlebot 作为用户代理发送请求时，“无法解决（110：操作超时）”（服务器端）。

构建和运行我的 docker 图像后，该网站在端口 80 上正确公开。当我使用网络浏览器时它是完全可以访问的，但是当我尝试请求时出现错误作为机器人（使用 curl -A Googlebot http://localhost:80）。

为了验证预呈现服务是否在需要时正确接收我的请求，我尝试使用在 pipedream.com 上生成的 url，但请求从未出现。

我尝试使用不同的解析器（8.8.8.8 和 1.1.1.1）但没有任何改变。

我试图增加 resolver_timeout 以让更多时间但仍然是同样的错误。

我尝试在容器中安装curl，因为我的镜像是基于alpine镜像的，curl安装成功但没有任何变化。

这是我的 nginx 配置文件：

server {
    listen 80 default_server;
    root /usr/share/nginx/html;
 
    index  index.html;

    location / {
        try_files $uri @prerender;
    }
 
    location @prerender {
        proxy_set_header X-Prerender-Token TOKEN_HERE;
        
        set $prerender 0;
        if ($http_user_agent ~* "googlebot|bingbot|yandex|baiduspider|twitterbot|facebookexternalhit|rogerbot|linkedinbot|embedly|quora link preview|showyoubot|outbrain|pinterest\/0\.|pinterestbot|slackbot|vkShare|W3C_Validator|whatsapp") {
            set $prerender 1;
        }
        if ($args ~ "_escaped_fragment_") {
            set $prerender 1;
        }
        if ($http_user_agent ~ "Prerender") {
            set $prerender 0;
        }
        if ($uri ~* "\.(js|css|xml|less|png|jpg|jpeg|gif|pdf|doc|txt|ico|rss|zip|mp3|rar|exe|wmv|doc|avi|ppt|mpg|mpeg|tif|wav|mov|psd|ai|xls|mp4|m4a|swf|dat|dmg|iso|flv|m4v|torrent|ttf|woff|svg|eot)") {
            set $prerender 0;
        }
        
        #resolve using Google's DNS server to force DNS resolution and prevent caching of IPs
        resolver 8.8.8.8;
        resolver_timeout 60s;
 
        if ($prerender = 1) {
            
            #setting prerender as a variable forces DNS resolution since nginx caches IPs and doesnt play well with load balancing
            set $prerender "service.prerender.io";
            rewrite .* /$scheme://$host$request_uri? break;
            proxy_pass http://$prerender;
        }
        if ($prerender = 0) {
            rewrite .* /index.html break;
        }
    }
}

这是我的 Dockerfile：

FROM node:12.7-alpine AS build
ARG environment=production

WORKDIR /usr/src/app
COPY package.json package-lock.json ./
RUN npm install
COPY . .
RUN npm run build -- --configuration $environment
# Two stage build because we do not need node-related things
FROM nginx:1.17.1-alpine

RUN apk add --no-cache curl
COPY --from=build /usr/src/app/dist/app /usr/share/nginx/html
COPY prerender-nginx.conf /etc/nginx/conf.d/default.conf

EXPOSE 80

希望你有曲目或想法可以帮助我

Answer 1

错误的部分是

curl -A Googlebot http://localhost:80

prerender 的工作方式是访问您发送到原始网络服务器的 fqdn。所以 localhost:80 将无法访问。

尝试传递正确的主机名，有点像

curl -H "Host: accessiblefrom.public.websitefqdn:80"  http://localhost:80

查看示例 https://github.com/Voronenko/self-hosted-prerender

此错误 "could not be resolved (110: Operation timed out)" 的原因可能是什么？

What could be the cause of this error "could not be resolved (110: Operation timed out)"?

nginx

http-proxy

docker