43 秒后 404 TTFB

Question

我有使用 simple_html_dom 解析不同站点数据的脚本。它查看我的 table 个用户，抓取所需的各种站点，然后解析数据并将它们存储到我的数据库中。

问题是，当我遍历超过 3 个用户时，出现 404 错误。经过大量调试（其中大部分是我在学习过程中学习的）之后，我的 TTFB 似乎只要达到 40 秒就会收到 404 not found 错误。该页面下的任何内容 returns 都可以。

我在 php 文件中包含以下内容以延长时间，但这个问题似乎忽略了这些陈述。

// 抓取网站可能需要一段时间...

ini_set("memory_limit", "-1");
ini_set('max_execution_time', 300); //300 seconds = 5 minutes
ini_set('max_input_time', -1); //300 seconds = 5 minutes
set_time_limit(0);

但是我以前从未遇到过这个问题，因为我对一个存在的页面获得了 404。我对 simple_html_dom 有点陌生，正在浏览不同的页面，但问题是等待时间太长了吗？如果是这样，我该如何解决？谢谢

Answer 1

所以它与执行时间或我可以用 php 脚本更改的任何设置无关。对于遇到相同问题的任何人，此问题已通过更改 simple_html_dom 从以下位置加载脚本的方式得到解决：

$html = new simple_html_dom();
$html->load_file($url_link);

收件人：

$html = @file_get_contents($url_link);
$html = str_get_html($html);

希望这对其他人有帮助！

43 秒后 404 TTFB

404 after 43 seconds TTFB

simple-html-dom

http-status-code-404