了解 Twisted 和异步编程。为什么一个代码有效而另一个无效？

Question

对不起先是文字墙。我很难理解一般的 Twisted 和异步编程。

我正在使用 Python 2.7 和 Twisted 15.4.0。

我尝试了 this example 的 downloadPage() 并且效果很好。

我稍微修改了一下，将回调从 lambda 更改为适当的函数。有效。我还尝试从回调和 errback 中删除 reactor.stop() 语句，它的唯一影响是脚本在下载后不会停止。这是有道理的，因为事件循环仍然是运行。

我也试过给个破URL。

如果我只有一次调用 downloadPage()，程序就会阻塞。它不会触发 errback。

如果我有两个调用，一个损坏的 URL 和一个正确的 URL，它将运行、完成并触发回调（我假设是正确的）并终止.

我的第一个问题是：为什么会这样？为什么不为损坏的 URL 触发 errback？损坏的 URL 不应该引发错误吗？

我有一个单独的代码，看起来像这样：

def receive_some_data():
   # Do some non twisted stuff - The script runs and passes these lines
   While True:
       try:
           # Do some other non twisted stuff
           print "1"
           downloadPage("http//:www.google.com", "foo").addCallbacks(
               lambda value:(println('Good'),reactor.stop()),
               lambda error:(println("an error occurred",error),reactor.stop()))
           print "2"
       except Exceptions as e:
           print str(e)

def main():
    reactor.callWhenRunning(receive_some_data)
    reactor.run()

此代码无效。它打印“1”，打印“2”，但没有回调或错误回调调用。页面也没有下载到 "foo".

我的第二个问题是： 为什么这段代码不起作用？是因为While循环吗？如果是这样，while 循环如何影响 deferred 及其回调链？

编辑 1： 我将 "While True" 更改为在 3 次迭代后终止的 "While condition"。现在文件已下载并调用了回调。为什么无限循环会干扰下载？

此外，我在 While 循环中的“# Do some other non twisted stuff”行执行从管道读取。这是我获取网址的地方。

我可以连续读取我的 url 并在下载完成时安排回调的最佳方法是什么？

编辑 2： 我将代码更改为如下内容：

def receive_some_data():
    # Do some non twisted stuff
    if condition:
        # Request more urls
        downloadPage(url,file).addCallbacks(success,fail)
    else:
        # Ask sender not to send urls atm

def main():
    reactor.callWhenRunning(receive_some_data)
    reactor.run()

我将代码结构更改为这种想法 callWhenRunning() 将继续调用 receive_some_data 函数（就像一个无限循环）。它没有。

如何让事件循环继续调用这个函数？

编辑 3： 设法让这个工作有所作为。我发现了 Looping Call 方法。我每隔 x 秒通过循环调用从 Edit 2 调用我的代码。有用。还有其他方法吗？

谢谢！

Answer 1

基本上，当您多次调用 downloadPage 时，您所做的就是并行启动多个下载。第一个完成的将是第一个调用它的回调或错误返回的人，这将停止反应器以及所有其他下载。

因此，当您将一次调用的 URL 更改为不良主机时，请求超时需要一段时间。到那时，另一个（好的）下载将完成，并停止反应器。这就是为什么您的代码仅适用于一个好的 URL。

另一个示例中的 while 将一个接一个地创建下载，而不是从函数 receive_some_data 中创建 return。但它需要 return 才能执行 call/errorbacks 的下载。 Twisted 一次只运行一个调用。

了解 Twisted 和异步编程。为什么一个代码有效而另一个无效？

Understanding Twisted and async programming. Why is a code working and another one is not?

python

asynchronous

twisted

twisted.web

twisted.internet