无法从另一个子例程中的网页中抓取特定字段

Question

我创建了一个宏来从 webpage 中抓取一些字段并且脚本运行良好。我已经从该站点解析了三个字段。

当我在单个子例程中定义所有字段时，脚本可以完美运行。然而，当我从另一个子程序中抓取描述时，它失败了。脚本抛出的错误是 object required 指向第二个子例程中的这一行 oDesc.innerText。在我看来，它的发生是因为 HTML 变量可能会在参数中以其他方式传递。

Sub FetchRecipeInfo()
    Const URL$ = "https://www.yumm.ca/en/recipe/ginger-mushroombeef-meatballs-1"
    Dim HTML As HTMLDocument, R&, ws As Worksheet, oImage As Object
    Set HTML = New HTMLDocument
    
    R = 1
    Set ws = ThisWorkbook.Worksheets("Sheet1")

    With CreateObject("MSXML2.XMLHTTP")
        .Open "Get", URL, False
        .setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36"
        .send
        HTML.body.innerHTML = .responseText
    End With
    
    ws.Cells(R, 1) = HTML.querySelector(".recipe-info > h1").innerText
    Set oImage = HTML.querySelector(".recipe-visual")
    If Not oImage Is Nothing Then
        ws.Cells(R, 2) = Split(Split(oImage.Style.backgroundImage, "(")(1), ")")(0)
    End If
    
    FetchTheRest R, HTML
End Sub

Sub FetchTheRest(R As Long, HTML As Object)
    Dim oDesc As Object
    
    Set oDesc = HTML.querySelector(".recipe-info > p")
    If Not oDesc Is Nothing Then
        ws.Cells(R, 3) = oDesc.innerText
    End If
End Sub

How can I do the rest of the scraping in another subroutine, as in FetchTheRest() in this case?

Answer 1

错误是由于子程序中不知道变量ws。使用 Option Explicit 立即揭示这一点。您可以通过将工作表也作为参数传递或将其声明为全局来解决此问题。

声明参数时，请使用正确的类型。您的变量 HTML 声明为 HTMLDocument，您的子例程需要一个 HTMLDocument。是的，HTMLDocument 是一个对象，但是一个工作簿、一个范围、一个 FileScriptObject 和成千上万的其他东西也是对象。当声明参数类型为Object时，编译器无法检查子程序的调用是否正确，只能在运行时发现错误。

比较两个声明：

Sub FetchTheRest(ws as Object, row As Long, HTML As Object)
Sub FetchTheRest(ws as Worksheet, row As Long, HTML As HTMLDocument)

当您使用 FetchTheRest ws, R, HTML 调用 Sub 时，一切都很好（无论您使用两个声明中的哪一个）。但是，当你错误地把参数搞混了，写成FetchTheRest HTML, R, ws，编译器可以在你正确声明类型的情况下立即告诉你调用有问题。

当您将它们声明为对象时，编译器看不到这一点：ws 和 HTML 都是对象，这很合适。当您访问其中一个对象时，例如在 HTML.querySelector 行，您将收到运行时错误 438“对象不支持此属性或方法”，您将不明白为什么，因为您假设HTML 知道这个方法 - 没有意识到尽管名称如此，但它包含一个工作表对象。

使用全局变量通常不是一个好主意，但是当您的代码变得更加复杂并且您将任务拆分为多个例程来分析 HTML 文件时，将目标工作表声明为全局变量可能不是一个好主意坏的。在那种情况下，在您的第一个子例程开始之前，将 we 的变量声明移动到代码的顶部

Option Explicit
Dim ws As Worksheet  ' Now, ws is known in all routines of this module

Sub FetchRecipeInfo()
    Const URL$ = "https://www.yumm.ca/en/recipe/ginger-mushroombeef-meatballs-1"
    Dim HTML As HTMLDocument, R&, oImage As Object 
    (...)
End Sub

无法从另一个子例程中的网页中抓取特定字段

Unable to scrape a certain field from a webpage within another subroutine

excel

vba

web-scraping

subroutine