如何使用来自 html webscraping in ruby 的文本填充数组

Question

我已经使用 nokogiri ruby gem 为 tableData class 下的文本抓取 html 文件。 html 代码设置如下：

<div class="table-wrap">
   <table class="table">
     <tbody>
        <tr>
           <td class="tableData"> Jane Doe</td>
           <td class="tableData"> 01/01/2017</td>
           <td class="tableData">01/09/2017 </td>
           <td class="tableData">Vacation</td>
        </tr>
        <tr>
           <td class="tableData">John Doe</td>
           <td class="tableData"> 01/01/2017</td>
           <td class="tableData">01/09/2017 </td>
           <td class="tableData">Vacation</td>
        </tr>
     </tbody>
   </table>
</div>

我用于网络抓取的代码如下所示：

vt = page.css("td[class='tableData']").text
puts vt

这给出了这个输出：

Jane Doe 01/01/201701/09/2017 VacationJohn Doe 01/01/201701/09/2017 Vacation

我想用与每个人有关的 4 个文本值填充数组中的数组。应该是这样的：

[[Jane Doe, 01/01/2017, 01/09/2017, Vacation], [John Doe, 01/01/2017, 01/09/2017, Vacation]]

我是编码新手，我不确定如何创建 for 循环来迭代 html 代码本身或 vt 变量以生成数组数组。我知道在 for 循环之后涉及一些 push 语句，但我很难将其放在一起的 for 循环的实际结构。如果您能在回答中解释 for 循环在这种情况下的工作原理，我们将不胜感激。

Answer 1

这是您需要的基本结构。需要 map :

html=%q(<div class="table-wrap">
   <table class="table">
     <tbody>
        <tr>
           <td class="tableData"> Jane Doe</td>
           <td class="tableData"> 01/01/2017</td>
           <td class="tableData">01/09/2017 </td>
           <td class="tableData">Vacation</td>
        </tr>
        <tr>
           <td class="tableData">John Doe</td>
           <td class="tableData"> 01/01/2017</td>
           <td class="tableData">01/09/2017 </td>
           <td class="tableData">Vacation</td>
        </tr>
     </tbody>
   </table>
</div>)

require 'nokogiri'
doc = Nokogiri::XML(html)
array = doc.xpath('//tr').map do |tr|
  tr.xpath('td').map{ |td| td.text }
end

p array
# [[" Jane Doe", " 01/01/2017", "01/09/2017 ", "Vacation"], ["John Doe", " 01/01/2017", "01/09/2017 ", "Vacation"]]

Answer 2

尝试将代码段解析为 XML，通过 XPath 查找所有 "tr" 元素，并收集它们的 "td//text()" 个子元素：

require 'nokogiri'
doc = Nokogiri::XML(get_html_snippet)
data = doc.xpath('//tr').map do |tr|
  tr.xpath('td').map { |td| td.text.strip }
end
data # => [["Jane Doe", "01/01/2017", "01/09/2017", "Vacation"], ["John Doe", "01/01/2017", "01/09/2017", "Vacation"]]

如何使用来自 html webscraping in ruby 的文本填充数组

How to populate an array with text from html webscraping in ruby

html

ruby

arrays

web-scraping

arrayofarrays