Scrape/extract 与 Java，结果来自 coinmarketcap.com

Question

我需要使用 Java 从页面顶部提取代币市值总量（例如：市值：$306,020,249,332），请参阅附图。

我在 Java Eclipse 中使用了 jsoup 库，但没有提取卷。 Jsoup 只提取其他属性。问题可能来自 java 脚本库。

我也用过html单位但没有成功：

import java.io.IOException;
import java.util.List;

import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlAnchor;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class Testss {
    public static void main(String\[\] args) throws IOException {

        String url = "https://coinmarketcap.com/faq/";

        WebClient client = new WebClient();
        HtmlPage page = client.getPage(url);
        List<?> anchors = page.getByXPath("//div\[@class='col-sm-6 text-center'\]//a");
        for (Object obj : anchors) {
            HtmlAnchor a = (HtmlAnchor) obj;
            System.out.println(a.getTextContent().trim());
        }
    }
}

如何使用 Java 从该网站提取流量？

谢谢！

Answer 1

检查网络选项卡找出正在获取数据的确切请求，在您的情况下是 https://files.coinmarketcap.com/generated/stats/global.json

另外请求URL是下面那个

所以，获取主 URL 不会给你你需要的东西，为此你必须直接从请求 URL 中获取数据并使用任何 JSON 解析它图书馆。 简单JSON我可以在其中之一中提出建议。

点击url后会得到的JSON数据。

{
  "bitcoin_percentage_of_market_cap": 55.95083004655126,
  "active_cryptocurrencies": 1324,
  "total_volume_usd": 21503093761,
  "active_markets": 7009,
  "total_market_cap_by_available_supply_usd": 301100436864
}

Scrape/extract 与 Java，结果来自 coinmarketcap.com

Scrape/extract with Java, result from coinmarketcap.com

java

web-scraping

jsoup

htmlunit