在 Android 上抓取一个动态生成的页面
Scrape a dynamically-produced page on Android
我目前正在从事一个项目，该项目在给定搜索查询（即麦片）的情况下抓取杂货店页面的数据，并将其显示在 Spinner 视图中。但是，我很难找到一种方法来从页面上抓取数据。我尝试使用 Jsoup，因为这是在线共识，但不支持 JavaScript。
问题在于大多数（如果不是全部）此类网站使用 DOM 存储来存储最新的股票列表和价格。这就是为什么像 Jsoup 这样的库无法工作，因为它们 return 而 HTML 没有 JavaScript。我目前有一个通过 WebView 显示页面的原型，但我看不到获取数据的方法。
我已经尝试研究如何解决这个问题，但是如果真的存在的话，要诚实地找到一个优雅的解决方案是相当令人困惑的。
如果有人可以提供帮助，或者至少为我指出正确的方向，那将不胜感激！谢谢^_^
Selenium 将是网络抓取的一个很好的选择。 https://www.selenium.dev/ It basically has access to the website's DOM. In past experience, a dynamically generated web page can be difficult to scrape. RegExp will be your friend. https://regexone.com/
我目前正在从事一个项目，该项目在给定搜索查询（即麦片）的情况下抓取杂货店页面的数据，并将其显示在 Spinner 视图中。但是，我很难找到一种方法来从页面上抓取数据。我尝试使用 Jsoup，因为这是在线共识，但不支持 JavaScript。
问题在于大多数（如果不是全部）此类网站使用 DOM 存储来存储最新的股票列表和价格。这就是为什么像 Jsoup 这样的库无法工作，因为它们 return 而 HTML 没有 JavaScript。我目前有一个通过 WebView 显示页面的原型，但我看不到获取数据的方法。
我已经尝试研究如何解决这个问题，但是如果真的存在的话，要诚实地找到一个优雅的解决方案是相当令人困惑的。
如果有人可以提供帮助，或者至少为我指出正确的方向，那将不胜感激！谢谢^_^
Selenium 将是网络抓取的一个很好的选择。 https://www.selenium.dev/ It basically has access to the website's DOM. In past experience, a dynamically generated web page can be difficult to scrape. RegExp will be your friend. https://regexone.com/