当系统的 WebView 是 Chrome 或 Android 系统 WebView 时,无法在基于 WebView 的应用程序上获取 uiautomator 转储,版本均为 84

Can't get uiautomator dump on WebView-based applications when WebView of system is either Chrome or Android System WebView, both version 84

我正在获取来自不同应用程序的 xml 转储 运行 uiautomator dump 我构建的应用程序服务中的命令,在根 phone 中。当 Chrome 或 Android 系统 WebView 设置为版本不同于 84 的 WebView 实现时,一切正常。当版本为 84 时,仅在 WebView 应用程序中,我无法获取视图, xml 只显示有一个 WebView 但不显示它的子元素。

我对 Appium 进行了同样的尝试(只是出于测试目的,以防万一我遗漏了什么,因为我需要在我的应用程序中获取 xml 而无需插入电脑),行为是相同(据我所知,Appium 也使用 uiautomator 来转储视图)。

我在 Android 8 中尝试使用 Chrome 81.0.4044.138,在 Android 9 中使用 Android System WebView 77.0.3865.92,并且工作正常。当我将 Android 9 phone Android 系统 WebView 更新到最新版本 (84.0.4147.125) 时,无法从 WebView 应用程序获取元素,Chrome 也一样,只是获取 WebView 元素。

我想知道的是最后的 Android WebView 版本(Chrome 和 Android 系统,版本 84)是否有我所缺少的新东西,那不不要让 uiautomator 从基于 WebView 的应用程序中正确转储 xml 文件。也许如果我必须做其他事情,或者这是一个错误。谢谢!

我发现了一种获取视图层次结构的更快且非 root 的方法,该方法在大多数 Chrome 版本(对于基于 webview 的应用程序)中也能正常工作,即使在 Chrome 80+ 中也是如此, 它正在使用 AccesibilityService。

所以,我首先创建了一个扩展 AccessibilityService 的服务:

public class BasicAccessibilityService extends AccessibilityService {

    private static BasicAccessibilityService instance;

    public static BasicAccessibilityService getInstance(){
        return instance;
    }

   
    @Override
    protected void onServiceConnected() {
        instance = this;
        super.onServiceConnected();
    }

    @Override
    public int onStartCommand(Intent intent, int flags, int startId) {
        return super.onStartCommand(intent, flags, startId);
    }

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
    }

    @Override
    public void onInterrupt() {
    }

    @Override
    public void onDestroy() {
        super.onDestroy();
    }

    @Override
    public void onCreate() {
        super.onCreate();
    }

    @Override
    public AccessibilityNodeInfo getRootInActiveWindow() {
        try {
            return super.getRootInActiveWindow();
        } catch (Throwable ignored) {
            returenter code heren null;
        }
    }
}

在清单中:

<service
    android:name="BasicAccessibilityService"
    android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE">
    <intent-filter>
        <action android:name="android.accessibilityservice.AccessibilityService" 
    />
    </intent-filter>
        <meta-data
            android:name="android.accessibilityservice"
            android:resource="@xml/service_config" />
</service>

在service_config.xml中:

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service
    xmlns:android="http://schemas.android.com/apk/res/android"
    android:description="@string/accessibility_service_description"
    android:accessibilityEventTypes="typeAllMask"
    android:accessibilityFlags="flagReportViewIds|flagDefault|flagRequestFilterKeyEvents|flagRetrieveInteractiveWindows|flagEnableAccessibilityVolume"
    android:canRetrieveWindowContent="true"
    android:canRequestTouchExplorationMode="true"
    android:accessibilityFeedbackType="feedbackGeneric"
    android:canPerformGestures="true"
    android:canRequestFilterKeyEvents="true"
    android:notificationTimeout="0"
    />

现在无障碍服务已经设置好,只要我们想要获取视图层次结构就可以调用它。请记住,要使其正常运行,应用程序必须获得可访问性许可。授予权限后,将自动调用 onServiceConnected 方法,因此我们可以从它的实例中调用我们的服务并获取如下视图:

BasicAccessibilityService.getInstance().getRootInActiveWindow()

这将 return 一个包含当前观看次数信息的 AccessibilityNodeInfo

如果您需要将视图层次结构作为 XML,您可以使用 uiautomator 源代码中的 AccessibilityNodeInfoDumper class,可在此处找到:

https://android.googlesource.com/platform/frameworks/uiautomator/+/5fe6e7f321f02b08224fad72374ed041f459b411/core/com/android/uiautomator/core/AccessibilityNodeInfoDumper.java

此外,您还必须将在此处找到的 AccessibilityNodeInfoHelper 添加到您的代码中:

https://android.googlesource.com/platform/frameworks/uiautomator/+/5fe6e7f321f02b08224fad72374ed041f459b411/core/com/android/uiautomator/core/AccessibilityNodeInfoHelper.java

当我执行上述代码将 AccessibilityNodeInfo 解析为 XML 时,我遇到了与之前使用 uiautomator dump 获取视图时几乎相同的问题。我发现问题出在 AccessibilityNodeInfoDumper class.

中的 dumpNodeRec 中的 isVisibleToUser 方法中

出于某种原因,对于某些应用程序,isVisibleToUser 方法 return 对于在基于 webview 的应用程序中可见的视图是错误的,并且此行为会根据 Chrome 或系统而变化网络视图版本。因此,一个可能的解决方案是不使用该方法并获取所有视图,即使是那些“不可见”的视图,或者另一种选择是使用您自己的方法来确定某些视图是否可见。

对我来说,评论使用 isVisibleToUser 方法的行已经足够了。希望这可以帮助任何需要做类似事情的人。