我可以从 AudioRecord 获取 MediaStreamTrack 吗？

Question

我想在 android 中与 webrtc 共享音频。我尝试使用 MediaProjection，视频共享没问题。但是，录音没有音轨。如何从音频记录中获取音轨？

AudioPlaybackCaptureConfiguration config = new AudioPlaybackCaptureConfiguration.Builder(sMediaProjection)
                            .addMatchingUsage(AudioAttributes.USAGE_MEDIA)
                            .addMatchingUsage(AudioAttributes.USAGE_VOICE_COMMUNICATION)
                            .addMatchingUsage(AudioAttributes.USAGE_VOICE_COMMUNICATION_SIGNALLING)
                            .addMatchingUsage(AudioAttributes.USAGE_GAME)
                            .build();

AudioFormat audioFormat = new AudioFormat.Builder()
                            .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
                            .setSampleRate(44100)
                            .setChannelMask(AudioFormat.CHANNEL_IN_MONO)
                            .build();

audioRecord = new AudioRecord.Builder()
                            .setAudioFormat(audioFormat)
                            .setBufferSizeInBytes(BUFFER_SIZE_IN_BYTES)
                            .setAudioPlaybackCaptureConfig(config)
                            .build();

audioRecord.startRecording();

//Other code

String audioTrackId = stateProvider.getNextTrackUUID();

AudioSource as = new AudioSource(audioRecord.getAudioSource());

tracks[0] = pcFactory.createAudioTrack(audioTrackId, as);  // Not Working

Answer 1

我想你必须检查下面

https://developer.android.com/reference/android/media/AudioPlaybackCaptureConfiguration

用法值必须是 AudioAttributes#USAGE_UNKNOWN 或 AudioAttributes#USAGE_GAME 或 AudioAttributes#USAGE_MEDIA。无法捕获所有其他用法。
他们的应用程序（使用 AudioManager#setAllowedCapturePolicy）或每个播放器（使用 AudioAttributes.Builder#setAllowedCapturePolicy）设置的捕获策略是 AudioAttributes#ALLOW_CAPTURE_BY_ALL，以最严格的为准。

你可以使用下面的 adb 命令

运行 webrtc 并输入下一个命令

$ adb shell dumpsys audio
...
...
  players:
  AudioPlaybackConfiguration piid:15 type:android.media.SoundPool u/pid:1000/1619 state:idle attr:AudioAttributes: usage=USAGE_ASSISTANCE_SONIFICATION content=CONTENT_TYPE_SONIFICATION flags=0x800 tags= bundle=null
  AudioPlaybackConfiguration piid:23 type:android.media.SoundPool u/pid:10222/2040 state:idle attr:AudioAttributes: usage=USAGE_ASSISTANCE_SONIFICATION content=CONTENT_TYPE_SONIFICATION flags=0x800 tags= bundle=null
...
...
allowed capture policies:
...
...

玩家：意味着
这些是现在正在使用的音频属性信息。您可以看到 webrc 使用 pid

的用法

flags=0x800: 表示
显示应用具有 setAllowedCapturePolicy 的值。 flags的信息参考下面link https://cs.android.com/android/platform/superproject/+/master:frameworks/base/media/java/android/media/AudioAttributes.java;drc=master;l=1532?q=capturePolicyToFlags&ss=android%2Fplatform%2Fsuperproject&hl=ko

允许的捕获策略：意味着
它显示哪个应用设置了 setAllowedCapturePolicy。

他们清单中的应用程序属性 allowAudioPlaybackCapture 必须设置为 true

如果 webrc 没有设置这个值，你会看到下面的警告日志。

        ALOGW("%s: Playback capture is denied for uid %u as the manifest property could not be "
              "retrieved from the package manager: %s", __func__, uid, status.toString8().c_str());

我可以从 AudioRecord 获取 MediaStreamTrack 吗？

Can I get MediaStreamTrack from AudioRecord?

android

webrtc

android-mediaprojection